Beruflich Dokumente
Kultur Dokumente
Master de Statistique
Anne 2012/2013
Premier Semestre
Rgression linaire
Arnaud Guyader
Ce cours est tir des quatre premiers chapitres du livre de Pierre-Andr Cornillon et Eric Matzner-
Lber, Rgression avec R, paru chez Springer en 2010.
Table des matires
3 Le modle gaussien 49
3.1 Estimateurs du Maximum de Vraisemblance . . . . . . . . . . . . . . . . . . . . . . 49
3.2 Lois des estimateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.2.1 Quelques rappels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.2.2 Nouvelles proprits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.2.3 Intervalles et rgions de confiance . . . . . . . . . . . . . . . . . . . . . . . . 53
3.2.4 Prvision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.3 Tests dhypothses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
i
ii Table des matires
4 Validation du modle 81
4.1 Analyse des rsidus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.1.1 Rsidus et valeurs aberrantes . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.1.2 Analyse de la normalit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.1.3 Analyse de lhomoscdasticit . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.1.4 Analyse de la structure des rsidus . . . . . . . . . . . . . . . . . . . . . . . 85
4.2 Analyse de la matrice de projection . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.3 Autres mesures diagnostiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
A Annales 93
Bibliographie 143
Introduction
Commenons par un exemple afin de fixer les ides. Pour des raisons de sant publique, on sin-
tresse la concentration dozone O3 dans lair (en microgrammes par millilitre). En particulier,
on cherche savoir sil est possible dexpliquer le taux maximal dozone de la journe par la
temprature T12 midi. Les donnes sont :
Temprature 12h 23.8 16.3 27.2 7.1 25.1 27.5 19.4 19.8 32.2 20.7
O3 max 115.4 76.8 113.8 81.6 115.4 125 83.6 75.2 136.8 102.8
10 15 20 25 30
T12
Pour analyser la relation entre les xi (temprature) et les yi (ozone), nous allons chercher une
fonction f telle que :
yi f (xi ).
o n reprsente le nombre de donnes disponibles (taille de lchantillon) et L(.) est appele fonction
de cot ou fonction de perte (Loss en anglais).
1.1 Modlisation
Dans de nombreuses situations, en premire approche, une ide naturelle est de supposer que la
variable expliquer y est une fonction affine de la variable explicative x, cest--dire de chercher
f dans lensemble F des fonctions affines de R dans R. Cest le principe de la rgression linaire
simple. On suppose dans la suite disposer dun chantillon de n points (xi , yi ) du plan.
i {1, . . . , n} yi = 1 + 2 xi + i
Les quantits i viennent du fait que les points ne sont jamais parfaitement aligns sur une droite.
On les appelle les erreurs (ou bruits) et elles sont supposes alatoires. Pour pouvoir dire des choses
pertinentes sur ce modle, il faut nanmoins imposer des hypothses les concernant. Voici celles
que nous ferons dans un premier temps :
(H1 ) : E[i ] = 0 pour tout indice i
(H)
(H2 ) : Cov(i , j ) = ij 2 pour tout couple (i, j)
Les erreurs sont donc supposes centres, de mme variance (homoscdasticit) et non corrles
entre elles (ij est le symbole de Kronecker, i.e. ij = 1 si i = j, ij = 0 si i 6= j). Notons que le
modle de rgression linaire simple de la dfinition 1.1 peut encore scrire de faon vectorielle :
Y = 1 1 + 2 X + ,
o :
le vecteur Y = [y1 , . . . , yn ] est alatoire de dimension n,
le vecteur 1 = [1, . . . , 1] est le vecteur de Rn dont les n composantes valent toutes 1,
le vecteur X = [x1 , . . . , xn ] est un vecteur de dimension n donn (non alatoire),
les coefficients 1 et 2 sont les paramtres inconnus (mais non alatoires !) du modle,
le vecteur = [1 , . . . , n ] est alatoire de dimension n.
Cette notation vectorielle sera commode notamment pour linterprtation gomtrique du pro-
blme. Nous y reviendrons en Section 1.3 et elle sera dusage constant en rgression linaire mul-
tiple, cest pourquoi il convient dores et dj de sy habituer.
Autrement dit, la droite des moindres carrs minimise la somme des carrs des distances verticales
des points (xi , yi ) du nuage la droite ajuste y = 1 + 2 x.
1 = y 2 x
,
avec : Pn Pn
(xi x)(yi y) (xi x
)yi
2 = i=1
Pn 2
= Pi=1
n .
i=1 (xi x
) )2
i=1 (xi x
Preuves. La premire mthode consiste remarquer que la fonction S(1 , 2 ) est strictement
convexe, donc quelle admet un minimum en un unique point (1 , 2 ), lequel est dtermin en
annulant les drives partielles de S. On obtient les quations normales :
n
S X
1 = 2
(yi 1 2 xi ) = 0
i=1
Xn
S
2 = 2
xi (yi 1 2 xi ) = 0
i=1
1 = y 2 x
, (1.1)
o x
et y sont comme dhabitude les moyennes empiriques des xi et des yi . La seconde quation
donne :
n
X n
X n
X
1 xi + 2 x2i = xi y i
i=1 i=1 i=1
La seconde mthode consiste appliquer la technique de Gauss de rduction des formes quadra-
tiques, cest--dire dcomposer S(1 , 2 ) en somme de carrs, carrs quil ne restera plus qu
annuler pour obtenir les estimateurs 1 et 2 . Dans notre cas, aprs calculs, ceci scrit :
n
! Pn
2
X (xi x)(yi y) 2
2 i=1
Pn
S(1 , 2 ) =n (1 (
y 2 x
)) + (xi x) 2
i=1 (xi x)2
i=1
n
! P !
X ( ni=1 (xi x)(yi y))2
2
+ (yi y) 1 Pn P ,
)2 ni=1 (yi y)2
i=1 (xi x
i=1
Remarques :
1. La relation 1 = y 2 x
montre que la droite des MCO passe par le centre de gravit du
nuage (
x, y).
2. Les expressions obtenues pour 1 et 2 montrent que ces deux estimateurs sont linaires par
rapport au vecteur Y = [y1 , . . . , yn ] .
3. Lestimateur 2 peut aussi scrire comme suit (exercice !) :
P
(xi x
)i
2 = 2 + P . (1.3)
)2
(xi x
Si cette dcomposition nest pas intressante pour le calcul effectif de 2 puisquelle fait
intervenir les quantits inconnues 2 et i , elle lest par contre pour dmontrer des proprits
thoriques des estimateurs (biais et variance). Son avantage est en effet de mettre en exergue
la seule source dala du modle, savoir les erreurs i .
Avant de poursuivre, notons que le calcul des estimateurs des moindres carrs est purement dter-
ministe : il ne fait en rien appel aux hypothses (H1 ) et (H2 ) sur le modle. Celles-ci vont en fait
servir dans la suite expliciter les proprits statistiques de ces estimateurs.
1 = y 2 x
,
do lon tire :
E[1 ] = E[y ] xE[2 ] = 1 + x2 x2 = 1 .
On peut galement exprimer variances et covariance de nos estimateurs.
Remarques :
1. On a vu que la droite des MCO passe par le centre de gravit du nuage ( x, y). Supposons
celui-ci fix et x
positif, alors il est clair que si on augmente la pente, lordonne lorigine
va baisser et vice versa, on retrouve donc bien le signe ngatif pour la covariance entre 1 et
2 .
2. En statistique infrentielle, la variance dun estimateur dcrot typiquement de faon inver-
sement proportionnelle la taille de lchantillon, cest--dire en 1/n. En dautres termes, sa
prcision est gnralement en 1/ n. Ceci ne saute pas aux yeux si lon considre par exemple
lexpression obtenue pour la variance de 2 :
2
Var(2 ) = P .
)2
(xi x
Pour comprendre que tout se passe comme dhabitude, il suffit de considrer que les xi
sont eux-mmes alatoires, avec cart-type x . Dans ce cas trs gnral, le dnominateur est
dordre nx2 et lon retrouve bien une variance en 1/n.
Les estimateurs des moindres carrs sont en fait optimaux en un certain sens, cest ce que prcise
le rsultat suivant.
150
yi = 1 + 2 xi i
100
O3
50
0
0 5 10 15 20 25 30 35
T12 xi
Notons maintenant que les variances et covariance des estimateurs 1 et 2 tablies en section
prcdente ne sont pas pratiques car elles font intervenir la variance 2 des erreurs, laquelle est en
gnral inconnue. Nanmoins, on peut en donner un estimateur sans biais grce aux rsidus.
1.2.4 Prvision
Un des buts de la rgression est de faire de la prvision, cest--dire de prvoir la variable expliquer
y en prsence dune nouvelle valeur de la variable explicative x. Soit donc xn+1 une nouvelle valeur,
pour laquelle nous voulons prdire yn+1 . Le modle est toujours le mme :
yn+1 = 1 + 2 xn+1 .
Deux types derreurs vont entacher notre prvision : la premire est due la non-connaissance de
n+1 , la seconde lincertitude sur les estimateurs 1 et 2 .
Preuve. Pour lesprance, il suffit dutiliser le fait que n+1 est centre et que les estimateurs 1
et 2 sont sans biais :
Ainsi la variance augmente lorsque xn+1 sloigne du centre de gravit du nuage. Autrement dit,
faire de la prvision lorsque xn+1 est loin de x est prilleux, puisque la variance de lerreur de
prvision peut tre trs grande ! Ceci sexplique intuitivement par le fait que plus une observation
xn+1 est loigne de la moyenne x et moins on a dinformation sur elle.
Si nous abordons le problme dun point de vue vectoriel, nous avons deux vecteurs notre dis-
position : le vecteur X = [x1 , . . . , xn ] des n observations pour la variable explicative et le vecteur
Y = [y1 , . . . , yn ] des n observations pour la variable expliquer. Ces deux vecteurs appartiennent
au mme espace Rn : lespace des variables.
Si on ajoute cela le vecteur 1 = [1, . . . , 1] , on voit tout dabord que par lhypothse selon laquelle
tous les xi ne sont pas gaux, les vecteurs 1 et X ne sont pas colinaires : ils engendrent donc un
sous-espace de Rn de dimension 2, not M(X). On peut projeter orthogonalement le vecteur Y
sur le sous-espace M(X), notons provisoirement Y ce projet. Puisque (1, X) forme une base de
M(X), il existe une unique dcomposition de la forme Y = 1 1 + 2 X. Par dfinition du projet
orthogonal, Y est lunique vecteur de M(X) minimisant la distance euclidienne kY Y k, ce qui
revient au mme que de minimiser son carr. Or, par dfinition de la norme euclidienne, cette
quantit vaut :
Xn
kY Y k2 = (yi (1 + 2 xi ))2 ,
i=1
ce qui nous ramne la mthode des moindres carrs ordinaires. On en dduit que 1 = 1 , 2 = 2
y1 , . . . , yn ] , avec les expressions de 1 , 2 et Y vues prcdemment.
et Y = Y = [
2 X X
1 1 Y
y1
M(X) 1
Figure 1.3 Reprsentation de la projection dans lespace des variables.
Remarques :
1. Cette vision gomtrique des choses peut sembler un peu abstraite, mais cest en fait lap-
proche fconde pour comprendre la rgression multiple, comme nous le verrons dans les
chapitres suivants.
2. Nous avons suppos que 1 et X ne sont pas colinaires. En gnral, ces vecteurs ne sont pas
orthogonaux (sauf si x = 0), ce qui implique que 1 1 nest pas la projection orthogonale
de Y sur 1 (laquelle vaut y1), et que 2 X nest pas la projection orthogonale de Y sur X
(laquelle vaut hY,Xi
kXk2
X).
= Y Y = [
1 , . . . , n ]
le vecteur des rsidus dj rencontrs en section 1.2.3. Le thorme de Pythagore donne alors
directement :
o SCT (respectivement SCE et SCR) reprsente la somme des carrs totale (respectivement
explique par le modle et rsiduelle). Ceci peut se voir comme une formule typique de dcom-
position de la variance. Elle permet en outre dintroduire le coefficient de dtermination de faon
naturelle.
SCE kY y1k2 k2
k SCR
R2 = = = 1 =1 .
SCT kY y1k 2 kY y1k2 SCT
On voit sur la figure 1.3 que R2 correspond au cosinus carr de langle . De faon schmatique,
on peut diffrencier les cas suivants :
Si R2 = 1, le modle explique tout, langle vaut zro et Y est dans M(X), cest--dire que
yi = 1 + 2 xi pour tout i : les points de lchantillon sont parfaitement aligns sur la droite des
moindres carrs ; P
Si R2 = 0, cela veut dire que ( yi y)2 = 0, donc yi = y pour tout i. Le modle de rgression
linaire est inadapt puisquon ne modlise rien de mieux que la moyenne ;
Si R2 est proche de zro, cela veut dire que Y est quasiment dans lorthogonal de M(X), le
modle de rgression linaire est inadapt, la variable x nexplique pas bien la variable rponse
y (du moins pas de faon affine).
De faon gnrale, linterprtation est la suivante : le modle de rgression linaire permet dexpli-
quer 100 R2 % de la variance totale des donnes.
Remarques :
1. On peut aussi voir R2 comme le carr du coefficient de corrlation empirique entre les xi et
les yi (cf. exercice 1.2) :
Pn !2
(xi x
)(yi y)
R2 = pPn i=1 pPn = 2X,Y .
)2
i=1 (xi x )2
i=1 (yi y
2. Sur la figure 1.3 est not un angle droit entre les vecteurs 1 et Y y1. On vrifie en effet
facilement que ces deux vecteurs sont orthogonaux puisque y1 nest rien dautre que le projet
orthogonal de Y sur (la droite vectorielle engendre par) le vecteur 1 (exercice).
Ceci tant vu, il reste simplement maximiser log L(1 , 2 , 2 ) par rapport 2 . Calculons donc
la drive par rapport 2 :
n
X
log L(1 , 2 , 2 ) n 1 1 , 2 ) = n + 1
= + S( (yi 1 2 xi )2
2 2 2 2 4 2 2 2 4
i=1
n
2 1X 2
mv = i .
n
i=1
Avant de passer aux lois des estimateurs et aux intervalles de confiance qui sen dduisent, faisons
quelques rappels sur les lois usuelles dans ce contexte.
Figure 1.4 Densit dun 250 (trait gras) et densit dune N (50, 100) (trait fin).
On a E[X] = n et Var(X) = 2n. Lorsque n est grand, on sait par le Thorme Central Limite que
X suit approximativement une loi normale de moyenne n et de variance 2n : X 2n). Ainsi,
N (n,
pour n grand, environ 95% des valeurs de X se situent dans lintervalle [n 2 2n, n + 2 2n]. Ceci
est illustr figure 3.1 pour n = 50 ddl.
Figure 1.5 Densit dune T10 (trait gras) et densit dune N (0, 1) (trait fin).
Lorsque n = 1, T suit une loi de Cauchy et na donc pas desprance (ni, a fortiori, de variance).
n
Pour n = 2, T est centre mais de variance infinie. Pour n 3, T est centre et de variance n2 .
Dautre part, lorsque n devient grand, on sait par la Loi des Grands Nombres que le dnominateur
tend presque srement vers 1. De fait, on peut montrer que pour n grand, T tend en loi vers
une gaussienne centre rduite : T N (0, 1). Ceci est illustr figure 1.5 pour n = 10 ddl. Par
consquent, lorsque n sera grand, on pourra remplacer les quantiles dune loi de Student Tn par
ceux dune loi N (0, 1) (cf. tables en Annexe C.3).
Pour n2 > 2, la variance dune loi de Fisher Fnn21 est n2 /(n2 2). Dans la suite, typiquement, n2
sera grand, de sorte qu nouveau la Loi des Grands Nombres implique que U2 /n2 tend vers 1.
Dans ce cas, F peut se voir comme un chi-deux normalis par son degr de libert : F 2n1 /n1 .
Ceci est illustr figure 1.6 pour n1 = 2 et n2 = 10.
2 x
1 X 2
c = P 2 =
i
(xi x)2 n2
P 2 P 2
xi xi
12 = 2 P 2
1 = 2 P
n (xi x )2 n (xi x )2
2
2
22 = P 22 = P
.
(xi x)2 )2
(xi x
Comme nous lavons vu, 12 , 22 et c sont les variances et covariance des estimateurs des moindres
12 et
carrs ordinaires. les quantits 22 correspondent quant elles aux estimateurs des variances
de 1 et 2 .
1 1
(i) = 2
N , V o = et
2 2
P
1 x2i /n
x 1 12 c
V =P = 2 .
)2
(xi x
x 1 c 22
(n 2) 2
(ii) 2n2 , loi du 2 (n 2) degrs de libert.
2
(iii) et
2 sont indpendants.
Remarque. Ces proprits, comme celles venir, ne sont pas plus faciles montrer dans le cadre
de la rgression linaire simple que dans celui de la rgression linaire multiple. Cest pourquoi
nous reportons les preuves au Chapitre 3.
Le problme des proprits ci-dessus vient de ce quelles font intervenir la variance thorique 2 ,
gnralement inconnue. La faon naturelle de procder est de la remplacer par son estimateur 2.
Les lois intervenant dans les estimateurs sen trouvent de fait lgrement modifies.
0
2
2
4
4 2 0 2 4
1
1 2 1 1 )(2 2 ) +
X
2 2
2
n(1 1 ) + 2n
x ( x i (2 2 ) fn2 (1 ),
2
2
2 (1 ) est le quantile de niveau (1 ) dune loi F 2 .
o fn2 n2
(iv) Un intervalle de confiance de 2 est donn par :
(n 2)2 2
(n 2)
, ,
cn2 (1 /2) cn2 (/2)
1.4.4 Prvision
En matire de prvision dans le cas derreurs gaussiennes, les rsultats obtenus en section 1.2.4
pour lesprance et la variance sont toujours valables. De plus, puisque yn+1 est linaire en 1 , 2
et n+1 , on peut prciser sa loi :
2 1 (xn+1 x )2
yn+1 yn+1 N 0, 1 + + P .
n )2
(xi x
yn+1 yn+1
q Tn2 ,
1 (x
Pn+1 x)2
1+ n + x)2
(xi
Nous retrouvons ainsi la remarque dj faite : plus le point prvoir admet pour abscisse xn+1
une valeur loigne de x
, plus lintervalle de confiance sera grand.
Plus prcisment, la courbe dcrite pas les limites de ces intervalles de confiance lorsque xn+1
et y = 1 + 2 x. Pour sen persuader, il suffit deffectuer le
varie est une hyperbole daxes x = x
changement de variables
X =xx
Y = y (1 + 2 x)
do il ressort quun point (X, Y ) est dans la rgion de confiance ci-dessus si et seulement si
X2 Y 2
2 1,
a2 b
avec
a = 1 + n1 (tn2 (1 /2)
)2
1
P
b= 1+ n )2
(xi x
ce qui dfinit bien lintrieur dune hyperbole. En particulier, le centre de cette hyperbole est tout
bonnement le centre de gravit du nuage de points.
1.5 Exemple
Nous allons traiter les 50 donnes journalires prsentes en Annexe D. La variable expliquer
est la concentration en ozone, note O3, et la variable explicative est la temprature midi, note
T12. Les donnes sont traites avec le logiciel R.
Residuals:
Min 1Q Median 3Q Max
-45.256 -15.326 -3.461 17.634 40.072
Coefficients :
Estimate Std. Error t value Pr(>|t|)
(Intercept) 31.4150 13.0584 2.406 0.0200 *
T12 2.7010 0.6266 4.311 8.04e-05 ***
-
Signif. codes: 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1
Residual standard error: 20.5 on 48 degrees of freedom
Multiple R-Squared: 0.2791, Adjusted R-squared: 0.2641
F-statistic: 18.58 on 1 and 48 DF, p-value: 8.041e-05
Les sorties du logiciel donnent les valeurs estimes 1 et 2 des paramtres, leurs cart-types
1 et
2 , les statistiques de tests sous lhypothse H0 : i = 0. Nous rejetons H0 pour les deux
paramtres estims.
1.6 Exercices
Exercice 1.1 (QCM)
1. Lors dune rgression simple, si le R2 vaut 1, les points sont-ils aligns ?
A. Non ;
B. Oui ;
C. Pas obligatoirement.
2. La droite des MCO dune rgression simple passe-t-elle par le point (
x, y) ?
A. Toujours ;
B. Jamais ;
C. Parfois.
3. Nous avons effectu une rgression simple, nous recevons une nouvelle observation xN et
nous calculons la prvision correspondante yN . La variance de la valeur prvue est minimale
lorsque
A. xN = 0 ;
B. xN = x;
C. Aucun rapport.
4. Le vecteur Y est-il orthogonal au vecteur des rsidus estims ?
A. Toujours ;
B. Jamais ;
C. Parfois.
Pre 65 63 67 64 68 62 70 66 68 67 69 71
Fils 68 66 68 65 69 66 68 65 71 67 68 70
1. Calculez la droite des moindres carrs du poids des fils en fonction du poids des pres.
2. Calculez la droite des moindres carrs du poids des pres en fonction du poids des fils.
3. Montrer que le produit des pentes des deux droites est gal au carr du coefficient de corr-
lation empirique entre les pi et les fi (ou encore au coefficient de dtermination).
Epreuve A 3 4 6 7 9 10 9 11 12 13 15 4
Epreuve B 8 9 10 13 15 14 13 16 13 19 6 19
28
hauteur
26
24
22
20
18
16
14
12
Circonfrence
10
20 30 40 50 60 70 80
yi = xi + i , i = 1, , n,
o nous supposons que les perturbations i sont telles que E[i ] = 0 et Cov(i , i ) = 2 i,j .
1. En revenant la dfinition des moindres carrs, montrer que lestimateur des moindres carrs
de vaut
Pn
xi y i
= Pi=1n 2 .
i=1 xi
2. Montrer que la droite passant par lorigine et le centre de gravit du nuage de points est
y = x, avec
Pn
yi
= Pni=1 .
i=1 xi
avec galit si et seulement si u et v sont colinaires. Grce cette ingalit, montrer que
sauf dans le cas o tous les xi sont gaux. Ce rsultat tait-il prvisible ?
V ( ) > V ()
1000
800
prix
600
400
superficie
1. Daprs le listing du tableau 1.2, donner une estimation du coefficient de corrlation entre le
prix et la superficie dun appartement T3.
2. Proposer un modle permettant dtudier la relation entre le prix des appartements et leur
superficie. Prciser les hypothses de ce modle.
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 134.3450 45.4737 2.954 0.00386
Superficie 6.6570 0.6525 10.203 < 2e-16
Table 1.2 Prix en fonction de la superficie : rsultats de la rgression linaire simple (sortie R).
3. Daprs le tableau 1.2, est-ce que la superficie joue un rle sur le prix des appartements de
type 3 ? Considrez-vous ce rle comme important ?
4. Quelle est lestimation du coefficient (coefficient de la superficie dans le modle) ? Comment
interprtez-vous ce coefficient ?
5. La superficie moyenne des 108 appartements est de 68.74 m2 et le prix moyen des apparte-
ments est de 591.95 euros. Quel est le prix moyen dun mtre carr ? Pourquoi ce prix moyen
est diffrent de lestimation de ?
6. Dans lchantillon dont on dispose, comment savoir quels sont les appartements bon march
du seul point de vue de la surface ?
y =
x,
p
tel que la norme matricielle k[x, y] [
x, y]kF soit minimale (rappel : kAkF = Tr(AA )).
1. Que reprsente la norme matricielle k[x, y] [
x, y]kF dun point de vue gomtrique ?
2. Supposons pour simplifier que x = y = 0, cest--dire que le centre de gravit du nuage de
points est en lorigine du repre. Quel rapport voyez-vous entre TLS et ACP ?
1.7 Corrigs
Exercice 1.1 (QCM)
Cest le B.A.-BA.
Pn 2 xi y
2 Pn 2 x 2 xi y
2
kY y1k
2 i=1 1 + i=1 y
+
R2 = = Pn = Pn
kY y1k2 i=1 (y i y
) 2 )2
i=1 (yi y
P P P
22 ni=1 (xi x ) 2 [ ni=1 (xi x )(yi y)]2 ni=1 (xi x )2
= Pn = P P
)2
i=1 (yi y [ ni=1 (xi x )2 ]2 ni=1 (yi y)2
P
[ ni=1 (xi x)(yi y)]2
= Pn P = 2x,y ,
i=1 (xi x)2 ni=1 (yi y)2
Figure 1.10 Nuages de points et droites de rgression pour les poids des pres et des fils.
Le modle de rgression linaire simple explique donc un peu plus de la moiti de la variance
prsente dans les donnes.
3. Sous H0 , on sait que
0
T18 ,
0
loi de Student 18 degrs de libert. Pour un niveau de confiance de 95%, on compare donc
la valeur absolue obtenue dans notre cas particulier, savoir |0 /
0 | 4.38 au quantile
t18 (0.975) 2.1. On en dduit quon rejette lhypothse selon laquelle 0 serait nul. De
mme pour le test dhypothse sur 1 , ce qui donne la statistique de test :
1
6.88 > 2.1
1
A priori, un arbre de diamtre nul a une hauteur gale zro, donc on aurait pu sattendre
ce que le coefficient 0 soit nul. Ceci est en contradiction avec le rsultat du test dhypothse
ci-dessus, mais il ny a rien dtonnant a : le modle de rgression propos est pertinent
dans lintervalle considr,
cest--dire pour des arbres de hauteur moyenne 8.65 pieds, avec
un cart-type gal 2.24 1.5, non pour des arbres tout petits.
Epreuve A 3 4 6 7 9 10 9 11 12 13 15 4
Epreuve B 8 9 10 13 15 14 13 16 13 19 6 19
1. Pour lexplication de la note B partir de la note A, la droite de rgression (cf. figure 1.11
gauche) est donne par y = 1 + 2 x, o :
Pn
(x x)(yi y)
2 = i=1 Pn i 0.11
i=1 i x
(x )2
et 1 = y 2 x
12.0 Le coefficient de dtermination vaut :
P
( n (xi x )(yi y))2
R2 = Pn i=1 P 0, 01
( i=1 (xi x)2 ) ( ni=1 (yi y)2 )
Le modle de rgression linaire expliquerait donc 1% de la variance des donnes, ce qui est
trs faible.
2. Si on supprime les deux derniers stagiaires, on obtient cette fois (cf. figure 1.11 droite)
y = 1 + 2 x = 5.47 + 0.90x et R2 0.81. Sans ces deux stagiaires, le modle de r-
gression linaire expliquerait donc 81% de la variance des donnes, ce qui le rend tout fait
pertinent. Les deux derniers stagiaires correspondent ce quon appelle des points aberrants.
Et pour estimateur de 1 :
1 = y 2 x
173.7.
On en conclut que 10% de la variance des frquences seuils yi est explique par lge. Ce
modle de rgression linaire simple ne semble donc pas efficace.
2 de 2 est tout simplement :
3. Un estimateur non biais
Pn Pn
2 i=1 (yi yi )2 (yi yi )2
= = i=1 9.44.
n2 18
2
22 = Pn
0, 0047.
)2
i=1 (xi x
yi = xi + i , i = 1, , n,
o nous supposons que les perturbations i sont telles que E[i ] = 0 et Cov(i , i ) = 2 i,j .
1. Par dfinition, lestimateur des moindres carrs de vrifie
n
X
= arg min (yi xi )2 = arg min S().
i=1
Cette fonction S est strictement convexe et admet donc un unique minimum au point o sa
drive sannule :
n n n
!
X X X
2
S () = 2 xi (yi xi ) = 2 xi xi y i .
i=1 i=1 i=1
et pour le second :
Pn
i
= + ni=1 .
P
x
i=1 i
Puisque par hypothse les erreurs sont centres (i.e. E[i ] = 0), il en dcoule que E[]
=
E[ ] = , cest--dire que les deux estimateurs sont sans biais.
4. On rutilise les expressions prcdentes des estimateurs pour cette question. Puisque les
erreurs sont dcorrles, la variance de vaut
Pn
x2i 2 2
V () = Pi=1 = P n 2.
n 2 2
i=1 xi i=1 xi
n 2
V ( ) = Pn .
( i=1 xi )2
Lingalit de Cauchy-Schwarz dit que la valeur absolue du produit scalaire de deux vecteurs
est infrieure ou gale au produit de leurs normes, cest--dire : pour tous vecteurs u =
[u1 , . . . , un ] et v = [v1 , . . . , vn ] de Rn , |hu, vi| kuk kvk, ou encore en passant aux carrs :
n
!2 n
! n !
X X X
2 2
ui vi ui vi ,
i=1 i=1 i=1
IC(1 ) = [1 2
1 , 1 + 2
1 ] = [0.8; 1.2]
et pour 2
IC(2 ) = [2 2
2 , 2 + 2
2 ] = [0.15; 1.35]
2. Avec les notations du cours, la rgion de confiance simultane 95% est lensemble des points
(1 , 2 ) tels que
1 1 )2 + 2n 1 )(2 2 ) +
X
2
2 )2 f 2 (0.95).
n(1 x (1 x i (2 n2
22
Le quantile dordre 0.95 dune loi de Fisher (2,100) degrs de libert tant gal 3.09, nous
arrondirons nouveau et prendrons f98 2 (0.95) 3, de sorte que nous obtenons comme rgion
La rgion de
confiance est donc lintrieur
dune ellipse de centre (1 , 2 ) = (1, 1/4) et de
sommets (1 6/10, 0) et (0, 1/4 6/20), cest--dire (1.24, 0), (0, 0.37), (0.76, 0), (0, 0.13).
Introduction
La modlisation de la concentration dozone dans latmosphre voque au Chapitre 1 est relati-
vement simpliste. En effet, dautres variables peuvent expliquer cette concentration, par exemple
le vent qui pousse les masses dair. Ce phnomne physique est connu sous le nom dadvectance
(apport dozone) ou de dilution. Dautres variables telles le rayonnement, la prcipitation, etc.,
ont une influence certaine sur la concentration dozone. Lassociation Air Breizh mesure ainsi en
mme temps que la concentration dozone dautres variables susceptibles davoir une influence sur
celle-ci (voir Annexe D). Voici quelques-unes de ces donnes :
T12 23.8 16.3 27.2 7.1 25.1 27.5 19.4 19.8 32.2 20.7
V 9.25 -6.15 -4.92 11.57 -6.23 2.76 10.15 13.5 21.27 13.79
N12 5 7 6 5 2 7 4 6 1 4
O3 115.4 76.8 113.8 81.6 115.4 125 83.6 75.2 136.8 102.8
La variable V est une variable synthtique. En effet, le vent est normalement mesur en degrs
(direction) et mtres par seconde (vitesse). La variable V que nous avons cre est la projection
du vent sur laxe Est-Ouest, elle tient donc compte la fois de la direction et de la vitesse.
O3i f (Ti , Vi , Ni ).
Minimiser un cot ncessite aussi la connaissance de lespace sur lequel on minimise, cest--dire
la classe de fonctions F dans laquelle nous supposerons que se trouve la vraie fonction inconnue.
Le problme mathmatique peut scrire de la faon suivante :
n
X
arg min L(yi f (xi )), (2.1)
f F
i=1
30 Chapitre 2. La rgression linaire multiple
o n reprsente le nombre de donnes analyser, L(.) est appele fonction de cot, ou de perte,
et xi est une variable vectorielle pour tout i. La fonction de cot sera la mme que celle utilise
prcdemment, cest--dire le cot quadratique. En ce qui concerne le choix de la classe F, par
analogie avec le chapitre prcdent, nous utiliserons la classe suivante :
X p
F = f : RP R, f (x1 , , xp ) = j xj .
j=1
En gnral, avec cette convention dcriture, x1 est constant gal 1 et 1 correspond lordonne
lorigine. On parle de rgression linaire en raison de la linarit de f en les paramtres 1 , . . . , p ,
non en les variables explicatives xj . Par exemple, ce modle inclut les fonctions polynomiales dune
seule variable x si lon prend x1 = 1, x2 = x, . . . , xp = xp1 .
Ce chapitre est donc la gnralisation naturelle du prcdent, mais nous allons cette fois manipuler
sytmatiquement des vecteurs et des matrices la place des scalaires.
2.1 Modlisation
Le modle de rgression linaire multiple est une gnralisation du modle de rgression simple
lorsque les variables explicatives sont en nombre quelconque. Nous supposons donc que les donnes
collectes suivent le modle suivant :
o :
les xij sont des nombres connus, non alatoires, la variable xi1 valant souvent 1 pour tout i ;
les paramtres j du modle sont inconnus, mais non alatoires ;
les i sont des variables alatoires inconnues.
de sorte que p correspond toujours au nombre de variables explicatives. Avec notre convention
dcriture (2.2), si xi1 vaut 1 pour tout i, p est le nombre de paramtres estimer, tandis que le
nombre de variables explicatives est, proprement parler, (p 1).
Y = X +
o :
Y est un vecteur alatoire de dimension n,
X est une matrice de taille n p connue, appele matrice du plan dexprience,
est le vecteur de dimension p des paramtres inconnus du modle,
est le vecteur de dimension n des erreurs.
Lhypothse (H2 ) signifie que les erreurs sont centres, de mme variance (homoscdasticit) et
non corrles entre elles.
Dans la suite de cette section, nous allons donner lexpression de lestimateur ainsi que certaines
de ses proprits.
2.2.1 Calcul de
Pour dterminer , une mthode consiste se placer dans lespace des variables, comme on la fait
au Chapitre 1, Section 1.3.1. Rappelons brivement le principe : Y = [y1 , . . . , yn ] est le vecteur des
variables expliquer. La matrice du plan dexprience X = [X1 | . . . |Xp ] est forme de p vecteurs
colonnes (la premire colonne tant gnralement constitue de 1). Le sous-espace de Rn engendr
par les p vecteurs colonnes de X est appel espace image, ou espace des solutions, et not M(X).
Il est de dimension p par lhypothse (H1 ) et tout vecteur de cet espace est de la forme X, o
est un vecteur de Rp :
X = 1 X1 + + p Xp
M (X) Y
X
X
X X
M(X)
Selon le modle de la Dfinition 2.1, le vecteur Y est la somme dun lment de M(X) et dun
bruit lment de Rn , lequel na aucune raison dappartenir M(X). Minimiser kY Xk2 revient
chercher un lment de M(X) qui soit le plus proche de Y au sens de la norme euclidienne
classique. Cet unique lment est, par dfinition, le projet orthogonal de Y sur M(X). Il sera
not Y = PX Y , o PX est la matrice de projection orthogonale sur M(X). Il peut aussi scrire
sous la forme Y = X , o est lestimateur des MCO de . Lespace orthogonal M(X), not
M (X), est souvent appel espace des rsidus. En tant que supplmentaire orthogonal, il est de
dimension n p = dim(Rn ) dim(M(X)).
= (X X)1 X Y,
PX = X(X X)1 X .
Remarque. Lhypothse (H1 ) assure que la matrice X X est bien inversible. Supposons en effet
quil existe un vecteur de Rp tel que (X X) = 0. Ceci impliquerait que kXk2 = (X X) = 0,
donc X = 0, do = 0 puisque rg(X) = p. Autrement dit, la matrice symtrique X X est dfinie
positive.
S() = kY Xk2 = (X X) 2Y X + kY k2 .
= 2 X X 2Y X = 0 (X X) = X Y.
S()
La matrice X X tant inversible par (H1 ), ceci donne = (X X)1 X Y . Puisque par dfini-
tion Y = PX Y = X = X(X X)1 X Y et que cette relation est valable pour tout Y Rn ,
on en dduit que PX = X(X X)1 X .
2. Par projection : une autre faon de procder consiste dire que le projet orthogonal Y = X
est dfini comme lunique vecteur tel que (Y Y ) soit orthogonal M(X). Puisque M(X)
est engendr par les vecteurs X1 , . . . , Xp , ceci revient dire que (Y Y ) est orthogonal
chacun des Xi :
hX1 , Y X i = 0
..
.
=0
hXp , Y X i
= 0, do lon dduit bien lexpres-
Ces p quations se regroupent en une seule : X (Y X )
sion de , puis celle de PX .
Dornavant nous noterons PX = X(X X)1 X la matrice de projection orthogonale sur M(X) et
PX = (I PX ) la matrice de projection orthogonale sur M (X). La dcomposition
Y = Y + (Y Y ) = PX Y + (I PX )Y = PX Y + PX Y
nest donc rien de plus quune dcomposition orthogonale de Y sur M(X) et M (X).
Achtung ! La dcomposition
Y = X = 1 X1 + + p Xp
signifie que les i sont les coordonnes de Y dans la base (X1 , . . . , Xp ) de M(X). Il ne faudrait
pas croire pour autant que les i sont les coordonnes des projections de Y sur les Xi : ceci nest
vrai que si la base (X1 , . . . , Xp ) est orthogonale, ce qui nest pas le cas en gnral.
Rappels sur les projecteurs. Soit P une matrice carre de taille n. On dit que P est une matrice
de projection si P 2 = P . Ce nom est d au fait que pour tout vecteur x de Rn , P x est la projection
de x sur Im(P ) paralllement Ker(P ). Si en plus de vrifier P 2 = P , la matrice P est symtrique,
alors P x est la projection orthogonale de x sur Im(P ) paralllement Ker(P ), cest--dire que
dans la dcomposition x = P x + (x P x), les vecteurs P x et (x P x) sont orthogonaux. Cest
ce cas de figure qui nous concernera dans ce cours. Toute matrice symtrique relle tant diago-
nalisable en base orthonorme, il existe une matrice orthogonale U (i.e. U U = In , ce qui signifie
que les colonnes de U forment une base orthonorme de Rn ) et une matrice diagonale telles que
P = U U . On voit alors facilement que la diagonale de est compose de p 1 et de (n p) 0,
o p est la dimension de Im(P ), espace sur lequel on projette. Des rappels et complments sur les
projections sont donns en Annexe, section B.4.
Revenons nos moutons : on a vu que PX = X(X X)1 X . On vrifie bien que PX2 = PX et que
PX est symtrique. Ce qui prcde assure galement que Tr(PX ) = p et Tr(PX ) = n p. Cette
dernire remarque nous sera utile pour construire un estimateur sans biais de 2 . Dautre part, la
matrice PX est souvent note H (comme Hat) dans la littrature anglo-saxonne, car elle met des
chapeaux sur les vecteurs : PX Y = Y . De fait, les lements de PX sont nots (hij )1i,jn .
= E[( E[])(
Var() E[])
] = E[ ] E[]
E[]
.
Puisque est de dimension p, elle est de dimension p p. De plus, pour pour toute matrice A de
taille m p et tout vecteur B de dimension m dterministes, on a : E[A + B] = AE[] + B et
Var(A + B) = AVar()A . Ces proprits lmentaires seront constamment appliques dans la
suite.
= 2 (X X)1 .
Var()
E[]
= E[(X X)1 X Y ] = (X X)1 X E[Y ] = (X X)1 X E[X + ],
Lestimateur des MCO est optimal en un certain sens. Cest ce que prcise le rsultat suivant,
gnralisation de celui vu en rgression linaire simple.
Remarques :
1. Linaire signifie linaire par rapport Y , cest--dire de la forme AY o A est une matrice
(p, n) : en ce sens, lestimateur des MCO est bien linaire puisque = (X X)1 X Y .
2. Rappelons quil existe une relation dordre partielle entre matrices symtriques relles : dire
que S1 S2 signifie que S = (S2 S1 ) est une matrice symtrique relle positive, cest--dire
que pour tout vecteur x, on a x S1 x x S2 x. Ceci revient encore dire que les valeurs
propres de S sont toutes suprieures ou gales 0.
Preuve. Nous allons montrer que, pour tout autre estimateur de linaire et sans biais, Var()
Var(), o lingalit entre matrices de variance-covariance est comprendre au sens prcis ci-
dessus. Rappelons la formule gnrale pour la matrice de covariance de la somme deux vecteurs
alatoires U et V :
= Var( + )
Var() = Var( )
+ Var()
+ Cov( ,
)
+ Cov(,
).
Cov( ,
)
= Cov(AY, (X X)1 X Y ) Var()
= 2 AX(X X)1 2 (X X)1 = 0.
Malheureusement on va voir que cet estimateur est biais. Ce biais est nanmoins facile corriger,
comme le montre le rsultat suivant. Cest une bte gnralisation du rsultat obtenu en rgression
linaire simple, en remplaant n 2 par n p.
Proposition 2.3
k2
k SCR
2 =
La statistique np = np est un estimateur sans biais de 2 .
E[k
k2 ] = E[Tr(
)] = Tr(E[
]) = Tr(Var(
)) = Tr( 2 PX ).
Et comme PX est la matrice de la projection orthogonale sur un espace de dimension (n p), on
a bien :
E[kk2 ] = (n p) 2 .
k2
k SCR 1
2 (X X)1 =
2 = (X X)1 = (X X) .
np np
2.2.4 Prvision
Un des buts de la rgression est de proposer des prdictions pour la variable expliquer y lorsque
nous avons de nouvelles valeurs de x. Soit donc xn+1 = [xn+1,1 , , xn+1,p ] une nouvelle valeur pour
laquelle nous voudrions prdire yn+1 . Cette variable rponse est dfinie par yn+1 = xn+1 + n+1 ,
avec E[n+1 ] = 0, Var(n+1 ) = 2 et Cov(n+1 , i ) = 0 pour i = 1, . . . , n.
La mthode naturelle est de prdire la valeur correspondante grce au modle ajust, soit : yn+1 =
Lerreur de prvision est nouveau dfinie par n+1 = yn+1 yn+1 = x ( )
xn+1 . + n+1 .
n+1
Deux types derreurs vont alors entacher notre prvision : la premire due lincertitude sur n+1 ,
lautre lincertitude inhrente lestimateur .
Preuve. Comme E[n+1 ] = 0 et puisque est un estimateur sans biais de , il est clair que
E[n+1 ] = E[xn+1 ( )
+ n+1 ] = x ( E[])
n+1
+ E[n+1 ] = 0.
Autrement dit, en moyenne, notre estimateur ne se trompe pas. Calculons la variance de lerreur de
prvision. Puisque dpend uniquement des variables alatoires (i )1in , dont n+1 est dcorrle,
il vient :
= 2 + x Var()x
n+1 ) = Var(n+1 + xn+1 ( ))
Var ( n+1
n+1
= 2 (1 + xn+1 (X X)1 xn+1 ).
Nous retrouvons bien lincertitude dobservation 2 laquelle vient sajouter lincertitude destima-
tion. Enfin, comme en rgression linaire simple, on peut prouver quen prsence de la constante,
cette incertitude est minimale au centre de gravit des variables explicatives, cest--dire lorsque
xn+1 = [1, x2 , . . . , xp ] et quelle vaut encore 2 (1 + 1/n) (voir exercice 2.7).
M (X)
0
Y = X
y1
M(X) 1
Si la constante fait partie du modle (ce qui est gnralement le cas), alors nous avons, toujours
par Pythagore :
kY k2 k2
k SCR
R2 = cos2 0 = 2
= 1 2
=1 ,
kY k kY k SCT
ou plus souvent, si la constante fait partie du modle, par :
Ce coefficient mesure le cosinus carr de langle entre les vecteurs Y et Y pris lorigine ou pris
en y1. Nanmoins, on peut lui reprocher de ne pas tenir compte de la dimension de lespace de
projection M(X), do la dfinition du coefficient de dtermination ajust.
Dfinition 2.4
Le coefficient de dtermination ajust Ra2 est dfini par :
n k k2 n SCR n
Ra2 = 1 2
=1 =1 (1 R2 ),
n p kY k n p SCT np
n1 k2
k n 1 SCR n1
Ra2 = 1 =1 =1 (1 R2 ).
n p kY y1k2 n p SCT np
Avec le logiciel R, le coefficient de dtermination R2 est appel Multiple R-Squared, tandis que
le coefficient de dtermination ajust Ra2 est appel Adjusted R-Squared (cf. infra).
2.4 Exemple
Nous allons traiter les 50 donnes journalires prsentes en Annexe D. La variable expliquer est
la concentration en ozone note O3 et les variables explicatives sont la temprature T12, le vent Vx
et la nbulosit Ne12. Les donnes sont traites avec le logiciel R.
Residuals:
Min 1Q Median 3Q Max
-29.0441 -8.4833 0.7857 7.7011 28.2919
Coefficients :
Estimate Std. Error t value Pr(>|t|)
(Intercept) 84.5483 13.6065 6.214 1.38e-07 ***
T12 1.3150 0.4974 2.644 0.01118 *
Vx 0.4864 0.1675 2.903 0.00565 **
Ne12 -4.8935 1.0270 -4.765 1.93e-05 ***
-
Signif. codes: 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1
Residual standard error: 13.91 on 46 degrees of freedom
Multiple R-Squared: 0.6819, Adjusted R-squared: 0.6611
F-statistic: 32.87 on 3 and 46 DF, p-value: 1.663e-11
Les interprtations des sorties sont similaires celles obtenues pour la rgression simple. Noter
que le Residual standard error correspond lcart-type rsiduel, cest--dire .
2.5 Exercices
Exercice 2.1 (Rgression simple et Rgression multiple)
Soit un chantillon de n couples (xi , yi )1in pour le modle de rgression linaire simple y =
1 + 2 x + .
1. Rappeler les formules de 1 et 2 vues au Chapitre 1.
Y = Z +
Y = X +
Supposons pour simplifier que la constante ne fait partie daucun modle. Notons respectivement
PX et PZ les projections orthogonales sur les sous-espaces M(X) et M(Z) engendrs par les
p colonnes de X et les q colonnes de Z. Notons enfin PXZ la projection orthogonale sur le
sous-espace M(X) M(Z) , orthogonal de M(Z) dans M(X), autrement dit :
R = M(X) M(X) = M(Z) M(X) M(Z)
n
M(X) .
Y = X + ,
YX = 1X X1 + + pX Xp
YZ = Z X1 + + Z Xq
1 q
YU = q+1
U
Xq+1 + + pU Xp .
Y = X + , (2.4)
Y = 1 1 + Z(1) + ,
Y = Z
(1) + , (2.5)
o Y = P1 Y et Z = P1 Z.
5. Ecrire la SCR estime dans le modle (2.5) en fonction des variables du modle (2.5). Vri-
fier que la SCR du modle (2.5) est identique celle qui serait obtenue par lestimation du
modle (2.4).
o Z est donc une matrice de taille n p. Les moyennes de ses colonnes Z1 , . . . , Zp sont
= [
regroupes dans le vecteur ligne x p ]. Enfin, on considre comme prcdemment
x1 , . . . , x
le modle de rgression linaire
yi = 0 + 1 xi1 + + p xip + i = xi + i ,
(c) Soit xn+1 = [1, zn+1 ] une nouvelle donne. Montrer que la variance de lerreur de pr-
vision est gale
1 1
Var(n+1 ) = 2 1 + + (zn+1 x ) 1 (zn+1 x
) .
n n
2.6 Corrigs
Exercice 2.1 (Rgression simple et Rgression multiple)
On dispose donc dun chantillon de n points (xi , yi )1in .
1. On a vu au Chapitre 1 que les estimateurs des MCO ont pour expressions :
1 = y 2 x
,
avec Pn Pn
(xi x)(yi y) (xi x
)yi
2 = i=1
Pn 2
= Pi=1
n .
i=1 (xi x
) )2
i=1 (xi x
do : P P
1 y x2i x xi y i
(X X)1 X Y = P P
)2
(xi x xi yi n
xy
Il suffit alors de voir que
X X
xi yi n
xy = (xi x
)(yi y)
2 x
Cov(1 , 2 ) = P .
)2
(xi x
2. Puisque Y est la projection orthogonale de Y sur le sous-espace engendr par les colonnes de
X, le vecteur = Y Y est orthogonal toutes les colonnes de X. En particulier, si lune
dentre elles est constante et vaut c1 (c suppos non nul), on en dduit que :
, c1i = 0 h
h , 1i = 0.
Autrement dit, lorsque la constante fait partie du modle, la somme des rsidus vaut 0.
3. Dire que la constante fait partie du modle signifie typiquement que la premire colonne de
X est le vecteur 1. Daprs la question prcdente, on sait que dans ce cas :
X X
, 1i = 0
h yi = yi .
Ainsi, lorsque la constante fait partie du modle, la moyenne des observations yi est la mme
que celle de leurs valeurs ajustes.
2. Si la constante ne fait partie daucun modle, alors dans le premier modle, le R2 vaut :
2 kPZ Y k2
RZ = ,
kY k2
et dans le second :
3. Ceci montre la chose suivante : ds lors que deux modles sont embots, le coefficient de
dtermination du plus gros sera suprieur celui du plus petit. Autrement dit, ds que lon
ajoute une ou des variables un modle, on amliore le pourcentage de variation explique,
mme si les variables explicatives supplmentaires ne sont pas pertinentes ! En ce sens, le co-
efficient de dtermination ajust est prfrable, ayant au moins le mrite de tenir compte des
dimensions des diffrents modles. Plus prcisment, nous verrons au Chapitre 3 comment
effectuer des tests dhypothses entre modles embots.
(c) Le coefficient de corrlation linaire empirique entre x et z se dduit lui aussi de la ma-
trice X X. On remarque tout dabord que les moyennes empiriques sont nulles puisque
(X X)1,2 (X X)1,3
x
= =0= = z
n n
Par consquent
P P
(xi x
)(zi z) xi zi (X X)2,3
rx,z =p p = qP qP = p p
)2 (zi z)2
(xi x x2i zi2 (X X)2,2 (X X)3,3
ce qui donne
5.4
rx,z = 0.5
9.3 12.7
2. La rgression linaire de Y sur (1, x, z) donne
(a) Puisque la constante fait partie du modle, la moyenne empirique des rsidus est nulle :
= 0. On en dduit que
(b) Puisque la constante fait partie du modle, la somme des carrs explique par le modle
est X X
SCE = kY y1k2 = (yi y)2 = (0.61xi + 0.46zi )2
cest--dire
X X X
SCE = kY y1k2 = 0.612 x2i + 2 0.61 0.46 xi zi + 0.462 zi2
SCE = kY y1k2 = 0.612 (X X)2,2 + 2 0.61 0.46(X X)2,3 + 0.462 (X X)3,3 = 9.18
La somme des carrs totale est alors immdiate, en vertu de la sacro-sainte formule de
dcomposition de la variance :
n1
Ra2 = 1 (1 R2 ) 0.965
np
Y = X + ,
YX = 1X X1 + + pX Xp
YZ = Z X1 + + Z Xq
1 q
YU = q+1
U
Xq+1 + + pU Xp .
PZ PX = PZ X = PU
projection orthogonale sur le sous-espace engendr par les colonnes de U puisque les colonnes
de X sont orthogonales. Au total, on obtient la dcomposition orthogonale YX = YZ + YU
et le thorme de Pythagore assure donc que SCE(X) = SCE(Z) + SCE(U ).
2. Pour lexpression de 1X , on part tout simplement de la formule gnrale
X = (X X)1 X Y
Puisque les colonnes de X sont orthogonales, la matrice X X est diagonale, de termes diago-
naux kXi k2 . Par ailleurs, X Y est un vecteur colonne de taille p, dont les coordonnes sont
les produits scalaires Xi Y = hXi , Y i. Ainsi
hX1 , Y i hXp , Y i hX1 , Y i
X
= 2
,..., 2
1X = .
kX1 k kXp k kX1 k2
Y = X + , (2.6)
Y = 1 1 + Z(1) + ,
Puisque P1 + P1 = In , il vient :
Le premier vecteur entre parenthses est dans le sous-espace engendr par le vecteur 1, le
second dans son orthogonal, donc par Pythagore :
Or P1 Y = y1, P1 Y = Y y1 = Y et P1 Z = Z,
donc ceci se rcrit :
Minimiser cette somme de deux termes en (1 , (1) ) revient commencer par minimiser le
second terme en (1) , ce qui fournit (1) , et prendre ensuite
1 = y Z (1) .
Y = Z
(1) + , (2.7)
o Y = P1 Y et Z = P1 Z.
5. La SCR estime dans le modle (2.7) est
X n
SCR = kY Y k2 = (yi yi )2 .
i=1
Or pour tout i, yi = yi y et :
i = 2 x
y i2 + + p x
ip = 2 (xi2 x
2 ) + + p (xip x
p ),
do :
n
X
SCR = (yi y 2 (xi2 x
2 ) p (xip x
p ))2 .
i=1
Lorsque la constante appartient au modle, la somme des rsidus est nulle, donc :
y = Y = 1 + 2 x
2 + + p x
p ,
Autrement dit, la SCR du modle (2.7) est identique celle qui serait obtenue par lestima-
tion du modle (2.6). Mazel tov !
Le modle gaussien
Introduction
Rappelons le contexte du chapitre prcdent. Nous avons suppos un modle de la forme :
Yn1 = Xnp p1 + n1
o les dimensions sont indiques en indices. Les hypothses concernant le modle taient :
(H1 ) : rg(X) = p
(H)
(H2 ) : E[] = 0, Var() = 2 In
Dans tout ce chapitre, comme ce fut le cas en fin de Chapitre 1, nous allons faire une hypothse
plus forte, savoir celle de gaussianit des rsidus. Nous supposerons donc dsormais :
(H1 ) : rg(X) = p
(H)
(H2 ) : N (0, 2 In )
Ceci signifie que les rsidus sont indpendants et identiquement distribus. Lintrt de supposer
la gaussianit des rsidus est de pouvoir en dduire les lois de nos estimateurs, donc de construire
des rgions de confiance et des tests dhypothses.
i N (0, 2 ) yi = xi + i N (xi , 2 )
On cherche les estimateurs mv et 2 qui maximisent cette log-vraisemblance. Il est clair quil faut
mv
minimiser la quantit kY Xk2 , ce qui est justement le principe des moindres carrs ordinaires,
donc :
mv = = (X X)1 X Y.
Une fois ceci fait, on veut maximiser sur R+ une fonction de la forme (x) = a + b log x + xc , ce
qui ne pose aucun souci en passant par la drive :
2 )
L(Y, , n 1
= 2,
+ 4 kY X k
2 2 2 2
do il vient :
2
kY X k
2
mv = .
n
2
kY X k
2 =
Si lon compare ce quon a obtenu au chapitre prcdent, o nous avons not np
2
lestimateur de la variance , nous avons donc :
2 np 2
mv =
.
n
On voit donc que lestimateur 2 du maximum de vraisemblance est biais, mais dautant moins
mv
que le nombre de variables explicatives est petit devant le nombre n dobservations. Dans la suite,
nous continuerons considrer lestimateur 2 des moindres carrs vu au chapitre prcdent et
nous conserverons aussi la notation adopte pour les rsidus i , de sorte que :
Pn 2
2 2i
i=1 k2
k kY X k
= = = .
np np np
(Y ) 1 2
Y (Y ) n
Le thorme de Cochran, trs utile dans la suite, assure que la dcomposition dun vecteur gaussien
sur des sous-espaces orthogonaux donne des variables indpendantes dont on peut expliciter les lois.
Nous pouvons appliquer ce rsultat dans notre cadre, comme nous allons le voir en section suivante.
Preuve.
(i) Nous avons vu que = (X X)1 X Y = (X X)1 X (X + ), or par hypothse
N (0, 2 In ) est un vecteur gaussien. On en dduit que est lui aussi un vecteur gaussien, sa
loi est donc entirement caractrise par la donne de sa moyenne et de sa matrice de dispersion,
lesquelles ont t calcules au Chapitre 2 (Proposition 2.2).
(ii) Comme dans le chapitre prcdent, notons M(X) le sous-espace de Rn engendr par les
colonnes de X et PX = X(X X)1 X la projection orthogonale sur ce sous-espace. On peut
noter que :
k2
k kY PX Y k2
2 =
=
np np
est une variable alatoire fonction de (Y PX Y ). Par le thorme de Cochran, nous savons que
les vecteurs PX Y et (Y PX Y ) sont indpendants, il en va donc de mme pour toutes fonctions
de lun et de lautre.
2
kPX k2 kPX ( E[])k2
(n p) = = 2np .
2 2 2
Bien entendu le premier point du rsultat prcdent nest pas satisfaisant pour obtenir des rgions
de confiance sur car il suppose la variance 2 connue, ce qui nest pas le cas en gnral. La
proposition suivante pallie cette insuffisance.
1 1 q
2
(R( )) R(X X)1 R R( ) Fnp .
q
Cautious ! Lcriture (X X)1 jj signifie le j-me terme diagonal de la matrice (X X)1 , et
non linverse du j-me terme diagonal de la matrice (X X). Afin dallger les critures, nous
1
crirons souvent (X X)jj au lieu de (X X)1 jj .
Preuve.
(i) Daprs la proposition prcdente, on sait dune part que j N (j , 2 (X X)1jj ), dautre
2
part que (n p) 2 2np et enfin que j et
2 sont indpendants. Il reste alors crire Tj sous
la forme :
j
q j
(X X)1
jj
Tj =
pour reconnatre une loi de Student Tnp .
(ii) Commenons par remarquer que la matrice carre R(X X)1 R de taille q est inversible
puisque (X X)1 est de rang plein dans Rp , avec p q. En tant que transforme linaire
dun vecteur gaussien, R est un vecteur gaussien de moyenne R et de matrice de covariance
2 R(X X)1 R . On en dduit que :
1
(R( )) R(X X)1 R 1 R( ) 2 .
q
2
2
2 en se souvenant que (n p) 2 2np et du fait que et 2 sont
Il reste remplacer 2 par
indpendants. On obtient bien alors la loi de Fisher annonce.
De ces rsultats vont dcouler les rgions de confiance de la section suivante. Auparavant, donnons
un exemple illustrant le second point que lon vient dtablir.
Si la constante fait partie du modle, X est la matrice n2 dont la premire colonne est uniquement
compose de 1 et la seconde est compose des xi , si bien que
P
1 n xi n P n
x
XX= P P P =
)2
(xi x xi x2i nx x2i
o tnp (1 /2) est le quantile de niveau (1 /2) dune loi de Student Tnp .
(ii) Un intervalle de confiance de niveau (1 ) pour 2 est :
(n p)2 2
(n p)
, ,
cnp (1 /2) cnp (/2)
1 q
(R( )) (R(X X)1 R )1 (R( )) fnp (1 ), (3.1)
2
q
o R est la matrice de taille q p dont tous les lments sont nuls sauf les Ri,ji , qui valent 1,
q q
et fnp (1 ) est le quantile de niveau (1 ) dune loi de Fisher Fnp .
Exemple. Considrons p 2, q = 2 et la matrice R dfinie comme suit :
1 0 0 0 0
R= ,
0 1 0 0 0
de sorte que
1 1
R( ) = .
2 2
Si on note cij le terme gnral de (X X)1 , le point (iii) permet dobtenir une rgion de confiance
simultane RC(1 , 2 ) pour (1 , 2 ) :
( )
c22 (1 1 )2 2c12 (1 1 )(2 2 ) + c11 (2 2 )2
(1 , 2 ) R :
2 2
fnp (1 ) .
2 (c11 c22 c212 )
2
Cette rgion de confiance est une ellipse qui tient compte de la corrlation entre 1 et 2 . La figure
3.1 permet de faire le distinguo entre intervalles de confiance considrs sparment pour 1 et 2
et rgion de confiance simultane pour (1 , 2 ).
4
2
0
2
2
4
4 2 0 2 4
1
3.2.4 Prvision
Soit xn+1 = [xn+1,1 , , xn+1,p ] une nouvelle valeur pour laquelle nous voulons prdire la variable
expliquer yn+1 dfinie par :
yn+1 = xn+1 + n+1
avec n+1 N (0, 2 ) indpendant des (i )1in . A partir des n observations prcdentes, nous
avons pu calculer un estimateur de . Nous nous servons de cet estimateur pour prvoir yn+1
par :
yn+1 = xn+1 .
qui est la somme de deux variables gaussiennes indpendantes puisque est construit partir des
(i )1in . On en dduit que (yn+1 yn+1 ) est une variable gaussienne, dont moyenne et variance
ont t calcules au chapitre prcdent, ce qui donne :
On remarque que le numrateur suit une loi normale centre rduite, le dnominateur est la racine
dun chi-deux (n p) ddl divis par (n p). Il reste voir que numrateur et dnominateur
+ n+1 et
sont indpendants, or yn+1 yn+1 = xn+1 ( ) est indpendant la fois de (cf.
Proprits 3.1) et de n+1 (puisque
ne dpend que des (i )1in ). On en conclut que :
yn+1 yn+1
q Tnp ,
1 + xn+1 (X X)1 xn+1
O3i = 1 + 2 Ti + 3 Vi + 4 Ni + i
Ces tests dhypothses reviennent tester la nullit dun ou plusieurs paramtres en mme temps.
Si lon teste plusieurs paramtres la fois, on parle de nullit simultane des coefficients. Ceci
signifie que, sous lhypthse H0 , certains coefficients sont nuls, donc les variables correspondant
ceux-ci ne sont pas utiles pour la modlisation du phnomne. Ce cas de figure revient comparer
deux modles embots, lun tant un cas particulier de lautre.
Le plan dexprience priv de ces variables sera not X0 et les colonnes de X0 engendreront un
sous-espace not M0 = M(X0 ). De mme, pour allger les notations, nous noterons M = M(X)
lespace engendr par les colonnes de X. Le niveau de risque des tests sera fix de faon classique
.
H0 : p0 +1 = = p = 0 contre H1 : j {p0 + 1, , p} : j 6= 0.
Maintenant que les hypothses du test sont fixes, il faut proposer une statistique de test. Nous
allons voir une approche gomtrique et intuitive de laffaire.
Approche gomtrique
Considrons le sous-espace M0 . Nous avons crit que sous H0 : E[Y ] = X0 0 M0 . Dans ce cas,
la mthode des moindres carrs consiste projeter Y non plus sur M et obtenir Y , mais sur M0
et obtenir Y0 . Visualisons ces diffrentes projections sur la figure 3.2.
Y
Y0
M0
M
Lide intuitive du test, et donc du choix de conserver ou non H0 , est la suivante : si la projection
Y0 de Y dans M0 est proche de la projection Y de Y dans M, alors il semble intuitif de conserver
lhypothse nulle. En effet, si linformation apporte par les deux modles est peu prs la mme,
il vaut mieux conserver le modle le plus petit : cest le principe de parcimonie.
Il faut videmment quantifier le terme proche. Pour ce faire, nous pouvons utiliser la distance
euclidienne entre Y0 et Y , ou son carr kY Y0 k2 . Mais cette distance sera variable selon les
donnes et les units de mesures utilises. Pour nous affranchir de ce problme dchelle, nous
k2 =
allons standardiser cette distance en la divisant par la norme au carr de lerreur estime k
2
kY Y k = (n p) 2
. Les vecteurs alatoires (Y Y0 ) et nappartenant pas des sous-espaces
de mme dimension, il faut encore diviser chaque terme par son degr de libert respectif, soit
q = p p0 et n p. Toute cette tambouille nous mne la statistique de test suivante :
kY Y0 k2 /q kY Y0 k2 /(p p0 )
F = = .
kY Y k2 /(n p) kY Y k2 /(n p)
Pour utiliser cette statistique de test, il faut connatre au moins sa loi sous H0 . Remarquons quelle
correspond au rapport de deux normes au carr. Nous allons dterminer la loi du numrateur, celle
du dnominateur et constater leur indpendance. En notant P (resp. P0 ) la matrice de projection
orthogonale sur M (resp. M0 ), nous savons que :
Y Y0 = P Y P0 Y,
or M0 M donc P0 Y = P0 P Y et :
Y Y0 = P Y P0 P Y = (In P0 )P Y = P0 P Y.
La figure 3.2 permet de visualier ces notions dorthogonalit de faon gomtrique. Les vecteurs
alatoires (Y Y0 ) et (Y Y ) sont lments despaces orthogonaux, cest--dire quils ont une co-
variance nulle. Puisque tout est gaussien, ils sont donc indpendants et les normes du numrateur
et du dnominateur sont indpendantes galement.
Le thorme de Cochran nous renseigne par ailleurs sur les lois des numrateur et dnominateur.
Pour le dnominateur :
1 1 1 1
2
kY Y k2 = 2 kP Y k2 = 2 kP (X + )k2 = 2 kP k2 2np ,
et pour le numrateur :
1
kP P (Y X)k2 2q .
2 0
Sous H0 , le paramtre de dcentrage kP0 P Xk2 est nul puisque dans ce cas X M0 .
n p SCR0 SCR q
F = Fnp .
q SCR
kY Y0 k2 = kY P Y + P Y P0 Y k2 = kP Y + (In P0 )P Y k2 = kP Y + P0 P Y k2
= kP Y k2 + kP0 P Y k2
= kY Y k2 + kY Y0 k2 ,
cest--dire :
kY Y0 k2 = kY Y0 k2 kY Y k2 = SCR0 SCR.
Rsumons ce qui prcde.
Proposition 3.3 (Test entre modles embots)
Sous lhypothse H0 , on a la statistique de test suivante
n p kY Y0 k2 n p SCR0 SCR q
F = = Fnp ,
q
kY Y k 2 q SCR
1 1 q
2
(R( )) R(X X)1 R R( ) Fnp .
q
R( ) = [p0 +1 , . . . , p ] .
0 ], la formule dinversion matricielle par blocs (B.2) rappele
Dautre part, si lon note X = [X0 |X
en Annexe assure que
1
R(X X)1 R =X (In P0 )X
0
0
de sorte que
1
(R( )) R(X X)1 R R( ) = [p0 +1 , . . . , p ]X 0 [p +1 , . . . , p ]
(I P0 )X
0 0
Ainsi
Y Y0 = (p0 +1 Xp0 +1 + + p Xp ) (p0 +1 P0 Xp0 +1 + + p P0 Xp )
ou encore
Y Y0 = (In P0 )(p0 +1 Xp0 +1 + + p Xp )
cest--dire
0 [p +1 , . . . , p ] .
Y Y0 = (In P0 )X 0
Remarque. En supposant que la constante fait partie des deux modles (ou ne fait partie daucun
dentre eux), la statistique de test prcdente peut aussi scrire en fonction des coefficients de
dtermination respectifs R2 et R02 comme suit (exercice) :
n p R2 R02
F = .
q 1 R2
Ainsi, si lon dispose des coefficients de dtermination dans deux modles embots, il suffit de
calculer cette statistique et de la comparer au quantile dune loi de Fisher pour effectuer le test
dhypothse.
Nous allons maintenant expliciter cette statistique de test dans deux cas particuliers.
Ce test est en fait quivalent au test de Student (n p) degrs de libert qui permet de tester
H0 : j = 0 contre H1 : j 6= 0, avec cette fois la statistique de test :
j
T = ,
j
q
o (X X)1 2
j = j = jj est lcart-type estim de j . On peut en effet montrer que F = T
(voir exercice 3.3). Nous rejetons H0 si lobservation de la statistique de test, note T (w), est telle
que :
|T (w)| > tnp (1 /2),
o tnp (1 /2) est le quantile dordre (1 /2) dune loi de Student (n p) degrs de libert.
Cest sous cette forme que le test de significativit dun coefficient apparat dans tous les logiciels de
statistique. Il est donc compltement quivalent au test gnral que nous avons propos, lorsquon
spcialise celui-ci la nullit dun seul coefficient.
Ce test est appel test de Fisher global. Dans ce cas Y0 = y1 et nous avons la statistique de test
suivante :
kY y1k2 /(p 1) p1
F = Fnp .
2
kY Y k /(n p)
On peut aussi lexprimer partir du coefficient de dtermination R2 vu au Chapitre 2 :
np R2
F = .
p 1 1 R2
Ce test est appel le test du R2 par certains logiciels statistiques.
Cette vraisemblance est maximale lorsque = est lestimateur des MCO et que 2 = 2
mv =
2
||Y X || /n. Nous avons alors :
sup L(Y, , 2 ) = L(Y, , 2
mv )
,2
!n/2
n n
= e 2
2
2||Y X ||
n n/2 n
= e 2 ,
2SCR
o SCR correspond la somme des carrs rsiduels, cest--dire SCR = ||Y X || 2 . Sous lhy-
pothse H0 , nous obtenons de faon vidente le rsultat suivant :
n/2
n n
2
sup L0 (Y, 0 , ) = e 2 = L0 (Y, 0 ,
02 ),
,2 2SCR0
o SCR0 correspond la somme des carrs rsiduels sous H0 , cest--dire SCR0 = ||Y X0 0 ||2 ,
02 = SCR0 /n. On dfinit alors le test du Rapport de Vraisemblance Maximale par la rgion
et
critique :
( )
L0 (Y, 0 ,
02 )
D = Y R : =n
< 0 .
L(Y, , 2 ) mv
g() = 2/n 1.
La fonction g est dcroissante donc < 0 si et seulement si g() > g(0 ). Cette fonction g va
nous permettre de nous ramener des statistiques dont la loi est connue. Nous avons en effet :
SCR0 SCR np SCR0 SCR
g() > g(0 ) > g(0 ) > f0 ,
SCR p p0 SCR
o f0 est dtermin par :
np SCR0 SCR
PH0 > f0 = ,
p p0 SCR
q q
cest--dire f0 = fnp (1 ), quantile de la loi de Fisher Fnp (cf. section prcdente). Le test
du Rapport de Vraisemblance Maximale est donc quivalent au test qui rejette H0 lorsque la
statistique :
np SCR0 SCR
F =
p p0 SCR
est suprieure f0 , o f0 la valeur du quantile dordre (1 ) de la loi de Fisher (p p0 , n p)
degrs de libert. Ainsi le test gomtrique que nous avons propos est quivalent au test du
Rapport de Vraisemblance Maximale.
Proprits 3.3
Lestimateur des Moindres Carrs Ordinaires sous contrainte, not c , vaut :
L = S() (R r).
:
Nous obtenons alors pour
= 2 R(X X)1 R 1 r R(X X)1 X Y .
do nous dduisons c :
1
c = (X X)1 X Y + (X X)1 R R(X X)1 R
(r R)
1
= + (X X)1 R R(X X)1 R
(r R).
3.5 Exemple
Nous allons traiter 50 donnes journalires prsentes en annexe. La variable expliquer est la
concentration en ozone note O3 et les variables explicatives sont la temprature T12, le vent Vx et
la nbulosit Ne12.
Call:
lm(formula = O3 T12 + Vx + Ne12, data = DONNEE))
Residuals:
Min 1Q Median 3Q Max
-29.0441 -8.4833 0.7857 7.7011 28.2919
Coefficients :
Estimate Std. Error t value Pr(>|t|)
(Intercept) 84.5483 13.6065 6.214 1.38e-07 ***
T12 1.3150 0.4974 2.644 0.01118 *
Vx 0.4864 0.1675 2.903 0.00565 **
Ne12 -4.8935 1.0270 -4.765 1.93e-05 ***
-
Signif. codes: 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1
Residual standard error: 13.91 on 46 degrees of freedom
Multiple R-Squared: 0.6819, Adjusted R-squared: 0.6611
F-statistic: 32.87 on 3 and 46 DF, p-value: 1.663e-11
Pour tous les coefficients pris sparment, nous refusons au seuil = 5% lhypothse H0 : j = 0.
La dernire ligne de la sortie du logiciel donne la statistique du test de Fisher global : Tous les
coefficients sont nuls sauf la constante. Nous avions 50 observations, nous avons estim 4 para-
mtres et donc les degrs de libert de la loi de Fisher sont bien (3,46). Nous refusons nouveau
H0 . De faon gnrale, il est clair qu moins davoir propos nimporte quoi comme rgresseurs,
ce test est toujours rejet...
3.6 Exercices
Exercice 3.1 (QCM)
1. Nous pouvons justifier les MC quand N (0, 2 I) via lapplication du maximum de vrai-
semblance :
A. Oui ;
B. Non ;
C. Aucun rapport entre les deux mthodes.
2. Y a-t-il une diffrence entre les estimateurs des MC et e du maximum de vraisemblance ?
A. Oui ;
B. Non ;
C. Pas toujours, cela dpend de la loi des erreurs.
2 des MC et
3. Y a-t-il une diffrence entre les estimateurs e2 du maximum de vraisemblance
2
quand N (0, I) ?
A. Oui ;
B. Non ;
C. Pas toujours, cela dpend de la loi des erreurs.
4. Le rectangle form par les intervalles de confiance de niveau individuels de 1 et 2 cor-
respond la rgion de confiance simultane de niveau de la paire (1 , 2 ).
A. Oui ;
B. Non ;
C. Cela dpend des donnes.
5. Nous avons n observations et p variables explicatives, nous supposons que suit une loi
normale, nous voulons tester H0 : 2 = 3 = 4 = 0. Quelle va tre la loi de la statistique de
test ?
A. Fp3,np ;
B. F3,np ;
C. Une autre loi.
Coefficients :
Estimate Std. Error t value Pr(>|t|)
(Intercept) 62 10 1 0
T9 -4 2 -5 0
T12 5 0.75 3 0
Ne9 -1.5 1 4 0.13
Ne12 -0.5 0.5 5 0.32
Vx 0.8 0.15 5.3 0
-
Multiple R-Squared: 0.6233, Adjusted R-squared: 0.6081
Residual standard error: 16 on 124 degrees of freedom
F-statistic: 6 on 7 and 8 DF, p-value: 0
Coefficients :
Estimate Std. Error t value Pr(>|t|)
(Intercept) 66 11 6 0
T9 -5 1 -5 0
T12 6 0.75 8 0
Vx 1 0.2 5 0
-
Multiple R-Squared: 0.5312, Adjusted R-squared: 0.52
Residual standard error: 16.5 on 126 degrees of freedom
o P0 est la matrice nn de projection orthogonale sur lespace M0 engendr par les colonnes
de X0 .
6. En notant Y et Y0 les projets orthogonaux de Y sur M et M0 , et en justifiant le fait que
Y0 = P0 Y = P0 P Y = P0 Y
montrer que
Y Y0 = p (In P0 )Xp
7. En dduire que F = T 2 et conclure.
Les xi,j sont supposes non alatoires. Les erreurs i du modle sont supposes alatoires indpen-
dantes gaussiennes centres de mme variance 2 . On pose comme dhabitude :
1 x1,2 x1,3 x1,4 y1 1
2
X = ... .. ..
.
. . , Y = .. , =
3 .
1 xn,2 xn,3 xn,4 yn 4
On admettra que
1
20 15 4 1100 560 30
15 30 10 = 1 560 784 140 .
13720
4 10 40 30 140 375
estimateur des moindres carrs de , la somme des carrs des rsidus P50
1. Calculer , 2i ,
i=1
et donner lestimateur de 2 .
2. Donner un intervalle de confiance pour 2 , au niveau 95%. Faire de mme pour 2 (on donne
c1 = 29 et c2 = 66 pour les quantiles dordre 2,5% et 97,5% dun chi-deux 46 ddl).
3 (0, 95) =
3. Tester la validit globale du modle (2 = 3 = 4 = 0) au niveau 5% (on donne f46
2.80 pour le quantile dordre 95% dune Fisher (3,46) ddl).
4. On suppose x51,2 = 1, x51,3 = 1 et x51,4 = 0, 5. Donner un intervalle de prvision 95%
pour y51 .
Vi = Li Ki ,
yi = 1 + 2 xi,2 + 3 xi,3 + i , 1 i n.
Les xi,j sont des variables exognes du modle, les i sont des variables alatoires indpendantes,
de loi normale centre admettant la mme variance 2 . En posant :
1 x1,2 x1,3 y1
X = ... .. .. et Y = .. ,
. . .
1 xn,2 xn,3 yn
on a observ :
30 20 0 15
X X = 20 20 0 , X Y = 20 , Y Y = 59.5.
0 0 10 10
1. Dterminer la valeur de n, la moyenne des xi,3 , le coefficient de corrlation des xi,2 et des
xi,3 .
2. Estimer 1 , 2 , 3 , 2 par la mthode des moindres carrs ordinaires.
3. Calculer pour 2 un intervalle de confiance 95% et tester lhypothse 3 = 0.8 au niveau
10%.
4. Tester 2 + 3 = 3 contre 2 + 3 6= 3, au niveau 5%.
5. Que vaut y, moyenne empirique des yi ? En dduire le coefficient de dtermination ajust
Ra2 .
6. Construire un intervalle de prvision 95% de yn+1 connaissant : xn+1,2 = 3 et xn+1,3 = 0, 5.
o :
reprsente un vecteur de Rk : = [1 , . . . , k ] ,
Les Yi sont supposes indpendantes entre elles.
Enfin, les valeurs i2 des variances dpendent de lappartenance p sous-populations des lments
sur lesquels les variables sont observes. En regroupant les indices des Yi selon ces sous-populations,
on posera :
I1 = {1, . . . , n1 }, indices des n1 lments de la premire sous-population ;
I2 = {n1 + 1, . . . , n1 + n2 }, indices des n2 lments de la deuxime sous-population ;
... ;
I = {n1 + . . . + n1 + 1, . . . , n1 + . . . + n1 + n }, indices des n lments de la -me sous-
population ;
... ;
Ip = {n1 + . . . + np1 + 1, . . . , n}, indices des np lments de la dernire sous-population.
1. Que vaut fYi (yi ), fYi reprsentant la densit de la loi normale N xi , i2 ?
2. Montrer que et 2 sont solutions du systme dquations :
( Pp 1 P
xi )2 = n 2
iI (yiP
=1 P
p 1 (3.3)
j = 1, . . . , k =1 iI (yi xi ) xij = 0.
26
24
22
20
18
16
14
12
Circonfrence
10
20 30 40 50 60 70 80
yi = 1 + 2 xi + 3 xi + i , 1 i n.
Les i sont des variables alatoires indpendantes, de loi normale centre admettant la mme
variance 2 . En posant :
1 x1 x1 y1
X = ... ... .. et Y = .. ,
. .
1 xn xn yn
on a observ :
? ? 9792 30310
X X = ? 3306000 ? , X Y = 1462000 , Y Y = 651900.
? 471200 67660 209700
1. Dterminer les ? dans la matrice X X.
2. Que vaut la circonfrence moyenne empirique x?
3. Le calcul donne (en arrondissant !)
1 4.646 0.101 1.379 16.8
X X = 0.101 0.002 0.030 et (X X)1 X Y = 0.30 .
1.379 0.030 0.411 7.62
Que valent les estimateurs 1 , 2 , 3 par la mthode des moindres carrs ? Grce au calcul
de quelques points, reprsenter la courbe obtenue sur la figure 3.3.
4. Calculer lestimateur de 2 pour les moindres carrs.
5. Calculer pour 3 un intervalle de confiance 95%.
6. Tester lhypothse 2 = 0 au niveau de risque 10%.
7. Que vaut la hauteur moyenne empirique y ? En dduire le coefficient de dtermination ajust
Ra2 .
8. Construire un intervalle de prvision 95% de yn+1 connaissant xn+1 = 49.
9. Construire un intervalle de prvision 95% de yn+1 connaissant xn+1 = 25.
10. Des deux intervalles prcdents, lequel est le plus grand ? Pouvait-on sy attendre ?
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 4.72385 0.12974 ? < 2e-16 ***
Temp -0.27793 ? -11.04 1.05e-11 ***
---
Signif. codes: 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1
o, pour chaque coefficient, le nombre entre parenthses reprsente la valeur absolue de la statis-
tique de test.
1. Quelles sont les hypothses utilises ?
2. Tester la nullit de 1 au seuil de 5%.
3. Pouvez-vous tester H0 : 3 = 1 contre H1 : 3 6= 1 ?
4. Tester la nullit simultane des paramtres associs aux variables x1 , . . . , x4 au seuil de 5%.
Y = X + ,
(a) Estimer et 2 .
(b) Donner un estimateur de la variance de .
(c) Donner un intervalle de confiance pour 2 , au niveau 95%.
(d) Calculer un intervalle de prvision de yn+1 au niveau 95% connaissant : xn+1,2 = 3,
xn+1,3 = 0.5 et xn+1,4 = 2.
Y = X + ,
2000
1500
Poids viscr
1000
500
0
Figure 3.4 Poids de poulpe viscr en fonction du poids non viscr (en grammes).
Table 3.1 Poids de poulpes viscrs et non viscrs : rsultats de la rgression linaire simple
(sortie R).
(c) A partir du tableau 3.1, donner les estimations numriques des paramtres du modle.
(d) Que reprsente la valeur 0.698 du tableau 3.1 ? Comment la retrouver ( peu prs)
partir de -0.388 et de la table de la loi normale donne en annexe (faire un dessin).
(e) Au vu de cette valeur 0.698, proposer un autre modle reliant les poids viscr et non
viscr.
2. De faon gnrale, considrons un chantillon de n couples de rels (xi , yi ) suivant le modle
yi = xi + i , o les erreurs i sont supposes gaussiennes indpendantes centres et de mme
variance 2 .
(a) Dterminer lestimateur de minimisant la somme des carrs des carts au modle.
Table 3.2 Poids de poulpes viscrs et non viscrs : rsultats de la rgression linaire simple
avec le modle simplifi (sortie R).
(d) Les rsultats de lanalyse de ce nouveau modle sont fournis dans le tableau 3.2. Localiser
et
2 dans ce tableau.
(e) On veut prdire le poids viscr dun poulpe de poids non viscr x0 . Quelle est la
variance de lerreur de prvision ? Donner un intervalle de confiance 90% autour de la
prvision.
3.7 Corrigs
Exercice 3.1 (QCM)
ACABB.
Ceci nest pas tonnant : les variables Ne9 et Ne12 sont fortement corrles (peu de change-
ment de nbulosit en 3 heures), si bien que lorsque lune est dans le modle, lautre apporte
peu dinformation supplmentaire. Or le test de Student de nullit dun coefficient teste jus-
tement la pertinence dune variable lorsque toutes les autres sont prsentes. Le test de Fisher,
par contre, nous apprend que linformation apporte par ces variables nest pas ngligeable.
Au total, la solution serait donc de conserver lune des deux variables et de supprimer lautre.
Dernire remarque : la preuve de la Proposition 3.3 montre que le test de Fisher entre mo-
dles embots est li aux rgions de confiance simultanes dfinies par la Proprit 3.2 (ii).
Dans notre cas prcis, la conclusion est la suivante : si lon traait le rectangle de confiance
95% issu des intervalles de confiance de Ne9 et Ne12 , alors le point (0, 0) serait dans ce
rectangle. Par contre, il ne serait pas dans lellipse de confiance 95%. On voit donc sur cet
exemple la pertinence des rgions de confiance simultanes lorsquon a affaire des variables
trs corrles.
p
T = Tnp
p
p est lestimateur de lcart-type de p , cest--dire
o
q
p =
p = (X X)1 p,p .
kY Y0 k2 1
F = Fnp
2
Z
Tn = p Tn ,
Sn /n
loi de Student n degrs de libert. Il suffit alors de voir que Z 2 suit une loi du chi-deux
un seul degr de libert pour en dduire que
Z2
Fn = Tn2 = Fn1 ,
Sn /n
loi de Fisher 1 et n degrs de libert. En particulier, les quantiles dune loi de Fisher 1
et n degrs de libert sont les carrs des quantiles dune loi de Student n degrs de libert.
4. Avec les notations de lnonc, la matrice X X sous forme blocs comme suit
X0 X0 X0 Xp
X X = .
Xp X0 Xp Xp
5. La formule dinversion matricielle par blocs (B.2) rappele en Annexe donne alors pour le
dernier coefficient diagonal
1 1
[(X X)1 ]pp = Xp Xp Xp X0 (X0 X0 )1 X0 Xp = Xp (In X0 (X0 X0 )1 X0 )Xp
do
1
= Xp (In P0 )Xp
[(X X)1 ]pp
o P0 = X0 (X0 X0 )1 X0 est la matrice n n de projection orthogonale sur lespace M0
engendr par les (p 1) colonnes de X0 .
6. Puisque les (p 1) colonnes de X0 correspondent aux p premires colonnes de X, il est clair
que M0 est un sous-espace de M donc que P0 P = P0 . Puisque par dfinition Y0 = P0 Y et
Y = P Y , on en dduit que
Y0 = P0 Y = P0 P Y = P0 Y .
Dcomposons Y sur la base des p vecteurs de M
Y = X = 1 X1 + + p1 Xp1 + p Xp
Y0 = P0 Y = P0 (1 X1 + + p1 Xp1 + p Xp ) = 1 X1 + + p1 Xp1 + p P0 Xp
de sorte que
Y Y0 = p Xp p P0 Xp = p (In P0 )Xp
La comparaison montre bien que F = T 2 . En dautres termes, les deux tests de nullit du
coefficient p sont compltement quivalents. Notons cependant que si on veut effectuer un
test unilatral, cest Student qui simpose.
k2 = kY Y k2 = kY k2 kY k2 ,
k
cette dernire relation dcoulant de Pythagore. Le premier terme ne pose pas problme
puisque kY k2 = Y Y = 640. Pour le second, il suffit de remarquer que
2 = (X X) = Y X 458.
kY k2 = kX k
cest--dire :
h p p i
I(2 ) 2.55 2.0 3.96 1100/13720; 2.55 + 2.0 3.96 1100/13720 [1.42; 3.68].
cest--dire :
h i
I() 0.738 1.96 0.09 0.0016; 0.738 + 1.96 0.09 0.0016 [0.71; 0.76].
Donc dire que le rendement dchelle est constant, cest encore dire que + = 1. A contrario,
les rendements sont croissants si F (L, K) > F (L, K), cest--dire que + > 1. Nous
allons donc tester au niveau 5% H0 : + = 1, contre H1 : + > 1.
Sous lhypothse H0 , nous savons que
+ 1
Tn3 = T1655 ,
+
dont le quantile dordre 0.95 est 1.645. Il nous suffit donc de calculer . Or de faon
+
gnrale, on a la dcomposition :
Var( + ) = Var()
+ Var( ),
) + 2Cov(,
q
donc lestimateur cherch est
+
=
+ ), o :
Var(
+ ) = Var(
Var( ) + Var(
) + 2Cov(
, ),
Validation du modle
Introduction
En prsence dun chantillon de n observations (xi , yi )1in valeurs dans Rp R, les grandes
tapes de la rgression linaire sont les suivantes :
1. Modlisation. Nous considrons un modle de la forme :
Yn1 = Xnp p1 + n1 ,
2. Estimation. Nous estimons alors les paramtres et 2 par la mthode des moindres
carrs, laquelle est grosso modo quivalente la mthode du maximum de vraisemblance,
ce qui donne les estimateurs et
2 . Des lois de et
2 , nous avons dduit des intervalles
et/ou rgions de confiance pour et 2 , et avons pu construire des tests dhypothses.
3. Validation. Les deux premiers points tant acquis, il sagit dans ce chapitre de valider nos
hypothses. Autant la vrification de (H1 ) ne pose pas problme, autant celle de (H2 ) savre
dlicate. Nous nous contenterons donc de donner quelques pistes.
Erreurs Rsidus
E[i ] = 0 E[i ] = 0
Var() = 2 I ) = 2 (I H)
Var(
i
ri = .
1 hii
Puisquon a simplement remplac par son estime , on pourrait croire que ces rsidus suivent
une loi de Student : patatras, il nen est rien ! Cest pourquoi nous utiliserons plutt les rsidus
studentiss, souvent appels studentized residuals dans les logiciels et dfinis par :
ti = i ,
(i) 1 hii
o
(i) est lestimateur de dans le modle linaire priv de lobservation i.
Ces rsidus ti suivent bien une loi de Student (cf. Thorme 4.1 ci-aprs). Ils sont construits selon
la logique de validation croise (en abrg VC, ou plus prcisment mthode du leave-one-out),
cest--dire comme suit :
1. Dans un premier temps, nous estimons les paramtres et 2 laide de tous les individus
sauf le ime , nous obtenons ainsi les estimateurs (i) et 2 ;
(i)
2. Dans un second temps, nous considrons que la ime observation xi = [xi1 , . . . , xip ] est une
nouvelle observation et nous prvoyons yi par yip de faon classique : yip = xi (i) .
Le chapitre prcdent permet alors de prciser la loi suivante :
yi yip
q Tnp1 ,
(i) 1 + xi (X(i)
X )1 x
(i) i
loi de Student (n p 1) ddl puisque les estimateurs (i) et 2 sont construits partir de (n 1)
(i)
observations. Nous allons maintenant montrer que les rsidus studentiss par validation croise ti
correspondent exactement ces erreurs de prvision normalises.
Thorme 4.1
Si la matrice X est de plein rang et si la suppression de la ligne i ne modifie pas le rang de la
matrice, alors les rsidus studentiss par validation croise vrifient :
yi yi yi yip
ti = i = = q Tnp1 .
(i) 1 hii
(i) 1 hii
(i) 1 + xi (X(i)
X )1 x
(i) i
3. X Y = X(i)
Y
(i) + xi yi .
4. hii = xi (X X)1 xi .
Dans notre situation, le lemme dinversion matricielle scrit :
(X X)1 xi xi (X X)1
(X(i) X(i) )1 = (X X xi xi )1 = (X X)1 + ,
1 xi (X X)1 xi
et la relation sur hii ci-dessus donne :
1
(X(i) X(i) )1 = (X X)1 + (X X)1 xi xi (X X)1 .
1 hii
Calculons alors la prvision yip , o (i) est lestimateur de obtenu sans la ime observation :
h2ii
xi (X(i)
X(i) )1 xi = hii + .
1 hii
hii 1
1 + xi (X(i)
X(i) )1 xi = 1+ = ,
1 hii 1 hii
ce qui permet dtablir lgalit :
yi yi yi yip
ti = i = = q .
(i) 1 hii
(i) 1 hii
(i) 1 + xi (X(i)
X )1 x
(i) i
Le rsultat sur la loi de lerreur de prvision vu au chapitre prcdent sapplique alors directement
et ceci achve la preuve.
En conclusion, bien que les rsidus utiliss soient souvent les i , ceux-ci nont pas la mme variance
selon lobservation i et sont donc dconseiller. Afin de remdier cette htroscdasticit, nous
prfrerons utiliser les rsidus studentiss ti pour dtecter des valeurs aberrantes.
Remarque. Dun point de vue algorithmique, et contrairement aux ti , les ti semblent coteux
puisque chacun ncessite le calcul de
(i) . On peut en fait montrer la relation :
s
np1
ti = ti ,
n p t2i
qui assure quon ne paie rien de plus en temps de calcul remplacer les ti par les ti (voir par
exemple larticle dAtkinson [2]). Notons aussi sur cette formule que les ti sont une fonction crois-
sante des ti . En dautres termes, les plus grandes valeurs des rsidus studentiss correspondent aux
plus grandes valeurs des rsidus standardiss.
Une valeur aberrante est une observation qui est mal explique par le modle et qui conduit un
rsidu lev en ce point. Nous pouvons donc la dfinir grce aux rsidus studentiss ti .
Dfinition 4.1
Une donne aberrante est un point (xi , yi ) pour lequel le rsidu studentis par validation croise ti
est lev compar au seuil donn par la loi de Student : |ti | tnp1 (1 /2).
Gnralement, les donnes aberrantes sont dtectes en traant les ti squentiellement ou en fonc-
tion dautres variables (yi , xi , yi , etc.). La dtection des donnes aberrantes ne dpend que de la
valeur des rsidus. Ces reprsentations graphiques permettent de sassurer aussi de la validit du
modle.
3
2
2
1
1
3 2 1 0
0
1
2
5 10 15 20 2 4 6 8 10
(a) (b)
Figure 4.1 Rsidus studentiss corrects (figure a) et rsidus studentiss avec un individu aberrant
vrifier, signal par une flche, et un second moins important (figure b).
La figure 4.1(a) montre un ajustement satisfaisant o aucune structure ne se dgage des rsidus et
o aucun rsidu nest plus grand que la valeur test 2. Remarquons quen thorie % des individus
possdent des valeurs aberrantes. Nous cherchons donc plutt les rsidus dont les valeurs absolues
sont nettement au-dessus de tnp1 (1 /2) 2. Ainsi, en figure 4.1(b), nous nous intresserons
seulement lindividu dsign par une flche.
Laspect quasi gaussien des ti peut alors tre examin de plusieurs faons. Un histogramme est
la mthode la plus grossire. Citons aussi le graphique comparant les quantiles des rsidus estims
lesprance des mmes quantiles sous lhypothse de normalit. Ce type de graphique est appel
Q-Q plot (ou diagramme quantile-quantile).
3.0
2
2.5
1
2.0
0
1.5
|ti |
ti
1
1.0
2
0.5
3
0.0
1 2 3 4 1 2 3 4
yi yi
Sur la figure 4.2, lajustement nest pas satisfaisant car la variabilit des rsidus augmente avec
la valeur de yi , on parle de cne de variance croissante. Le second graphique reprsente la valeur
absolue du rsidu avec une estimation de la tendance des rsidus. Cette estimation de la tendance
est obtenue par un lisseur, ici lowess. Ce lisseur, qui est aussi nomm loess, est le plus utilis
pour obtenir ce type de courbe. Il consiste en une rgression par polynmes locaux itre.
Nous voyons que la tendance est croissante, donc que la variance des rsidus augmente le long
de laxe des abscisses. Ce deuxime graphique permet de reprer plus facilement que le premier
les changements de variance ventuels dans les rsidus. Le choix de laxe des abscisses est trs
important et permet (ou non) de dtecter une htroscdasticit. Dautres choix que yi en abscisse
peuvent savrer plus pertinents selon le problme : ce peuvent tre le temps, lindice...
Dun point de vue graphique, une reprsentation des rsidus judicieuse pourra nanmoins per-
mettre de suspecter quelques cas de non-indpendance et de complter lanalyse obtenue par des
tests. Si lon souponne une structuration temporelle (autocorrlation des rsidus), un graphique
temps en abscisse, rsidus en ordonne sera tout indiqu. Si lon souponne une structuration spa-
tiale, un graphique possible consiste en une carte sur laquelle en chacun des points de mesure,
on reprsente un cercle ou un carr (selon le signe du rsidu estim) de taille variable (selon la
valeur absolue du rsidu estim). Ce type de graphique (voir figure 4.3) permettra peut-tre de
dtecter une structuration spatiale (agrgats de ronds ou de carrs, ou au contraire alternance des
ronds/carrs). Si une structuration est observe, un travail sur les rsidus et en particulier sur leur
covariance est alors ncessaire.
Exemple. Le but ici est dexpliquer une variable Y , le nombre de plantes endmiques observes,
par trois variables : la surface de lunit de mesure, laltitude et la latitude. Les rsidus studentiss
sont reprsents sur la carte gographique des emplacements de mesure (figure 4.3). On observe
des agrgats de rsidus positifs ou ngatifs qui semblent indiquer quune structuration spatiale
reste prsente dans les rsidus.
Sur cet exemple, une simple reprsentation des rsidus en fonction de yi ou de lindice i de lob-
servation napporte que peu dinformation. Il importe donc dinsister ici sur le choix adquat de la
reprsentation graphique des rsidus.
21
2.5 1.5 0.5 0.5 1.5 2.5
26 38
13 22
25 Nevada
14
20
24 Californie
8 23 34
4 3 16
10 5 19
7
6
17
18 Mexique
11
2 12 30
15 1
9
Lutilisation dun lisseur peut permettre de dgager une ventuelle structuration dans les rsidus
(voir figure 4.4) et ce de manire aise et rapide, ce qui est primordial. Il est cependant difficile,
voire impossible, de discerner entre une structuration due un oubli dans la modlisation de la
moyenne et une structuration due une mauvaise modlisation de la variance (voir figure 4.4).
Un autre type de structuration des rsidus peut tre d une mauvaise modlisation. Supposons
que nous ayons oubli une variable intervenant dans lexplication de la variable Y . Cet oubli se
retrouvera forcment dans les rsidus, qui sont par dfinition les observations moins les estima-
tions par le modle. Lhypothse dabsence de structuration (Cov(i , j ) = 0 i 6= j) risque de ne
pas tre vrifie. En effet, la composante oublie dans le modle va sadditionner au vrai bruit et
devrait apparatre dans le dessin des rsidus.
Une forme quelconque de structuration dans le graphe des rsidus sera annonciatrice dun mauvais
2
2
1
1
0
0
1
1
2
2
0.0 0.5 1.0 1.5 2.0 2.5 0.0 0.5 1.0 1.5 2.0 2.5
(a) (b)
ajustement du modle. Une fois dtecte une structuration, il suffit, si lon peut dire, dajouter
au modle une variable explicative possdant la mme structuration. Voyons cela sur un exemple
graphique.
La figure (4.5) montre les graphiques dun modle linaire y = + 1 x1 + alors que le vrai
modle est deux variables y = + 1 x1 + 2 x2 + . Lajustement nest pas satisfaisant puis-
quune tendance linaire dcroissante se dgage des rsidus de la troisime reprsentation. Notons
limportance du choix de laxe des abscisses : les deux premiers graphiques, reprsentant les mmes
rsidus, ne laissent pas souponner cette tendance dcroissante. Le modle linaire propos nest
donc pas judicieux, il serait bon dajouter la variable oublie x2 .
3
3
2
2
1
1
0
0
1
1
2
Figure 4.5 Rsidus studentiss avec une tendance dcroissante due loubli dune variable x2
dans le modle. Les rsidus studentiss sont reprsents comme fonctions du numro de lobserva-
tion (indice), de lestimation du modle yi et comme fonction de x2 .
Malgr tout, ce type de diagnostic peut tre insuffisant. Une autre mthode plus prcise, mais fas-
tidieuse, consiste regarder, variable explicative par variable explicative, si la variable considre
agit bien de manire linaire sur la variable expliquer. Ce type danalyse sera men avec des rsi-
dus appels rsidus partiels (ou rsidus partiels augments) ou encore via des rgressions partielles.
Ces graphiques permettent de constater si une variable candidate est bien utile au modle et, le cas
chant, de trouver dventuelles fonctions non linaires de variables explicatives dj prsentes.
Rappelons quune fonction non linaire f fixe dune variable explicative xj est considre comme
une variable explicative part entire xp+1 = f (xj ).
En conclusion, il est impratif de tracer un graphique avec en ordonne les rsidus et en abs-
cisse : soit yi , soit le numro i de lobservation, soit le temps ou tout autre facteur potentiel de
non-indpendance. Idalement, ce type de graphique permettra : de vrifier lajustement global,
de reprer les points aberrants, de vrifier les hypothses concernant la structure de variance du
vecteur .
Dautres graphiques, tels ceux prsentant la valeur absolue des rsidus en ordonne, permettront
de regarder la structuration de la variance. Lanalyse des rsidus permet de dtecter des diffrences
significatives entre les valeurs observes et les valeurs prdites. Cela permet donc de connatre les
points mal prdits et les faiblesses du modle en termes de moyenne ou de variance.
Cependant, ceci ne nous renseigne nullement sur la robustesse des estimateurs par rapport lajout
ou la suppression dune observation. La section suivante propose quelques critres en ce sens.
Preuve.
1. La trace dun projecteur vaut la dimension de lespace sur lequel seffectue la projection,
donc Tr(H) = p.
2. Ce second point dcoule de la proprit H 2 = H, do Tr(H 2
P P) =2p, de la symtrie de H et
du fait que pour toute matrice A, Tr(AA ) = Tr(A A) = i j aij .
3. Puisque les matrices H et H 2 sont gales, nous avons en particulier hii = (H 2 )ii . Cela scrit,
en utilisant la symtrie de H :
n
X X X
hii = hij hji = h2ii + h2ij hii (1 hii ) = h2ij .
j=1 j6=i j6=i
La quantit de droite de la dernire galit est positive, donc le troisime point est dmontr.
4. Cette proprit se dduit directement de lquation prcdente.
P
5. Nous pouvons crire : hii (1 hii ) = h2ij + k6=i,j h2ik . La quantit de gauche est maximum
lorsque hii = 0.5 et vaut alors 0.25. Le dernier point est ainsi prouv.
pour sapercevoir que hii reprsente en quelque sorte le poids de lobservation yi sur sa propre
prdiction yi . Ainsi :
si hii = 1, hij = 0 pour tout j 6= i, et yi est entirement dtermin par yi , puisque yi = yi ;
si hii = 0, hij = 0 pour tout j 6= i donc yi = 0, et yi na aucune influence sur yi ;
plus gnralement, si hii est grand, yi influe fortement sur yi , comme en tmoigne la formule
prcdemment tablie :
yi yi = (1 hii )(yi yip ),
qui montre la variation dans la prdiction de yi selon que lon prend en compte ou non la ime
observation.
P
Puisque Tr(PX ) = hii = p, la moyenne des hii est gale p/n. Ceci permet de quantifier quelque
peu la notion de grand.
Remarque. Si la constante fait partie du modle (i.e. la plupart du temps), on peut affiner la
Proprit 4.1, puisque les termes diagonaux hii sont en fait tous suprieurs 1/n. Il est galement
possible de prouver que hii correspond dune certaine faon la distance du point xi au centre
de gravit x
du nuage de points (xi )1in de lchantillon. Pour plus de dtails sur ces points, on
pourra consulter le livre de Antoniadis, Berruyer et Carmona, Rgression non linaire et applica-
tions, Economica (1992), pages 36-40.
0.05 0.10 0.15 0.20 0.25 0.30 0.35
5
4
3
hii
yi
2
1
0
0 1 2 3 4 5 0 10 20 30 40 50
xi Indice
Figure 4.6 Exemple dun point levier, figur par la flche, pour un modle de rgression simple.
Quantification par hii de la notion de levier. La ligne en pointills longs reprsente le seuil de 2p/n,
celle en pointills courts le seuil de 3p/n.
Pour un modle de rgression simple dont le nuage de points est reprsent sur la figure 4.6, le
point dsign par une flche est un point levier. Sa localisation sur laxe x diffre des autres points
et son poids hii est prpondrant et suprieur aux valeurs seuils de 2p/n et 3p/n.
Remarque. Le point de la figure 4.6 est levier mais pas aberrant puisquil se situe dans le pro-
longement de la droite de rgression et sera donc proche de sa prvision par le modle (rsidu faible).
En conclusion, lanalyse des rsidus permet de trouver des valeurs atypiques en fonction de la
valeur de la variable expliquer, tandis que lanalyse de la matrice de projection permet de trouver
des individus atypiques en fonction des valeurs des variables explicatives (observations loignes
de x
). Dautres critres vont combiner ces deux analyses, cest ce que nous allons voir maintenant.
o Q est une matrice symtrique dfinie positive. De nombreux choix sont possibles. Si nous
revenons la rgion de confiance simultane de donne au Chapitre 3, nous obtenons en prenant
R = Ip et = 5% :
1
RC () = Rp : ( )
(X
X)( ) f p (0.95) .
np
2
p
Cette quation donne une rgion de confiance pour autour de et permet de dire que, en
moyenne, dans 95% des cas, la distance entre et (selon la matrice Q = (X X)/p 2 ) est inf-
p
rieure fnp (0.95). Par analogie, nous pouvons utiliser cette distance, appele distance de Cook,
pour mesurer linfluence de lobservation i sur le modle.
Preuve. Nous allons utiliser les rsultats tablis dans la preuve du thorme 4.1. Par dfinition,
nous avons :
(i) = (X(i)
X(i) )1 X(i)
Y(i) ,
or en utilisant le lemme dinversion matricielle pour (X(i) X )1 et le fait que X Y
(i) (i) (i) = X Y xi yi ,
on obtient :
1 (X X)1 xi xi (X X)1
(i) = (X X) + X Y xi y i ,
1 hii
et puisquon a vu dans la preuve du thorme 4.1 que i = (1 hii )(yi yip ), on en dduit que :
Il suffit dappliquer cette expression et le fait que hii = xi (X X)1 xi pour obtenir la deuxime
expression de la distance de Cook :
Une observation influente est donc une observation qui, enleve, conduit une grande variation
dans lestimation des coefficients, cest--dire une distance de Cook leve. Pour juger si la dis-
p p
tance Ci est leve, Cook (1977) propose le seuil fnp (0.1) comme souhaitable et le seuil fnp (0.5)
comme proccupant. Certains auteurs citent comme seuil la valeur 1, qui est une approximation
p
raisonnable de fnp (0.5) lorsque p et n p sont tous deux grands.
Exemple. Pour le modle de rgression simple de la figure 4.6, nous avons trac sur la figure 4.7 :
la droite des moindres carrs, les rsidus studentiss par validation croise, les distances de Cook.
Nous voyons que des points ayant de forts rsidus (loigns de la droite) possdent des distances
de Cook leves (cas des points 4, 6, 12, 29, 44 et 45). Le point 51, bien quayant un rsidu faible
puisquil se situe dans le prolongement de laxe du nuage, apparat comme ayant une distance de
Cook relativement forte (la 8me plus grande). Ceci illustre bien que la distance de Cook opre
un compromis entre points aberrants et points leviers. Notons enfin que, dans notre cas prcis, les
2 (0.5) 0.7 et f 2 (0.1) 0.11, ce dernier figurant en pointill
seuils de la distance de Cook sont f49 49
sur la figure 4.7. Sur ce graphique, les distances de Cook semblent assez bien rparties au niveau
hauteur et aucun point ne se dtache nettement.
Exemple (suite). En utilisant les mmes 50 points, on remplae simplement le point levier 51
par un point franchement aberrant(cf. figure 4.8 au centre, son rsidu t51 tant trs lev). Malgr
la position de ce point 51 lintrieur du nuage des xi , la distance de Cook est leve et ceci
uniquement cause de son caractre aberrant. Bien entendu un point peut tre la fois levier et
p 2 (0.5) 0.7, semble assez conservateur : en pratique,
aberrant. Le seuil de fnp (0.5), ici gal f49
5
49
2
4 44
distance de Cook
45
4
49
1
49
+
44 51
3
+
yi
+ 4
+
+ +++++
0
ti
+ 29
2
+
++++++++ 12 44 51
1
6
++ ++ +
+++ + 45 +
1 +4 ++ +++ 12
+ ++++ 29
+
++++
2
45
0
+++ 12 + 29
0 1 2 3 4 5 0 1 2 3 4 5 0 10 20 30 40 50
xi xi Indice
Figure 4.7 Exemple du point levier (numro 51). Les points associs aux 8 plus grandes valeurs
de la distance de Cook sont numrots ainsi que leurs distances de Cook et leurs rsidus studentiss.
La droite en trait plein est la droite ajuste par MCO.
+ 44 51
4
3
44
+
1
distance de Cook
+ ++++
+
0
+ + +
2
+ +
+ ++ ++
1
y
+ + + 12 49
+ + 45 45
t
+6 + ++ + + 29
2
+ + 6
1
+4 + ++ 45
+ + ++ 44
3
+ + +29 4
++ 12 29
+ + 51
+
4
0
+++ +12 51
0.0 0.5 1.0 1.5 2.0 2.5 0.0 0.5 1.0 1.5 2.0 2.5 0 10 20 30 40 50
x x Index
Figure 4.8 Exemple de point fortement aberrant (numro 51). Les points associs aux 8 plus
grandes valeurs de la distance de Cook sont numrots ainsi que leurs distances de Cook et leurs
rsidus studentiss (par VC). La droite en trait plein est la droite ajuste par MCO.
Une autre mesure dinfluence est donne par la distance de Welsh-Kuh. La dfinition de la distance
de Cook pour lobservation i fait intervenir la variance estime de lerreur 2 . Il faut donc utiliser
2
un estimateur de . Si lon utilise lestimateur classique 2
, alors une observation influente risque
de perturber lestimation 2
. Il est donc prfrable dutiliser 2 , obtenu pas validation croise.
(i)
Lcart de Welsh-Kuh, souvent appel DFFITS (pour DiFference in FITs, Standardized) par les
logiciels, est donc dfini par
r
hii
W ki = |ti | ,
1 hii
et permet dvaluer lcart standardis entre lestimation btie sur toute les observations et lestima-
tion btie sur toutes les observations sauf la ime . Cet cart de Welsh-Kuh mesure ainsi linfluence
simultane dune observation sur lestimation des paramtres et 2 . Si lcart de Welsh-Kuh
est suprieure 2 p + 1/ n en valeur absolue, alors il est conseill danalyser les observations
correspondantes.
Annales
Universit de Rennes 2
Master de Statistiques Vendredi 18 Dcembre 2009
Dure : 2 heures Calculatrice autorise
Aucun document
28
hauteur
26
24
22
20
18
16
14
12
Circonfrence
10
20 30 40 50 60 70 80
Pour 3 , on a obtenu
3 = 10 et
3 = 0, 78. Tester lhypothse H0 : 3 = 0 contre H1 : 3 6= 0.
yi = 1 + 2 xi,2 + 3 xi,3 + i , 1 i n.
Les xi,j , sont des variables exognes du modle, les i sont des variables alatoires indpendantes,
de loi normale centre admettant la mme variance 2 . En posant :
1 x1,2 x1,3 y1
X = ... .. .. et Y = .. ,
. . .
1 xn,2 xn,3 yn
on a observ :
30 20 0 15
X X = 20 20 0 , X Y = 20 , Y Y = 59.5.
0 0 10 10
1. Dterminer la valeur de n, la moyenne des xi,3 , le coefficient de corrlation des xi,2 et des
xi,3 .
2. Estimer 1 , 2 , 3 , 2 par la mthode des moindres carrs ordinaires.
3. Calculer pour 2 un intervalle de confiance 95% et tester lhypothse 3 = 0.8 au niveau
10%.
4. Tester 2 + 3 = 3 contre 2 + 3 6= 3, au niveau 5%.
5. Que vaut y, moyenne empirique des yi ? En dduire le coefficient de dtermination ajust
Ra2 .
o :
reprsente un vecteur de Rk : = [1 , . . . , k ] ,
Les Yi sont supposes indpendantes entre elles.
Enfin, les valeurs i2 des variances dpendent de lappartenance p sous-populations des lments
sur lesquels les variables sont observes. En regroupant les indices des Yi selon ces sous-populations,
on posera :
I1 = {1, . . . , n1 }, indices des n1 lments de la premire sous-population ;
I2 = {n1 + 1, . . . , n1 + n2 }, indices des n2 lments de la deuxime sous-population ;
... ;
I = {n1 + . . . + n1 + 1, . . . , n1 + . . . + n1 + n }, indices des n lments de la -me sous-
population ;
... ;
Ip = {n1 + . . . + np1 + 1, . . . , n}, indices des np lments de la dernire sous-population.
Universit de Rennes 2
Vendredi 18 Dcembre 2009
Master de Statistiques
Calculatrice autorise
Dure : 2 heures
Aucun document
Corrig du Contrle
+
+
+
+
+ + + +
+ + + + + +
+ + + + +
+ + + + + + + + + + +
25
+ + + +
+ + + + + + + + + + + + + +
+ + + + + + + + +
+ + + + + + + + + + + + + + + + +
+ + + + + + +
+ + + + + + + + + + + + + + + +
+ + + + + + + + + + +
+ + + + + + + + + + + + + + + + + +
+ + + + + + + + + + + + + + + + + +
+ + + + + + + + + + + + + + + + + + +
+ + + + + + + + + + + + + + + + + +
+ + + + + + + + + + + + + + + + + +
+ + + + + + + + + + + + + + + + + + +
+ + + + + + + + + + + + + + + + + + + +
+ + + + + + + + + + + + + + + +
+ + + + + + + + + + + + + + + + +
+ + + + + + + + + + + + + + +
+ + + + + + + + + + + + + + + + +
+ + + + + + + + + + + + + + + + + +
+ + + + + + + + + + + + + + + + +
20
+ + + + + + + + + + + + + + + +
+ + + + + + + + + + + + + + + + + + +
+ + + + + + + + + + + + + +
+ + + + + + + + + + + + +
+ + + + + + + + + + + + + +
+ + + + + + + +
+ + + + + + + + + + +
+ + + + + + + + + + + + +
+ + + + + + + + +
+ + + + + + + + + + +
+ + + + + + + +
+ + + + + + + +
+ + + + + + + +
+ + + + + + + + +
+ + + + +
+ + + + + + +
+ + + + + + + + + +
+ + + + +
+ + +
+ + + + +
15
+ + + +
+ +
+ + + +
+ +
+ + +
+ +
+ + +
+
+
+ +
+
+ Circonfrence
30 40 50 60 70
Et pour estimateur de 1 :
1 = y 2 x
9, 04.
La droite des moindres carrs est reprsente figure A.2.
2. Le coefficient de dtermination R2 est gal au carr du coefficient de corrlation entre les
variables x et y, ce qui donne :
P
2 ( ni=1 (xi x )(yi y))2
R = Pn P 0, 768.
( i=1 (xi x)2 ) ( ni=1 (yi y)2 )
On en conclut que 77% de la variance des hauteurs yi des eucalyptus est explique par la
circonfrence 1m30 du sol. Ce modle de rgression linaire simple semble donc efficace.
5. On sait que lestimateur centr et normalis de 1 suit une loi de Student (n 2) = 1427
degrs de libert :
1 1
T1427 ,
1
donc sous lhypothse H0 : 1 = 0, ceci se simplifie en 11 T1427 , et cette statistique de test
donne ici :
9, 04
t = T () 50, 5 2.
0, 032
Une loi de Student 1427 degrs de liberts se comportant comme une loi normale centre
rduite, il est clair que la probabilit critique associe au quantile 50, 5 est infinitsimale,
donc on rejette lhypothse H0 selon laquelle lordonne lorigine serait nulle.
6. De mme, on sait que sous H0 :
3
Tn3 = T1426 ,
3
yi = 1 + 2 xi,2 + 3 xi,3 + i , 1 i n.
Les xi,j , sont des variables exognes du modle, les i sont des variables alatoires indpendantes,
de loi normale centre admettant la mme variance 2 . En posant :
1 x1,2 x1,3 y1
X = ... .. .. et Y = .. ,
. . .
1 xn,2 xn,3 yn
on a observ :
30 20 0 15
X X = 20 20 0 , X Y = 20 , Y Y = 59.5.
0 0 10 10
30
1 X (X X)1,3
xi,3 = = 0.
30 30
i=1
Puisque les xi,3 sont centrs, le coefficient de corrlation entre les deux variables x2 et x3 est
alors :
P30
i=1 xi,2 xi,3 (X X)2,3
r2,3 = qP qP = qP qP = 0.
30 2 30 2 30 2 30 2
i=1 (xi,2 x
i,2 ) i=1 xi,3 i=1 (xi,2 xi,2 ) i=1 xi,3
2 de 2 scrit :
Un estimateur non biais
2
kY X k 2
kY k2 kX k
2 =
= ,
n3 27
ce qui scrit encore :
Y Y Y X(X X)1 X Y
2 =
= 1.
27
3. Puisquon sait que :
2 2 2 2
= q Tn3 = T27 ,
2 (X X)1
2,2
cest--dire : h i
I(2 ) 1.5 2.05 0.15; 1.5 + 2.05 0.15 [0.71; 2.29].
ce qui donne : h i
I(3 ) 1 1.70 0.1; 1 + 1.70 0.1 [0.46; 1.54],
avec :
q q
2 +3 = 22 + 2Cov(2 , 3 ) +
32 =
(X X)1 1 1
2,2 + 2(X X)2,3 + (X X)3,3 ,
cest--dire
2 +3 = 0.5. Donc un intervalle de confiance 95% pour 2 + 3 est :
n 1 kY Y k2 2
Ra2 = 1 = 1 (n 1) ,
n p kY y1k2 kY y1k2
donc :
29
Ra2 = 1 Y
0.44.
Y y2
30
6. En notant xn+1 = [1, 3, 0.5], la valeur prdite pour yn+1 est :
9
yn+1 = xn+1 = ,
2
et un intervalle de prvision 95% pour yn+1 est :
h q i
1 + xn+1 (X X)1 xn+1 ,
IC(yn+1 ) = yn+1 t27 (0.975)
2. Les variables Yi tant indpendantes, la densit jointe fY (y) du n-uplet Y = (Y1 , . . . , Yn ) est
le produit des densits fYi (yi ), ce qui donne pour la vraisemblance :
p X
X )2
1 (y i x ,
L(y, , 2 ) = fY (y) = n exp
i
(2)n/2 1n1 . . . p p 22
=1 iI
do pour la log-vraisemblance :
p
n 1 X1X
log L(y, , 2 ) = c log 2 2 (yi xi )2 ,
2 2
=1 iI
1
3. En notant A la matrice (n n) diagonale dont llment (i, i) vaut
l
si i Il , et en
remarquant que A est symtrique, il vient :
cest--dire :
p
X 1X 2
kA (Y X)k2 = [y1 x1 , . . . , yn xn ]A2 [y1 x1 , . . . , yn xn ] = yi xi .
=1 iI
On en dduit :
p
X 1X 2
yi xi = n 2 kA (Y X)k2 = n 2 .
=1 iI
1
(AX) = AX X A2 X X A2 Y = (AX)((AX) (AX))1 (AX) (AY ),
pour comprendre que le vecteur (AX) nest rien dautre que la projection orthogonale du
vecteur AY sur le sous-espace M de Rn engendr par les colonnes de la matrice AX. Notons
au passage que ce sous-espace est de dimension k puisque, par hypothse, la matrice X A2 X
est inversible. Le vecteur AY tant de loi N (AX, 2 In ), nous sommes exactement dans le
cadre dapplication du thorme de Cochran. En notant respectivement P et P les matrices
de projection sur M et M , celui-ci assure que :
V = P AY N (P AX, 2 P ) = N (0, 2 P ).
Il reste noter dune part que les oprateurs de trace et desprance commutent, et dautre
part que V est centr pour obtenir :
h i
E kV k2 = Tr E V V = Tr (Var(V )) .
nk 2
E 2 = ,
n
X X
(AX) (AX) = + Z Z .
donc :
X X
u u u (AX) (AX)u,
ce qui scrit en terme de relation dordre pour les matrices symtriques :
X X
(AX) (AX),
les matrices des deux membres tant toutes deux symtriques dfinies positives.
Il reste maintenant remarquer que, de faon gnrale, si B et C sont deux matrices sym-
triques dfinies positives, avec B C, alors C 1 B 1 . En effet, dire que B C revient
dire que les valeurs propres de (C B) sont toutes suprieures ou gales 0, donc il en va de
mme pour la matrice B 1/2 (C B)B 1/2 = B 1/2 CB 1/2 I. Ceci signifie que les valeurs
propres de la matrice B 1/2 CB 1/2 sont toutes suprieures ou gales 1, ce qui implique
que celles de sa matrice inverse sont toutes infrieures ou gales 1, ce qui scrit encore
B 1/2 C 1 B 1/2 I. Or cette dernire relation a pour consquence C 1 B 1 .
Universit de Rennes 2
Mercredi 14 Dcembre 2010
Master de Statistiques
Calculatrice autorise
Dure : 2 heures
Aucun document
26
24
22
20
18
16
14
12
Circonfrence
10
20 30 40 50 60 70 80
yi = 1 + 2 xi + 3 xi + i , 1 i n.
Les i sont des variables alatoires indpendantes, de loi normale centre admettant la mme
variance 2 . En posant :
1 x1 x1 y1
X = ... ... .. et Y = .. ,
. .
1 xn xn yn
on a observ :
? ? 9792 30310
X X = ? 3306000 ? , X Y = 1462000 , Y Y = 651900.
? 471200 67660 209700
Que valent les estimateurs 1 , 2 , 3 par la mthode des moindres carrs ? Grce au calcul
de quelques points, reprsenter la courbe obtenue sur la figure A.3.
4. Calculer lestimateur de 2 pour les moindres carrs.
5. Calculer pour 3 un intervalle de confiance 95%.
6. Tester lhypothse 2 = 0 au niveau de risque 10%.
7. Que vaut la hauteur moyenne empirique y ? En dduire le coefficient de dtermination ajust
Ra2 .
8. Construire un intervalle de prvision 95% de yn+1 connaissant xn+1 = 49.
9. Construire un intervalle de prvision 95% de yn+1 connaissant xn+1 = 25.
10. Des deux intervalles prcdents, lequel est le plus grand ? Pouvait-on sy attendre ?
Residuals:
Min 1Q Median 3Q Max
-0.97802 -0.11082 0.02672 0.25294 0.63803
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 4.72385 0.12974 ? < 2e-16 ***
Temp -0.27793 ? -11.04 1.05e-11 ***
---
Signif. codes: 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1
6. Donner une estimation de la variance du terme derreur dans le modle de rgression simple.
7. Expliquer et interprter la dernire ligne du tableau :
F-statistic: 121.8 on 1 and 28 DF, p-value: 1.046e-11.
Voyez-vous une autre faon dobtenir cette p-value ?
8. Pensez-vous que la temprature extrieure a un effet sur la consommation de gaz ? Justifiez
votre rponse.
Universit de Rennes 2
Master de Statistiques Mercredi 14 Dcembre 2010
Dure : 2 heures Calculatrice autorise
Aucun document
Corrig du Contrle
yi = 1 + 2 xi + 3 xi + i , 1 i n.
Les i sont des variables alatoires indpendantes, de loi normale centre admettant la mme
variance 2 . En posant :
1 x1 x1 y1
X = ... ... .. et Y = .. ,
. .
1 xn xn yn
on a observ :
? ? 9792 30310
X X = ? 3306000 ? , X Y = 1462000 , Y Y = 651900.
? 471200 67660 209700
1. La matrice X X se complte comme suit :
1429 67660 9792
X X = 67660 3306000 471200
9792 471200 67660
2. La circonfrence moyenne empirique vaut donc :
67660
x
= 47.3 cm.
1429
3. La mthode des moindres carrs ordinaires donne pour = [1 , 2 , 3 ] lestimateur suivant :
16.8
= (X X)1 X Y = 0.30 .
7.62
La courbe obtenue est reprsente figure A.4.
2 de 2 scrit :
4. Un estimateur non biais
kY X k 2 2
kY k2 kX k
2 = = .
n3 1426
2 = X X = X Y , ceci scrit encore :
Puisque kX k
Y Y X Y
2 =
1, 26.
1426
5. Puisquon sait que :
3 3 3 3
= q Tn3 = T1426 ,
3 (X X)1
3,3
cest--dire en considrant que t1426 (0.975) = 1.96 comme pour une loi normale centre
rduite : h i
I(3 ) 7.62 1.96 0.72; 7.62 + 1.96 0.72 [6.21; 9.03].
Il nous suffit donc de comparer la valeur absolue de la statistique de test obtenue ici au
quantile dordre 0.95 dune loi normale centre rduite, cest--dire 1.645. Or
| 0.30|
|T ()| = 5.98 > 1.645.
1.26 0.002
Par consquent on rejette lhypothse selon laquelle 2 = 0.
y = 30310/1429 21.2 m.
n 1 kY Y k2 2
Ra2 = 1 = 1 (n 1) ,
n p kY y1k2 kY y1k2
donc :
1.26
Ra2 = 1 1428 Y
0.81.
Y y2
1429
8. En notant xn+1 = [1, 49, 7], la valeur prdite pour yn+1 est :
Residuals:
Min 1Q Median 3Q Max
-0.97802 -0.11082 0.02672 0.25294 0.63803
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 4.72385 0.12974 36.41 < 2e-16 ***
Temp -0.27793 0.0252 -11.04 1.05e-11 ***
---
Signif. codes: 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1
Ci = 1 + 2 Ti + i ,
n p SCR0 SCR kY Y0 k2 1
F = = F28 ,
q SCR 2
(a) Lestimateur a
des moindres carrs correspond largmin de la quantit :
X
S(a) = (yi (axi + b))2 ,
ce qui sobtient en annulant la drive de S :
X P
xi (yi b)
S (
a) = 2 xi (yi (
axi + b)) = 0 a
= P 2 .
xi
(b) Pour calculer la variance de a , on commence par lexprimer diffremment. Grce la
relation yi = axi + b + i , on dduit :
P
xi i
=a+ P 2 .
a
xi
Puisque les erreurs i sont dcorrles et de mme variance 2 , il vient :
2
a) = P 2 .
Var(
xi
P P P
Puisque (xi x )2 = x2i n x2 x2i , il est alors clair que Var(
a) Var(
a).
3. Dans cette question, on suppose connatre a, mais pas b.
(a) Lestimateur b des moindres carrs correspond cette fois largmin de la quantit :
X
S(b) = (yi (axi + b))2 ,
ce qui sobtient en annulant la drive de S :
X
S (b) = 2 axi + b)) = 0 b = y a
(yi ( x.
(b) Pour calculer la variance de b, on commence nouveau par lexprimer diffremment via
la relation yi = axi + b + i :
X
b = b + 1 i .
n
Puisque les erreurs i sont dcorrles et de mme variance 2 , il vient :
2
Var(b) = .
n
P P P
x2 x2i , il est alors clair que Var(b) Var(b).
)2 = x2i n
Puisque (xi x
Universit Rennes 2
Master de Statistiques Mardi 6 Dcembre 2011
Dure : 2 heures Calculatrice autorise
Aucun document
600
400
superficie
1. Daprs le listing du tableau A.1, donner une estimation du coefficient de corrlation entre
le prix et la superficie dun appartement T3.
2. Proposer un modle permettant dtudier la relation entre le prix des appartements et leur
superficie. Prciser les hypothses de ce modle.
3. Daprs le tableau A.1, est-ce que la superficie joue un rle sur le prix des appartements de
type 3 ? Considrez-vous ce rle comme important ?
4. Quelle est lestimation du coefficient (coefficient de la superficie dans le modle) ? Comment
interprtez-vous ce coefficient ?
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 134.3450 45.4737 2.954 0.00386
Superficie 6.6570 0.6525 10.203 < 2e-16
Table A.1 Prix en fonction de la superficie : rsultats de la rgression linaire simple (sortie R).
5. La superficie moyenne des 108 appartements est de 68.74 m2 et le prix moyen des apparte-
ments est de 591.95 euros. Quel est le prix moyen dun mtre carr ? Pourquoi ce prix moyen
est diffrent de lestimation de ?
6. Dans lchantillon dont on dispose, comment savoir quels sont les appartements bon march
du seul point de vue de la surface ?
II. Tests
Nous nous intressons au modle Y = X + sous les hypothses classiques. Nous avons obtenu
sur 21 donnes :
o, pour chaque coefficient, le nombre entre parenthses reprsente la valeur absolue de la statis-
tique de test.
1. Quelles sont les hypothses utilises ?
2. Tester la nullit de 1 au seuil de 5%.
3. Pouvez-vous tester H0 : 3 = 1 contre H1 : 3 6= 1 ?
4. Tester la nullit simultane des paramtres associs aux variables x1 , . . . , x4 au seuil de 5%.
Y = X + ,
(a) Estimer et 2 .
(b) Donner un estimateur de la variance de .
(c) Donner un intervalle de confiance pour 2 , au niveau 95%.
(d) Calculer un intervalle de prvision de yn+1 au niveau 95% connaissant : xn+1,2 = 3,
xn+1,3 = 0.5 et xn+1,4 = 2.
Y = X + ,
Universit Rennes 2
Mardi 6 Dcembre 2011
Master de Statistiques
Calculatrice autorise
Dure : 2 heures
Aucun document
Corrig du Contrle
2. Le modle scrit :
i yi = + xi + i
avec yi le prix de lappartement i en euros, xi sa superficie en m2 et i lerreur. Les hypo-
thses usuelles sont de supposer les erreurs gaussiennes, centres, indpendantes et de mme
variance : N (0, 2 I108 ).
3. Pour tester si la superficie joue un rle sur le prix des appartements, on teste lhypothse
et, sous lhypothse H0 ,
H0 : = 0 contre H1 : 6= 0. La statistique de ce test est T = /
cette statistique de test suit une loi de Student n 2 = 106 degrs de libert. La probabilit
critique associe ce test est infrieure 2 1016 . Cette probabilit critique tant infrieure
5 %, on rejette lhypothse H0 : on considre que la superficie dun appartement de type
T3 influe sur son prix.
La surface a donc une influence significative sur le prix. Mais cette influence est-elle im-
portante ? Le coefficient de dtermination R2 , qui sinterprte comme le pourcentage de
variabilit explique par le modle, vaut 0.495 : linfluence est donc importante mais dautres
facteurs, difficiles quantifier, agissent (emplacement, qualit des prestations, avidit du
propritaire, etc.).
4. Lestimation de la pente de la droite de rgression est : = 6.657. Ce coefficient est signifi-
cativement diffrent de 0 (voir question prcdente) et sinterprte de la faon suivante : un
appartement cotera en moyenne 6.657 euros supplmentaires pour une augmentation de la
superficie de 1 m2 .
5. Le prix moyen dun mtre carr se calcule comme le rapport entre 591.95 et 68.74 soit 8.61 eu-
ros le mtre carr. Ce prix est diffrent de lestimation de car le prix des appartements
nest pas strictement proportionnel leur surface. Comme est infrieur au prix moyen dun
mtre carr, proportionnellement la surface, les petits appartements sont plus chers que les
grands. Le modle de rgression stipule quil faut dabord une mise de fond pour louer un
T3, et quensuite le prix d1 m2 est euros (en moyenne). Remarquons que ce coefficient
est significatif, il nest donc pas souhaitable de le retirer du modle.
6. Pour dterminer les appartements bon march, on peut se fonder sur lestimation des r-
sidus du modle : plus le rsidu est faible (ngatif et avec une forte valeur absolue), plus
lappartement a un prix faible par rapport celui attendu pour sa superficie.
II. Tests
1. Les hypothses utilises sont : Y = X + , avec N (0, 2 I21 ).
2. Nous savons que
1 1
T = T16
1
loi de Student 16 degrs de libert. Sous lhypothse 1 = 0, nous avons donc
1
T = T16
1
Puisque 3 = 0.171, on en dduit donc que 3 0.082. Ainsi, sous lhypothse 3 = 1, nous
avons
3 1
T = T16
3
Or la statistique de test donne ici
0.171 1
|T ()| = 10.1 2.12 = t16 (0.975)
0.082
donc on rejette lhypothse H0 selon laquelle 3 serait gal 1.
4. Nous effectuons un test de Fisher global : H0 : 1 = = 4 = 0, contre H1 : j
{1, . . . , 4}, j 6= 0. Avec les notations du cours, nous savons que sous lhypothse H0 , nous
avons
21 5 SCR0 SCR 4
F = F16
4 SCR
loi de Fisher (4, 16) degrs de libert. Cette statistique de test sexprime aussi en fonction
du coefficient de dtermination comme suit :
21 5 R2 4
F = F16
4 1 R2
La statistique de test donne donc ici
4
F () 4.7 > 3.01 = f16 (0.95)
Y = X + ,
o k.k est la norme euclidienne usuelle sur Rp . Un calcul classique permet de montrer
que = (X X)1 X Y .
(b) Dans ce cadre, Y = X est tout simplement la projection orthogonale de Y sur le
sous-espace de Rn engendr par les p colonnes de X.
(c) Pour ce qui concerne , il est facile de montrer que E[] = et Var()
= 2 (X X)1 .
De la mme faon, nous avons E[Y ] = X et Var(Y ) = PX , o PX = X(X X)1 X
2
Ce qui donne :
1
2
= (X X)1 X Y =
1
1
Par Pythagore nous obtenons
k2 = kY k2 kY k2
k
or
2 = = Y X = 111
kY k2 = kX k
k2 = 48 et
do k
k2
k 48 1
2 =
= =
np 96 2
I = [2 1.96
2 ; 2 + 1.96
2 ] [1.65; 2.35]
(d) Un intervalle de prvision de niveau 95% pour yn+1 est donn par
h q q i
I = yn+1 t96 (0.975) 1 1 + xn+1 (X X)1 xn+1
1 + xn+1 (X X) xn+1 ; yn+1 + t96 (0.975)
q
avec tnp (0.975) 1.96, xn+1 = [1, 3, 0.5, 2], 1 + xn+1 (X X)1 xn+1 2.35 et
(c) Daprs la question prcdente, le modle transform obit aux hypothses usuelles du
modle linaire (centrage, homoscdasticit et dcorrlation des erreurs). Lestimateur
des moindres carrs de est donc
1 2
= ((X ) (X ))1 (X ) Y = X 2 X X Y
Par les proprits classiques de lestimateur des moindres carrs, on sait quil est non
biais et que sa matrice de covariance est
1
Var( ) = 2 ((X ) (X ))1 = 2 X 2 X .
(d) Toujours par la thorie de lestimation aux moindres carrs, on sait quun estimateur
non biais de 2 est
kY X k2 k1 (Y X )k2
2 =
= .
np np
(a) Comme dhabitude, nous notons xi = [xi1 , . . . , xip ] la ligne i de la matrice X du plan
dexprience. De par lindpendance des yi , la vraisemblance du modle scrit
n n (yi xi )2
Y Y 1 1 1 1
k (Y X)k
2
2 2 2 2
L(Y, , ) = fi (yi ) = q e i = n n e 2 2
n k1 (Y X)k2
log L(Y, , 2 ) = C log( 2 ) ,
2 2 2
n
o C = log((2) 2 det) est une constante indpendante des paramtres et 2 . Pour
toute valeur de 2 , le maximum en est atteint en minimisant k1 (Y X)k =
kY X k, or ceci a t fait prcdemment, do il vient
1 2
mv = = X 2 X X Y
n k1 (Y X mv )k2
log L(Y, mv , 2 ) = C log( 2 ) ,
2 2 2
ce qui se fait en annulant sa drive
Y = X
+
et pour estimateur de 2
)k2
k1 (Y X
2 =
.
Lp
Universit Rennes 2
Mardi 18 Dcembre 2012
Master de Statistiques
Calculatrice autorise
Dure : 2 heures
Aucun document
I. Octopuss Garden
On cherche mettre en uvre une stratgie de prdiction du poids utile du poulpe, cest--dire
son poids viscr, partir de son poids non viscr. Cest en effet le poulpe viscr qui est
commercialis. Pour cela, un chantillon de poulpes a t collect en 2003 lors des oprations de
pche dans les eaux mauritaniennes. Vu limportante diffrence de poids entre les poulpes mles
et les poulpes femelles, on tudie ici uniquement les donnes concernant 240 poulpes femelles.
2000
1500
Poids viscr
1000
500
0
Figure A.6 Poids de poulpe viscr en fonction du poids non viscr (en grammes).
Table A.2 Poids de poulpes viscrs et non viscrs : rsultats de la rgression linaire simple
(sortie R).
(a) Dterminer lestimateur de minimisant la somme des carrs des carts au modle.
(b) Retrouver le rsultat prcdent partir de la formule gnrale de lestimateur de r-
gression linaire multiple en considrant la projection du vecteur Y = [y1 , . . . , yn ] sur
la droite vectorielle engendre par le vecteur X = [x1 , . . . , xn ] .
(c) En dduire la variance de . Proposer un estimateur non biais 2 de 2 .
Table A.3 Poids de poulpes viscrs et non viscrs : rsultats de la rgression linaire simple
avec le modle simplifi (sortie R).
(d) Les rsultats de lanalyse de ce nouveau modle sont fournis dans le tableau A.3. Loca-
liser et
2 dans ce tableau.
(e) On veut prdire le poids viscr dun poulpe de poids non viscr x0 . Quelle est la
variance de lerreur de prvision ? Donner un intervalle de confiance 90% autour de la
prvision.
yi = 1 + 3xi + 4zi + i
o Z est donc une matrice de taille n p. Les moyennes de ses colonnes Z1 , . . . , Zp sont
= [
regroupes dans le vecteur ligne x p ]. Enfin, on considre comme prcdemment
x1 , . . . , x
le modle de rgression linaire
yi = 0 + 1 xi1 + + p xip + i = xi + i ,
(b) On rappelle la formule dinversion matricielle par blocs : Soit M une matrice inversible
telle que
T U
M =
V W
Universit Rennes 2
Master de Statistiques Mardi 18 Dcembre 2012
Dure : 2 heures Calculatrice autorise
Aucun document
Corrig du Contrle
I. Octopuss Garden
1. (a) Vu la forme du nuage de points, il semble raisonnable de proposer un modle de rgres-
sion linaire simple : en notant x le poids non viscr et y le poids viscr, on suggre
donc yi = 1 + 2 xi + i , avec comme dhabitude les erreurs i supposes gaussiennes
indpendantes centres et de mme variance 2 .
(b) Les formules des estimateurs des moindres carrs du modle sont :
1 = y 2 x
,
avec : Pn Pn
(xi x)(yi y) (xi x
)yi
2 = i=1
Pn 2
= Pi=1
n ,
i=1 (xi x
) )2
i=1 (xi x
o n = 240 sur notre exemple. Un estimateur non biais de 2 est quant lui
1 X
2 =
(yi (1 + 2 xi ))2
n2
Xn Xn Pn
2 xi y i
S() = (yi xi ) S () = 2 xi (yi xi ) = 0 = Pi=1
n 2
i=1 i=1 i=1 xi
2
kY X k 1 X i )2
2 =
= (yi x
n1 n1
o t239 (0.95) reprsente le quantile dordre 0.95 dune Student 239 ddl, soit environ
1.653.
1. Il en dcoule que n = 5.
kY k2 = kY k2 + k
k2 = 57.
(c) Puisque y1 est le projet orthogonal de Y sur la droite vectorielle R1, la somme des
carrs totale est alors immdiate, toujours par Pythagore :
269
kY y1k2 = kY k2 k
y 1k2 = kY k2 n
y2 = = 53.8.
5
Par dfinition, le coefficient de dtermination scrit
k2
k 254
R2 = 1 = 0.94
kY y1k2 269
et le coefficient de dtermination ajust tient compte des dimensions, soit
n1 k2
k 239
Ra2 = 1 = 0.89
n 3 kY y1k2 269
Il vient donc
3
0 = (X0 X0 )1 X0 Y = .
19/3
(b) Nous avons comme prcdemment
154
kY0 k2 = 0 X0 Y = 51.3
3
2 n1 0 k2
k 2081
Ra,0 =1 = 0.86
n 2 kY y1k2 2421
5. On veut maintenant comparer les deux modles prcdents.
(a) Sous H0 : z = 0, le test de Fisher entre les deux modles scrit
np R2 R02 pp0
F = Fnp = F21
p p0 1 R2
La statistique de test vaut ici
16
1.78 18.5 f21 (0.95)
F () =
9
et on accepte donc lhypothse selon laquelle z = 0.
(b) Nous aurions pu tester cette hypothse grce un test de Student sur le modle initial,
puisque sous H0 , on sait que
z
T = Tnp = T2 ,
z
q
or
z =
[(X X)1 ]3,3 , avec
s r
k2
k 3
= =
np 2
et
1 5 3
(X X) 1
= =6
3,3 det(X X) 3 3
do
4
|T ()| =
4.303 t2 (0.975)
3
Ces deux tests reviennent au mme puisque F () = T 2 () et f21 (0.95) = (t2 (0.975))2 .
1 xn
(c) Puisque P
XX= Pn P x2i = n Pn
x
xi xi n
x x2i
soninversion donne
P " #
x2i
P
1 1 x2i nx 1
x
(X X) = P 2 =P n ,
n xi n 2 x
2 n
x n )2
(xi x
x 1
do
P
1 1 x2i 1 (xn+1 x )2
[1, xn+1 ](X X) [1, xn+1 ] = P xxn+1 + x2n+1
2 = + Pn
)2
(xi x n n )2
i=1 (xi x
(b) Avec les notations de la formule dinversion matricielle par blocs applique X X, nous
posons T = 1, U = x et W = ZnZ . Toujours avec les notations de lnonc,
, V = x
nous avons donc
1
Q = Z Z x =
x
n
et
1 1 1+x 1 x
x 1
(X X) =
n 1 x 1
(c) Soit xn+1 = [1, zn+1 ] une nouvelle donne. La variance de lerreur de prvision est
comme ci-dessus
n+1 ) = 2 1 + xn+1 (X X)1 xn+1 .
Var(
En utilisant lcriture par blocs de (X X)1 et xn+1 = [1, zn+1 ], on arrive
1
xn+1 (X X)1 xn+1 = 1 x
1+x
zn+1 1 x 1 zn+1 + zn+1
x
1 zn+1
n
La matrice est symtrique et un rel est gal sa transpose ( !) donc zn+1 1 x
=
1
zn+1 et ceci se rcrit
x
1
xn+1 (X X)1 xn+1 =
1 + zn+1 1 zn+1 2
x 1 zn+1
1 x
+x
n
ou encore
1
xn+1 (X X)1 xn+1 = ) 1 (zn+1 x
1 + (zn+1 x )
n
si bien que
2 1 1 1
Var(
n+1 ) = 1 + + (zn+1 x
) (zn+1 x
) ,
n n
1 1
u u = u Zc Zc u = kZc uk2 0,
n n
avec nullit si et seulement si Zc u = 0. Or Zc u = 0 signifie que
Xp
1 1) + + up (Xp x
u1 (X1 x p 1) = 0 u1 X1 + + up Xp = j 1,
uj x
j=1
cest--dire que la premire colonne de X peut scrire comme une combinaison linaire
non triviale des p dernires. En particulier X serait alors de rang infrieur ou gal p,
ce qui serait en contradiction avec lhypothse dinversibilit de X X. Ainsi est bien
symtrique dfinie positive et la messe est dite.
Rappels dalgbre
Nous ne considrons ici que des matrices relles. Nous notons A une matrice et A sa transpose.
1 M 1 uv M 1
M + uv = M 1 . (B.1)
1 + u M 1 v
M
y y Py
Py
PX = X(X X)1 X
Exemples :
Si f : Rp R est une forme linaire, cest--dire sil existe un vecteur colonne a de taille p tel
que f (x) = a x , alors son gradient est constant : f = a , et sa matrice hessienne est nulle
en tout point : Hf = 0. Ceci nest rien dautre que la gnralisation multidimensionnelle des
drives premire et seconde de la fonction f : R R dfinie par f (x) = ax.
Si f est quadratique, par exemple si f (x) = x Ax, alors son gradient est une forme linaire :
f (x) = x (A + A ), et sa hessienne est constante Hf (x) = A + A . A nouveau, ceci nest rien
dautre que la gnralisation multidimensionnelle des drives premire et seconde de la fonction
f : R R dfinie par f (x) = ax2 .
Rappels de probabilit
C.1 Gnralits
Y = [Y1 , . . . , Yn ] est un vecteur alatoire de Rn si toutes ses composantes Y1 , . . . , Yn sont des
variables alatoires relles.
Lesprance du vecteur alatoire Y est E[Y ] = [E[Y1 ], , E[Yn ]] , vecteur de Rn . La matrice de
variance-covariance de Y a pour terme gnral Cov(Yi , Yj ). Cest une matrice de taille n n, qui
scrit encore :
Var(Y ) = Y = E (Y E[Y ]) (Y E[Y ]) = E[Y Y ] E[Y ](E[Y ]) .
Considrons une matrice (dterministe) A de taille m n et un vecteur (dterministe) b de Rm .
Soit Y un vecteur alatoire de Rn , nous avons les galits suivantes :
E[AY + b] = AE[Y ] + b
Var(AY + b) = Var(AY ) = AVar(Y )A
Si Y est un vecteur alatoire de Rn de matrice de variance-covariance Y , alors pour la norme
euclidienne :
" n
# n
X X
E[kY E(Y )k ] = E
2
(Yi E[Yi ]) =
2
Var(Yi ) = tr(Y ).
i=1 i=1
Enfin, le Thorme de Cochran explicite les lois obtenues aprs projection orthogonale dun vecteur
gaussien.
Thorme C.1 (Cochran)
Soit Y N (, 2 In ), M un sous-espace de Rn de dimension p et P la matrice de projection
orthogonale de Rn sur M. Nous avons les proprits suivantes :
(i) P Y N (P , 2 P ) ;
(ii) les vecteurs P Y et Y P Y sont indpendants ;
(iii) kP (Y )k2 / 2 2p .
4 2 0 u 2 4
4 2 0 2 4
Table des fractiles f(1 ,2 ) ) pour une loi F(1 ,2 ) : 0.95 = Pr X f(1 ,2) (p)
HH 1
2 HH 1 2 3 4 5 6 7 8 9 10 15 20 30 40 50 60 80 100
1 161 199 216 225 230 234 237 239 241 242 246 248 250 251 252 252 253 253
2 18.5 19 19.2 19.2 19.3 19.3 19.4 19.4 19.4 19.4 19.4 19.4 19.5 19.5 19.5 19.5 19.5 19.5
3 10.1 9.55 9.28 9.12 9.01 8.94 8.89 8.85 8.81 8.79 8.7 8.66 8.62 8.59 8.58 8.57 8.56 8.55
4 7.71 6.94 6.59 6.39 6.26 6.16 6.09 6.04 6 5.96 5.86 5.8 5.75 5.72 5.7 5.69 5.67 5.66
5 6.61 5.79 5.41 5.19 5.05 4.95 4.88 4.82 4.77 4.74 4.62 4.56 4.5 4.46 4.44 4.43 4.41 4.41
6 5.99 5.14 4.76 4.53 4.39 4.28 4.21 4.15 4.1 4.06 3.94 3.87 3.81 3.77 3.75 3.74 3.72 3.71
7 5.59 4.74 4.35 4.12 3.97 3.87 3.79 3.73 3.68 3.64 3.51 3.44 3.38 3.34 3.32 3.3 3.29 3.27
8 5.32 4.46 4.07 3.84 3.69 3.58 3.5 3.44 3.39 3.35 3.22 3.15 3.08 3.04 3.02 3.01 2.99 2.97
9 5.12 4.26 3.86 3.63 3.48 3.37 3.29 3.23 3.18 3.14 3.01 2.94 2.86 2.83 2.8 2.79 2.77 2.76
10 4.96 4.1 3.71 3.48 3.33 3.22 3.14 3.07 3.02 2.98 2.85 2.77 2.7 2.66 2.64 2.62 2.6 2.59
11 4.84 3.98 3.59 3.36 3.2 3.09 3.01 2.95 2.9 2.85 2.72 2.65 2.57 2.53 2.51 2.49 2.47 2.46
12 4.75 3.89 3.49 3.26 3.11 3 2.91 2.85 2.8 2.75 2.62 2.54 2.47 2.43 2.4 2.38 2.36 2.35
13 4.67 3.81 3.41 3.18 3.03 2.92 2.83 2.77 2.71 2.67 2.53 2.46 2.38 2.34 2.31 2.3 2.27 2.26
14 4.6 3.74 3.34 3.11 2.96 2.85 2.76 2.7 2.65 2.6 2.46 2.39 2.31 2.27 2.24 2.22 2.2 2.19
15 4.54 3.68 3.29 3.06 2.9 2.79 2.71 2.64 2.59 2.54 2.4 2.33 2.25 2.2 2.18 2.16 2.14 2.12
16 4.49 3.63 3.24 3.01 2.85 2.74 2.66 2.59 2.54 2.49 2.35 2.28 2.19 2.15 2.12 2.11 2.08 2.07
17 4.45 3.59 3.2 2.96 2.81 2.7 2.61 2.55 2.49 2.45 2.31 2.23 2.15 2.1 2.08 2.06 2.03 2.02
18 4.41 3.55 3.16 2.93 2.77 2.66 2.58 2.51 2.46 2.41 2.27 2.19 2.11 2.06 2.04 2.02 1.99 1.98
19 4.38 3.52 3.13 2.9 2.74 2.63 2.54 2.48 2.42 2.38 2.23 2.16 2.07 2.03 2 1.98 1.96 1.94
20 4.35 3.49 3.1 2.87 2.71 2.6 2.51 2.45 2.39 2.35 2.2 2.12 2.04 1.99 1.97 1.95 1.92 1.91
21 4.32 3.47 3.07 2.84 2.68 2.57 2.49 2.42 2.37 2.32 2.18 2.1 2.01 1.96 1.94 1.92 1.89 1.88
22 4.3 3.44 3.05 2.82 2.66 2.55 2.46 2.4 2.34 2.3 2.15 2.07 1.98 1.94 1.91 1.89 1.86 1.85
23 4.28 3.42 3.03 2.8 2.64 2.53 2.44 2.37 2.32 2.27 2.13 2.05 1.96 1.91 1.88 1.86 1.84 1.82
24 4.26 3.4 3.01 2.78 2.62 2.51 2.42 2.36 2.3 2.25 2.11 2.03 1.94 1.89 1.86 1.84 1.82 1.8
25 4.24 3.39 2.99 2.76 2.6 2.49 2.4 2.34 2.28 2.24 2.09 2.01 1.92 1.87 1.84 1.82 1.8 1.78
26 4.23 3.37 2.98 2.74 2.59 2.47 2.39 2.32 2.27 2.22 2.07 1.99 1.9 1.85 1.82 1.8 1.78 1.76
27 4.21 3.35 2.96 2.73 2.57 2.46 2.37 2.31 2.25 2.2 2.06 1.97 1.88 1.84 1.81 1.79 1.76 1.74
28 4.2 3.34 2.95 2.71 2.56 2.45 2.36 2.29 2.24 2.19 2.04 1.96 1.87 1.82 1.79 1.77 1.74 1.73
29 4.18 3.33 2.93 2.7 2.55 2.43 2.35 2.28 2.22 2.18 2.03 1.94 1.85 1.81 1.77 1.75 1.73 1.71
30 4.17 3.32 2.92 2.69 2.53 2.42 2.33 2.27 2.21 2.16 2.01 1.93 1.84 1.79 1.76 1.74 1.71 1.7
32 4.15 3.29 2.9 2.67 2.51 2.4 2.31 2.24 2.19 2.14 1.99 1.91 1.82 1.77 1.74 1.71 1.69 1.67
34 4.13 3.28 2.88 2.65 2.49 2.38 2.29 2.23 2.17 2.12 1.97 1.89 1.8 1.75 1.71 1.69 1.66 1.65
36 4.11 3.26 2.87 2.63 2.48 2.36 2.28 2.21 2.15 2.11 1.95 1.87 1.78 1.73 1.69 1.67 1.64 1.62
38 4.1 3.24 2.85 2.62 2.46 2.35 2.26 2.19 2.14 2.09 1.94 1.85 1.76 1.71 1.68 1.65 1.62 1.61
40 4.08 3.23 2.84 2.61 2.45 2.34 2.25 2.18 2.12 2.08 1.92 1.84 1.74 1.69 1.66 1.64 1.61 1.59
42 4.07 3.22 2.83 2.59 2.44 2.32 2.24 2.17 2.11 2.06 1.91 1.83 1.73 1.68 1.65 1.62 1.59 1.57
44 4.06 3.21 2.82 2.58 2.43 2.31 2.23 2.16 2.1 2.05 1.9 1.81 1.72 1.67 1.63 1.61 1.58 1.56
46 4.05 3.2 2.81 2.57 2.42 2.3 2.22 2.15 2.09 2.04 1.89 1.8 1.71 1.65 1.62 1.6 1.57 1.55
48 4.04 3.19 2.8 2.57 2.41 2.29 2.21 2.14 2.08 2.03 1.88 1.79 1.7 1.64 1.61 1.59 1.56 1.54
50 4.03 3.18 2.79 2.56 2.4 2.29 2.2 2.13 2.07 2.03 1.87 1.78 1.69 1.63 1.6 1.58 1.54 1.52
60 4 3.15 2.76 2.53 2.37 2.25 2.17 2.1 2.04 1.99 1.84 1.75 1.65 1.59 1.56 1.53 1.5 1.48
70 3.98 3.13 2.74 2.5 2.35 2.23 2.14 2.07 2.02 1.97 1.81 1.72 1.62 1.57 1.53 1.5 1.47 1.45
80 3.96 3.11 2.72 2.49 2.33 2.21 2.13 2.06 2 1.95 1.79 1.7 1.6 1.54 1.51 1.48 1.45 1.43
90 3.95 3.1 2.71 2.47 2.32 2.2 2.11 2.04 1.99 1.94 1.78 1.69 1.59 1.53 1.49 1.46 1.43 1.41
100 3.94 3.09 2.7 2.46 2.31 2.19 2.1 2.03 1.97 1.93 1.77 1.68 1.57 1.52 1.48 1.45 1.41 1.39
500 3.86 3.01 2.62 2.39 2.23 2.12 2.03 1.96 1.9 1.85 1.69 1.59 1.48 1.42 1.38 1.35 1.3 1.28
3.84 3 2.6 2.37 2.21 2.1 2.01 1.94 1.88 1.83 1.67 1.57 1.46 1.39 1.35 1.32 1.27 1.24
Quelques donnes
Date "maxO3" "T12" "T15" "Ne12" "N12" "S12" "E12" "W12" "Vx" "maxO3v"
"19960422" 63.6 13.4 15 7 0 0 3 0 9.35 95.6
"19960429" 89.6 15 15.7 4 3 0 0 0 5.4 100.2
"19960506" 79 7.9 10.1 8 0 0 7 0 19.3 105.6
"19960514" 81.2 13.1 11.7 7 7 0 0 0 12.6 95.2
"19960521" 88 14.1 16 6 0 0 0 6 -20.3 82.8
"19960528" 68.4 16.7 18.1 7 0 3 0 0 -3.69 71.4
"19960605" 139 26.8 28.2 1 0 0 3 0 8.27 90
"19960612" 78.2 18.4 20.7 7 4 0 0 0 4.93 60
"19960619" 113.8 27.2 27.7 6 0 4 0 0 -4.93 125.8
"19960627" 41.8 20.6 19.7 8 0 0 0 1 -3.38 62.6
"19960704" 65 21 21.1 6 0 0 0 7 -23.68 38
"19960711" 73 17.4 22.8 8 0 0 0 2 -6.24 70.8
"19960719" 126.2 26.9 29.5 2 0 0 4 0 14.18 119.8
"19960726" 127.8 25.5 27.8 3 0 0 5 0 13.79 103.6
"19960802" 61.6 19.4 21.5 7 6 0 0 0 -7.39 69.2
"19960810" 63.6 20.8 21.4 7 0 0 0 5 -13.79 48
"19960817" 134.2 29.5 30.6 2 0 3 0 0 1.88 118.6
"19960824" 67.2 21.7 20.3 7 0 0 0 7 -24.82 60
"19960901" 87.8 19.7 21.7 5 0 0 3 0 9.35 74.4
"19960908" 96.8 19 21 6 0 0 8 0 28.36 103.8
"19960915" 89.6 20.7 22.9 1 0 0 4 0 12.47 78.8
"19960923" 66.4 18 18.5 7 0 0 0 2 -5.52 72.2
"19960930" 60 17.4 16.4 8 0 6 0 0 -10.8 53.4
"19970414" 90.8 16.3 18.1 0 0 0 5 0 18 89
"19970422" 104.2 13.6 14.4 1 0 0 1 0 3.55 97.8
"19970429" 70 15.8 16.7 7 7 0 0 0 -12.6 61.4
Date "maxO3" "T12" "T15" "Ne12" "N12" "S12" "E12" "W12" "Vx" "maxO3v"
"19970708" 96.2 26 27.3 2 0 0 5 0 16.91 87.4
"19970715" 65.6 23.5 23.7 7 0 0 0 3 -9.35 67.8
"19970722" 109.2 26.3 27.3 4 0 0 5 0 16.91 98.6
"19970730" 86.2 21.8 23.6 6 4 0 0 0 2.5 112
"19970806" 87.4 24.8 26.6 3 0 0 0 2 -7.09 49.8
"19970813" 84 25.2 27.5 3 0 0 0 3 -10.15 131.8
"19970821" 83 24.6 27.9 3 0 0 0 2 -5.52 113.8
"19970828" 59.6 16.8 19 7 0 0 0 8 -27.06 55.8
"19970904" 52 17.1 18.3 8 5 0 0 0 -3.13 65.8
"19970912" 73.8 18 18.3 7 0 5 0 0 -11.57 90.4
"19970919" 129 28.9 30 1 0 0 3 0 8.27 111.4
"19970926" 122.4 23.4 25.4 0 0 0 2 0 5.52 118.6
"19980504" 106.6 13 14.3 3 7 0 0 0 12.6 84
"19980511" 121.8 26 28 2 0 4 0 0 2.5 109.8
"19980518" 116.2 24.9 25.8 2 0 0 5 0 18 142.8
"19980526" 81.4 18.4 16.8 7 0 0 0 4 -14.4 80.8
"19980602" 88.6 18.7 19.6 5 0 0 0 5 -15.59 60.4
"19980609" 63 20.4 16.6 7 0 0 0 8 -22.06 79.8
"19980617" 104 19.6 21.2 6 0 0 0 3 -10.8 84.6
"19980624" 88.4 23.2 23.9 4 0 4 0 0 -7.2 92.6
"19980701" 83.8 19.8 20.3 8 0 0 5 0 17.73 40.2
"19980709" 56.4 18.9 19.3 8 0 0 0 4 -14.4 73.6
"19980716" 50.4 19.7 19.3 7 0 0 0 5 -17.73 59
"19980724" 79.2 21.1 21.9 3 4 0 0 0 9.26 55.2
[1] A. Antoniadis, J. Berruyer, and R. Carmona. Rgression non linaire et applications. Econo-
mica, 1992.
[2] A.C. Atkinson. Two graphical displays for outlying and influential observations in regression.
Biometrika, 68 :1320, 1981.
[3] B. Bercu and D. Chafa. Modlisation stochastique et simulation. Dunod, Paris, 2007.
[4] R. D. Cook. Detection of influential observation in linear regression. Technometrics, 19 :1518,
1977.
[5] P.-A. Cornillon and E. Matzner-Lber. Rgression avec R. Springer, Paris, 2010.
[6] Y. Dodge and V. Rousson. Analyse de rgression applique. Dunod, 2004.
[7] G. H. Golub and C. F. Van Loan. Matrix computations. John Hopkins university press, 3rd
edition, 1996.
[8] T. Hastie, R. Tibshirani, and J. Friedman. The elements of statistical learning - data mining,
inference and prediction. Springer, New-York, 2001.
[9] D. C. Hoaglin and R. E. Welsch. The hat matrix in regression and anova. The American
Statistician, 32 :1722, 1978.
[10] P. Huber. Robust Statistics. J. Wiley & Sons, New-York, 1981.
[11] F. Husson and J. Pags. Statistiques gnrales pour utilisateurs (2. Exercices et corrigs).
Presses Universitaires de Rennes, 2005.
[12] E. L. Lehmann and G. Casella. Theory of point estimation. Springer, New-York, 1998.
[13] M. Lejeune. Statistique. La thorie et ses applications. Springer, Paris, 2004.
[14] D. C. Montgomery, E. A. Peck, and G. Geoffrey Vining. Introduction to linear regression
analysis. John Wiley, New-York, 3 edition, 2001.
[15] A. Sen and M. Srivastava. Regression Analysis : Theory, Methods, and Applications. Springer,
1990.