Introduction A L'econometrie Luxembourg 2008-2009

Economtrie 1
Master Financial Economics

Michel BEINE
michel.beine@uni.lu
Universite du Luxembourg
Econom etrie 1 p. 1/??
Manuel
La partie conomtrique du cours dconomtrie I et
Analyse des donnes est bas sur le livre Introductory
Econometrics, a Modern Approach (second edition) de
Jeffrey M. Wooldridge, dition Thomson
South-Western.
Sur le site web : http://www.swcollege.com/bef/wooldridge/
... wooldridge2e/wooldridge2e.html
il y a des donnes ncessaires pour les
exercices et plusieurs liens intressants.
Introduction ` a lEconom etrie p. 2/??
Plan du cours (Partie conomtrie)
Chapitre 1. Nature de lconomtrie et des donnes
conomique.
Partie I: Analyse de rgression avec des donnes
cross-section.
Chapitre 2. Le modle de rgression simple.
Chapitre 3. Le modle de rgression multiple:
estimation.
infrence.
Chapitre 5. Le modle de rgression multiple: MCO
asymptotiques.
Plan du cours (Partie conomtrie)
Chapitre 1. Nature de lconomtrie et des donnes
conomique.
Partie I: Analyse de rgression avec des donnes
cross-section.
questions avances.
Chapitre 7. Le modle de rgression multiple avec
information qualitative.
Chapitre 8. Htroscdasticit.
Chapitre 9. Spcication et problmes lis aux
donnes.
Chapitre 1: Nature de lconomtrie et donnes
conomiques
Nature de lconomtrie
Lconomtrie est une technique de plus en plus
rpandue.
Elle permet de rpondre des questions conomiques
(ou non) telles que :
- Quels sont les dterminants du salaire ?
- Quelle est la meilleur prvision (selon moi) du PNB
belge de lanne prochaine ?
- Est-ce que le plan de rsorption du chmage a t
efcace ?
Lconomtrie est base sur les dveloppements des
mthodes statistiques pour estimer des relations
conomiques, tester des thories conomiques et
valuer des politiques (conomiques).
Une caractristique importante de lconomtrie est
quelle se base sur des donnes non-exprimentales.
tapes dune analyse conomique
Une analyse empirique utilise des donnes pour tester
une thorie ou estimer une relation (conomique) 5
tapes.
1. Formuler la question.
2. Dans certains cas un modle conomique est
dvelopp : quations mathmatiques qui dcrivent des
relations. Exemple: maximization de fonction dutilit
les individus agissent de manire maximiser leur
bien-tre sous des contraintes de ressources.
Extension de ce concept par le prix Nobel Gary Becker:
modle conomique expliquant la participation dun
individu un crime.
Certains crimes ont des rcompenses conomiques
mais la plupart ont des cots. Selon Becker il y a un
arbitrage cot-bnce.
Modle conomique du crime
y = f(x
1
, x
2
, x
3
, x
4
, x
5
, x
6
, x
7
), o
y = nombre dheures passes dans des activits
criminelles.
x
1
= salaire pour une heure passes dans une activit
criminelle.
x
2
= salaire pour une heure passes dans une activit
lgale.
x
3
= autres revenus (que dans des activits criminelles
et lgales).
x
4
= probabilit dtre attrap.
x
5
= probabilit dtre reconnu coupable si attrap.
x
6
= sentence attendue si attrap et reconnu coupable.
x
7
= ge.
3. Dans beaucoup de cas il faut se baser galement sur
lintuition plutt que sur un modle conomique tabli.
Exemple: wage = f(educ, exper, training).
4. Ensuite il faut spcier un modle conomtrique.
a) f(.) ?
b) Quelles sont les variables observes. Que faire avec
les variables non-observes (ou non-observables) ?
Exemple du crime: crime =
0
+
1
wage
m
+
2
otheinc +
3
freqarr +
4
freqconv +
5
avgsen +
6
age + u o entre
autre wage
m
est le salaire horaire dans une activit
lgale, freqconv est la frquence de condamnation et
avgsen est la sentence moyenne.
u capture tous les facteurs non observs tels que x
1
,
origine sociale mais aussi les erreurs de mesure.
Une fois le modle spci, on peut poser des
questions du style est-ce que wage
m
inuence le
comportement criminel ?
1
= 0 contre
1
>=< 0 ?
5. Finalement, une fois que nous disposons de
donnes, nous pouvons estimer les paramtres
0
, . . . ,
6
et procder aux tests.
Structure des donnes
Il existe 3 types de donnes. Chaque type de donnes peut
ncessiter des techniques conomtriques particulires.
Donnes cross-section ou transversales.
Sries temporelles.
Donnes de panel ou longitudinales.
Donnes Cross-section
chantillon dindividus, mnages, rmes, ..., pris un
point du temps donn.
Important : on peut souvent supposer que les obs. =
chantillon alatoire simplie lanalyse.
Donnes trs utilises en conomie et sciences
sociales micro applique: march du travail, nances
publiques, organisation industrielle, conomie spatiale,
dmographie, conomie de la sant, etc.
Exemple: Wage1.
On se focalisera sur ce type de donnes dans ce cours.
Sries temporelles
Sries chronologiques. Ex: PNB, importations, indices
de prix, etc.
Important: Rarement indpendantes au court du temps
complexie lanalyse.
Diffrentes frquences: annuel, trimestriel, mensuel,
hebdomadaire, journalier, intra-journalier.
Donnes trs utilises en macro-conomie et en
nance.
Exemple: PRMINWGE.
Donnes de panel
Srie temporelle pour chaque unit/individu.
Important : la mme unit est observe plusieurs fois
au court du temps.
Exemple: WAGEPAN.
Causalit et notion Ceteris Paribus
La plupart du temps, lobjectif dun conomiste est de
montrer quune variable un effet causal sur une autre.
Exemple : lducation a un effet causal sur la
productivit dun travailleur.
La notion Ceteris Paribus joue un rle important dans
cette reprsentation causale.
Dans le modle wage = f(educ, exper, training) on peut
tre intress pas savoir leffet dune semaine de
formation supplmentaire sur le salaire attendu, toute
chose restant gale par ailleurs (ici educ et exper).
le but est disoler leffet de training sur wage.
Nous allons imposer certaines contraintes permettant
ce type dinterprtation.
Chapitre 2: Modle de rgression simple
Modle de rgression simple
La plupart des analyses conomtriques commencent
comme ceci: y et x sont deux variables reprsentant
une population et nous voulons expliquer y en fonction
de x, c--d comment varie y lorsque x varie ?
En crivant un modle qui explique y en fonction de x
on est face 3 problmes.
1. Comme il nexiste pas de relation exacte entre deux
variables, comment tenir compte que dautres facteurs
(non observs) peuvent expliquer y ?
2. Quelle est la relation fonctionnelle entre y et x ?
3. Comment sassurer que lon capture une relation
Ceteris Paribus entre y et x ?
Objectif: estimer un modle du type
wage =
0
+
1
educ + u.
De manire gnrale:
y =
0
+
1
x + u.
cette relation est suppose tenir sur la population
dintrt = modle linaire de rgression simple.
y x
Variable dpendante Variable indpendante
Variable expliquer Variable explicative
Variable de raction Variable de contrle
Rgressant Rgresseur
u est le terme derreur (ala) = facteurs non-observs
autres que x qui affectent y.
u et x sont des variables alatoires.
Relation fonctionnelle entre y et x ?
y =
0
+
1
x + u.
Si les autres facteurs dans u restent inchangs,
c--d u = 0, alors x a un effet linaire sur y:
y =
1
x si u = 0.
Modle linaire
0 2 4 6 8 10 12 14 16 18
0
1
2
3
x
y
y =
0
+
1
x
1
Exemple
wage =
0
+
1
educ + u.
Si wage est le salaire horaire en dollars et educ le
nombre dannes dducation.
1
mesure le changement de salaire horaire d une
anne supplmentaire dducation, Ceteris Paribus.
La linarit implique que leffet est le mme pour les
bas que pour les hauts niveaux dducation.
Cette restriction est discutable on tendra ce modle
plus tard (voir Section 2.4).
Pour estimer
0
et
1
et garder cette interprtation
Ceteris Paribus il faut faire certaines hypothses.
1) E(u) = 0: normalisation on ne perd rien.
2) E(u[x) = E(u): pour toute valeur de x, la moyenne
des u correspondantes est la mme.
implique la non-corrlation (linaire). Ex:
wage =
0
+
1
educ + u E(abil[8) = E(abil[16).
En combinant ces 2 hypothses:
E(u[x) = E(u) = 0: hypothse de moyenne
conditionnelle nulle.
E(y[x) =
0
+
1
x: fonction de rgression de la
population.
Estimation de
0
et
1
(x
i
, y
i
) : i = 1, . . . , n = chantillon alatoire de taille n tir de
la population, c--d du modle y =
0
+
1
x + u.
y
i
=
0
+
1
x
i
+ u
i
, i.
E(u) = 0 E(y
0
1
x) = 0.
E(u[x) = 0 Covariance nulle entre u et x
E[(y
0
1
x)x] = 0.
on a deux restrictions sur la distribution jointe de
(x, y) dans la population.
Pour obtenir

0
et

1
on va rsoudre ce systme en
remplaant E(.) par son quivalant empirique
1/n
n
i=1
(.).
Estimation de
0
et
1
n
1
n
i=1
(y
i
1
x
i
) = 0
0
= y

1
x
n
1
n
i=1
[(y
i
1
x
i
)x
i
] = 0
i=1
[x
i
(y
i
y +

1
x

1
x
i
)] = 0
i=1
x
i
(y
i
y)
. .
n
i=1
(x
i
x)(y
i
y)
=

1
n
i=1
x
i
(x
i
x)
. .
n
i=1
(x
i
x)
2
Estimation de
0
et
1
Donc pour autant que

n
i=1
(x
i
x)
2
> 0,
1
=
n
i=1
(x
i
x)(y
i
y)
n
i=1
(x
i
x)
2
.
1
=
Covariance empirique entrex et y
Variance empirique dex
.
1
> 0(< 0) quand x et y sont positivement
(ngativement) corrls dans lchantillon.
Cette mthode destimation de
0
et
1
sappelle la
mthode des moments.
n
i=1
(x
i
x)
2
= 0
0 10 20
0
x
x
x
x
x
x
x
x
educ
w
a
g
e
Moindres carrs ordinaires (MCO)
0 2 4 6 8 10 12 14 16 18
2
0
2
4
6
8
10
12
14
16
18
20
22
24
educ
w
a
g
e
y
i
i

=

r
s
i
d
u
^ y
i

=

v
a
l
e
u
r

p
r
d
i
t
e
x
i
^
y
=

^
0
+

^
1
x
Trouver les valeurs de

0
et

1
qui minimisent le problme
suivant:
min
0
,
1
n
i=1
u
2
i
min
0
,
1
n
i=1
(y
i
1
x
i
)
2
2 quations de premier ordre
2
n
i=1
(y
i
1
x
i
) = 0
2
n
i=1
[(y
i
1
x
i
)x
i
] = 0
0
= y

1
x
1
=
n
i=1
(x
i
x)(y
i
y)
n
i=1
(x
i
x)
2
si > 0
.
Estimation de
0
et
1
par la mthode des MCO donne les
mme

0
et

1
.
On a min
n
i=1
u
2
i
. On pourrait galement min
n
i=1
[ u
i
[.
Ca compliquerait beaucoup les calculs. Obtenir des
formules pour

0
et

1
serait difcile (
0
et

1
peuvent
tre obtenus par des techniques doptimisation
numrique).
Une fois les paramtres estims, on peut tracer la droite
de rgression y =

0
+

1
x (cf graphique prcdant).
0
est la valeur prdite de y (c--d y) pour une valeur de
x = 0 pas toujours interprtable.
Par contre si on le retire

0
= 0. DISCUTABLE.
1
est bien souvent plus intressant.

1
=
y
x
= par
combien y quand x dune unit.
Exemples
Modle expliquant le salaire des PDGs:
salary =
0
+
1
roe + u,
o salary est le salaire annuel (en 10.000 de $) des
PDGs et roe le rendement moyen des actions des
rmes relatives ces PDGs (sur les 3 dernires
annes). 209 observations (anne 1990) donnes
cross-section.
Exemple: CEOSAL1.xls.
Exemple: CEOSAL1.in7.
Statistiques descriptives
Salary roe
Observations 209 209
Mean 1281.1 17.184
Std.Devn. 1369.1 8.4981
Minimum 223.00 0.5000
Maximum 14822. 56.300
Correlation matrix:
salary roe
salary 1.0000 0.11484
roe 0.11484 1.0000
Rgresser salary sur roe
EQ( 1) Modelling salary by OLS-CS (using ceosal1.in7)
The estimation sample is: 1 to 209
Coefficient Std.Error t-value t-prob
Constant 963.191 213.2 4.52 0.000
roe 18.5012 11.12 1.66 0.098
sigma 1366.55 RSS 386566563
R2 0.0131886 F(1,207) = 2.767 [0.098]
log-likelihood -1804.54 DW 2.1
no. of observations 209 no. of parameters 2
mean(salary) 1281.12 var(salary) 1.87432e+006
salary = + 963.2 + 18.5*roe
(SE) (213) (11.1)
salary = 963.2 + 18.5roe

0 5 10 15 20 25 30 35 40 45 50 55
2500
5000
7500
10000
12500
15000
^
salary = 963.2 + 18.5 roe
E
(
s
a
l
a
r
y
|r
o
e
)

=

0

+

1

r
o
e

s
a
l
a
r
y
roe
y
i
et u
i
Quelques proprits alg. des MCO
1)

n
i=1
u
i
= 0 premire condition de premier ordre:
n
1
n
i=1
(y
i
1
x
i
) = 0.
2)

n
i=1
x
i
u
i
= 0 deuxime condition de premier
ordre: n
1
n
i=1
x
i
(y
i
1
x
i
) = 0.
3) (x, y) est toujours sur la droite de rgression car on a
vu que y =

0
+

1
x.
4) y
i
= y
i
+ u
i
les MCO dcomposent chaque y
i
en
deux parties: une valeur prdite + un rsidu (valeur
non-prdite).
0 2 4 6 8 10 12 14 16 18
2
0
2
4
6
8
10
12
14
16
18
20
22
24
educ
w
a
g
e
y
i
i

=

r
s
i
d
u
^ y
i

=

v
a
l
e
u
r

p
r
d
i
t
e
x
i
^
y
=

^
0
+

^
1
x
Dcomposition de la variance
Comme y
i
= y
i
+ u
i
, on peut dnir :
SST
n
i=1
(y
i
y)
2
= Total Sum of Squares.
SSE
n
i=1
( y
i
y)
2
= Explained Sum of Squares.
SSR
n
i=1
u
2
i
= Residual Sum of Squares.
SSE est parfois galement appel Regression Sum of
Squares.
SST = SSE + SSR.
Dcomposition de la variance
Preuve:
n
i=1
(y
i
y)
2
=
n
i=1
[(y
i
y
i
) + ( y
i
y)]
2
=
n
i=1
_
u
2
i
+ ( y
i
y)
2
=
n
i=1
u
2
i
+ 2
n
i=1
u
i
( y
i
y) +
n
i=1
( y
i
y)
2
= SSR + 2
n
i=1
u
i
( y
i
y)
. .
(n1)Cov( u
i
, y)=0
+ SSE.CQFD.

Goodness-of-t (GoF)
Pour autant :
- quun intercept a t inclus dans la rgression (
0
);
- et quil y a de la variabilit dans les y
i
,
on peut calculer le R-carr de la rgression (ou
coefcient de dtermination).
R
2
SSE/SST = 1 SSR/SST.
100 R
2
est le pourcentage de la variance de y
expliqu par x.
0 R
2
1 1 si tous les points sont sur la droite de
rgression.
R
2
=
2
y
i
, y
i
.
Ne pas juger la qualit dune rgression uniquement
sur le R
2
.
R
2
Constant 963.191 213.2 4.52 0.000
roe 18.5012 11.12 1.66 0.098
sigma 1366.55 RSS 386566563
R2 0.0131886 F(1,207) = 2.767 [0.098]
no. of observations 209 no. of parameters 2
mean(salary) 1281.12 var(salary) 1.87432e+006
1 386566563/(209 1874320) = 0.01318
Units de mesure
Dans lexemple prcdant salary est exprim en 10000$
et roe en %.
salary = 100 100 10000$ = 1000000$ et
roe = 10 10%.
Si on dni maintenant salardol = 10000 salary on
obtiendra:
salardol = 963191 + 18501 roe.
Si y c y

0
et

0
c

0
et c

1
.
Si x c x

1
c
1
1
.
Si roedec = roe/100 salary = 963.191 + 1850.1 roedec.
Le R
2
nest pas affect par ces changements dunit de
mesure.
Forme fonctionnelle
Relation linaire:
wage =
0
+
1
educ + u.
1
= 0.54 chaque anne supplmentaire devrait
accrotre le salaire horaire (wage) de 54 cents, quel que
soit le niveau dducation.
On suppose ici que leffet absolu de lducation ne
dpend pas du niveau dducation irraliste.
En conomie du travail, on voit souvent ce type de
modle:
log(wage) =
0
+
1
educ + u,
o log(.) est le ln(.) et non le log en base 10.
si u = 0, %wage (100
1
)educ.
log(y)
0 2 4 6 8 10 12 14 16 18
2.5
5.0
7.5
10.0
12.5
15.0
w
a
g
e
educ
wage = exp(
0
+
1
educ), avec
1
> 0.
Exemple
LWAGE WAGE
Constant 0.583773 -0.904852
EDUC 0.0827444 0.541359
R2 0.185806 0.164758
Le salaire (wage) augmente de 8.3 % pour chaque anne
dducation supplmentaire (educ = 1).
Modle lasticit constante
Dans certains cas, il est intressant destimer un
modle log log.
log(y) =
0
+
1
log(x) + u.
Cest toujours un modle linaire en les paramtres.
Contrairement y = 1/(
0
+
1
x) + u.
Exemple: CEOSAL1.in7.
lsalary = 4.822 + 0.2567lsales
n = 209, R
2
= 0.211.
Llasticit salaire-ventes est de 0.257 une
augmentation de 1% des ventes augmente le salaire
denviron 0.257%.
Changement dunit et log
log(y
i
) =
0
+
1
x
i
+ u
i
.
y
i
cy
i
log(y
i
) log(c) + log(y
i
).
log(c) + log(y
i
) = log(c) +
0
+
1
x
i
+ u
i
.
1
est inchang mais lintercept est log(c) +
0
.
Idem si on change lunit de x.
Combinaisons de log
Modle Variable Variable Interprtation
dpendante explicative de
1
niveau-niveau y x y =
1
x
niveau-log y log(x) y = (
1
/100)%x
log-niveau log(y) x %y = (100
1
)x
log-log log(y) log(x) %y =
1
%x
Proprits des estimateurs MCO
SLR=Simple Linear Regression.
Quelles sont les proprits statistiques de lestimateur
des MCO ?
0
et

1
sont des estimateurs des paramtres de la
population
0
et
1
.
Ce sont donc des variables alatoires car on obtiendra
des

0
et

1
diffrents si on utilise des chantillons
diffrents (tirs de la mme population).
on va devoir imposer certaines hypothses pour
tudier:
1. E(
0
) et E(
1
).
2. V ar(
0
) et V ar(
1
).
Caractre non biais des MCO
SLR.1 y =
0
+
1
x + u linaire en les paramtres.
SLR.2 (x
i
, y
i
) : i = 1, . . . , n chantillon alatoire de
taille n tir de la population.
y
i
=
0
+
1
x
i
+ u
i
, i = 1, 2, . . . , n.
SLR.3 E(u[x) = 0 moyenne conditionnelle nulle.
Permet de driver les proprits des MCO
conditionnellement aux valeurs de x
i
dans notre
chantillon. Techniquement identique supposer x
i
xes dans des chantillons rpts (pas trs raliste).
SLR.4

n
i=1
(x
i
x)
2
,= 0 variation dans les x.
Thorme 2.1: Sous les hypothses SLR.1 - SLR.4,
E(
0
) =
0
et E(
1
) =
1
.
Preuve Thorme 2.1
Rappelons que si SLR.4 est vri,
1
=
n
i=1
(x
i
x)(y
i
y)
n
i=1
(x
i
x)
2
=
n
i=1
(x
i
x)y
i
SST
x
.
Proprit de

1
travers un ensemble inni
dchantillons diffrents ? rcrire

1
en fonction de
des paramtres de la population (et du terme derreur).
1
==
n
i=1
(x
i
x)(
0
+
1
x
i
+u
i
)
SST
x
.
Preuve suite
Le numrateur peut tre rcrit comme suit:
n
i=1
(x
i
x)
0
+
n
i=1
(x
i
x)
1
x
i
+
n
i=1
(x
i
x)u
i
=
0
n
i=1
(x
i
x)
. .
0
+
1
n
i=1
(x
i
x)x
i
. .
n
i=1
(x
i
x)
2
=SST
x
+
n
i=1
(x
i
x)u
i
.
Par consquent,
1
=
1
+
n
i=1
(x
i
x)u
i
SST
x
=
1
+
n
i=1
d
i
u
i
SST
x
.
E(
1
) =
1
?
Preuve suite
Notons tout dabord que SST
x
et d
i
ne dpendent que
de x
1
, . . . , x
n
E(SST
x
[x
1
, . . . , x
n
) = SST
x
(voir
proprit CE.1 page 718).
Donc,
E(
1
[x
1
, . . . , x
n
) =
1
+
1
SST
x
n
i=1
d
i
E(u
i
[x
1
, . . . , x
n
)
. .
0:SLR.2-3
=
1
.
Hors, si E(
1
[x
1
, . . . , x
n
) =
1
E[E(
1
[x
1
, . . . , x
n
)] = E(
1
)
. .
voir proprit CE.4 page 719
=
1
.
Preuve suite et n
On a galement que
0
= y

1
x =
0
+
1
x + u

1
x =
0
+ (
1
1
)x + u.
E(
0
[x
1
, . . . , x
n
) =
0
+ E[(
1
1
)
. .
0
x[x
1
, . . . , x
n
] + E(u[x
1
, . . . , x
n
)
. .
0:SLR.2-3
.
E(
0
) = E[E(
0
[x
1
, . . . , x
n
)] =
0
.
CQFD.
Attention: le rsultat ne dit rien sur lestimateur obtenu
sur un chantillon particulier rsultat moyen.
Si SLR.1-3 sont violes estimateur biais. Si SLR.4
viole on ne peut pas calculer

0
et

1
.
Importance de SLR.3
Pour rappel: SLR.3 E(u[x) = 0 moyenne
Exemple: math10 =
0
+
1
lnchprg + u, o
math10 = %age dtudiants qui russissent un examen
de math standardis et lnchprg = %age dtudiants qui
sont ligibles un programme fdral de nancement
dun repas de midi.
math10 = 32.14 0.32lnchprg (n = 408, R
2
= 0.171).
si lnchprg augmente de 10%, math10 diminue de
3.2%.
E(u[x) = 0 ? u taux de pauvret, qualit
denseignement corrls avec x : lnchprg.
Variance de

0
et

1
?
Mesure de dispersion de lestimateur MCO ?
SLR.5 V ar(u[x) =
2
homoscdasticit.
V ar(
0
) =

2
n
1
n
i=1
x
2
i
n
i=1
(x
i
x)
2
V ar(
1
) =

2
n
i=1
(x
i
x)
2
E(
2
) =
2
, o
2
=
1
n2
n
i=1
u
2
i
.
SLR.5 ne joue aucun rle pour prouver le caractre
non-biais des MCO.
SLR avec homoscdasticit
SLR avec htroscdasticit
Preuve pour

1
=
1
+
n
i=1
d
i
u
i
SST
x
.
Comme
1
est une cst et SST
x
nest fonction que de x,
V ar(
1
[x
1
, . . . , x
n
) =
V ar
_
n
i=1
d
i
u
i
[x
1
, . . . , x
n
_
SST
2
x
=
n
i=1
d
2
i
V ar(u
i
[x
1
, . . . , x
n
)
SST
2
x
(SLR.5) =
n
i=1
d
2
i
2
SST
2
x
=
2
_
n
i=1
d
2
i
_
SST
2
x
=

2
SST
x
SST
2
x
=

2
SST
x
.
V ar(
1
[x
1
, . . . , x
n
) = V ar(
1
) =

2
SST
x
. CQFD.
V ar(
1
) =
2
/SST
x
?
Plus il y a de la variation dans la partie non-prdite,
c--d
2
, plus
1
est estim de manire imprcise.
Plus il y a de la variation dans la variable explicative,
c--d SST
x
, plus
1
est estim de manire prcise.
Comme SST
x
=
n
i=1
(x
i
x)
2
, SST
x
avec n.
On appelle sd(
1
) =
_
V ar(
1
) lcart-type de

1
.
2
est non observ on doit lestimer.
Estimation de
2
2
est la variance de u, c--d la variance du terme
derreur de la population u
i
= y
i
1
x
i
jamais
observ.
Ce que lon observe aprs estimation cest
u
i
= y
i
1
x
i
.
Ou encore,
u
i
= (
0
+
1
x
i
+ u
i
)

1
x
i
= u
i
(
0
) (
1
)x
i
.
Comme
2
= E(u
2
), un estimateur non-biais de
2
=
1
n
n
i=1
u
2
i
. Mais u
i
nest pas observ.
On serait tent de replacer u
i
par
u
i

2
=
1
n
n
i=1
u
2
i
= SSR/n.
Estimation de
2
Mais E(SSR/n) ,=
2
SSR/n est un estimateur
biais.
Ceci vient du fait que pour calculer u
i
par MCO (c--d
0
et

1
) on a utilis deux restrictions.
n
i=1
u
i
= 0 et

n
i=1
x
i
u
i
= 0 conditions de moments.
u
i
x
i
x
i
u
i
-1 4 -4
2 6 12
-1 8 -8
0 0
2 valeurs de u
i
sont contraintes.
On a donc n 2 degrs de liberts.

2

2
=
1
n2
n
i=1
u
2
i
= SSR/(n 2) est un estimateur
non-biais de
2
E(
2
) =
2
.
Preuve:
u
i
= u
i
(
0
) (
1
)x
i
1
n
n
i=1
u
i
= 0 = u (
0
) (
1
)x
u
i
0 = ( u
i
u) (
1
)(x
i
x)
u
2
i
= ( u
i
u)
2
+ (
1
)
2
(x
i
x)
2
2( u
i
u)(
1
)(x
i
x)

Suite de la preuve
i=1
u
2
i
=
n
i=1
( u
i
u)
2
+ (
1
)
2
n
i=1
(x
i
x)
2
2(
1
)
n
i=1
u
i
(x
i
x)
E
_
n
i=1
u
2
i
_
= (n 1)
2
. .
C.5 p. 736
+
2
..
E[(
1
)
2
]=V ar(
1
)=
2
/SST
x
2
2
..
2SST
x
E[(
1
)
2
]
= (n 2)
2
E
_
1
n 2
n
i=1
u
2
i
_
= E
_

2
_
=
2
CQFD.
Chapitre 3: Modle de rgression multiple
Modle de rgression multiple
Objectif: estimer un modle du type
wage =
0
+
1
educ +
2
exper + u.
De manire gnrale:
y =
0
+
1
x
1
+ . . . +
k
x
k
+ u.
0
est lintercept et les
i
(i = 1, . . . , k) mesurent les
changements de y respectivement x
i
, toutes choses
restant gales par ailleurs.
Notons que cette spcication permet les modles du
type:
cons =
0
+
1
inc +
2
inc
2
+ u.
cons
inc

1
+ 2
2
inc.
Mcanisme et interprtation des MCO
Population: y =
0
+
1
x
1
+ . . . +
k
x
k
+ u.
MCO: min
0
,
1
,...,
n
i=1
(y
i
1
x
i1
. . .

k
x
ik
)
2
.
k + 1 quations linaires en k + 1 paramtres
inconnus E(u) = 0 et E(x
j
u) = 0 i = 1, . . . , k:
n
i=1
(y
i
1
x
i1
. . .

k
x
ik
) = 0
n
i=1
[x
i1
(y
i
1
x
i1
. . .

k
x
ik
)] = 0
.
.
.
n
i=1
[x
ik
(y
i
1
x
i1
. . .

k
x
ik
)] = 0.
Interprtation
Population: y =
0
+
1
x
1
+
2
x
2
+ u.
y =

0
+

1
x
1
+

2
x
2
.
0
est la valeur prdite de y quand x
1
= x
2
= 0 pas
toujours de sens bien que ncessaire.
1
a une interprtation deffet partiel ou Ceteris Paribus.
y =

1
x
1
+

2
x
2
.
quand x
2
= 0, y =

1
x
1
.
quand x
1
= 0, y =

2
x
2
.
Exemple: Wage1.
Exemple: LWAGE (n = 526)
Coefficient
Constant 0.284360
EDUC 0.0920290
EXPER 0.00412111
TENURE 0.0220672
LWAGE = 0.2844 + 0.09203EDUC + 0.004121EXPER
+ 0.02207TENURE.
Ceteris Paribus, une anne supplmentaire dducation
pourrait accrotre log( wage) de 0.092 et donc environ le
salaire 9.2% (0.092 100) ssi linterprtation Ceteris Paribus
tient.
si exper et tenure de 1 an et educ reste inchang:
log( wage) = 0.004121exper + 0.02207tenure = 0.0261.
Quelques proprits alg. des MCO
u
i
= y
i
y
i
.
1)

n
i=1
u
i
= 0 condition de premier ordre premire:
n
i=1
(y
i
1
x
i
) = 0.
2) i = 1, . . . , k :
n
i=1
x
ij
u
i
= 0 condition de premier
ordre premire:

n
i=1
x
ij
(y
i
1
x
i
) = 0.
3) (x
1
, . . . , x
k
, y) est toujours sur la droite de rgression.
Autre interprtation
Exemple: y =
0
+
1
x
1
+
2
x
2
+ u.
Comment obtenir

1
?
Rsoudre le systme de k + 1 quations. Ou ...
Rgresser x
1
sur x
2
: x
1
=
0
+
1
x
2
.
Calculer r
1
= x
1
x
1
ter de x
1
leffet li x
2
.
1
=
n
i=1
r
i1
y
i
n
i=1
r
2
i1
.
1
est bien leffet net de x
1
sur y, o net signie quon a
tenu compte de leffet des autres variables explicatives.
y =
0
+
1
x
1
+ u donnera le mme estimateur de

1
que dans la rgression y =
0
+
1
x
1
+
2
x
2
+ u ssi

1
= 0, c--d Corr(x
1
, x
2
) = 0.
Goodness-of-Fit (GoF)
Il est possible de dcomposer la variabilit observe sur y,
c--d SST
n
i=1
(y
i
y)
2
, en 2 quantits:
SSE
n
i=1
( y
i
y)
2
: variabilit explique par le
modle;
SSR
n
i=1
u
2
i
: variabilit non-explique par le
modle.
SST = SSE + SSR.
On peut donc dnir une mesure de qualit de la
rgression (GoF): R
2
= SSE/SST compris entre 0 et 1.
Notons que R
2
quand k pas trs utile pour voir si une
nouvelle variables explicative apporte de linformation.
MLR=Multiple Linear Regression.
MLR.1 y =
0
+
1
x
1
+ . . . +
k
x
k
+ u linaire en les
paramtres.
MLR.2 (x
1i
, . . . , x
ki
, y
i
) : i = 1, . . . , n chantillon
alatoire de taille n tir de la population.
MLR.3 E(u[x
1
, . . . , x
k
) = 0 moyenne conditionnelle
nulle ou variables explicatives exognes.
MLR.4 Aucune variable explicative x
j
j = 1, . . . , k nest
constante dans lchantillon et pas de relation linaire
parfaite entre les x
j
.
Thorme 3.1: Sous les hypothses MLR.1 - MLR.4,
E(
j
) =
k
j = 0, . . . , k.
Revenons sur MLR.3
MLR.3 E(u[x
1
, . . . , x
k
) = 0.
problme si la forme fonctionnelle est mal spcie:
Exemple 1) oubli de inc
2
dans
cons =
0
+
1
inc +
2
inc
2
+ u.
Exemple 2) on modlise wage alors que le modle
dcrit par MLR.1 est sur log(wage).
de manire gnrale, omettre une variable corrle
avec un des rgresseurs.
Exemple 3) wage =
0
+
1
educ +
2
abil + u. Mais abil
non observ on estime
wage =
0
+
1
educ + v(
2
abil + u). Cependant
corr(v, educ) ,= 0 car corr(abil, educ) ,= 0 MLR.3 ne
tient pas.
Revenons sur MLR.4
MLR.4: pas de collinarit parfaite entre les x
j
.
Il y a collinarit parfaite lorsquune variable explicative
est une combinaison linaire parfaite des autres
variables explicatives.
les variables peuvent tre corrles.
Exemple: cons =
0
+
1
inc +
2
inc
2
+ u. inc et inc
2
sont corrls mais par parfaitement.
Par contre
log(cons) =
0
+
1
log(inc) +
2
log(inc
2
) + u. log(inc)
et log(inc
2
) = 2log(inc) sont parfaitement corrls.
Exemple: cons =
0
+
1
inc +
2
(inc 1000).
Exemple:
voteA =
0
+
1
expendA +
2
expendB +
3
totexpend
problme car expendA + expendB = totexpend.
Inclusion de variables redondantes
Supposons que le modle de la population est
y =
0
+
1
x
1
+
2
x
2
+
3
x
3
+u et quil satisfait MLR.1-4.
De plus
3
= 0 E(y[x
1
, x
2
, x
3
) = E(y[x
1
, x
2
) =
0
+
1
x
1
+
2
x
2
.
Mais comme nous ne le savons pas a priori, nous
estimons le modle y =

0
+

1
x
1
+

2
x
2
+

3
x
3
.
E(
0
) =
0
, E(
1
) =
1
, E(
2
) =
2
et E(
3
) =
3
.
Pas deffet sur le caractre non-biais des MCO.
Peut-tre un effet sur la prcision (variance) des
estimateurs !
Omission de variables
Supposons que le modle de la population est
y =
0
+
1
x
1
+
2
x
2
+ u et quil satisfait MLR.1-4.
Exemple: wage =
0
+
1
educ +
2
abil + u.
On nobserve pas abil (ou x
2
) et donc on estime
wage =
0
+
1
educ + v, o v =
2
abil + u
Lestimation donne wage =

0
+

1
educ, ou de manire
gnrale y =

0
+

1
x
1
.
1
=
n
i=1
(x
i1
x
1
)y
i
n
i=1
(x
i1
x
1
)
2
=
n
i=1
(x
i1
x
1
)y
i
SST
1
.
Omission de variables
Notons que:
n
i=1
(x
i1
x
1
)y
i
=
n
i=1
(x
i1
x
1
)(
0
+
1
x
1
+
2
x
2
+ u)
=
1
n
i=1
(x
i1
x
1
)
. .
SST
1
+
2
n
i=1
(x
i1
x
1
)x
i2
+
n
i=1
(x
i1
x
1
)u
i
E(
1
) =
1
+
2
n
i=1
(x
i1
x
1
)x
i2
n
i=1
(x
i1
x
1
)
2
non-biais uniquement
si
2
,= 0 ou corr(x
1
, x
2
) = 0 (c--d MLR.3).
MLR.5 V ar(u[x
1
, . . . , x
k
) =
2
homoscdasticit.
Thorme 3.2: Sous les hypothses MLR.1 - MLR.5
(hypothses de Gauss-Markov) ,
V ar(
j
) =

2
SST
j
(1 R
2
j
)
o R
2
j
est le R
2
de le rgression de x
j
sur les autres x
(+ une constante) et SST
j
=
n
i=1
(x
ij
x
j
)
2
.
1.
2
grand V ar(
j
) grand.
2. SST
j
=
n
i=1
(x
ij
x
j
)
2
grand V ar(
j
) petit.
Corollaire: n petit peut avoir pour consquence V ar(
j
)
grand.
3. R
2
j
grand V ar(
j
) grand.
Exemple: y =
0
+
1
x
1
+
2
x
2
u. Dans le cas extrme
ou R
2
1
( R
2
de la rgression de x
1
sur x
2
) est proche de
1 on ne peut quasiment pas distinguer
1
et
2
V ar(
1
) et V ar(
2
) grands.
Dans ce cas on a de la multicolinarit et son effet est
que V ar(
j
) si R
2
j
1.
V ar(
j
) dans un modle mal spci
Modle de la population: y =
0
+
1
x
1
+
2
x
2
+ u et
MLR.1 - MLR.5 vris.
On considre 2 estimateurs de
1
:
y =

0
+

1
x
1
+

2
x
2
y =

0
+

1
x
1
Si
2
,= 0

1
est biais

1
est prfrable en terme
de biais.
V ar(
j
) dans un modle mal spci
En terme de variance:
V ar(
1
) =

2
SST
1
(1R
2
1
)
et V ar(
1
) =

2
SST
1
V ar(
1
) < V ar(
1
) si R
2
1
,= 0.
V ar(
1
) = V ar(
1
) si R
2
1
= 0.
Par consquent si R
2
1
= 0 (x
1
et x
2
sont non-corrls):
Quand

1
et
2
,= 0 biais non biais V ar(
1
) < V ar(
1
)
2
= 0 non biais non biais V ar(
1
) < V ar(
1
)
ajouter des variables explicatives redondantes
diminue la prcision des estimateurs.
Estimation de
2
2
est la variance de u, c--d la variance du terme
derreur de la population u
i
= y
i
1
x
i
jamais
observ.
Ce que lon observe aprs estimation cest
u
i
= y
i
1
x
i
.
Ou encore,
u
i
= (
0
+
1
x
i
+ u
i
)

1
x
i
= u
i
(
0
) (
1
)x
i
.
Comme
2
= E(u
2
), un estimateur non-biais de
2
=
1
n
n
i=1
u
2
i
. Mais u
i
nest pas observ.
On serait tent de remplacer u
i
par
u
i

2
=
1
n
n
i=1
u
2
i
= SSR/n.
Estimation de
2
Mais E(SSR/n) ,=
2
.
Ceci vient du fait que pour calculer u
i
par MCO (c--d
0
et

1
) on a utilis k + 1 restrictions.
n
i=1
u
i
= 0 et

n
i=1
x
ij
u
i
= 0 j = 1, . . . , k conditions
de moment.
k + 1 valeurs de u
i
sont contraintes.
On a donc (n k 1) degrs de liberts.

2
=
1
nk1
n
i=1
u
2
i
= SSR/(n k 1) est un estimateur
non-biais de
2
E(
2
) =
2
.
En rsum
Thorme 3.3: Sous les hypothses MLR.1 - MLR.5
(appeles hypothses de Gauss-Markov),
E(
2
) =
2
, o
2
=
1
nk1
n
i=1
u
2
i
.
Thorme 3.4 o thorme de Gauss-Markov: Sous
les hypothses MLR.1 - MLR.5,

j
est BLUE,
i = 0, . . . , k.
Linaire:

j
est un estimateur linaire de
j
sil peut
tre exprim comme une fonction linaire des donnes
j
=
n
i=1
w
ij
y
i
, o w
ij
= f(x).
entre 2 estimateurs non-biaiss il est logique de
choisir celui qui a la plus petite variance.
Preuve: 3.A.6 page 114.
Choix entre 2 estimateurs non-biaiss
5 4 3 2 1 0 1 2 3 4 5
0.2
0.4
0.6
0.8
1.0
1.2
Density
Estimateur 1 Estimateur 2
Chapitre 4: Modle de rgression multiple. Infrence
Distribution dchantillonnage
Pour faire de linfrence statistique, il faut ajouter une
hypothse supplmentaire:
MLR.6 u N(0,
2
) et indpendant des x
j
normalit.
MLR.6 implique donc MLR.3 et MLR.5.
Les hypothses MLR.1 - MLR.6 sont appeles
hypothses classiques du modle linaire (CLM) =
Gauss-Markov + normalit.
CLM MCO la variance minimale (sans restreindre
aux modles linaires).
CLM y[x N(
0
+
1
x
1
+ . . . +
k
x
k
,
2
).
Normalit
Distribution dchantillonnage
Comment justier cette hypothse de normalit des
rsidus ?
Si u est la somme de beaucoup de facteurs
non-observs diffrents affectant y, on peut appeler le
thorme central limite pour justier la normalit.
Thorme central limite : Soit Y
1
, Y
2
, . . . , Y
n
un
chantillon de variables alatoires de moyenne et de
variance
2
.
Z
n
=
Y
n
n
suit asymptotiquement une distribution
N(0,1).
Exemple: Y
2
(1), = 1 et
2
= 2.
N(0, 1) et
2
(1)
4 3 2 1 0 1 2 3 4
0.1
0.2
0.3
0.4
N(0,1)
Approximation dune densit normale et
2
partir de 10000 ralisations
0 2 4 6 8 10 12 14 16
0.25
0.50
0.75
2
(1)
Thorme Central Limite
Illustration.
u est la somme de beaucoup de facteurs non-observs
diffrents affectant y ?
Faiblesse 1: les facteurs peuvent avoir des distributions
diffrentes le TCL marche moins bien.
Faiblesse 2: le TCL suppose que les facteurs
non-observs affectent y de manire spare et
additive pas certain en pratique.
Faiblesse 3: dans certains cas il est certain que
lhypothse de normalit ne tient pas. Exemple:
wage =
0
+
1
educ +
2
exper + u
wage N(
0
+
1
educ +
2
exper,
2
) ?
Non car si wage N(
0
+
1
educ +
2
exper,
2
)
wage 1 alors que wage > wage
min
0.
Non-normalit
il est dsirable de tester cette hypothse ex-post.
Mais beaucoup dtudes rejettent cette hypothse.
Est-ce dramatique ?
Infrence
j
N(
j
, V ar(
j
)), i = 0, . . . , k, o
V ar(
j
) =

2
(1R
2
j
)
n
i=1
(x
ij
x
j
)
2
.
V ar(
j
)
=

j
sd(
j
)
N(0, 1).
Illustration par une simulation.
n = 20, y = 0.2 + 0.5x
1
+ u, et u N(0, 1.5).
Estimer y =
0
+
1
x
1
+ u 5000 fois et calculer aprs
chaque estimation: stat
h,j
=

j
sd(
j
)
h = 1, . . . 5000 et
j = 0, 1. Notez quici
2
= 1.5.
stat
h,j
N(0, 1) ?
n = 20, y = 0.2 + 0.5x
1
+ u, u N(0, 1.5) et
2
= 1.5.
4 3 2 1 0 1 2 3 4
0.1
0.2
0.3
0.4
Density
Distribution de (
^
0
)/sd(
^
0
)
N(0,1)
3 2 1 0 1 2 3 4
0.1
0.2
0.3
0.4
Density
Distribution de (
^
1
)/sd(
^
1
)
N(0,1)
Tests dhypothse
En pratique, le Thorme 4.1 est inutile car on ne
connat pas
2
.
Si on remplace
2
par

2
=
1
nk1
n
i=1
u
2
i
= SSR/(n k 1), le Thorme
4.1 nest plus valide.
j
sd(
j
)
t
nk1
,i = 0, . . . , k, o
sd(
j
) =
_

2
(1R
2
j
)
n
i=1
(x
ij
x
j
)
2
.
Preuve
Comme sd(
j
) =
_

2
(1R
2
j
)
n
i=1
(x
ij
x
j
)
2
et
sd(
j
) =
_

2
(1R
2
j
)
n
i=1
(x
ij
x
j
)
2
.
sd(
j
) =
sd(
j
)

2
/
2
.
Donc,
j
sd(
j
)
=
j
sd(
j
)
N(0, 1)
_

2
/
2
?
Mais
2
=
1
nk1
n
i=1
u
2
i
= SSR/(n k 1).
n
i=1
u
2
i
= somme de (n k 1) variables normales
indpendantes au carr.
Preuve

2
1
nk1
2
(n k 1) (voir B.41 page 725).
Donc,
j
sd(
j
)
=
j
sd(
j
)
N(0, 1)
_

2
/
2

2
(n k 1)
t
nk1
,
voir B.42 page 725. CQFD.
Si df : t
df
N(0, 1).
Graphiques
30 20 10 0 10 20 30 40
0.1
0.2
0.3
0.4
Density
Distribution N(0,1)
Distribution t
3

5 0 5 10
0.1
0.2
0.3
0.4
Density
Distribution N(0,1)
Distribution t
5

5.0 2.5 0.0 2.5 5.0
0.1
0.2
0.3
0.4
Density
Distribution N(0,1)
Distribution t
10

4 2 0 2 4
0.1
0.2
0.3
0.4
Density
Distribution N(0,1)
Distribution t
20

stat
h,j
t(n k) ?
n = 20, y = 0.2 + 0.5x
1
+ u, u N(0, 1.5) et

2
= SSR/(n k 1).
5 4 3 2 1 0 1 2 3 4 5
0.1
0.2
0.3
0.4
Density
Distribution de (
^
0
)/sd(
^
0
)
t(n2)
5 4 3 2 1 0 1 2 3 4 5 6
0.1
0.2
0.3
0.4
Density
Distribution de (
^
1
)/sd(
^
1
)
t(n2)
Tests dhypothse
Ceci nous permet par exemple de tester lhypothse
nulle suivante:
H
0
:
j
= 0.
aprs avoir contrl leffet des autres variables,
est-ce que x
j
a un effet sur y ?
Exemple: wage =
0
+
1
educ +
2
exper + u.
H
0
:
2
= 0 aprs avoir tenu compte de leffet de
lducation, est-ce que lexprience explique le salaire
horaire ? On parle des paramtres de la population.
Ici, la t-stat est t
2
0
sd(
2
)
=

2
sd(
2
)
.
Exemple: WAGE
Coefficient Std.Error t-value
Constant -3.39054 0.7666 -4.42
EDUC 0.644272 0.05381 12.0
EXPER 0.0700954 0.01098 6.39
t stat est ici t value.
t stat a le mme signe que

j
.
Comment utiliser la t-stat ?
Comment utiliser la t-stat ?
Mme sous H
0
:
j
= 0,

j
ne sera jamais gal zero.
Ce que nous cherchons est une rgle de dcision pour
rejeter H
0
avec un certain niveau de signicativit.
probabilit de rejeter H
0
alors que H
0
est vraie.
requiert la distribution de t
j
Thorme 4.2.
Alternative: H
1
?
Si H
0
est rejete, en faveur de quoi est-elle rejete ?
il faut spcier une hypothse alternative H
1
.
1. Alternative unilatrale: H
1
> 0 ou H
1
< 0.
2. Alternative bilatrale: H
1
,= 0.
Il faut dcider dun niveau de signicativit.
La plupart du temps 5%.
Si on spcie H
1
> 0 : E(t
j
) = 0 sous H
0
, alors que
sous H
1
, E(t
j
) > 0 rejet de H
0
uniquement si t
j
est
sufsamment > 0.
Si t
j
> c.
choisir c de telle manire rejeter H
0
en faveur de
H
1
alors que H
0
est vraie dans 5% des cas.
Test unilatral: H
1
> 0
Exemple: = 5% et n k 1 = 28 c = 1.701.
Si t
j
> 1.701 rejet de H
0
.
Voir Table G.2 page 817: 1-tailed.
Si rejet de H
0
pour = 5% rejet pour = 10%.
Si df > 100, t
j
(5%) 1.645 et t
j
(1%) 2.326.
Exemple: WAGE
Constant -3.39054 0.7666 -4.42
EDUC 0.644272 0.05381 12.0
EXPER 0.0700954 0.01098 6.39
Test unilatral: H
1
< 0
Exemple: = 5% et n k 1 = 28 c = 1.701.
Si t
j
< 1.701 rejet de H
0
.
Voir Table G.2 page 817: 1 valeur 1-tailed.
Si rejet de H
0
pour = 5% rejet pour = 10%.
Pour tout valeur t
j
> 0 on ne rejette pas H
0
.
Test bilatral: H
1
,= 0
Exemple: = 5% et n k 1 = 28 c = 2.048.
Si t
j
> 2.048 ou t
j
< 2.048 rejet de H
0
.
c--d si [t
j
[ > 2.048.
Voir Table G.2 page 817: 2-tailed.
Si df > 100, t
j
(5%) 1.960 et t
j
(1%) 2.576.
Exemple: Crimes
log(crime) =
0
+
1
log(enroll) + u, o crime est le nombre
annuel de crimes par campus (de collge) et enroll est le
nombre dtudiants par collge.
Modelling LCRIME by OLS-CS (using campus)
Constant -6.63137 1.034 -6.42 0.000
LENROLL 1.26976 0.1098 11.6 0.000
no. of obs. 97 no. of parameters 2
Tester une valeur prcise
H
0
:
j
= a
j
t
j
a
j
sd(
j
)
.
H
1
:
j
>=< a
j
.
Exemple: H
0
:
1
= 1 (c--d lasticit crime/enroll = 1)
contre H
1
:
1
> 1.
t
1.271
0.11
2.45.
c(5%) = 1.66 et c(1%) = 2.37(df = 97 2 = 95 90 ou
120 pour la table).
rejet de H
0
mme 1%.
... pour autant que les hypothses des MCO soient
vries.
P-valeur
P-valeur: Quelle est le plus petit niveau de signicativit
auquel H
0
serait rejet.
Exemple: H
1
:
j
,= 0: P-valeur
= P([T[ > [t[) = 2P(T > [t[), o T t
nk1
et t est la
valeur observe de la t-stat sous H
0
.
Rejeter H
0
si la P-Valeur < au seuil x (ex: 5%).
P-valeur dun test H
1
> 0
H
1
:
j
> 0: P-valeur = P(T > t)
H
1
:
j
< 0: P-valeur = P(T < t) = P(T > [t[)
Exemple: Crimes
Modelling LCRIME by OLS-CS (using campus)
Constant -6.63137 1.034 -6.42
LENROLL 1.26976 0.1098 11.6
no. of observations 97 R2 0.584775
no. of parameters 2
H
0
:
1
= 1 contre H
1
:
1
> 1.
t
1.271
0.11
2.45.
P-valeur = P(T > t) = P(T > 2.45) = 0.0081
H
0
:
1
= 1 contre H
1
:
1
< 1. pas besoin car t
1
> 0.
Givewin
Output: t(95,1-sided) = 2.45 [0.0081] **
Language
Quand H
0
nest pas rejet on dit: on ne rejette pas H
0
au seuil de % et non on accepte H
0
au seuil de %.
Quand on ne rejette pas H
0
au seuil de % sens
statistique et non conomique.
au sens conomique, la valeur de

j
peut toutefois
tre non signicative (car de faible ampleur).
Intervalle de conance
Rappelons que t
j
sd(
j
)
t
nk1
.
Pr
_
c
/2

j
sd(
j
)
c
/2
_
= 1
Pr
_
j
c
/2
sd(
j
)
j

j
+ c
/2
sd(
j
)
_
= 1
Intervalle de conance
Intervalle de conance 95% de
j
si df = 25:
[
j
2.06sd(
j
);

j
+ 2.06sd(
j
)].
Intervalle de conance 95% de
j
si df > 120:
[
j
2sd(
j
);

j
+ 2sd(
j
)].
H
0
:
j
= a
j
contre H
1
:
j
,= a
j
si a
j
nest pas dans
lintervalle de conance 95%, on rejette H
0
au seuil
de 5%.
H
0
:
1
=
2
De manire gnrale: test dhypothse sur une
combinaison linaire de paramtres.
Exemple: log(wage) =
0
+
1
jc +
2
univ +
3
exper + u,
o jc et univ sont le nombre dannes passes dans
une cole suprieur de type court et de type long.
H
0
:
1
=
2
contre H
1
:
1
<
2
.
H
0
:
1
2
= 0 contre H
1
:
1
2
< 0.
t =

j
sd(
2
)
.
rejet de H
0
si t < c.
Exemple: TWOYEAR
Modelling LWAGE by OLS-CS (using twoyear)
Constant 1.47233 0.02106 69.9 0.000
JC 0.0666967 0.006829 9.77 0.000
UNIV 0.0768762 0.002309 33.3 0.000
EXPER 0.00494422 0.0001575 31.4 0.000
R2 0.222442 no. of observations 6763
sd(
2
) =
_
V ar(
2
)
=
_
V ar(
1
) + V ar(
2
) 2Cov(
1
,

2
)
Matrice de variance covariance
Covariance matrix of estimated parameters:
Cons JC UNIV ...
Cons 0.00044353 -1.7414e-005 -1.5735e-005
JC -1.7414e-005 4.6632e-005 1.9279e-006
UNIV -1.5735e-005 1.9279e-006 5.3302e-006
EXPER -3.1048e-006 -1.7183e-008 3.9335e-008
Test/Further Output/Covariance matrix of estimated
parameters.
sd(
2
) = 0.006935878
0.06669670.0768762
0.006935878
= 1.467658512 > 1.645 non-rejet
de H
0
au seuil de 5%.
Autre mthode
log(wage) =
0
+
1
jc +
2
univ +
3
exper + u,
H
0
:
1
2
= 0 contre H
1
:
1
2
< 0.
On peut dnir
1
=
1
2
et tester
1
= 0 contre
H
1
:
1
< 0.
Sous H
0
, le modle se rcrit:
log(wage) =
0
+ (
1
+
2
)jc +
2
univ +
3
exper + u
=
0
+
1
jc +
2
(univ + jc)
. .
totcoll
+
3
exper + u
Rsultat
Constant 1.47233 0.02106 69.9 0.000
JC -0.0101795 0.006936 -1.47 0.142
EXPER 0.00494422 0.0001575 31.4 0.000
TOTCOLL 0.0768762 0.002309 33.3 0.000
Le rsultat est interpretable directement.
La p-valeur est pour H
0
:
1
,= 0.
Comme

1
< 0, on peut la diviser par 2 pour obtenir
P(T < t) 0.071.
Tests multiples de restrictions linaires
Exemple: H
0
:
1
= 0,
2
= 0.
Ici, sous H
1
:
1
= 0 ou
2
= 0 H
0
nest pas vrai.
1) Estimer le modle non contraint k + 1
paramtres.
2) Estimer le modle contraint k + 1 q
paramtres.
3) Calculer la statistique F
(SSR
c
SSR
nc
)/q
SSR
nc
/(nk1)
,o SSR
dnote la somme des carrs des rsidus et les indices c
et nc signient respectivement contraint et
non-contraint.
Sous H
0
, F F
q,nk1
, o F =Fisher.
On a aussi: F
(R
2
nc
R
2
c
)/q
(1R
2
nc
)/(nk1)
.
Distribution de Fisher
Rejet H
0
, si F > c
, o c = F
q,nk1
.
Exemple: Salaire de joueurs de baseball
log(salary) =
0
+
1
years +
2
gamesyr +
3
bavg
+
4
hrunsyr +
5
rbisyr + u.
log(salary) = salaire total en 1993 en $.
years = nombre dannes dans la league.
gamesyr = nombre moyen de parties joues par an.
bavg = score moyen la batte.
hrunsyr = nombre de home run par an (coup de batte
qui permet au batteur de marquer un point en faisant un
tour complet en une seule fois).
rbisyr nombre de home run tents.
Exemple: MLB1
EQ( 1) Modelling LSALARY by OLS-CS (using mlb1)
Constant 11.1924 0.2888 38.8 0.000
YEARS 0.0688626 0.01211 5.68 0.000
GAMESYR 0.0125521 0.002647 4.74 0.000
BAVG 0.000978604 0.001104 0.887 0.376
HRUNSYR 0.0144295 0.01606 0.899 0.369
RBISYR 0.0107657 0.007175 1.50 0.134
sigma 0.726577 RSS 183.186321
R2 0.627803 F(5,347) = 117.1 [0.000]**
Exemple: MLB1
Constant 11.2238 0.1083 104. 0.000
YEARS 0.0713180 0.01251 5.70 0.000
GAMESYR 0.0201745 0.001343 15.0 0.000
sigma 0.752731 RSS 198.311468
R2 0.597072 F(5,347) = 259.3 [0.000]**
Exemple: Salaire de joueurs de baseball
F
(198.311183.186)/3
183.186/347
9.55.
F
(0.62780.5971)/3
(10.6278)/347
9.55.
Tables G.3a-b-c:
c(10%) = 2.08, c(5%) = 2.60, c(1%) = 3.78.
F >> c(1%) rejet de H
0
:
3
=
4
=
5
= 0 en
faveur de H
1
: au moins un des paramtres est
signicatif.
Or, individuellement les 3 paramtres sont non
signicatifs. Pourquoi ?
Relation entre F et t tests
Si on effectue un F test du style H
0
:
j
= a
j
contre
H
1
:
j
,= a
j
, on peut montrer que F = t
2
.
Comme F
1,n
k
1
= t
2
n
k
1
rsultat identique (mme
p-valeur).
Par contre le t-test est plus exible car il permet des
alternatives du type
j
< ou > a
j
.
P-valeur du test F = P( > F), o F
q,nk1
.
Givewin
Output: F(3, 347) = 9.55 [0.0000] **
Test F report par dfaut
H
0
:
1
=
2
= . . . =
k
= 0.
test de signicativit global.
Modle contraint: y =
0
+ u.
F
R
2
/q
(1R
2
)/(nk1)
.
Report par dfaut chaque rgression incluant
0
.
Tester H
0
:
1
= 1,
2
= 0 ?
Modle de la population: y =
0
+
1
x
1
+
2
x
2
+
3
x
3
+u.
Sous H
0
: y =
0
+ 1x
1
+ 0x
2
+
3
x
3
+ u.
y x
1
=
0
+
3
x
3
+ u.
w =
0
+
3
x
3
+ u, o w = y x
1
.
Sous H
0
: F F
2,n31
.
De manire gnrale RB = r
On peut crire ces restrictions linaires de manire plus
gnrale.
H
0
: RB = r.
H
1
: RB ,= r.
B
(k+11)
=
_
0
.
.
.
k
_
_
, r
(q1)
=
_
_
r
1
.
.
.
r
q
_
_
et R
(qk+1)
= matrice de
constantes.
Exemple: y =
0
+
1
x
1
+
2
x
2
+ u k = 2.
B
(31)
=
_
2
_
_
.
Autres exemples
H
0
:
1
= 0 R =
_
0 1 0
_
, r = 0.
H
0
:
1
=
2
= 0 R =
_
0 1 0
0 0 1
_
, r =
_
0
0
_
.
H
0
:
1
+
2
= 1 R =
_
0 1 1
_
, r = 0.
H
0
:
1
+
2
= 1 R =
_
0 1 1
_
, r = 1.
H
0
:
1
2
= 0 R =
_
0 1 1
_
, r = 0.
GiveWin
GiveWin
Exemple: LSALARY
Test for linear restrictions (Rb=r):
R matrix
Constant YEARS GAMES
0.00000 0.00000 0.00000
0.00000 0.00000 0.00000
0.00000 0.00000 0.00000
BAVG HRUNSYR RBISYR
1.0000 0.00000 0.00000
0.00000 1.0000 0.00000
0.00000 0.00000 1.0000
r vector
0.00000 0.00000 0.00000
LinRes F(3,347) = 50.800 [0.0000]**
Comment reporter des rsultats ?
Tableau 1: Rsultats du modle XYZ
DEM FRF
0.0140 0.0102
(0.038) (0.014)
1
-0.0472 -0.0406
(0.002) (-0.047)
-0.0246 -0.0134
(0.006) (0.068)
BDS(6) -0.719 -0.825
S(5) 4.723 4.330
Note: les cart-types sont reports entre parenthses.
BDS(k) est le test BDS avec k degrs de liberts, . . .
Chapitre 5: Proprits asymptotiques des MCO
Proprits exactes des MCO
Pour prouver le caractre non-biais et BLUE des MCO
nous avons impos des hypothses assez fortes
(MLR.1-MLR.5).
Idem pour effectuer de linfrence statistique (MLR.6:
normalit).
Ces proprits sont vraies quel que soit la taille de
lchantillon (n).
On parle ds lors de proprits exactes,
dchantillon ni, ou encore de petit chantillon.
Proprits asymptotiques des MCO
Dans certains cas, le rejet de certaines hypothses ne
signie pas que les MCO sont non valides.
Exemple: non-normalit de u.
En effet, les MCO peuvent tre encore valides en
grand chantillon sous des hypothses plus faibles.
tudier les proprits statistiques pour n grand =
tudier les proprits asymptotiques.
Nouveau concept: CONVERGENCE.
Illustration de la consistence
Pour chaque taille dchantillon n
1
< n
2
< n
3
on a une
distribution de probabilit de

j
diffrente. Si MLR.1 -
MLR.4 sont vries les MCO donnent E(
j
) =
j
pdf
centres en 0. Si

j
est consistent:
7.5 5.0 2.5 0.0 2.5 5.0 7.5 10.0 12.5 15.0
0.05
0.10
0.15
0.20
0.25
0.30
0.35
0.40
n3
n2
n1
Consistence
Nouveaux concepts: plim et Loi des grands nombres.
Dnition: plim = Limite en probabilit = valeur vers
laquelle un estimateur converge lorsque la taille de
lchantillon tend vers linni. Voir page 741.
Loi des grands nombres: Soit Y
1
, Y
2
, . . . , Y
n
des
variables alatoires indpendantes de moyenne .
Alors:
plim(Y
n
) = .
on peut obtenir une estimation de aussi prcise
que possible en calculant la moyenne empirique dun
chantillon de taille trs grande.
Consistence
lestimateur des MCO

j
est un estimateur consistent
de
j
, i = 0, 1, . . . , k.
Preuve: Prenons le modle simple y
i
=
0
+
1
x
i1
+ u
i
.
1
=
n
i=1
(x
i1
x
1
)y
i
n
i=1
(x
i1
x
1
)
2
=
1
+
n
1
n
i=1
(x
i1
x
1
)u
i
n
1
n
i=1
(x
i1
x
1
)
2
On peut appliquer la loi des grands nombres et les
proprits des plim pour montrer que pour autant que
V ar(x
1
) ,= 0,
Suite de la preuve
plim

1
=
1
+
Cov(x
1
, u)
V ar(x
1
)
=
1
, si Cov(u, x
1
) = 0 CQFD.
Pour rappel. MLR.3 E(u[x
1
, . . . , x
k
) = 0 moyenne
On a vu que E(u[x
1
) = 0 implique Cov(u, x
1
) = 0.
Il est possible de relcher MLR.3 pour prouver tout
de mme que les MCO sont convergents.
MLR.3 E(u) = 0 et Cov(x
j
, u) = 0 j = 1, . . . , k
moyenne nulle et correlation nulle.
Sous les hypothses MLR.1 - MLR.2 - MLR.3 -
MLR.4,

j
est un estimateur convergent de
j
,
j = 1, . . . , k.
Normalit asymptotique
La normalit ne joue aucun rle dans le caractre
non-biais des MCO ni dans leur caractre BLUE.
Par contre, pour effectuer de linfrence statistique nous
avons suppos que u N(0,
2
) et donc que la
distribution de y[x
1
, . . . , x
k
est normale.
distribution symtrique autour de sa moyenne.
peut prendre des valeurs sur 1.
plus de 95% des observations sont comprises entre
2 cart-types.
Normalit asymptotique
Devons nous abandonner les t-stats si u nest pas
normalement distribu ?
Non: on fait appel au thorme central limite pour
conclure que les MCO satisfont la normalit
asymptotique.
Si n grand,

j
est approximativement N(
j
, V ar(
j
)).
n = 15, y = 0.2 + 0.5x
1
+ u, et u N(0, 1.5).
Estimer y =
0
+
1
x
1
+ u 20000 fois et calculer aprs
chaque estimation: stat
h,j
=

j
sd(
j
)
h = 1, . . . 20000 et
j = 0, 1. Notez quici
2
= 1.5.
stat
h,j
t(n 2) ?
n = 15, y = 0.2 + 0.5x
1
+ u, u N(0, 1.5) et
2
= 1.5.
5.0 2.5 0.0 2.5 5.0
0.1
0.2
0.3
0.4
Distribution de (
^
0
)/sd(
^
0
) t(n2)
5.0 2.5 0.0 2.5 5.0 7.5
0.1
0.2
0.3
0.4
Distribution de (
^
1
)/sd(
^
1
) t(n2)
5.0 2.5 0.0 2.5 5.0
5.0
2.5
0.0
2.5
5.0
7.5
QQ plot
Distribution de (
^
0
)/sd(
^
0
) t(13)
5.0 2.5 0.0 2.5 5.0
5.0
2.5
0.0
2.5
5.0
QQ plot
Distribution de (
^
1
)/sd(
^
1
) t(13)
stat
h,j
t(n 2) ?
n = 15, y = 0.2 + 0.5x
1
+ u, u

2
(3)3
23
.
10.0 7.5 5.0 2.5 0.0 2.5 5.0
0.1
0.2
0.3
0.4
Distribution de (
^
0
)/sd(
^
0
) t(n2)
5.0 2.5 0.0 2.5 5.0
0.1
0.2
0.3
0.4
Distribution de (
^
1
)/sd(
^
1
) t(n2)
5.0 2.5 0.0 2.5 5.0
10
5
0
5
QQ plot
Distribution de (
^
0
)/sd(
^
0
) t(13)
5.0 2.5 0.0 2.5 5.0
5.0
2.5
0.0
2.5
5.0
QQ plot
Distribution de (
^
1
)/sd(
^
1
) t(13)
stat
h,j
t(n 2) ?
n = 100, y = 0.2 + 0.5x
1
+ u, u

2
(3)3
23
.
4 2 0 2 4
0.1
0.2
0.3
0.4
Density
Distribution de (
^
0
)/sd(
^
0
) t(n2)
4 2 0 2 4
0.1
0.2
0.3
0.4
Density
Distribution de (
^
1
)/sd(
^
1
) t(n2)
4 2 0 2 4
5.0
2.5
0.0
2.5
QQ plot
Distribution de (
^
0
)/sd(
^
0
) t(98)
4 2 0 2 4
2.5
0.0
2.5
QQ plot
Distribution de (
^
1
)/sd(
^
1
) t(98)
stat
h,j
t(n 2) ?
n = 500, y = 0.2 + 0.5x
1
+ u, u

2
(3)3
23
.
4 2 0 2 4
0.1
0.2
0.3
0.4
Distribution de (
^
0
)/sd(
^
0
) t(n2)
4 2 0 2 4
0.1
0.2
0.3
0.4
Distribution de (
^
1
)/sd(
^
1
) t(n2)
2 0 2 4
2.5
0.0
2.5
QQ plot
Distribution de (
^
0
)/sd(
^
0
) t(498)
2 0 2 4
2.5
0.0
2.5
QQ plot
Distribution de (
^
1
)/sd(
^
1
) t(498)
Test du multiplicateur de Lagrange
y =
0
+
1
x
1
+ . . . +
k
x
k
+ u.
H
0
:
kq+1
= 0, . . . ,
k
= 0 q restrictions.
H
1
: au moins un des q paramtres est ,= 0.
Contrairement au F-test, le LM test ne requiert que
lestimation du modle contraint:
y =

0
+

1
x
1
+ . . . +

kq
x
kq
+ u.
Sous H
0
, u devrait tre non corrl avec x
kq+1
, . . . , x
k
.
rgression auxiliaire:
u =
0
+
1
x
1
+. . .+
kq
x
kq
+
kq+1
x
kq+1
+. . .+
k
x
k
+v.
Sous H
0
, le R
2
de cette rgression auxiliaire devrait tre
proche de 0.
Sous H
0
, nR
2

2
(q).
Exemple: LSALARY
Constant 11.1924 0.2888 38.8 0.000
YEARS 0.0688626 0.01211 5.68 0.000
GAMESYR 0.0125521 0.002647 4.74 0.000
BAVG 0.000978604 0.001104 0.887 0.376
HRUNSYR 0.0144295 0.01606 0.899 0.369
RBISYR 0.0107657 0.007175 1.50 0.134
Constant 11.2238 0.1083 104. 0.000
YEARS 0.0713180 0.01251 5.70 0.000
GAMESYR 0.0201745 0.001343 15.0 0.000
GiveWin
GiveWin
Exemple: LSALARY
EQ( 3) Modelling res by OLS-CS (using mlb1.in7)
Constant -1.29330 0.2940 -4.40 0.000
YEARS 0.262056 0.03726 7.03 0.000
GAMES -0.00281058 0.0003187 -8.82 0.000
BAVG 0.000551725 0.001126 0.490 0.624
HRUNSYR -0.0401661 0.01401 -2.87 0.004
RBISYR 0.0456800 0.005380 8.49 0.000
R2 0.305166 no. of observations 353
nR
2
= 353 0.305 = 107.665 >> 11.34 c--d
2
(3) avec = 1%.
Rejet H
0
p-valeur = 0.0000.
Chapitre 6: Problmes additionnels dans la rgression
multiple
Impact des units de mesure
Effets des changements dchelle
Dans le chapitre 2, on a brivement analys leffet dun
changement dunit de mesure.
effet sur les coefcients estims (intercept et pente).
Un changement dunit de mesure na pas deffet sur
les statistiques de qualit dajustement (R
2
).
Quid sur les autres statistiques telles que cart-types
des coefcients, t ou F ?
Exemple prliminaire
Effet du fait de fumer dans le chef de la maman sur le
poids de lenfant la naissance.
bwght = poids du bbs en once. bwghtlbs = poids
du bb en livres (1 livre=16 onces).
cigs = nombre de cigarettes fumes par jour
packs = nombre de paquets fums par jour (1 paquet
= 20 cigarettes).
faminc = revenu de la famille (variable de contrle).
On tudie la rgression suivante:
bwght =
0
+
1
cigs +
2
faminc + u.
Rsultats de la rgression
Var. dpendante bwght bwghtlbs bwght
Var. explicatives
cigs -0.4634 -0.0289 -
(0.092) (0.006)
packs - - -9.268
(1.832)
faminc 0.0927 0.0058 0.0927
(0.021) (0.043)
Intercept 116.974 7.311 116.974
(1.049) (0.066) (1.049)
n 1388 1388 1388
R
2
0.0298 0.0298 0.0298
SCR 557.48 2177.67 557.48
SCE 20.063 1.254 20.063
Enseignements sur les coefcients
Si une femme fume 5 cigarettes par jour, le poids
diminue de 5 0.4634 = 2.317 onces.
Le t stat est gal 5.06 effet trs signicatif.
Si on fait la mme rgression en remplaant bwght par
bwghtlbs, c--d poids en livre.
On obtient la rgression suivante (2ime colonne du
tableau):
bwght
16
=
0
16
+
1
16
cigs +
2
16
faminc.
Chaque coefcient est divis par 16 le changement
dunit ne change rien du point de vue conomique.
Effets en termes de signicativit
Effets sur les t stats: chaque t stat est identique
entre les 2 rgressions car les carts-types ont
galement t diviss par 16.
Le changement dunit na pas deffet en terme de
signicativit et dinfrence.
Les R
2
sont galement identiques.
Le changement dunit na pas deffet sur la qualit
dajustement du modle.
Effets dun changement de mesure
Quid si on mesure le fait de fumer en terme de paquets
plutt que de cigarettes ?
Pour les variables inchanges, rien ne change.
Pour les variables dont on change lunit de mesure
les coefcients et les cart-types sont multiplis.
bwght =

0
+ (20
1
)cigs +

2
faminc.
Rien ne change en terme dinterprtation
conomique.
Rien ne change en terme de signicativit et
dajustement du modle.
Transformation logarithmique
Lorsque les variables sont exprimes en logarithmes
Les coefcients de pente estims ne sont pas
sensibles des changements dunit de mesure.
Pourquoi ?
Dans ce cas, les coefcients sont des lasticits la
valeur dune lasticit ne depend pas de lunit de
mesure de y ou de x.
Par contre, lintercept se modie. Exemple: si on
multiplie y
i
par c
1
, alors, lintercept aprs transformation
devient log(c
1
) +

0
.
Coefcients betas
Parfois, il est intressant de standardiser les variables
du modle de rgression de base pour 2 raisons
diffrentes.
Certaines variables ont une unit de mesure
difcilement interprtable. Exemple: rsultats de tests
scolaires cela depend de la difcult de la matire,
de lenseignant, etc.
On peut alors comparer les effets de diffrentes
variables exprimes dans des units de mesure
compltement diffrentes.
Le but est alors de calculer leffet dune augmentation
dun cart-type de x en terme de variation dcart-type
de y.
Coefcients betas
Soit le modle de rgression de base:
y
i
=

0
+

1
x
1i
+

2
x
2i
+ ... +

k
x
ki
+ u
i
.
En soustrayant la moyenne, on obtient:
y
i
y =

1
(x
1i
x
1
) +

2
(x
2i
x
2
) +... +

k
(x
ki
x
k
) + u
i
.
En divisant par lcart-type de y, on obtient:
y
i
y

y
=

1

y
1
(x
1i
x
1
)

1
+

2

y
2
(x
2i
x
2
)

2
+... +

k

y
k
(x
ki
x
k
)

k
+
u
i

y
.
Coefcients betas- suite
Chaque variable est remplace par sa valeur
standardise z, avec z
i
=
(x
i
x
i
)

i
.
On obtient donc:
z
y
=

b
1
z
1
+
b
2
z
2
+ ... +
b
k
z
k
+ error.
Les coefcients standardiss sont donc:
b
j
=

i

y
j
.
Si x
j
augmente dun cart-type, alors y augmente de
b
j
cart-type(s) les

b
j
sont directement comparables.
Par contre, les t stats des coefcients restent
inchangs dans la rgression standardise.
Coefcients betas - Exemple
Soit limpact de diffrentes variables sur le prix des
maison (price), dont le taux de pollution dans lair (nox).
Avec une rgression standardise, on a:
zprice = .340znox .143zcrime + .514zrooms
.235zdist .270zratio.
Une augmentation de la pollution d1 cart-type par
rapport la population des villes entrane une
diminution de 0.34 cart-type du prix des maisons.
En termes relatifs par rapport la population, on voit
que la pollution exerce une effet plus important que le
taux de criminalit.
Formes fonctionnelles
Formes fonctionnelles
Il existe diffrentes formes du modle de rgression.
Certaines variables sont mesures en logarithmes.
Certaines variables apparaissent avec des exposants
diffrents de 1. Exemple: x
2
i
forme quadratique.
On peut insrer dans le modle des termes
dinteraction, c--d des variables qui sont le produit de
plusieurs variables explicatives.
Comment interprter les coefcients estims ?
Prenons lexemple du modle de rgression suivant:
log(y) =

0
+

1
log(x
1
) +

2
x
2
.
1
sinterprte comme une lasticit: leffet d1 variation
en pourcentage de x
1
en terme de variation en
pourcentage de y.
2
est une semi-lasticit: leffet approximatif d1
augmentation dune unite de x
2
en terme de
pourcentage de y. Leffet exact en pourcentage pour
x
2
= 1 est donn par: %
y = 100 [exp(
2
) 1].
Prenons lexemple du modle de rgression expliquant
le prix des habitations (price) par le taux de pollution
(nox) et le nombre de chambres (rooms):
log(price) =

0
+

1
log(nox) +

2
rooms.
On obtient:

0
= 9.23(0.19);

1
= 0.718(0.066);
2
= 0.306(0.019); n = 506;R
2
= 0.514.
Lorsque le taux de pollution augmente de 1%, le prix
des maison baisse de 0.718%.
Lorsquune maison comporte 1 chambre en plus, leffet
approximatif sur le prix est de 100 0.306 = 30.6%.
Leffet exact est donn par 100 [exp(0.306) 1] = 35.8%.
Avantage des logarithmes
Quand y > 0, le fait de prendre log(y) induit une
distribution plus gaussienne, ce qui permet de se
rapprocher des hypothses du modle linaire
classique; Exemple: salaires.
Le logarithme rduit lcart maximal des valeurs
possibles des variables rend les estimations moins
sensibles aux valeurs extrmes. Parfois, le logarithme
attnue les problmes dhtroscdasticit.
En pratique, on prend souvent le logarithmes des
variables exprimes en units montaires (Ex.: salaire),
des variables faisant rfrence un nombre de
personnes (Ex.: population). Par contre, les variables
exprimes en nombre dannes demeurent dans leur
forme originelle (Ex.: ducation).
Inconvnients des logarithmes
Lorsquune variable y peut prendre des valeurs nulles,
on prend alors log(1 +y) Attention linterprtation
!!!.
On ne peut pas comparer le R
2
dun modle du type
y = . . . et log(y) = . . ..
le R
2
dpend de lexpression de y.
Pour les variables dj exprimes en pourcentage (Ex.:
chmage), ne pas confondre changement en
pourcentage et en point de pourcentage. Exemple: si y
augmente de 8 9% log(9) log(8) = 0.118 c--d
augmentation de 1 point de %age = augmentation de
12.5 % par rapport au niveau initial ou encore en
prenant lapproximation logarithmique: augmentation
de environ 11.8%.
Fonctions quadratiques
Termes quadratiques
On peut introduire des termes quadratiques de manire
apprhender des effets marginaux croissant ou
dcroissant.
y =

0
+

1
x
1
+

2
x
2
1
.
Leffet marginal de x
1
sur y est le suivant:
y
x
1
=

1
+ 2
2
x
1
.
Si

1
> 0 et si

2
< 0, leffet de x
1
sur y prend une
forme concave: leffet de x
1
est positif mais dcroissant
au fur et mesure que x
1
augmente. Exemple: effet de
lexprience professionnelle sur le salaire.
Exemple destimation
wage =

0
+

1
exper +

2
exper
2
+ u.
Constant 3.72541 0.3459 10.8 0.000
EXPER 0.298100 0.04097 7.28 0.000
EXPERSQ -0.00612989 0.0009025 -6.79 0.000
R2 0.0927693 F(2,523) = 26.74 [0.000]**
no. obs. 526 no. of par. 3
Relation quadratique
0 5 10 15 20 25 30 35 40 45 50
3.5
4.0
4.5
5.0
5.5
6.0
6.5
7.0
7.37
24.4
exper
w
a
g
e
Termes quadratiques-suite
Leffet de lexperience nest pas constant.
Exemple:
si exper = 1,
y
exper
= 0.298 2(0.0061)(1) 0.286;
si exper = 10,
y
exper
= 0.298 2(0.0061)(10) 0.176.
Si

1
< 0 et si

2
< 0, leffet de x
1
sur y prend une forme
convexe: leffet de x
1
est ngatif mais croissant au fur et
mesure que x
1
augmente. Exemple: effet de la
pollution dune ville sur le prix des maisons.
Termes dinteraction
Termes dinteraction
Soit lquation du prix des maisons:
price =
0
+
1
sqrft +
2
bdrms
+
3
(sqrft bdrms) +
4
bthrms + u.
Le terme dinteraction permet dapprhender un effet
non linaire de bdrms (nombre de chambres) et de faire
dpendre (une partie de) cet effet dune autre variable
explicative, c--d la surface de la maison (sqrft).
Leffet d1 chambre supplmentaire sur le prix est:
price
bdrms
=

2
+

3
sqrft Linterprtation est plus
dlicate. Exemple:

2
capture leffet dune chambre
supplmentaire dans une maison avec une surface
nulle !
Qualit dajustement et selection de rgresseurs
R-carr ajust
Le critre du R
2
comme critre de slection de modle
nest pas toujours un bon critre.
Un faible R
2
ne signie pas que les facteurs omis dans
la rgression et prsents dans u sont corrls avec les
facteurs inclus dans la rgression Les estimateurs
peuvent tre non biaiss.
Un faible R
2
implique que la variance de u est leve
par rapport la variance de y mais ceci peut tre
compens par un nombre dobservations assez lev.
Par contre, le changement du R
2
au fur et mesure que
des variables explicatives sont ajoutes est instructif.
R-carr ajust
R
2
= 1
__
SSR
n
_
/
_
SST
n
_
, o SSR: Somme des carrs
des rsidus et SST: Somme totale des carrs.
Le R
2
est en fait un estimateur de 1 (
2
u
2
y
), c--d la
proportion de la variance de y dans la population
explique par les variables indpendantes du modle.
2
u
est estim de manire biaise par
SSR
n
.
remplacer par
SSR
nk1
.
2
y
est estim de manire biaise par
SST
n
.
remplacer par
SST
n1
.
On obtient alors le R
2
ajust :
R
2
= 1
__
SSR
nk1
_
/
_
SST
n1
_
.
Avantage du R-carr ajust
Le R-carr ajust est un estimateur corrig du R-carr
classique.
On peut utiliser le R
2
pour slectionner de manire
successive des rgresseurs potentiels.
Lorsque lon ajoute un rgresseur supplmentaire, le R
2
classique augmente toujours.
Mais dans le R
2
, il y a une pnalit car son
dnominateur inclut k, le nombre de rgresseur.
De manire nette, le R
2
naugmente que si le
rgresseur supplmentaire apporte un pouvoir explicatif
sufsant ([t stat[ > 1).
Slection avec le R-carr ajust
Le R-carr ajust permet de comparer des modles
non-embots. Un modle est dit embot si un des
modles est un cas particulier de lautre.
Exemple de modles non embots: salaire des joueurs
de base-ball.
log(salary) =
0
+
1
years +
2
gamesyr +
3
bavg +
4
hrunsyr + u.
R
2
= .6211.
log(salary) =
0
+
1
years +
2
gamesyr +
3
bavg +
4
rbisyr + u.
R
2
= .6226.
Slection avec le R-carr ajust
On peut comparer aussi des modles avec des formes
fonctionnelles diffrentes. Exemple: Dpenses R&D et
ventes.
rdintens =
0
+
1
log(sales).
rdintens =
0
+
1
sales.
Attention: on ne peut pas comparer les modles avec
une variables dpendantes diffrente. La valeur du R
2
et du R
2
dependent directement de lunit de mesure
de la variable dpendante.
Exemple: on ne peut pas comparer 2 fonctions de
salaire du type salaire = . . . et log(salaire) = . . ..
Prvision et analyse des rsidus
Prvision de y
Modle de rgression du style:
y =
0
+
1
x
1
+ . . . +
k
x
k
+ u.
Pour des valeurs prcises de x
1
= c
1
, x
2
= c
2
, ..., x
k
= c
k
,
on peut calculer la valeur prdite de y:
0
= E(y[x
1
= c
1
, . . . , x
k
= c
k
)
=

0
+

1
c
1
+

2
c
2
+ . . . +

k
c
k
.
Comme les

i
sont estims et donc alatoires, il faut
construire un IC pour

0
du type

0
+ 2se(
0
).
il faut estimer se(
0
).
On peut rcrire le modle :
y =
0
+
1
(x
1
c
1
) +
2
(x
2
c
2
) + ... +
k
(x
k
c
k
) + u.
Exemple: Wage1
EQ( 1) Modelling COLGPA by OLS-CS (using gpa2)
(COLGPA=College Grade Point Average)
Coefficient t-prob
Constant 1.49265 0.000 (SAT=Exam. entree)
SAT 0.00149250 0.000 (SAT score)
HSPERC -0.0138558 0.000 (high sch. perc.)
HSIZE -0.0608815 0.000 (size grad. class)
HSIZESQ 0.00546030 0.016 (HSIZE2)
sigma 0.559864 RSS 1295.16517
R2 0.278136 F(4,4132) = 398[0.000]
no. of observations 4137 no. 5
Prvision de y
Prvision:
y =
0
+
1
(x
1
1200)+
2
(x
2
30)+
3
(x
3
5)+
4
(x
4
5
2
)+u
ALT + B ou Tools/Batch Editor...
Exemple
EQ( 4) Modelling COLGPA by OLS-CS (using gpa2)
Coefficient Std.Error
Constant 2.70008 0.01988
SAT_p 0.00149250 6.521e-005
HSPERC_p -0.0138558 0.0005610
HSIZE_p -0.0608815 0.01650
HSIZESQ_p 0.00546030 0.002270
IC 95 % pour

0
= 2.70 1.96(0.020) = (2.66; 2.74).
Prvision de y
On a donc calcul E(y[x
1
= c
1
, . . . , x
k
= c
k
), c--d la
valeur prvue de la moyenne de y pour des valeurs de
x donnes ainsi que son intervalle de conance (IC).
LIC est relatif la moyenne une personne moyenne,
ce qui est diffrent dun IC pour un individu donn.
pour cela il faut tenir compte dune autre source
dincertitude: la variance de u.
Soit y
0
la valeur de y pour un individu (hypothtique)
hors de lchantillon et x
0
1
, . . . , x
0
k
les valeurs des
variables indpendantes de cet individu.
y
0
=
0
+
1
x
0
1
+
2
x
0
2
+ . . . +
k
x
0
k
+ u
0
.
Prvision de y
Lerreur de prvision pour cet individu est
e
0
= y
0
y
0
= (
0
+
1
x
0
1
+
2
x
0
2
+ . . . +
k
x
0
k
+ u
0
) y
0
.
Hors E(
0
+

1
x
0
1
+

2
x
0
2
+ . . . +

k
x
0
k
+ u
0
) =
0
+
1
x
0
1
+
2
x
0
2
+ . . . +
k
x
0
k
et donc comme E(u
0
) = 0,
E( e
0
) = 0.
Notons que Corr(
j
, u
0
) = 0, j = 1, . . . , k.
V ar( e
0
) = V ar( y
0
) + V ar(u
0
) = V ar( y
0
) +
2
.

V ar( e
0
) = V ar( y
0
) +
2
et donc

sd( e
0
) =
_

V ar( e
0
).
Exemple
Dans lexemple prcdant on a calcul un intervalle de
prvision pour COLGPA pour la moyenne des tudiants
qui ont les caractristiques suivantes: SAT = 1200, . . .
Nous voulons maintenant un IC 95% pour un tudiant
particulier qui a les mmes caractristiques.
0
1.96

sd( e
0
), o

sd( e
0
) =
0.020
2
+ 0.560
2
0.560.
(1.60; 3.80) par rapport (2.66; 2.74).
Prvision de logarithmes
Comment prdire y partir de :
log(y) =
0
+
1
x
0
1
+
2
x
0
2
+ ... +
k
x
0
k
+ u ?
Une estimation de y par exp(

log(y)) est incorrecte
(sous-estimation).
En fait, y = exp(
2
/2) exp(

log(y)).
Il faut donc utiliser
2
pour ajuster la prvision.
Chapitre 7: Rgression multiple avec variables binaires ou
dummy
Il existe 2 types de variables.
Variables incorporant une information quantitative.
Exemple: Education, salaire, emploi, ventes dune
rme.
Variables incorporant une information qualitative.
Exemple: Sexe dune personne, race, type dindustrie,
localisation.
On va voir comment traiter les variables incorporant
une information qualitative agissant comme des
variables exognes.
Lorsquelles sont endognes traitement
conomtrique diffrent (probit, logit, etc.).
Comment transcrire une information qualitative ?
Variable binaire ou dummy
Parfois, linformation est binaire. Ex: homme ou femme,
on possde un permis de conduire ou non, etc.
Variable dummy = variable avec 2 valeurs possibles:
0 ou 1.
Le choix du standard (valeur 0) est important pour
linterprtation. Exemple : variable gender (genre):
gender = 1 si femme, gender = 0 si homme.
Cas dune seule variable dummy
Supposons la fonction de salaire suivante:
wage =
0
+
1
educ +
0
female + u.
female = 1 si lindividu est une femme, female = 0 si
lindividu est un homme.
0
va capturer la diffrence de salaire entre femme et
homme pour un mme niveau dducation
0
= E(wage[female = 1, educ) E(wage[female =
0, educ) = (
0
+
0
)
0
.
0
< 0 discrimination dfavorable aux femmes.
Exemple o < 0
w
a
g
e
educ
0
+
0
0
wage =
0
+
1
educ
wage = (
0
+
0
) +
1
educ
Hommes
Femmes
Pige viter
On ne peut pas introduire simultanment 2 variables
dummy mutuellement exclusives. Exemple female et
male.
Pourquoi ? female + male = 1 male est une fonction
linaire parfaite de female rejet de MLR.4.
Le choix de la variable standard nimporte que pour
linterprtation.
Exemple: SALARY
EQ( 1) Modelling WAGE by OLS-CS (using wage1.in7)
Constant -1.56794 0.7246 -2.16 0.031
EDUC 0.571505 0.04934 11.6 0.000
EXPER 0.0253959 0.01157 2.20 0.029
TENURE 0.141005 0.02116 6.66 0.000
FEMALE -1.81085 0.2648 -6.84 0.000
sigma 2.95757 RSS 4557.30771
R2 0.363541 F(4,521) = 74.4 [0.000]
no. of obs 526 no. of par. 5
mean(WAGE) 5.8961 var(WAGE) 13.613
Variables dummy, suite
Souvent, les variables dummy peuvent reter un choix
ou une action de la part dun individu
lien de causalit.
Exemple 1: PC = 1 si ltudiant dtient un PC, 0 sinon.
effet sur les rsultats scolaires.
Exemple 2: grant = 1 si une rme reoit une bourse
pour la formation de ses employs, 0 sinon.
effet sur le nombre dheures de formation des
employs.
Modles log-niveau
Comment interprter le coefcient relatif une variable
dummy quand la variable indpendante est exprime
en log ?
log(wage) =
0
+
1
educ +
2
exper +
3
exper
2
+
4
tenure +
5
tenure
2
+
0
female + u.
Le diffrentiel de salaire moyen entre un homme et une
femme est de [exp(
0
) 1]%.
Exemple:
0
= .297 une femme gagne en moyenne
25.7 % en moins quun homme caractristiques
(prsentes dans le modle) identiques.
Plusieurs variables binaires
On peut inclure plusieurs variables dummy binaires
dans la mme rgression.
Exemple: female = 1 si femme; married = 1 si
marri(e).
Si introduites sparment, effet du marriage est
identique entre hommes et femmes. Comment
introduire de linteraction ? 4 groupes: femme celib,
homme celib, femme marie, homme mari.
Si g catgories, il faut introduire g 1 variables dummy
+ un intercept qui capture leffet pour la catgorie de
base.
log(wage) =
0
+
1
educ +
2
exper +
1
marrfemale +
2
marmale +
3
singfemale + u
0
fait reference au
salaire des hommes clibataires.
Information ordinale
Parfois, la variable dummy est une variable ordinale .
Exemple : rating de credit des villes : CR prenant 5
valeurs possibles de 0 (le plus mauvais dbiteur) 4
(meilleur dbiteur).
Modle : Txint =
0
+
1
CR + ... + u.
problme : effet sur le taux dintrt Txint d1
passage de 0 1 pas quivalent au passage de 1 2,
de 2 3, etc.
Information ordinale
Solution : crer une variable dummy binaire par valeur:
CR1 = 1 si CR = 1, CR2 = 1 si CR = 2 etc.
Txint =
0
+
1
CR
1
+
2
CR
2
+
3
CR
3
+
4
CR
4
+ ... + u.
Tout sinterprte par rapport CR = 0.
Remarque : le premier modle est un modle restreint
du second avec restriction suivante:
CR = CR
1
+ 2CR
2
+ 3CR
3
+ 4CR
4
.
Pentes et intercepts diffrents
On peut utiliser des variables dummy pour tester des
pentes et des intercepts diffrents entre catgories.
Exemple : salaire, education et sexe.
log(wage) = (
0
+
0
female) + (
1
+
1
female)educ + u.
Equation estimable correspondante:
log(wage) =
0
+
0
female+
1
educ +
1
femaleeduc +u.
Hypothse : rendement de leducation identique selon
le sexe:
1
= 0.
Hypothse : salaire moyen identique selon le sexe:
0
=
1
= 0 test en F.
Exemple: SALARY
log(wage) =
0
+
1
female +
2
educ +
3
female educ +
4
exper +
5
exper
2
+
6
tenure +
7
tenure
2
+ u.
EQ(1) Modelling LWAGE by OLS-CS
Constant 0.388806 0.1187 3.28 0.001
FEMALE -0.226789 0.1675 -1.35 0.176
EDUC 0.0823692 0.0085 9.72 0.000
FEMALEEDUC -0.0055645 0.0131 -0.43 0.670
EXPER 0.0293366 0.0050 5.89 0.000
EXPERSQ -0.0005804 0.0001 -5.40 0.000
TENURE 0.0318967 0.0069 4.65 0.000
TENURSQ -0.0005899 0.0002 -2.51 0.012
sigma 0.4001 RSS 82.9215951
R2 0.440964 F(7,518) = 58.37 [0.000]
Exemple
Le rendement de leducation des femmes est de
2
+

3
, c--d 0.082 0.0056 = 0.0764. Il est non
signicativement diffrent de celui des hommes (beta
2
) :
tstat = 0.0056/0.0131 = 0.43.
Le salaire moyen des femmes est de
exp(0.227) 1 = 0.255% infrieur celui des hommes.
La diffrence est non signicative :
tstat = 0.227/0.168 = 1.35.
Cela ne signie pas ncessairement quil ny pas
discrimination : les variables female et female educ
sont trs corrles (0.96357) individuellement moins
signicatives.
F Test
F test H
0
:
1
=
3
= 0 F = 34.326 comparer par
rapport une F(2, 518).
p-valeur < 0.0001 discrimination.
LinRes F(2,518) = 34.326 [0.0000]**
Test de difference entre groupes
Comment tester si le mme modle de regression
(intercept et pentes) sapplique 2 groupes diffrents
(g = 1, 2) ?
y =
g,0
+
g,1
x
1
+
g,2
x
2
+ ... +
g,k
x
k
+ u
g
.
Hommes: wage =
h,0
+
h,1
educ +
h,2
exper + u
h
.
Femmes: wage =
f,0
+
f,1
educ +
f,2
exper + u
f
.
Comment tester H
0
:
h,0
=
f,0
,
h,1
=
f,1
,
h,2
=
f,2
?
Test de Chow
Estimer le modle contraint (sous H
0
):
y =
0
+
1
x
1
+
2
x
2
+ ... +
k
x
k
+ u.
wage =
0
+
1
educ +
2
exper + u.
Calculer SSR
p
= somme des carrs des rsidus du
modle contraint (n obs. au total).
Estimer le modle pour g = 1 (Hommes) et g = 2
(Femmes).
Calculer SSR
1
(n
1
obs.) et SSR
2
(n
2
obs.).
Sous H
0
: F =
SSR
p
(SSR
1
+SSR
2
)
SSR
1
+SSR
2
n2(k+1)
k+1

(k + 1, n 2(k + 1)).
Le modle contraint implique k + 1 restrictions.
Rsultats scolaires au printemps
CUMGPA =
0
+
1
SAT +
2
HSPERC +
3
TOTHRS + u,
o CUMGPA = College Grade Point Average cumul.
90 lles et 276 garons; 3 variables explicatives;
EQ(1) Modelling CUMGPA by OLS-CS
Estimation sample selected
by SPRING: 366 observations
Coefficient t-prob
Constant 1.49085 0.000
SAT 0.00118496 0.000 sc. `a lex. dentree
HSPERC -0.00995690 0.000 High school perc.
TOTHRS 0.00234295 0.002 # tot. dh. de cours
sigma 0.486034 RSS 85.5150683
R2 0.351636 F(3,362) = 65.44 [0.000]
Slection de SPRING = 1
SPRING = 1 et FEMALE = 1
SPRING = 1 et MALE = 1
Modle SPRINGFEMALE = 1
RSS = 19.6027867, n
1
= 90.
Modle SPRINGMALE = 1
RSS = 58.7517208, n
2
= 276.
F Test
F =
SSR
p
(SSR
1
+ SSR
2
)
SSR
1
+ SSR
2
n 2(k + 1)
k + 1
=
85.5150683 (19.6027867 + 58.7517208)
19.6027867 + 58.7517208

366 2(3 + 1)
4
=
85.5150683 78.355
78.355

358
4
8.18 3.32 (valeur critique pour = 1%).
Rejet de H
0
.
Variable binaire dpendante
Prenons le cas dune variable binaire dpendante.
Exemple : individu hautement duqu ou non; individu
utilisant des drogues ou non.
Modle linaire de rgression multiple:
y =
0
+
1
x
1
+
2
x
2
+ ... +
k
x
k
+ u.
Comme y = 0 ou y = 1, interprtation de
j
particulire:
j
ne capture pas leffet dune variation de 1 unit de x
j
sur une variation de y interprtation en terme de
probabilit.
En prenant lesprance conditionnelle E(y[x):
Prob(y = 1[x) =
0
+
1
x
1
+
2
x
2
+... +
k
x
k
car dans ce
cas E(y[x) = Prob(y = 1[x) capture la probabilit
conditionnelle de succs.
Modle de probabilit linaire (MPL).
Prob(y = 1[x) =
j
x
j
.
j
mesure la modication de la probabilit de succs
(y = 1) quand x
j
augmente d1 unit.
0
mesure la probabilit de succs quand tous les x
sont gaux zro.
Exemple : Participation au march du travail des
femmes maries en 1975.
inlf =

0
+

1
nwifeinc +

2
educ +

3
exper +

4
exper
2
+
5
age +

6
kidslt6 +

7
kidsgt6 + u.
y = 1 si femme marie travaille.
428 femmes sur 753.
Interprtation de
2
: impact dune anne dtude
supplmentaire sur la probabilit pour une femme
marie de travailler.
Impact linaire (irraliste) : pour une srie de valeurs
donnes pour les autres variables, en dessous dun
certain nombre danne dtudes, la probabilit devient
ngative!!
Limites du MPL
Prdictions de probabilit irraliste. Pour certaines
valeurs des variables, on peut obtenir Prob(y = 1[x) < 0
ou Prob(y = 1[x) > 1. irraliste.
Exemple : pour 10, des 753 femmes, compte tenu des
valeurs estimes par MCO et des valeurs des
variables,
Prob(y = 1[x) < 0.

Les valeurs irralistes sont aussi lies lhypothse de
linarit. Exemple :

6
= 0.262. Si une femme passe
de 0 1 jeune enfant, sa probabilit de travailler baisse
de 0.262.
Si une femme passe de 0 4 jeunes enfants, sa
probabilit de travailler baisse de 4 0.262 = 1.048.
irraliste.
Limites du MPL
Le modle MPL viole lhypothse dhomoscdasticit
infrence problmatique.
En effet, la variance conditionnelle de y dpend de x:
V ar(y[x) =
Prob(y=1|x)
1Prob(y=1|x)
.
V ar(y[x) =
(
0
+
1
x
1
+
2
x
2
+...+
k
x
k
)
1(
0
+
1
x
1
+
2
x
2
+...+
k
x
k
)
.
En rgle gnrale, si on omet les problmes de
prvision irralistes et les problmes
dhtroscdasticit, le MPL est utilis souvent dans
lanalyse empirique prliminaire.
Problmes dauto-slection
y =
0
+
1
partic + u.
Les variables binaires capturant la participation (partic)
des politiques doivent tre exognes par rapport au
terme derreur u ou y.
Si E(u[partic = 1) ,= E(u[partic = 0), il y a auto-selection
la participation dpend des facteurs non inclus (et
prsents dans u) estimation biaise de
1
.
Exemple : impact des bourses de formation aux
entreprises (grant = 0, 1) sur le taux de dchet dans la
production. Est que grant est exogne ou dtermin
alatoirement. il est possible que les rmes les
moins productives demandent et reoivent plus de
bourses.estimation biaise de
1
.
Une solution : inclure des facteurs observs qui son
corrls avec partic et qui vont capturer une partie de la
variabilit de u.
Exemple : inclure ventes, log(sale), et la taille de
lentreprise, log(employ), pour diminuer ce problme
dauto-slection.
Chapitre 8: Htroscdasticit
Dans le chapitre 3, nous avons introduit 5 hypothses
dont lhypothse dhomoscdasticit (MLR.5).
MLR.5 V ar(u[x
1
, . . . , x
k
) =
2
.
homoscdasticit.
MLR.5 est viole si V ar(u[x
1
, . . . , x
k
) =
2
i
.
htroscdasticit.
Quelles sont les consquences ?
Exemple: wage =
0
+
1
educ + u
0 2 4 6 8 10 12 14 16 18
2.5
5.0
7.5
10.0
12.5
15.0
17.5
20.0
22.5
25.0
educ
w
a
g
e
Lien entre u et educ
0 2 4 6 8 10 12 14 16 18
5
.
0
2
.
5
0
.
0
2
.
5
5
.
0
7
.
5
1
0
.
0
1
2
.
5
1
5
.
0
educ

Rappel : Homoscdasticit
Rappel : Htroscdasticit
Consquences de lhtroscdasticit pour les MCO
Violation sans consquences
Sous hypothses MLR.1-MLR.4.
les MCO sont non biaiss.
Lhypothse V ar(u[x
1
, . . . , x
k
) =
2
ne joue aucun
rle dans le caractre non biais.
Le calcul et linterprtation du R
2
et R
2
ne dpendent
pas de la validit de MLR.5.
Violation avec Consquences
Par contre, MLR.5 est important pour lestimation de la
variance des estimateurs: V ar(
j
).
En prsence dhtroscdasticit, la formule propose
de

V ar(
j
) donne un estimateur biais.
Consquences ?
Les statistiques de test en t nont plus une
distribution en t.
Les statistiques de test en F ne sont plus valides.
Les statistiques de test LM ne suivent plus une
distribution du
2
(.).
Infrence robuste lhtroscdasticit
Forme inconnue dhtroscdasticit
En prsence dhtroscdasticit, les MCO ne sont
plus efcients.
Stratgie si la forme de lhtroscdasticit est
inconnue (cas le plus frquent) ?
Garder les estimateurs

j
des MCO mais ajuster les
statistiques ncessaires linfrence.
Ajuster les statistiques en t, F et LM.
Procdures robustes lhtroscdasticit valides
dans des grands chantillons.
Calcul de V ar(
j
)
y
i
=
0
+
1
x
i
+ u
i
.
Htroscdasticit : V ar(u
i
[x
i
) =
2
i
.
1
=
1
+
n
i=1
(x
i
x)u
i
n
i=1
(x
i
x)
2
=
1
+
n
i=1
(x
i
x)u
i
SST
x
.
V ar(
1
) =
n
i=1
(x
i
x)
2
2
i
SST
2
x
.
Dans le cas homoscdastique (
2
i
=
2
pour tous les i).
On retrouve V ar(
1
) =

2
SST
x
et

V ar(
1
) =

2
SST
x
.
Par contre si htroscdasticit la formule de
V ar(
1
) drive dans le cas homoscdastique nest
plus valable.
cart-types robustes
White (1980) propose dutiliser la formule thorique
pour trouver un estimateur de

V ar(
j
) en cas
dhtroscdasticit.
Ide : estimer
2
i
par les u
2
i
.
V ar(
1
) =
n
i=1
(x
i
x)
2
u
2
i
SST
2
x
.
Dans le cas de rgression multiple, la formule analogue
est :

V ar(
j
) =
n
j=1
r
2
ij
u
2
i
SSR
2
j
, o pour rappel r
ij
est le ime
rsidu de la rgression de x
j
sur les autres variables
explicatives de la rgression multiple.
cart-types robustes
La racine carre de cet estimateur donne un estimateur
de lcart-type de

j
robuste la prsence
dhtroscdastique ou cart-type de White : not
HCSE.
MacKinnon et White (1985) proposent dajuster la
formule de

V ar(
j
) par un facteur correctif
n
nk1
: not
JHCSE pour Jack-knife heteroscedastic consistant
SE.
Remarque : si on a homoscdasticit, on retrouve les
cart-types des MCO habituels.
On peut alors construire des statistiques t robustes :
t
robuste
=
0
j
sd(
j
)
.
n = 200, y = 0.2 + 0.5x
1
+ u, et u N(0, 0.5exp(0.2x
2
1
)).
Estimer y =
0
+
1
x
1
+u 5000 fois et calculer aprs chaque
estimation: stat
h,j
=

sd(
j
)
h = 1, . . . , 5000 et j = 0, 1, avec
sd(
j
) calcul selon la formule standard, HCSE et JHCSE.
cart-types standards
4 3 2 1 0 1 2 3 4
0.1
0.2
0.3
0.4
Density
Distribution de (
^
0
)/
^
sd(
^
0
) t(n2)
6 5 4 3 2 1 0 1 2 3 4 5
0.1
0.2
0.3
0.4
Density
Distribution de (
^
1
)/
^
sd(
^
1
) t(n2)
cart-types HCSE
4 3 2 1 0 1 2 3 4
0.1
0.2
0.3
0.4
Density
Distribution de (
^
0
)/
^
sd(
^
0
) t(n2)
4 3 2 1 0 1 2 3 4
0.1
0.2
0.3
0.4
Density
Distribution de (
^
1
)/
^
sd(
^
1
) t(n2)
cart-types JHCSE
4 3 2 1 0 1 2 3 4
0.1
0.2
0.3
0.4
Density
Distribution de (
^
0
)/
^
sd(
^
0
) t(n2)
4 3 2 1 0 1 2 3 4
0.1
0.2
0.3
0.4
Density
Distribution de (
^
1
)/
^
sd(
^
1
) t(n2)
GiveWin
GiveWin
Exemple: Salaire
Coefficient Std.Error JHCSE
Constant 0.321378 0.1000 0.1114
MARRMALE 0.212676 0.05536 0.05811
MARRFEMALE -0.198268 0.05784 0.05964
SINGFEMALE -0.110350 0.05574 0.05780
EDUC 0.0789103 0.006694 0.007565
EXPER 0.0268006 0.005243 0.005200
EXPERSQ -0.000535245 0.0001104 0.0001081
TENURE 0.0290875 0.006762 0.007372
TENURSQ -0.000533142 0.0002312 0.0002719
Exemple: quation de salaire
On voit ici que les t statistiques robustes sont trs
proches des t de dpart.
peu de prsence dhtroscdasticit.
rien ne change du point de vue de la signicativit.
Les cart-types robustes peuvent tre soit plus levs,
soit plus faibles le biais va dans les 2 sens.
En pratique nanmoins, les cart-types robustes sont
souvent plus grands que les cart-types non ajusts.
F et LM robustes
On peut construire des statistiques en F robustes.
utiles pour tester des hypothses jointes.
Certains mais pas tous les logiciels les construisent.
Quand ce nest pas disponibles, on peut construire des
statistiques de test LM robustes lhtroscdasticit.
Exemple. Tester lhypothse
4
=
5
= 0 dans lquation
suivante : y =
0
+
1
x
1
+
2
x
2
+
3
x
3
+
4
x
4
+
5
x
5
+ u.
Dans le cas homoscdastique, LM = n R
2
u
o le R
2
u
est le R
2
de la rgression des rsidus du modle
restreint (
4
=
5
= 0) sur toutes les variables
explicatives.
F et LM robustes
La procdure pour construire des statistiques LM
robustes en 3 tapes.
Rcuprer les rsidus du modle restreint u.
Rgresser les q variables exclues (x
4
et x
5
) sur toutes
les variables explicatives incluses (x
1
, x
2
et x
3
) et
rcuprer les rsidus calculer les q produits : r
4
et r
5
.
Rgresser des 1 sur r
4
u et r
5
u calculer la SSR.
LM = n SSR : sous H
0
, LM suit une
2
q
.
Exemple: arrestations criminelles
Var dpendante narr86
Var explicatives coeff ecart-type ecart-type rob.
Constant .567 .036 .040
pcnv -.136 .040 .034
avgsen .0178 .0097 .0101
avgsen
2
-.00052 .00030 .00021
ptime86 -.0394 .0087 .0062
qemp86 -.0505 .0144 .0142
inc86 -.00148 .00034 .00023
black .325 .045 .058
hispan .193 .040 .040
R
2
= .0728 n = 2725
Il y a des diffrences substantielles dans les
cart-types. Exemple: avgsen
2
: t = 1.73 vs t = 2.48.
On veut tester si la sentence moyenne a une inuence
sur le nombre darrestations : H
0
:
avgsen
=
avgsen
2 = 0
Test LM.
Sans ajustement : LM = 3.54 p valeur = .170.
Avec ajustement : LM = 4.00 p valeur = .135.
la sentence napparat pas avoir un effet signicatif.
Tests dhtroscdasticit
Test dhtroscdasticit
y =
0
+
1
x
1
+
2
x
2
+ ... +
k
x
k
+ u.
On suppose que les hypothses MLR.1-MLR.4 sont
valides.
Sous lhypothse nulle, cas homoscdastique:
H
0
: V ar(u[x
1
, . . . , x
k
) =
2
.
Comme u a une esprance conditionnelle nulle
(MLR.2), on a V ar(u[x) = E(u
2
[x) on peut exploiter
cela pour crire lhypothse sous une forme testable :
H
0
: E(u
2
[x
1
, . . . , x
k
) = E(u
2
) =
2
.
Si lhypothse est viole, alors u
2
est li une des
variables explicatives on peut tester cela dans un
modle de rgression linaire.
u
2
=
0
+
1
x
1
+
2
x
2
+ ... +
k
x
k
+ , avec
H
0
:
1
=
2
= . . . =
k
= 0.
Pour tester H
0
, on peut utiliser soit F, soit LM, car
asymptotiquement, ils ont distribus selon une
2
.
Problme : u est inobserv on va utiliser les rsidus
u on estime : u
2
=
0
+
1
x
1
+
2
x
2
+... +
k
x
k
+error.
Test en F: F =
R
2
u
2
/k
(1R
2
u
2
)/(nk1)
o R
2
u
2
est le R
2
de la
rgression prcdente sous H
0
, F est distribu selon
une
k,nk1
.
Test LM (Test de Breusch-Pagan): LM = n R
2
u
2
.
suit une
2
(k).
Remarque 1 : u
2
> 0 rejet de MLR.6. Ce test nest
donc applicable quen grand chantillon.
Remarque 2 : u
2
estim avec erreur. Cette erreur na
pas de consquence si n est grand. Introduction ` a lEconom etrie p. 259/??
Exemple: Prix du logement
EQ(4) Modelling PRICE by OLS-CS (hprice1.in7)
Coefficient Sd.Er t-prob
Constant -21.7703 29.480 0.462
LOTSIZE 0.0021 0.0006 0.002 (taille terr.)
SQRFT 0.1228 0.0132 0.000 (taille mais.)
BDRMS 13.8525 9.0100 0.128 (# salles bain)
sigma 59.8335 RSS 300723.806
R2 0.672362 F(3,84) = 57.46 [0.000]
GiveWin: Sauvegarder u
GiveWin: Crer u
2
GiveWin: Crer u
2
Test de Breusch-Pagan
EQ(5) Modelling res2 by OLS-CS
Coefficient t-prob
Constant -5522.79 0.094
LOTSIZE 0.201521 0.006
SQRFT 1.69104 0.251
BDRMS 1041.76 0.299
R2 0.160141 F(3,84) = 5.339 [0.002]
no. of observations 88
F stat de 5.339[0.002].
LM stat de 88 0.160141 14.09.
GiveWin: P-valeur du LM-test
P-valeur de 0.0028.
Exemple: prix du logement
Modle en log.
log(price) =
0
+
1
log(lotsize)+
2
log(sqrft)+
3
bdrms+u.
R
2
u
2
= .0480 F 1.41 P valeur = .245. LM 4.22
p valeur = .239.
Non rejet de lhypothse nulle dhomoscdasticit
(vriez!! ).
Remarque: on peut ne pas inclure toutes les variables
explicatives dans la rgression des rsidus au carr
mais seulement celles dont on souponne avoir un lien
avec la variance (q < k) ajustement des DL dans F
et
2
.
Test de White
On tend le test vu prcdemment en incluant, en plus
des x
k
, les carrs (x
2
k
) et les produits croiss.
Exemple: si k = 3, u
2
=
0
+
1
x
1
+
2
x
2
+
3
x
3
+
4
x
2
1
+
5
x
2
2
+
6
x
2
3
+
7
x
1
x
2
+
8
x
1
x
3
+
9
x
2
x
3
+ error Tests
en F et en LM.
Ceci permet de tester des formes alternatives
dhtroscdasticit.
Ce test est disponible dans la plupart des logiciels
conomtriques.
PcGive: Test de White
Test de White (modle en niveau)
Heteroscedasticity coefficients:
Coefficient t-value
LOTSIZE 0.62717 2.4527
SQRFT -14.025 -1.6902
BDRMS 7454.8 1.5216
LOTSIZE2 -5.0192e-006 -1.7990
SQRFT2 0.0029752 1.7243
BDRMS2 -770.65 -1.2873
RSS = 3.35361e+009 sigma = 6599.49
Regression in deviation from mean
Testing for heteroscedasticity using squares
Chi2(6) = 20.602 [0.0022]**
F-form F(6,77) = 3.9229 [0.0018]**
Heteroscedasticity coefficients:
Coefficient t-value
LOTSIZE -1.8595 -2.8429
SQRFT -2.6739 -0.30067
BDRMS -1982.8 -0.35512
LOTSIZE2 -4.9784e-007 -0.10471
SQRFT2 0.00035226 0.18651
BDRMS2 289.75 0.37192
LOTSIZE*SQRFT 0.00045678 1.6068
SQRFT*BDRMS -1.0209 -0.59643
LOTSIZE*BDRMS 0.31465 1.2157
Chi2(9) = 33.732 [0.0001]**
F-form F(9,74) = 5.1107 [0.0000]**
Test de White
Une faiblesse du test de White est que le nombre de
paramtres devient vite trs grand.
Exemple : 6 variables indpendantes 27 paramtres.
Ide : introduire les y qui sont en fait fonctions des x
k
.
Forme alternative : u
2
=
0
+
1
y +
2
y
2
+ error Tests
F et LM avec 2 restrictions.
Avantage = moins de paramtres estimer.
Inconvnient = on ne sais plus ce qui cause
lhtroscdasticit.
PcGive: Sauvegarder y
GiveWin: Crer y
2
EQ(3) Modelling u_hat2 by OLS-CS (hprice1.in7)
Coefficient t-prob
Constant 19071.6 0.035
y_hat -119.655 0.027
y_hat2 0.208947 0.006
R2 0.184868 F(2,85) = 9.639 [0.000]
F-stat: F(2, 85) = 9.639[0.000].
LM-stat : 88 0.184868 = 16.268384[0.000].
Test de White (modle en log)
EQ(5) Modelling u_hat2 by OLS-CS (hprice1.in7)
Coefficient t-prob
Constant 5.04683 0.135
y_hat -1.70922 0.145
y_hat2 0.145135 0.154
R2 0.0391735 F(2,85) = 1.733 [0.183]
F-stat: F(2, 85) = 1.733[0.183].
LM-stat : 88 0.0391735 3.45[0.178].
Moindres carrs pondrs (MCP)
Forme dhtroscdasticit particulire
Supposons que lon connaisse la forme
dhtroscdasticit on va exploiter cela pour
corriger les estimateurs MCO.
V ar(u[x) =
2
h(x), avec h(x) > 0 pour garantir une
variance positive.
La variance nest pas constante et est fonction des x:
2
i
= V ar(u
i
[x
i
) =
2
h(x
i
) =
2
h
i
.
Exemple. Fonction dpargne:
saving
i
=
0
+
1
inc
i
+ u
i
, et V ar(u
i
[inc
i
) =
2
inc
i
.
La variabilit de lpargne augmente avec le niveau
du revenu.
Estimation
y
i
=
0
+
1
x
i1
+
2
x
i2
+ ... +
k
x
ik
+ u
i
.
Si u
i
est htroscdastique, comment estimer
optimalement les
j
?
En fait : E(u
i
[x
i
) = 0 E(u
i
/
h
i
[x
i
) = 0
et E(u
2
i
[x
i
) =
2
h
i
E(u
2
i
/h
i
[x
i
) = E(u
2
i
[x
i
)/h
i
=
(
2
i
h
i
)/h
i
=
2
.
On retrouve les conditions de Gauss-Markov.
y
i
/
h
i
=
0
/
h
i
+
1
(x
i1
/
h
i
) +
2
(x
i2
/
h
i
) + ... +
k
(x
ik
/
h
i
) + (u
i
/
h
i
).
y
i
=
0
x
i0
+
1
x
i1
+
2
x
i2
+ ... +
k
x
ik
+ u
i
, avec
x
i0
= 1/
h
i
, x
i1
= x
i1
/
h
i
, etc.
Attention: dans cette nouvelle rgression, lancien
intercept est maintenant multipli par x
i0
.
Exemple de la fonction dpargne. On pose
V ar(u
i
[inc
i
) =
2
h
i
=
2
inc
i
.
Le modle de rgression estim par la mthode des
MCP devient :
saving
i
/
inc
i
=
0
(1/
inc
i
) +
1
inc
i
+ u
i
.
Si le modle de dpart satisfait les 4 premires
hypothses de Gauss-Markov, alors le modle
transform satisfait les cinq hypothses de
Gauss-Markov on peut estimer ce modle par MCO.
Les estimateurs MCP sont en gnral diffrents des
estimateurs MCO.
Les estimateurs des MCG ont les bonnes proprits : t,
F,
2
corrects pour linfrence.
Cette technique destimation sappelle moindres carrs
gnraliss (MCG). Les MCP en sont un cas
particulier (lorsque les MCG sont utiliss pour corriger
des problmes dhtroscdasticit).
Ide : les estimateurs MCP sont obtenus en minimisant
la somme des erreurs au carr pondres (par 1/
h
i
).
n
i=1
_
y
0
x
i0
1
x
i1
2
x
i2
...

k
x
ik
_
2
.
Exemple: Equation dpargne
EQ(1) Modelling SAV by OLS-CS (saving.in7)
Coefficient Std.Error t-prob
Constant 124.842 655.4 0.849
INC 0.146628 0.05755 0.012
sigma 3197.41 RSS 1.00189916e+009
R2 0.0621272 F(1,98) = 6.492 [0.012]*
no. of obs 100 no. of parameters 2
GiveWin: MCG en Batch
module("PcGive");
package("PcGive");
usedata("saving.in7");
algebra
{
SAV_W=SAV/sqrt(INC);
CST_W=1/sqrt(INC);
INC_W=INC/sqrt(INC);
}
system
{
Y = SAV_W;
Z = CST_W, INC_W;
}
estimate("OLS-CS", 1, 1, 100, 1);
MCG de lquation dpargne
EQ(2) Modelling SAV_W by OLS-CS (saving.in7)
CST_W -124.953 480.9 0.796
INC_W 0.171756 0.05681 0.003
sigma 29.7118 RSS 86513.4819
Var dpendante sav
Var explicatives MCO MCP MCO MCP
inc .147 .172 .109 .101
(.058) (.057) (.071) (.077)
size - - 67.66 -6.87
(222.96) (168.43)
educ - 151.82 139.48
- (117.25) (100.54)
age - .286 21.75
(50.031) (41.31)
black - - 518.39 137.28
(1308.06) (844.59)
constante 124.84 -124.95 -1605.42 -1854.81
(655.39) (480.86) (2830.71) (2351.80)
observations 100 100 100 100
R
2
.0621 .0853 .0828 .1042
On a suppos que la variance est proportionnelle au
revenu: V ar(u
i
[inc
i
) =
2
inc
i
.
Les estimateurs MCP et MCO sont quelque peu
diffrents mais les diffrences ne sont pas trs grande
mmes conclusions concernant la signicativit.
Moindres carrs gnraliss faisables
En pratique, on connat rarement la forme exact de
lhtroscdasticit (comme on la suppos dans
lexemple prcdent) il faut estimer la relation entre
les h
i
et les x
i
.
Utiliser des

h
i
.
Moindres carrs gnraliss faisables (MCGF).
On va supposer une fonction h(x) particulire (dautres
fonctions sont videmment possibles) :
V ar(u[x) =
2
exp(
0
+
1
x
1
+
2
x
2
+ ... +
k
x
k
).
On va donc estimer les et non les supposer connus
u
2
=
2
exp(
0
+
1
x
1
+
2
x
2
+ ... +
k
x
k
).
On va remplacer les u
2
par sa contrepartie observable
u
2
.
Rsum des MCGF
On va rendre le modle linaire :
log( u
2
) =
0
+
1
x
1
+
2
x
2
+ ... +
k
x
k
+ e
h
i
= exp(
0
+

1
x
1
+

2
x
2
+ ... +

k
x
k
) = exp( g
i
).
1) Obtenir les rsidus u par MCO.
2) Calculer log( u
2
) et rgresser log( u
2
) sur les x (ou un
sous-ensemble) calculer g.
3) Calculer

h = exp( g).
4) Estimer lquation suivante :
y
i
=
0
x
i0
+
1
x
i1
+
2
x
i2
+ ... +
k
x
ik
+ u
i
, en calculant
les x
i
grce au poids 1/
_
h
i
.
Une alternative: rgresser log( u
2
) sur les y et les y
2
pour calculer g.
Exemple : Demande de cigarettes
Estimer par MCO
cigs =
0
+
1
log(income) +
2
log(cigprice) +
3
educ +
4
age +
5
age
2
+
6
restaurn + u
i
,
o, cigs est le nombre de cigarettes fumes par jour, ...,
et retaurn = 1 si la personne habite dans un tat o il y
a des restrictions contre la cigarette dans les
restaurants.
Faire le test de Breusch Pagan (rgresser les rsidus
au carr sur les variables explicatives. Calculer le test
LM = R
2
u
2
comparer avec une
2
6
.
Restimer cigs =
0
+
1
log(income) +
2
log(cigprice) +
3
educ +
4
age +
5
age
2
+
6
restaurn + u
i
par MCGF et
comparer.
EQ(1) Modelling CIGS by OLS-CS (using smoke)
Coefficient Std.Error JHCSE t-prob
Constant -3.639 24.08 25.84 0.888
LINCOME 0.8802 0.7278 0.6010 0.143
LCIGPRIC -0.7508 5.773 6.086 0.902
EDUC -0.5014 0.1671 0.1630 0.002
AGE 0.7706 0.1601 0.1394 0.000
AGESQ -0.009022 0.001743 0.001476 0.000
RESTAURN -2.825 1.112 1.011 0.005
Testing for heteroscedasticity using squares
Chi2(10)= 36.146 [0.0001]**
and F-form F(10,789)= 3.6997 [0.0001]**
EQ(2) Modelling log_u2 by OLS-CS (using smoke)
Constant -1.92070 2.563 0.454
LINCOME 0.291541 0.07747 0.000
LCIGPRIC 0.195421 0.6145 0.751
EDUC -0.0797036 0.01778 0.000
AGE 0.204005 0.01704 0.000
AGESQ -0.00239214 0.0001855 0.000
RESTAURN -0.627012 0.1183 0.000
R2 0.247362 F(6,800) = 43.82 [0.000]**
EQ(3) Modelling CIGS_W by OLS-CS (using smoke)
MCPF MCO
Coefficient t-prob Coefficient t-prob
CST_W 5.635 0.752 -3.639 0.888
LINCOME_W 1.295 0.003 0.8802 0.143
LCIGPRIC_W -2.940 0.510 -0.7508 0.902
EDUC_W -0.4634 0.000 -0.5014 0.002
AGE_W 0.4819 0.000 0.7706 0.000
AGESQ_W -0.005627 0.000 0.0090 0.000
RESTAURN_W -3.461 0.000 -2.825 0.005
Exercices
Exercice 8.1.
Exercice 8.2.
Exercice 8.3.
Exercice 8.6
Exercice 8.7
Problmes supplmentaires de spcications: chapitre 9
Dans le chapitre 3, nous avons introduit 5 hypothses
dont lhypothse de non corrlation entre u et la (les)
variable(s) explicative(s) x (MLR.3) .
Nous allons reconsidrer ce problme dans plusieurs
cas particuliers : erreurs de mesures et biais de
variables omises Comment traiter cela et peut-on
solutionner tout en utilisant les MCO ?
On va voir galement les consquences de formes
fonctionnelles non appropries
Mauvaise spcication due la forme fonctionnelle
Problmes de forme fonctionnelle
De manire gnrale, problme de prise en compte de
la relation entre y et les x diffrents problmes.
Soit le vrai modle:
log(wage) =
0
+
1
educ +
2
exper +
3
exper
2
+ u.
Si on omet exper
2
dans la rgression, cela gnre 2
problmes.
Biais dans lestimation de
0
,
1
et
2
. La taille du biais
dpend de la taille de
3
et de la corrlation entre les x.
On apprhende trs mal le rendement de lexprience
professionnelle qui est donn par
2
+ 2
3
exper.
Problmes de forme fonctionnelle
Un autre problme : travailler sur wage alors que la
relation correcte est de travailler sur log(wage) on
obtient des estimateurs biaiss ou non consistents.
Pour tester lopportunit dune relation non linaire par
linclusion dun terme quadratique (exemple: exper
2
), on
peut utiliser un test dexclusion en F (cfr chap.4).
Nanmoins, on peut utiliser des tests de non linarit
plus gnraux: Tests RESET et tests emboits.
Var dpendante narr86
Var explicatives coeff ec-t coeff ec-t
pcnv -.133 .040 .533 .154
pcnv
2
- -.730 .156
avgsen -.011 .012 -.017 .012
tottime .012 .009 .012 .009
ptime86 -.041 .009 .287 .004
ptime86
2
- -.0296 .0039
qemp86 -.051 .014 -.014 .017
inc86 -.0015 .0003 -.0034 .0008
inc86
2
- .000007 .000003
black .327 .045 .292 .045
hispan .194 .040 .164 .039
Constant .596 .036 .505 .037
n = 2724 R
2
= .0723 R
2
= .1035
Dans la seconde quation, les termes quadratiques
sont tous individuellement signicatifs (voir les t stats).
Ils sont galement signicatifs collectivement: un test
en F donne F = 31.37 avec 3dl p valeur = .000.
Les effets de pcnv,ptime86 sont concaves et celui de
inc86 est convexe .
On voit que certains paramtres dautres variables
changent entre les 2 rgressions biais de variable(s)
omise(s).
Test RESET
Test pour dtecter un problme gnral de mauvaise
forme fonctionnelle.
On estime le modle gnral:
y =
0
+
1
x
1
+ ... +
k
x
k
+ u.
Linclusion de termes quadratiques pour tester leur
signicativit fait que le nombre de libert peut diminuer
fortement. En outre, cela ne teste quune forme de non
linarit particulire.
On va estimer un nouveau modle
tendu:y =
0
+
1
x
1
+ ... +
k
x
k
+
1
y
2
+
2
y
3
+ u.
les termes y
2
et y
3
dpendent de manire non linaire
des x suggrent des relations non linaires.
On teste leur signicativit conjointe : test en F de
H
0
:
1
= 0,
2
= 0 suit une F(2, n k 3).
Exemple: Prix du logement
price =
0
+
1
lotsize +
2
sqrft +
3
bdrms + u.
RESET: F = 4.87, p val = .012 .
lprice =
0
+
1
llotsize +
2
lsqrft +
3
bdrms + u.
RESET: F = 2.56, p val = .084 .
la specication log-log est prfre.
Tests embots
y =
0
+
1
x
1
+
2
x
2
+ u.
On value ce modle contre le modle alternatif :
y =
0
+
1
log(x
1
) +
2
log(x
2
) + u.
On ne peut pas utiliser un test en F car les modles
sont non emboits : aucun modle nest un cas
particulier de lautre .
Premire approche : estimer
y =
0
+
1
x
1
+
2
x
2
+
3
log(x
1
) +
4
log(x
2
) + u.
On peut tester alors : H
0
:
1
=
2
= 0 rejet du
modle de base en faveur du second modle
On peut aussi tester : H
0
:
3
=
4
= 0 rejet du
second modle en faveur du modle de base
Variables proxy la place des variables omises
Variable omise
Problme lorsquun modle exclut une variable
pertinente car celle-ci nest pas disponible.
Exemple : ommission de la comptence
professionnelle:
log(wage) =
0
+
1
educ +
2
exper +
3
abil + u.
Si educ et abil sont corrls, omettre abil et le mettre
dans u estimateurs biaiss.
Ide : utiliser une variable proxy observable de la
variable omise. Exemple : QI.
Variables proxy
Modle de base y =
0
+
1
x
1
+
2
x
2
+
3
x
3
+ u.
Si x
3
est non observ, remplacer par x
3
qui est relie
la variable omise: x
3
=
0
+
3
x
3
+
3
. Sil sagit dune
vraie proxy,
3
> 0, i.e. on a une relation positive.
Ide : rgresser y sur x
1
, x
2
et x
3
cela permettra
peut- tre dviter un biais destimation sur x
1
et x
2
.
2 hypothses ncessaires pour que
1
et
2
soient
consistents.
Variables proxy
Hypothse 1: u est non corrl avec x
1
, x
2
et x
3
;u est
non corrl avec x
3
.
Hypothse 2:
3
est non corrl avec x
1
, x
2
et x
3
x
3
est une bonne proxy car alors E(x
3
[x
3
) =
0
+
3
x
3
.
Exemple: Le niveau gnral de la comptence (non
observe) change avec le niveau du QI, pas avec celui
de lducation et de lexprience professionnelle :
E(abil[educ, exper, IQ) = E(abil[IQ) =
0
+
3
IQ.
Si les hypothses sont satisfaites, alors le modle
devient: y = (
0
+
3
3
) +
1
x
1
+
2
x
2
+
3
3
x
3
+u +
3
3
.
Sous les 2 hypothses, le terme derreur composite
e = u +
3
3
est non corrl avec x
1
, x
2
et x
3
. les
estimateurs de
1
et
2
sont non biaiss;
Parfois, lestimateur de la variable proxy (
3
=
3
3
) est
trs intressant galement .
Si la variable proxy ne respecte pas toutes les
hypothses, cela peut gnrer des estimateurs biaiss.
Exemple : x
3
=
0
+
1
x
1
+
2
x
2
+
3
x
3
+
3
.
Le modle devient : y =
(
0
+
3
3
)+(
1
+
3
1
)x
1
+(
2
+
3
2
)x
2
+
3
3
x
3
+u+
3
3
.
On voit que plim(
1
) =
1
+
3
1
et plim(
2
) =
2
+
3
2
estimateurs non consistents. Introduction ` a lEconom etrie p. 314/??
Exemple
Var dp. log(wage) n = 935
Var expl. (1) (2) (3)
educ .065 (.006) .054 (.007) .018 (.041)
exper .014 (.003) .014 (.003) .014 (.003)
tenure .012 (.002) .011 (.002) .011 (.002)
married .199 (.039) .200 (.039) .201 (.039)
south -.091 (.026) -.080 (.026) -.080 (.026)
urban .184 (.027) .182 (.027) .184 (.027)
black -.188 (.038) -.143 (.039) -.147 (.040)
IQ - .0036 (.0010) .0009 (.0052)
educ.IQ - - -.00034 (.00038)
Constant 5.395 (.113) 5.176 (.128) 5.648 (.546)
R
2
.253 .263 .263
Exemple: ducation et QI
Question importante : quel effet sur le rendement de
lducation ? Si la comptence non observe est
corrle avec educ, alors le rendement estim (.065) est
biais
On intgre le QI (IQ) : le QI est signicatif et le
rendement de educ diminue : .054 exemple de biais
d lomission dune variable pertinente.
On intgre aussi un terme dinteraction entre educ et IQ
(le rendement de lducation est peut-tre plus lev
pour les travailleurs intelligents) non signicatif on
prfre les estimateurs de la colonne prcdente.
Variables dpendente lagge
Si on na pas de variable proxy, on peut parfois
apprhender leffet des variables omises par une
variable dpendante retarde . permet de prendre
en compte des facteurs historiques qui interagissent
avec les variables explicatives du modle.
Exemple : effet des dpenses de justice (expend) et du
chmage (unem) sur le taux de criminalit (crime).
crime =
0
+
1
unem +
2
expend +
3
crime
1
+ u.
On sattend videmment
3
> 0. Il est tout fait
possible que les villes avec un haut taux de criminalit
dpensent plus en justice facteurs non observs.
pris en compte par crime
1
(taux de criminalit pass).
Exemple
Var dp. log(crmrate
87
) n = 46
Var expl. (1) (2)
unem
87
-.029 (.032) .009 (.020)
log(lawexp
87
) .203 (.173) -.140 (.109)
log(crmrate
82
) - 1.194 (.132)
Constant 3.34 (1.25) .076 (.821)
R
2
.057 .680
MCO et erreurs de mesure
Erreurs de mesure
Parfois, les donnes rcoltes sont entaches derreurs
de mesure.
Exemple: le taux de taxation marginal dune famille
apprhend par le taux moyen erreurs probables.
Il y a des similitudes dans le problme derreurs de
mesure et le problme des variables omises.2
diffrences nanmoins.
Ici, on nobserve pas la variable pertinente mais on en a
une information quantitative qui est entache derreur
de mesure.
Ici, la variable dintrt est aussi la variable entache
derreur de mesure alors que dans le cas prcdent,
cest surtout les consquences sur les autres
coefcients qui nous intressent.
Erreur sur la variable dpendente
Modle de base :y
=
0
+
1
x
1
+ ... +
k
x
k
+ u.
Problme : y
est observ avec erreur par y : on a une

erreur de mesure e
0
= y y
. Exemple : pargne de la
famille : la famille reporte cela avec erreur (omission de
certains postes, ...).
On estime donc: y =
0
+
1
x
1
+ ... +
k
x
k
+ u + e
0
.
Quelles consquences sur lestimateur MCOs ?
Si E(e
0
) = 0, alors lestimateur de
0
est non biais
Sinon, biais dans lintercept
0
(pas grave).
Hypothse cruciale: e
0
non corrl avec les x
j
les
estimateurs MCO sont corrects et infrence (t, F, ...)
valide. Si u et e
0
non corrls, alors
V ar(e
0
+ u) =
2
u
+
2
0
>
2
u
.les estimateurs sont
estims avec plus dincertitude (cart-types plus
levs).
Erreur sur une var explicative
Considrons le cas o lerreur porte sur une var
explicative: e
1
= x
1
x
1
. On suppose quen moyenne,
lerreur est gale zro: E(e
1
) = 0.
Modle de base :y =
0
+
1
x
1
+u. On suppose comme
auparavant que u est non corrl avec x
1
et x
1
.
Sous quelles hypothses lestimation par MCO permet
-elle de gnrer des estimateurs consistents en utilisant
x
1
la place de x
1
? Cela dpend de la nature de e
1
.
2 hypothses extrmes opposes.
Hypothse 1: Cov(e
1
, x
1
) = 0. Dans ce cas, on a
y =
0
+
1
x
1
+ (u
1
e
1
). (u
1
e
1
) est non corrl
avec x
1
et donc les estimateurs de
0
et de
1
sont
consistents. Comme V ar(u
1
e
1
) =
2
u
+
2
1
2
e
1
>
2
u
, la
prcision des estimateurs est moindre.
Hypothse 2: Erreurs classiques sur variables :
Cov(e
1
, x
1
) = 0. Erreur de mesure est non corrle avec
la vraie variable non observe
Dans ce cas, le problme se pose pour lhypothse
prcdente:
Cov(x
1
, e
1
) = E(x
1
e
1
) = E(x
1
e
1
) + E(e
2
1
) = 0 +
2
e
1
=
2
e
1
.
Cette corrlation pose problme car
Cov(x
1
, u
1
e
1
) =
1
Cov(x
1
, e
1
) =
1
2
e
1
. Les
MCO vont donner des estimateurs biaiss et non
consistents.
En utilisant les proprits asymptotiques, on peut
caractriser le biais.
plim(
1
) =
1
+
Cov(x
1
, u
1
e
1
)
V ar(x
1
)
=
1
2
e
1
(
2
x
1
+
2
e
1
)
=
1
(1

2
e
1
(
2
x
1
+
2
e
1
)
)
=
1
(
2
x
1
(
2
x
1
+
2
e
1
)
).
.
Le terme (
2
x
1
(
2
x
1
+
2
e
1
)
) est toujours < 1 et est appel le
biais dattnuation. si
1
> 0, alors

1
sous-estimera
1
.
Si erreur de mesure est petite relativement la variable
inoberve, alors

2
x
2
e
1
sera grand et le biais destimation
sera faible.
Cas de rgression multiple
y =
0
+
1
x
1
+
2
x
2
+
3
x
3
+ u.
Lhypothse cruciale est une fois de plus de savoir si e
1
et x
1
sont corrls.
Si ce nest pas le cas, la rgression
y =
0
+
1
x
1
+
2
x
2
+
3
x
3
+ u
1
e
1
donnera des
estimateurs consistents.
Sous Erreurs classiques sur variables :
plim(
1
) =
1
(
2
r
1
(
2
r
1
+
2
e
1
)
) dans laquelle r
1
est erreur de
lquation x
1
= a
0
+ a
1
x
2
+ a
2
x
3
+ r
1
.
Exemple: effet du revenu familial
Supposons que lon veuille voir limpact du revenu
familial (faminc) sur les rsultats au collge (colGPA).
Rgression :
colGPA =
0
+
1
faminc
+
2
hsGPA +
3
SAT + u.
Les familles ont tendance reporter leur revenu avec
des erreurs. Si faminc = faminc
+ e
1
et si lhypothse
derreurs classiques sur variables tient, alors biais de

1
vers zro et on sous-estimera leffet du revenu sur les
rsultats scolaires.
Autres problmes
Donnes manquantes
Souvent, variables manquantes sous la forme
dobservations manquantes pour plusieurs ou une
variable
Exemple: poids du bb la naissance : 1388
observations mais pour 197, pas dinfo sur lducation
de la mre et/ou du pre
Si on enregistre les donnes manquantes, les logiciels
appliquent lapproche la plus simple : ignorer les
observations pour lesquelles donnes manquantes.
Exemple prcdent : rgression expliquant le poids du
bb en fonction de lducation du pre et de la mre :
1388-197 observations utilises.
Echantillon non alatoire
Si les donnes sont manquantes de manire alatoire
cette approche produit des estimateurs moins prcis
mais non biaiss (hyp M.L.R.2 OK). trs souvent
utilise.
Parfois lchantillon obtenu est un chantillon
non-alatoire de la population. Exemple : niveau
dducation manquant pour les peu qualis ; donnes
de salaire pour les travailleurs avec un QI au-del dun
certain seuil.lhypothse M.L.R. 2 est viole. Quid
pour les estimateurs MCO ?
On peut procder une slection dchantillon exogne
sur base dune variable indpendante.
Exemple:fonction dpargne utiliser lpargne pour
les individus de 35 ans et plus. Hypothse cruciale:
E(saving[income, age, size) identique pour ce
sous-chantillon. lestimateur MCO peut tre alors
utilis.
Si slection est base sur la variable dpendante
possibilit de biais de slection.
Exemple : wealth =
0
+
1
educ +
2
exper +
3
age + u.
Si seulement individus avec une richesse
(wealth)suprieure USD 75000 inclus dans
lchantillon, estimateurs biaiss et non consistents car
E(wealth[educ, age, exper) ,=
E(wealth[educ, age, exper, wealth > 75000)
Echantillonnage strati : la population est divise en
strates qui ne se chevauchent pas. Exemple : strates
bases sur le sexe. on peut faire de la
surrpresentation de certains groupes minoritaires
dans la population pour tudier des phnomnes
propres ces groupes. Exemple: sur-reprsenter les
femmes militaires pour tudier les facteurs inuenant
le salaire dans larme dont la discrimination.
Les chantillons stratis peuvent amener des biais de
slection.Cas par cas. Exemple : impact sur le salaire
offert au travailleur :
log(wage
0
) =
0
+
1
educ +
2
exper + U.
On na que le salaire offert pour les travailleurs, pas
pour les sans-emploi; MCO biaiss ? pas
ncessairement car labsence de salaire offert peut
rsulter dune dcision individuelle (non travailler ce
salaire), non pas du niveau de salaire offert.
Valeurs aberrantes - outliers
Dans les petits chantillons, loccurrence de quelques
observations peut inluencer la valeurs des MCO.
valeurs aberrantes ou outliers.
Raison: les MCOs sont bass sur la minimisation de la
somme des rsidus le rsidu li un outlier reoit un
poids important.
Les outliers peuvent provenir de mauvaise saisie des
donnes corriger les donnes aprs dtection
(statistiques descriptives).
Un outlier peut provenir dune observation issue dun
autre (petite) population (exemple : une rme avec un
niveau de CA plus de 4 fois plus grand que les autres
rmes) Faire rgression avec et sans cette
observation et rapporter les rsultats.
Exemple: Dpenses de R et D
On tudie les dterminants de limportance de la R et D
sur 32 rmes: rdintens =
0
+
1
sales +
2
profmarg +u.
1 rme prsente un niveau de ventes sales de USD 40
millions alors que toutes les autres ont moins de USD
20 millions.
Le coefcient

1
est trs inuenc par linclusion ou non
de cette rme : .000053(.000044) avec ;
.000186(.000084) sans la taille et la signicativit de
leffet dpendent de lchantillon.
Certains tests permettent de dtecter automatiquement
ces outliers.

Introduction A L'econometrie Luxembourg 2008-2009

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Introduction A L'econometrie Luxembourg 2008-2009

Hochgeladen von

Copyright:

Verfügbare Formate

Economtrie 1

Master Financial Economics

salary = 963.2 + 18.5roe

Introduction ` a lEconom etrie p. 39/??

Introduction ` a lEconom etrie p. 63/??

Prob(y = 1[x) < 0.

Introduction ` a lEconom etrie p. 234/??

est observ avec erreur par y : on a une

Das könnte Ihnen auch gefallen