Supélec

Année 2007-2008

Econométrie — Mémo

Estimer sans biais la variance de l’erreur

Par souci de généralité, on raisonne ici dans le cas du modèle multiple,
N individus, K variables explicatives, dans le cadre matriciel.

Un estimateur naturel de la variance de l’erreur σ 2 est la moyenne des

carrés des résidus de l’estimation par MCO. Notons σ̃ 2 cet estimateur.

. 1 X 2
σ̃ 2 = ûi .
N
i

Cet estimateur est-il sans biais ? On calcule son espérance (condition-

nellement aux variables explicatives) pour s’en assurer. Pour simplifier l’-
analyse, on utilise le fait que le résidu peut s’écrire de la manière suivante :

û = MX u

où MX est le projecteur sur l’espace engendré par les X. Matriciellement,

on retrouve ce résultat :

û = y − X β̂
= y − X(X 0 X)−1 X 0 y = (IN − X(X 0 X)−1 X 0 )y
= (Xβ + u) − X(X 0 X)−1 X 0 (Xβ + u)
= u − X(X 0 X)−1 X 0 u = (IN − X(X 0 X)−1 X 0 )u

Donc, si MX = IN − X(X 0 X)−1 X 0 , on a û = MX y = MX u

En utilisant ce résultat, l’estimeur de la variance, s’écrit, en espérance :

1
 1
E(σ̃ 2 ) = E(û0 û)
N
1
= E(u0 MX 0
MX u)
N
1
= E(u0 MX u) car MX = MX 0 et M − M M
X X X
N
1
= E(T r(u0 MX u)) car u0 MX u est un scalaire
N
1
= E(T r(MX uu0 )) car T r(AB) = T r(BA)
N
1
= T r(E(MX uu0 )) car la trace est linéaire
N
1
= T r(MX E(uu0 )) car l’espérance est conditionnelle aux X
N
1
= T r(MX σ 2 IN ) par hypothèse sur la variance de l’erreur
N
σ2
= T r(MX )
N
Le problème revient donc à calculer la trace du projecteur MX .

T r(MX ) = T r(IN − X(X 0 X)−1 X 0 ) = T r(IN ) − T r(X(X 0 X)−1 X 0 )

La trace de la matrice identité IN est N . La trace du projecteur X(X 0 X)−1 X 0

est égale, comme T r(AB) = T r(BA), à celle de (X 0 X)−1 X 0 X, c’est-à-dire
celle de IK , donc à K.

En résumé, l’espérance de l’estimateur σ̃ 2 est égale à :

N −K 2
E(σ̃ 2 ) = σ
N
Pour des valeurs finies de N , cet estimateur est donc biaisé : son es-
pérance diffère de σ 2 . En pratique, on lui préférera donc l’estimateur corrigé
σ̂ 2 suivant :
. 1 X
σ̂ 2 = û2i .
N −K
i

L’estimateur σ̂ 2 est sans biais, y compris à distance finie (lorsque N est

fini). En revanche, lorsque la taille N de l’échantillon tend vers l’infini, les
deux estimateurs convergent vers la bonne valeur.