Université Cadi Ayad

Faculté des Sciences Juridiques Economiques et Sociales

Marrakech

ECONOMETRIE I

Polycopié à l’attention des Etudiants de la Filière Economie et

Gestion, Semestre 5 : Option Economie

Document de Soutien Préparé par les Professeurs Chakib Tahiri

et Mustapha Kchirid
Chapitre 2

Critères Statistiques D’évaluation des

Estimateurs, Propriétés Désirables

L’objet du chapitre 1 a été d’introduire la méthode d’estimation OLS. Le

présent chapitre présente les propriétés statistiques de nos estimateurs.

2.1 Terminologie
On appelle distribution d'échantillonnage d’un estimateur ou d’un test
statistique la distribution de probabilité de cet estimateur ou de ce test
statistique.

Notre objet dans ce chapitre est de parler de la distribution de ces

estimateurs. Pour décider si ces estimateurs sont bons ou mauvais, on
considère leur distribution d'échantillonnage. On peut imaginer tirer
plusieurs échantillons, à chaque fois calculer la valeur de notre estimateur et
arranger ensuite les valeurs en forme de distribution. Donc par exemple ̂
est une VA qui suit une distribution de probabilité. Il faut comprendre que
lorsque dans une estimation on trouve que ˆ  0.23 ou ˆ  0.89 ou toute autre
valeur, ceci constitue une valeur de notre estimateur, c.a.d. un point-
estimateur. Par contre la formule qui nous a permis de trouver ce point-
estimateur c.a.d. la formule

ˆ 
 xt yt
 xt2

2
est un estimateur.

En statistique, on juge de la qualité de la valeur d'un estimateur en évaluant

la qualité de la procédure qui a produit cette valeur. Avant d'aller plus loin,
considérons un estimateur parfait. Un estimateur parfait est un estimateur
qui est toujours correcte c.a.d. un estimateur dont la distribution
d'échantillonnage est concentrée en un point, le point auquel correspond la
valeur du paramètre estimé. Les estimateurs parfaits sont rares. Il existe un
cas où l'on pourrait avoir un estimateur parfait c’est lorsqu’il n’y a pas de
variation dans la population. Par exemple supposez que l'on voulait estimer
la moyenne des revenus

Y  1 Y
T t
Cet estimateur serait parfait si toutes les familles avaient le même revenu.
Malheureusement on n'a jamais d'estimateur parfait.

Considérons une VA X et  un paramètre à estimer. Donc la population

comprend toutes les valeurs possibles de X et  est un paramètre. Un
exemple pourrait être le revenu de toutes les familles X, et  la moyenne.

On tire un échantillon X1, … Xn et on utilise cette information donnée par

l'échantillon pour estimer  . Ceci est fait à l'aide d'un estimateur. Soit donc

̂ un estimateur de  . Donc ˆ  ˆ(x1,..., xn )

Les caractéristiques numériques de la distribution de ̂ sont la variance et la

moyenne.

3
 Var(ˆ)  E[ˆ  E (ˆ)]2  E (ˆ)2  [E (ˆ)]2

Définissons quelques concepts

̂   = Erreur D’échantillonnage(Sampling Error)

E (ˆ)   = Biais de ̂

E (ˆ  )2 = Moyenne de Carres des Erreurs(MSE)

Erreur d'échantillonnage = Différence entre la valeur de l'estimateur et la

vraie valeur du paramètre

Biais = Différence entre la moyenne de la distribution d'échantillonnage

d'un estimateur et la vraie valeur du paramètre.

MSE = Mesure de la dispersion de la distribution par rapport à la vraie

valeur du paramètre estimé.

4
 2.2 Propriétés des Petits Echantillons

1. ̂ est un estimateur sans biais de  si

E (ˆ)   (1.1)

Un estimateur sans biais est un estimateur dont la moyenne est égale à la

vraie valeur du paramètre.

2. ̂ est un estimateur efficient de  si

E (ˆ)  

Var (ˆ)  Var ( * ) où  * est un autre estimateur de  .

5
Un estimateur efficient est aussi appelé Meilleur Estimateur sans biais.

3. ̂ est un estimateur linéaire des observations.

Proposition ̂ est BLUE de  si

̂ est une fonction linéaire des observations

E (ˆ)  
*
Var (ˆ)  Var ( * ) ou  est un autre estimateur linéaire et sans-biais de

 .

Théorème de Gauss-Markov Dans la classe des estimateurs linéaires et non

biaisés, les estimateurs OLS ont minimum variance, ils sont BLUE.1

Avant d'aller plus loin, essayons de poser et récapituler sur ces notions des
sans biais. Pour ce faire nous allons introduire le concept d'expérimentation
de Monte-Carlo. Une expérience de Monte-Carlo consiste à se donner la
population  (une population superficielle), donc par là même on se donne
la valeur du paramètre d'intérêt. De cette population on tire autant
d'échantillons que l'on veut, à chaque fois on calcule la valeur de notre
estimateur et ensuite on forme sa distribution de probabilité.

1
BLUE = Best Linear Unbiased Estimator.

6
Exemple

Prenons une population fictive qui consiste en les nombres {2, 3, 6, 8, 11}.
Considérons les échantillons de taille deux tirés avec remplacement de cette
population. Il y a aurait donc 52 = 25 échantillons de taille deux.

Déterminez la distribution d’échantillonnage de X, et montrez que cet

estimateur est sans-biais.

Puisque l’on a la population, on sait donc que

m6

et

(2  6)2  (3  6)2  (6  6)2  (8  6)2  (11  6)2

2   10.8
5

Les 25 échantillons sont donc

(2,2) (2,3) (2,6) (2,8) (2,11)

(3,2) (3,3) (3,6) (3,8) (3,11)

(6,2) (63) (6,6) (6,8) (6,11)

(8,2) (8,3) (8,6) (8,8) (8,11)

(11,2) (11,3) (11,6) (11,8) (11,11)

7
Les moyennes estimés X de chaque échantillon sont

2.0 2.5 4.0 5.0 6.5

2.5 3.0 4.5 5.5 7.0

4.0 4.5 6.0 7.0 8.5

5.0 5.5 7.0 8.0 9.5

6.5 7.0 8.5 9.5 11

La distribution d’échantillonnages est donc la suivante

X f( X )
2 1/25
2.5 2/25
3 1/25
4 2/25
4.5 2/25
5 2/25
5.5 2/25
6 1/25
6.5 2/25
7 4/25
8 1/25
8.5 2/25
9.5 2/25
11 1/25

8
E (X )   Xi f (Xi )  6.0

Var (X )   (X  )2 f (X )  5.40

On peut donc remarquer que

Var (X )
Var (X ) 
2

L’exemple montre clairement que

E (X )  m

c’est à dire que X est un estimateur sans-biais de m.

Exemple

Considérons le jet d'un dé à six faces.

x f(x)
1 1/6
2 1/6
3 1/6
4 1/6
5 1/6
6 1/6

m   xf (x )  3.5

9
Var(X )  2  2.92
X

Maintenant prétendons que m est inconnu et que l'on veuille l'estimer en

utilisant X calculé à partir d'un échantillon de taille N = 2. En pratique, nous
n'avons qu'un seul échantillon et il n'y a donc qu'une seule valeur de X ,
mais pour évaluer l'intervalle de X par rapport à m, nous devons développer
la distribution d'échantillonnage de X .

Considérons donc tous les échantillons possibles de taille N = 2 que l'on peut
tirer de cette population, soit

Echantillon X Echantillon X
(1,1) 1 (4,1) 2.5
(1,2) 1.5 (4,2) 3
(1,3) 2 (4,3) 3.5
(1,4) 2.5 (4,4) 4
(1,5) 3 (4,5) 4.5
(1,6) 3.5 (4,6) 5
(2,1) 1.5 (5,1) 3
(2,2) 2 (5,2) 3.5
(2,3) 2.5 (5,3) 4
(2,4) 3 (5,4) 4.5
(2,5) 3.5 (5,5) 5
(2,6) 4 (5,6) 5.5
(3,1) 2 (6,1) 3.5
(3,2) 2.5 (6,2) 4
(3,3) 3 (6,3) 4.5
(3,4) 3.5 (6,4) 5
(3,5) 4 (6,5) 5.5
(3,6) 4.5 (6,6) 6

Puisque la valeur de la moyenne de X dans chaque échantillon change de

valeur, alors on peut regarder X comme une VA. Ici on a 36 échantillons
de taille N = 2. Chaque échantillon a une probabilité de 1/36 d'être tiré.
Construisons maintenant la distribution de probabilité de X , soit

10
 X f( X )
1 1/36
1.5 2/36
2 3/36
2.5 4/36
3 5/36
3.5 6/36
4 5/36
4.5 4/36
5 3/36
5.5 2/36
6 1/36

m  E (X )   Xf (X )  3.5
X

2  Var(X )   (X  E (X ))2 f (X )  1.46

X

Donc

m  E (X )  m
X

En d’autres termes la moyenne de la distribution d'échantillonnage de X est

égale à la moyenne de la population. D’autre part

Var(X )  1.46

11
 Var(X )  2.92

donc

2
2 Var(X ) X
  Var(X )  
X 2 2

donc la distribution d'échantillonnage de X est la suivante

Var(X )
X  N (m, 2)  X  N (m, )
n

Démontrons à présent le théorème de Gaus-Markov.

2.3 Les Estimateurs OLS de  et  sont BLUE

2.3.1 Linéarité

2.3.1.1 Linéarité de l’estimateur OLS de 

x y t t
 (X  X )(Y Y )   x Y Y  x x
ˆ  Yt (1.2)
t t t t t t
t
 
x t
2
t  (X  X )
t
2
 (X  X ) t
2
x
2
t

xt
Définissons wt  , donc Equation (1.2) peut être réécrite comme
 xt2
ˆ   wtYt (1.3)
Il est alors clair d’après équation (1.3) que ̂ est un estimateur linéaire par
rapport aux Yt .

12
2.3.1.2 Linéarité de L’estimateur OLS de 

ˆ  Y  ˆX  Y  ( wtYt )X (1.4)

donc

1 xY 1 xt
ˆ  Y X
t t
 (  X )Yt (1.5)
x  xt2
t 2
N t T

Définissons

1 xt
qt  (  X )
T  xt2
alors il vient que

ˆ   qtYt (1.6)

d’après équation (1.6), ̂ est aussi un estimateur linéaire des données.

2.3.2 Le Biais

2.3.2.1 L’estimateur OLS ̂ est sans Biais

On sait que

ˆ   wtYt

Notez deux choses au sujet des wt

13
1.  wt  0

2.  wt Xt  1

Partant de

ˆ   wtYt

mais

Yt    Xt  ut

donc

ˆ   wt (  Xt  ut )   wt    wt Xt   wtut     wtut

à cause des deux propriétés sur wt notées ci-dessus, on obtient alors

E (ˆ)  E ()  E ( w u )     (w E (u ))  
t t t t

donc on vient de démontrer que

E (ˆ)   (1.7)

c’est à dire que ̂ est un estimateur sans biais de  .

2.3.2.2 L'estimateur OLS ̂ est sans biais

On sait que

14
 ˆ   qY
t t

avec

1 x
qt  (  X t )
T  xt2

d’autre part

Yt    Xt  ut

donc

ˆ   qt (  Xt  ut )

en développant, on obtient

ˆ   qt   qt Xt   qtut

mais

 qt  1

et

 qt X t  0

il suit donc que

ˆ     qtut

en prenant les espérances

E (ˆ)    E qtut 

donc

E (ˆ)     qt E (ut )  

15
donc

E (ˆ)  

c’est à dire que ̂ est un estimateur sans biais de 

2.3.3 Minimum Variances

2.3.3.1 Variance de β̂

Par définition

Var(ˆ)  E (ˆ  E (ˆ))2

Rappelez vous que

ˆ     w u
t t

donc

ˆ  E (ˆ)  ˆ     w u
t t

d’où

Var(ˆ)  E ( w u )2  E (w u  w u  ....  w u )2  E (Produits Croises)

t t 11 2 2 T T

rappelez vous les hypothèses du modèle classique, notamment

E (u )2  2
t

16
et

E (u us )  0
t

donc

T
Var(ˆ)  2  w 2
t 1 t

tous les produits croisés disparaissent, d’où

2
( x 2)

 
x
T t  2

 

ˆ 2
Var()      t 
 
2
t 1  xt2  ( x 2)2  x 2

  t t

Donc

2
Var(ˆ)   (1.8)
 xt2

De cette expression on constate que plus la dispersion de notre variable

indépendante est grande et plus notre estimateur est plus précis.

Nous voulons maintenant montrer que OLS( ̂ ) a minimum variance dans la

classe des estimateurs linéaires et sans biais. Soit donc

ˆ   wY
t t

17
soit  un estimateur alternatif tel que

   kY
t t

donc

E ()   kt E (Yt )   kt (  Xt )   kt    kt Xt

pour que  soit sans biais il faut que

 kt  0

et

 kt Xt  1

Var() Var( kY 2 Yt )  2  kt2

t t )   kt Var (

donc

Var()  2  (kt  x t  x t )2
 x t2  x t2

x2
Var()  2  (kt  x t )2  2  t  22  (kt  x t )( x t )
 x t2 ( x t2)2  x t2  x t2

d’où

x2
Var()  2  (kt  x t )2  2  t
 x t2 ( x t2)2

soit donc

18
 2
Var()  2  (kt  x t )2   (1.9)
 x t2  x t2

soit

kt  x t
 x t2

donc Var(ˆ) Var() si et seulement si kt  wt où les wt sont les poids des

moindre carrés. Donc ̂ a minimum variance dans la classe des estimateurs

linéaires et sans biais.

2.3.3.2 Variance de ̂

Pour déterminer si ̂ a minimum variance, on suit la même procédure

utilisée pour ̂ , à savoir que dans un premier temps on détermine la variance
de ̂ et ensuite on démontre que cette variance est minimale.

Par définition

Var(ˆ)  E(ˆ  E(ˆ))2  E(ˆ  )2

on sait que

ˆ     q u
t t

donc

19
 2
Var(ˆ)  E   q u 
t t

d’où

Var(ˆ)  E (q u  q u  ...  q u )2
11 2 2 T T

Tous les produits croisés disparaissent ici aussi, d’où

 
Var(ˆ)  2   1  2 X w  X 2w 2 
T 2 T t t 

ou encore

 
 2 
Var(ˆ)  2  1  X  (1.10)
T
  xt2 

Equation (1.10) constitue une formule pour la variance de ̂ . Il est possible

de trouver une autre formule plus simple. En effet

 2  
  x t2 TX 2 

 1 X
2
Var(ˆ)    
  2
     

T 2
 xt 

  2
 T  (x t ) 

d’où


  (X 2  X 2  2XX ) TX 2 

2
Var(ˆ)    i i 
2 

 T  (x ) 

i

20
donc

2  Xi2
Var(ˆ)   (1.11)
T  x2
i

donc nous avons les deux formules suivantes pour la variance de ̂ , soit

2  Xi2 2
 1 X2 
Var(ˆ)      
T  x2 T  x i2 
i  

on peut démontrer que cette variance est minimale en suivant la même

procédure qu’à la section précédente. La démonstration est la suivante. Soit

ˆ   qY
t t

soit

*   zY
t t

un estimateur alternatif. Donc

E (*)   zt E (Yt )  zt (  Xt )

E (*)   zt    zt Xt

On voit donc que * est sans biais si et seulement si

 zt  1

et

21
  zt Xt  0

Var(*) Var[ zY 2 Yt )  2  zt2

t t ]   z t Var (

Var(*)  2  (zt qt  qt )2

où on a retranché et ajouté qt .

Var(*)  2  (zt qt )2  2  qt2  22  (zt qt )(qt )

Var(*)  2  (zt qt )2  2  qt2  22( ztqt   qt2)

mais

22( ztqt   qt2)  22[ zt ( 1  Xx t )   ( 1  Xx t )2 ]  0

 x t2  x t2
T T

donc

Var(*)  2  (zt qt )2  2 qt2

avec

z t  qt

on a

2
Var(ˆ)  2  qt2  2  (1  Xx t )2  2[ 1  X ]
T
 x t2 T
 x t2

22
2.4 Un estimateur sans-Biais pour 2

Nous avons jusqu’ici un estimateur pour  et un estimateur pour  , il nous

faut maintenant un estimateur pour 2 . On sait que

uˆt Y Yˆ    X  u  ˆ  ˆX

t t t t t

d’où

  u (ˆ  )  X (ˆ  ) (1.12)

t t t

or

ˆ     q u
t t

et

ˆ     w u
t t

donc équation (1.12) devient

uˆt  u  q u  X  w u
t t t t t t

ou encore

 u    1  Xw u  X  w u
 
uˆt (1.13)
t T t t t t t

uˆt  (u  u )  X  w u  X  w u
t t t t t t

23
d’où

uˆt  (u  u ) (X  X ) w u
t t t t

en élevant au carré cette dernière expression, on obtient

uˆ2  (u  u )2  (X  X )2( w u )2  2(u  u )(X  X )( w u )

t t t t t t t t t

prenant les sommations de part et d’autre

 uˆt2   (ut  u )2   (Xt  X )2( wt ut )2  2 (ut  u )(Xt  X )( wt ut )

maintenant prenons les espérances, on obtient alors

E ( uˆt2 )  E ( (ut  u )2 )  E ( (Xt  X )2( wt ut )2 )  2E ( (ut  u )(Xt  X )( wt ut ))

Remarque

(u  u )2  u2  2u u  u 2
t t t

1
(ut  u )2  ut2  2ut 1 (u  u  ....  u )  (u  u  ....  u )(u  u  ....  u )
T 1 2 T T2 1 2 T 1 2 T

2 2
E (u  u )2  2  2  2  2  
t T T T

d’où

24
  E (ut  u )2  T 2  2

Remarque

t t

t t  t T 1 2 T  t


(u  u )(X  X ) w u  u  1 u  u  ...  u  X  X  w u  ...  w u
11 T T 

(u  u )(X  X ) w u  u (X  X )(w u  ...  w u )

t t t t t t 11 T T
1
 (u  u  ...  u )(w u  ...  w u )(X  X )
T 1 2 T 11 T T t

(X  X )2 2
E (u  u )(X  X ) w u   t   (X  X )( w )2
t t t t 2 t t
 (Xt  X )

d’où

 E (ut  u )(Xt  X ) wt ut   2

 

Remarque

(X  X )2( w u )2  (X  X )2(w u  ...  w u )(w u  ...  w u )

t t t t 11 T T 11 T T

E (X  X )2( w u )2   (X  X )2( w 2)2

 

 t t t 
 t t

 E (Xt  X )2( wt ut )2   2


 


 


donc

25
 E ( 2)  T 2  2  22  2  (T  2)2
t

2  t2
définissons ˆ  avec ici K = 2
T K

2
  uˆt2 
  2

E (ˆ )  E 
T  K 

 

donc

2  uˆt2
ˆ  (1.14)
T K

 uˆt2
ce qui veut dire que ˆ2  est un estimateur sans biais de 2 .
T K

26