Chapitre 2 : Estimation

Said, El Melhaoui

Facult des Sciences Juridiques, conomiques et Sociales Oujda

http://said-el-melhaoui.e-monsite.com

S., El Melhaoui (FSJESO) Estimation 11/2016 1 / 17

Outline

1 Exemple introductif

2 Mthodes destimation
Dfinitions et notations
Mthode des moments
Mthode du maximum de vraisemblance

S., El Melhaoui (FSJESO) Estimation 11/2016 2 / 17

 Exemple introductif

Exemple introductif

1 Population U
X N (, 1), o est un paramtre inconnu appartenant un
espace de paramtres (par exemple, = R)
2 Objectif
On veut estimer
3 chantillon alatoire {X1 , X2 , . . . , Xn }
Les Xi sont supposes i.i.d (issu par un ESAR)
Rappel : Xi dsigne la v. a. et xi la valeur prise par celle-ci
4 Loi de Xi
1 (x)2
f (x) = e 2 x R
2
f (x) = f (x, ) : la loi dpend de

S., El Melhaoui (FSJESO) Estimation 11/2016 3 / 17

 Exemple introductif

Exemple introductif (suite)

5 Loi du vecteur {X1 , X2 , . . . , Xn }

Les Xi sont des v.a. i.i.d. la loi jointe du vecteur est
n
Y
f (x1 , . . . , xn ) = f (xi )
i=1
n
Y Y
Notation: ai = ai = a1 a2 . . . an
i=1 i=1
n
Y 1 (xi )2
f (x1 , . . . , xn ) = e 2
i=1
2
n
X
21 (xi )2
1
= e i=1
(2)n/2
f (x1 , . . . , xn ) = f (x1 , . . . , xn ; )
S., El Melhaoui (FSJESO) Estimation 11/2016 4 / 17
 Exemple introductif

Exemple introductif (suite)

6 Comment estimer ?
Estimateur: = (X1 , X2 , . . . , Xn )
Exemples:
n
1X
1 = Xi = X
n
i=1
k
1X
2 = Xi k {1, . . . , n}
k
i=1
3 = Xi i {1, . . . , n}
4 = X1/2 (la mdiane)
Comment choisir un estimateur? Quelles sont ses proprits?
N. B. La v. a. (X1 , . . . , Xn ) est un estimateur de
la valeur observe (x1 , . . . , xn ) est une estimation de

S., El Melhaoui (FSJESO) Estimation 11/2016 5 / 17

 Mthodes destimation Dfinitions et notations

Dfinitions et notations

Population U : v. a. X o la loi-type est donne:

a. Cas discret: {(x, px ), x N}
b. Cas continu : f (x), x R
Paramtres estimer : 1 , . . . , K (k k )
N. B. Lensemble des paramtres est not ( )
chantillon alatoire {X1 , X2 , . . . , Xn } o la loi de Xi dpend de :
a. Cas discret: pxi = pxi ()
b. Cas continu : f (xi ) = f (xi ; )
N. B. Les Xi sont supposes i.i.d.

S., El Melhaoui (FSJESO) Estimation 11/2016 6 / 17

 Mthodes destimation Mthode des moments

Mthode des moments: Rappel

Moments simples de la loi de X :

k = E(X k ) = k (1 , . . . , K ) o k = 1, . . . , K

Moments simples (empiriques) de lchantillon:

n
1X k
mk = Xi o k = 1, . . . , K
n
i=1

S., El Melhaoui (FSJESO) Estimation 11/2016 7 / 17

 Mthodes destimation Mthode des moments

Mthode des moments : Dfinition des estimateurs

Dfinition
Les estimateurs 1 , . . . , K des paramtres 1 , . . . , K sont dtermins
en rsolvant le systme de K quations K inconnus:


1 (1 , . . . , K ) = m1
2 (1 , . . . , K ) = m2

.. ..


. .
K (1 , . . . , K ) = mK

S., El Melhaoui (FSJESO) Estimation 11/2016 8 / 17

 Mthodes destimation Mthode des moments

Mthode des moments: Exemple 1

Population : X P(), R+
On dsire estimer (un seul paramtre inconnu)
Moment population : 1 () = E(X ) =
Moment chantillon : m1 = X
quation:
1 () = m1 = X
Conclusion : Lestimateur du paramtre inconnu obtenu par la
mthode des moments est donn par = X

S., El Melhaoui (FSJESO) Estimation 11/2016 9 / 17

 Mthodes destimation Mthode des moments

Mthode des moments : Exemple 2

Population : X N (, 2 ), R, 2 R+
On dsire estimer et 2 (2 paramtres inconnus)
Moments population :

1 (, 2 ) = E(X ) =
2 (, 2 ) = E(X 2 ) = 2 + 2

Moments chantillon :

m1 = X
2
m2 = s2 + X

1 2 2
Rappel: s2 = Xi2 X = m2 X
P
n i

S., El Melhaoui (FSJESO) Estimation 11/2016 10 / 17

 Mthodes destimation Mthode des moments

Mthode des moments : Exemple 2 (suite)

quations:
(
1 (, 2 ) = m1

=X
2
2 (, 2 ) = m2 2 + 2 = s2 + X

Conclusion : Les estimateur des paramtres inconnus et 2

obtenus par la mthode des moments sont donns par

= X
2 = s2

S., El Melhaoui (FSJESO) Estimation 11/2016 11 / 17

 Mthodes destimation Mthode du maximum de vraisemblance

Ide de la mthode du maximum de vraisemblance

Supposons devoir estimer

Pour estimer on choisit dans la valeur qui assure
lchantillon la plus grande vraisemblance: apparence de vrit
; crdibilit ; probabilit d dapparence (de ralisation)
Loi de lchantillon {X1 , X2 , . . . , Xn }
a. Cas discret:
p(x1 , . . . , xn ; ) = i pxi ()
Fonction de vraisemblance :
L() = p(x1 , . . . , xn ; )
b. Cas continu :
f (x1 , . . . , xn ; ) = i f (xi )
Fonction de vraisemblance :
L() = f (x1 , . . . , xn ; )

S., El Melhaoui (FSJESO) Estimation 11/2016 12 / 17

 Mthodes destimation Mthode du maximum de vraisemblance

Mthode du maximum de vraisemblance

Dfinition des estimateurs MV

Valeur telle que L() = max L()

quation du maximum de vraisemblance : Si L() est diffrentiable et

possde au point un maximum sur , est solution de lquation du
M. V. :
dL()
| =0
d =

Remarque
Si correspond au maximum de L(), il correspond aussi au maximum
de L () = log (L()) obtenu en rsolvant lquation:

d log(L())
|= = 0
d
S., El Melhaoui (FSJESO) Estimation 11/2016 13 / 17
 Mthodes destimation Mthode du maximum de vraisemblance

Exemple 1

Population :rgie par une loi normale

X N (, 1), o R
chantillon alatoire: {X1 , X2 , . . . , Xn }
Loi de Xi
1 (x)2
f (x) = e 2 x R
2
Fonction de vraisemblance:
n
Y 1 (xi )2
L() = e 2
i=1
2
n
X
21 (xi )2
1 i=1
= e
(2)n/2

S., El Melhaoui (FSJESO) Estimation 11/2016 14 / 17

 Mthodes destimation Mthode du maximum de vraisemblance

Exemple 1 (suite)

Fonction de log-vraisemblance:

n 1X
L () = log (2) (xi )2
2 2
i

d log(L())
quation du M. V. : |= = 0
d
X X
(xi ) = 0 xi n = 0
i i

1 P
Estimateur du M. V. : = n i Xi = X
d 2 L ()
N. B. Maximum car = n < 0
d2

S., El Melhaoui (FSJESO) Estimation 11/2016 15 / 17

 Mthodes destimation Mthode du maximum de vraisemblance

Exemple 2

Population: rgie par une loi uniforme

X U[0,] , o 0 < < +
Loi de Xi :  1
0x <
f (x) =
0, aileurs
Fonction de vraisemblance:
n  1
Y
n si tous les xi [0, ]
L(x1 , . . . , xn ; ) = f (xi ) =
0, aileurs
i=1
dL() n
quation du M. V. : = n+1 < 0
d
La plus grande valeur de L() est donne par la plus petite
valeur possible de ; comme xi , i = 1, . . . , n, lestimateur du
M. V.est
= X(n) = max Xi
i
S., El Melhaoui (FSJESO) Estimation 11/2016 16 / 17
 Mthodes destimation Mthode du maximum de vraisemblance

Existence et unicit de lestimateur du M. V.

Proprit
Un estimateur MV nexiste pas toujours, nas pas ncessairement une
forme explicite et nest pas ncessairement unique

S., El Melhaoui (FSJESO) Estimation 11/2016 17 / 17