Beruflich Dokumente
Kultur Dokumente
ance 3
Corrige
Math-F-207
Exercices
Exercice 1
Soit un echantillon aleatoire simple (X1 , . . . , Xn ) issu dune population P(). Determinez un
estimateur efficace de , donnez sa variance et linformation de Fisher apportee par lechantillon.
Solution :
Comme dans lensemble des exercices de cette seance, nous allons utiliser le crit`ere de factorisation.
Si X1 , . . . , Xn sont i.i.d P(), on trouve
en Pi Xi
Q
i Xi !
X
Y
log L (X) = n +
Xi log log( Xi !)
L (X) =
Pi
log L (X) = n +
n
i Xi
X
=
= .
n
n
Var (Xi ) =
2
n
n
i=1
P
P
Var (Xi )
Xi
= i 2
= n/
I() = Var n + i
Var (T (X)) =
Exercice 2
Considerons une population N (, 2 ), o`
u 2 est connu. Soit (X1 , . . . , Xn ) un echantillon aleatoire
simple issu de cette population.
1. Determinez un estimateur efficace de , deduisez-en sa variance et linformation de Fisher.
2. Determinez cette derni`ere quantite par un calcul direct.
Solution :
Par le crit`ere, il est immediat que
L (X) =
log L (X) =
log L (X) =
=
n
P
2
i (Xi )
exp
2 2
P
(Xi )2
C(,
) i
2 2
n
1 X
2(Xi )
2 2
i=1
n
(X )
2
Titulaire: D. Paindaveine
se
ance 3
Corrige
Math-F-207
Des calculs directs montrent que
h
i
I() = IE ( log L (X))2
2
!
" "
#
#!2
n2
1X
n
1X
=
Var
IE
Xi +
Xi
4
n
2
n
i
i
!!2
n2 2 X
n 1X
=
n
Var (Xi ) +
IE [Xi ]
4
2 n
i
i
n
=
2
Exercice 3
Soient les variables aleatoires (X1 , . . . , Xn ), i.i.d., `a valeurs dans IN et dont la distribution de
probabilite est donnee par
P (Xi = k) = (1 )k ,
o`
u k IN et 0 < < 1. Determinez un estimateur efficace, sa variance et linformation de Fisher.
Solution :
On trouve
L (X) =
n
Y
(1 )Xi
i=1
P
= n (1 )
Xi
Xi log(1 )
log L (X) =
n X
1
Xi
1
i
=
=
nX
n
+
1
n
1
n
1
+X =
X
1
trouve alors =
= , Var X = n2 et I() = (1)2 .
Exercice 4
Soit X P(). Considerons (X) := I[X=0] .
1. Montrez que cette statistique est non biaisee pour e .
2. Montrez que cest le seul estimateur non biaise de e .
3. On extrait dune population P() un echantillon de taille 1. Calculez `a partir de cet echantillon
la borne de Cramer-Rao pour un estimateur non biaise de e . Calculez V ar [(X)]. Quelle
conclusion pouvez-vous en tirer au sujet de (X) ?
Titulaire: D. Paindaveine
se
ance 3
Corrige
Math-F-207
Solution :
Le non-biais est presque trivial, via
X
xIP [(X) = x] = 1.IP I[X=0] = 1 + 0.IP I[X=0] = 0
IE [(X)] =
x
= IP [X = 0]
= e
Do`
u la conclusion attendue. Prenons maintenant un autre estimateur T (X) et montrons quil ne
sera pas sans biais.
X
?
T (x)IP [T (X) = x] = e
IE [T(X)] =
x
T (x)e
x ?
=e
x!
T (x)e
x ?
=1
x!
On a donc un polynome en de degre infini qui doit etre egal `a une constante. Seul le terme
independant du polynome doit etre 6= 0 (et doit valoir 1). On retrouve donc lestimateur T (X) =
I[X=0] .
Calculons maintenant la borne de Cramer-Rao pour un echantillon de taille 1. On trouve
e X1
X1 !
log L (X1 ) = + X1 log log X1
1
log L (X1 ) = 1 + X1
1
=
(X1 ) .
L (X1 ) =
Par definition,
I = Var ( L (X1 ))
X1
1
1
= Var 1 +
= Var (X1 /) = 2 Var (X1 ) = .
Or,
X
IE 2 (X) =
xIP 2 (X) = x
x
= IP I[X=0] = 1
= e
Ainsi, Var ((X)) = e e2 6= borne de Cramer-Rao. Lestimateur natteignant pas la borne
(bien que sans biais), celui-ci nest pas efficace. Petite question au passage : que faire si lon dispose
dun estimateur dont la variance atteint la borne de Cramer-Rao...mais qui nest pas sans biais ?
Titulaire: D. Paindaveine
se
ance 3
Corrige
Math-F-207
Exercice 5
Extrayons un echantillon aleatoire simple (X1 , . . . , Xn ) dune population caracterisee par la
fonction de densite
1 x/
si x > 0
e
f (x) =
0 sinon
o`
u > 0. Determinez un estimateur efficace de , calculez sa variance et linformation de Fisher.
Solution :
A nouveau,
L (X) =
n
Y
1
i=1
P
n 1 i Xi
I[X(1) ]0,[]
X
Xi + log I[X(1) ]0,[]
log L (X) = n log() 1
i
1 X
n
log L (X) = + 2
Xi
i
n
X .
=
2
est donc efficace. De plus, = 1, Var X
= 2 /n et I() = n/2 .
Lestimateur T (X) = X
Exercice 6 (*)
Replacons-nous dans le cadre de lexercice supplementaire 1 de la seance 2. Determinez, `a partir
un estimateur 1 non biaise pour . Cet estimateur est il efficace pour ?
de lestimateur ,
Solution :
Rappelons que la densite des observations est donnee par
2
2xex si x > 0
f (x) =
0 sinon
P
o`
u > 0. On a precedemment considere lestimateur = n/ Xi2 de , dont on a determine le
= n . Il est clair d`es lors que lestimateur sans biais correspondant est donne par
biais : E()
n1
n1
1 =
.
n
Pour juger de lefficacite de ce nouvel estimateur, nous pouvons utiliser le crit`ere de factorisation
de la derivee de la log-vraisemblance. La vraisemblance est donnee ici par
Y
P 2
L(X, ) = 2n
Xi n e Xi .
En passant au logarithme, et en derivant par rapport `a on obtient
X
1
1
2
log L(X, ) = n
Xi
.
n
Il appara
e efficacement, et ce
P t 2ainsi que seul 1/ (et ses transformations affines) peut etre estim
Xi ( et ses transformations affines correspondantes). Lestimateur 1 ne peut donc etre
par n1
efficace pour .
Titulaire: D. Paindaveine
se
ance 3
Corrige
Math-F-207
n2 2
=
Remarque : Nous avons vu `a la seance 2 que V ar()
. Nous en deduisons aisement la
(n1)2 (n2)
2
2
Exercice 7 (*)
Replacons-nous dans le cadre de lexercice supplementaire 2 de la seance 2. est-il un estimateur efficace du param`etre ?
Solution :
Rappelons que la densite des observations est donnee par
( 1
x 1
si 0 < x < a
f (x) =
a1/
0 sinon
P
o`
u a et sont deux constantes strictement positives. On a propose comme estimateur = n1
log Xai
pour le param`etre . La vraisemblance du mod`ele secrit
L(X, ) =
1
1/1
X
.
a1/ i
n n log a
1 X
+
2
log Xi .
2
n
( ).
2
Exercice 8
Considerons maintenant le cas o`
u 2 est inconnu, pour un echantillon aleatoire simple (X1 , . . . , Xn )
2
issu dune population N (, ). On souhaite montrer que lestimateur
X
P
T(X) =
1
2
S 2 = n1
i (Xi )
est asymptotiquement efficace mais non efficace. Pour ce faire,
1. Calculer la matrice dinformation de Fisher pour .
2. Se convaincre dans un second temps quil est impossible dutiliser le crit`ere defficacite sur la
fonction de score.
3. Calculer la matrice de variance-covariance T de lestimateur de .
4. Montrer que
I() T I2 .
On dira donc que notre estimateur est asymptotiquement efficace (au sens de Pitman).
Vous aurez besoin pour cela des quelques resultats (devant etre demontrables !) ci-dessous :
Titulaire: D. Paindaveine
se
ance 3
Corrige
Math-F-207
1. Si X1 , . . . , Xn sont i.i.d. N (, 2 ), alors
2
N (, ).
X
n
2. Si X N (, 2 ), alors
IE X3 = 3 + 3 2 et IE X4 = 4 + 62 2 + 3 4 .
3. La statistique S 2 peut secrire
n
n 2
n
S =
s =
n1
n1
1X 2
Xi
n
!
2
i=1
Solution :
De mani`ere classique (mais un peu pluslonguette),
il est possible decrire (attention aux vecteurs
,
`a partir de maintenant), en posant =
2
n
Y
exp
L (X) =
2
i=1
log L (X) = C
log L (X) =
=
=
n
log
2
2
1 X
(Xi )2
2 2
n
1 X
(Xi )2
2 2
i=1
log L (X)
log L (X)
2
1 P
i (X
2
Pi )
n2 + 21 4 i (Xi )2
n
(X )
2
P
n
2
1
n
i (Xi )
2 4
2
log L (X)
0 i
log L (X) log L (X)
b
,
d
2 n2
n
= n ,
(X )
= 4 Var X
a = IE
2
2
!
X
n2
n
d = 8 Var n1
(Xi )2 2 = . . . = 4
4
2
i
Titulaire: D. Paindaveine
se
ance 3
Corrige
Math-F-207
Des calculs (un peu longs certes...dont
que b = c = 0 :
"
n2
b = IE
(X )
2 6
"
X
n2
1
IE
=
X
2 6
n
i
n(n 1)
n2
n
2
2
=
IE
(X
)(X
)
+
IE
X
(X
)
4
1
1
2
1
2 6
2 6
2
2
n(n
1)
n
n
=
IE (X1 )2 +
2 4
2 6
2 6
2
= 0.
Ainsi,
n
2
I() =
n
2 4
Il est relativement aise de se convaincre que la foncion de score, dont lexpression est donnee un
peu plus haut, ne peut etre reecrite sous la forme A()(T(X) ). Ceci est d
u `a la presence du
dans lexpression de la seconde composante du vecteur. Calculons alors la matrice de variancecovariance :
2
2
2
!
IE X
IE S2
IE X
IE XS
IE X
a b
2
2
T =
,
=
IE S2
c d
IE XS
IE X
IE (S2 )2 IE S2
o`
u (et cest ici que les choses deviennent amusantes) a =
d =
=
2
n
et
n2
Var s2
2
(n 1)
!2
X
n2
2
2 IE s2
IE (n1
X2i ) X
(n 1)2
i
!2
2
X
n
2 ( n 1 )2
IE (n1
X2i ) X
2
(n 1)
n
i
Or,
IE (n1
X
i
!2
"
#
!2
X
X
4
1
2
2 =
2 + IE X
X2i ) X
IE
X2i IE (
X2i )X
2
n
n
i
(n 1)
4
1
2 + IE X
IE X41 +
IE X21 X22 2IE X21 X
n
n
Et,
2 2
= 1 IE X2
IE X1 X
1
n2
!2
X
Xi
n1
1
= 2 IE X41 +
IE X21 X22
n
n
3 (n 1)(n 2)
2(n 1)
+
IE X1 X2 +
IE X21 X2 X3
2
2
n
n
Titulaire: D. Paindaveine
se
ance 3
Corrige
Math-F-207
Ainsi,
(n 1)2 4 1 4
Var s2 =
+
+ 62 2 + 3 4
2
n
n
2
(n 1) 2
2
4
+
+ 2 + 4 + 62
+3 2
n
n
n
(n 1) 2
2
1
2 2 4 + 62 2 + 3 4 +
+ 2
n
n
(n + 1)(n 2) 2 2
2(n 1) 3
2
2 2
+
+
3
(
+
)
n2
n2
= ...
2(n 1) 4
=
n2
Et donc,
d=
n2
n2
2(n 1) 4
2 4
2
Var
s
=
=
.
(n 1)2
(n 1)2
n2
(n 1)
Il est aise de montrer en suivant les memes idees que b = c = 0. On trouve donc la matrice T telle
que
!
n
2
0
1
0
0
2
n
I() T =
=
I2 .
n
2 4
0 n1
0 2n4
0 (n1)
Titulaire: D. Paindaveine