TEORA BSICA DE LA ESTIMACIN MXIMO VEROSMIL

0.1 Funcin de verosimilitud

Sea Y= Y1 Y2 Yi Yn un vector cuyas componentes

T
Yi ; i 1, 2, , n son variables

aleatorias independientes e idnticamente distribuidas i.i.d , cuya distribucin comn,

T
f ( yi ) , depende de un vector de parmetros = 1 2 i q .

n
La funcin de densidad conjunta de la muestra es f (Y ) f (y
i 1
i ) .

La funcin de verosimilitud de la muestra es igual a la funcin de densidad conjunta entendida

n
como una funcin de los parmetros, dados los datos: L( Y) f (y
i 1
i )

El logaritmo de esta funcin es

n n
l ( Y) ln L( Y) ln f ( yi ) lnf ( yi )
i 1 i 1

Cualquier estimador, , de que haga mxima a L( Y) es un estimador mximo

verosmil y el mximo de L( Y) coincide con el de l ( Y) .

0.2 Derivadas del logaritmo de la funcin de verosimilitud y sus caractersticas

l ( Y) n lnf ( yi )
La derivada de l ( Y) es la funcin gradiente, D y es
i 1
aleatoria, puesto que depende de Y .

El estimador mximo verosmil es el que satisface a la ecuacin D 0 y es aleatorio,
puesto que es la raz de una funcin aleatoria.

Menos la derivada segunda de l ( Y) es la matriz de Informacin observada,

2l ( Y) n
2lnf ( yi ) D
I y es aleatoria, puesto que depende de Y .
2
i 1 2

La esperanza matemtica de I es la matriz de Informacin de Fisher,
2l ( Y) n
2lnf ( yi ) D
EI E
2

i 1
E
2
E

 l ( Y) n lnf ( yi )
La esperanza matemtica del gradiente es ED E E , donde
i 1
ln f ( yi ) ln f ( yi ) f ( yi )dyi f ( yi )
E f ( yi )dyi dyi es la

ln f ( y )
misma para todo Yi ; i 1, 2, , n , por lo que ED nE .

ln f ( yi )
Esta esperanza es nula, porque E 0 , para todo Yi ; i 1, 2, , n . En efecto,

f ( y )dy 1 y
i i

f ( y )dy f ( y ) ln f ( y ) ln f ( yi )
dy
i i
f ( yi )dyi E 0
i i

l ( Y) n lnf ( yi )
La varianza de D es VD V V , debido a la independencia
i 1
de las Yi ; i 1, 2, , n .

lnf ( yi )
Para calcular V , recordamos que

2 2 2
lnf ( yi ) lnf ( yi ) lnf ( yi ) lnf ( yi )
V E E E

Y derivamos de nuevo,
2 ln f ( yi ) ln f ( yi ) ln f ( yi )
0 f ( yi )dyi f ( yi )dyi , esto es,
2

2
2 ln f ( yi ) ln f ( yi )

2

f ( yi ) dyi

f ( yi )dyi , donde

2 2
ln f ( yi ) ln f ( yi )
f ( yi )dyi E , y
2 ln f ( yi ) 2 ln f ( yi )
2 f ( yi )dyi E 2 por lo que
2
ln f ( yi ) 2 ln f ( yi )
E E
2
La varianza de D es
2
l ( Y) n lnf ( yi ) n lnf ( yi ) n 2 ln f ( yi )
VD V V E E
i 1 i 1 i 1 2
0.3 Propiedades de los estimadores mximo- verosmiles

1. No son necesariamente insesgados, pero son consistentes

2. Son asintticamente normales y eficientes.
3. Son invariantes: el estimador mximo verosmil de g es g
L a propiedad 2 se deriva como sigue, para el caso en que es un escalar. Sea 0 el verdadero

valor de y desarrollemos D en serie de Taylor, en el entorno de 0 :

D *

0 D D 0 -

0
D
Donde * est entre 0 y . Puesto que I


, resulta, 0 D 0 -

0 I
*

Reescribamos esta expresin como sigue,

D 0 EI 0
I * EI 0

EI 0 - 0
Puesto que D 0 tiene media cero y varianza EI 0 y es una suma de variables aleatorias

independientes e idnticamente distribuidas, D 0 EI 0 se distribuye

asintticamente segn una normal cero uno. Por la consistencia del estimador y la ley fuerte
de los grandes nmeros I *
EI 0 tiende a 1. As que Z EI 0 -

0 se distribuye

Z
asintticamente segn una normal cero uno y = 0 segn una normal de media
EI 0
EI 1 .
E= 0 y varianza Var=
0

Ntese que Var depende de 0 . Esta varianza puede ser consistentemente estimada por
.

1
I .
Var=

En el caso en que es un vector, la distribucin asinttica del estimador mximo-verosmil , ,

es normal con media E= 0 y matriz de varianzas y covarianzas la inversa de la matriz de
1
EI .
informacin de Fisher, Var= 0

Ntese que Var depende de 0 . Esta varianza puede ser consistentemente estimada por
.

1
I .
Var=


Para resolver D 0 se usa el mtodo de Newton-Raphson:

1
m+1 m I m D m