Beruflich Dokumente
Kultur Dokumente
Mtodos Computacionais
28 de fevereiro de 2014
1 / 20
Contedo
1 2 3
Introduo O Modelo Linear Misto Algoritmo EM Passo E Passo M Estudo de Simulao Referncias
4 5
Mtodos Computacionais
28 de fevereiro de 2014
2 / 20
INTRODUO
Introduo
Modelo de Regresso Linear
Yi = Xi + i
Os Modelos Lineares Mistos so modelos de regresso que tem como principal caracterstica uma mistura de efeitos (efeitos xos + efeitos aleatrios). Dessa forma, aumenta o grau de complexidade de estimao por mxima verossimilhana para esses modelos. Uma das solues para a estimao dos parmetros para esse problema utilizar mtodos iterativos. Neste trabalho, faremos a estimao dos parmetros do Modelo Linear Misto, usado um mtodo iterativo conhecido como ALGORITMO EM.
Vanessa Souza Santos Mtodos Computacionais 28 de fevereiro de 2014 3 / 20
Yi = Xi + Zi bi + i
i = 1, . . . , n
onde: Yi : o vetor ni 1 de observaes no i-simo grupo; Xi : a matriz ni p de planejamento dos efeitos xos no i-simo grupo ; : o vetor p 1 de efeitos xos; Zi : a matriz ni q de planejamento dos efeitos aleatrios no i-simo grupo; bi : o vetor q 1 de parmetros aleatrios no i-simo grupo; i : o vetor ni 1 de erros aleatrios no i-simo grupo.
Vanessa Souza Santos Mtodos Computacionais 28 de fevereiro de 2014 4 / 20
bi
i
Nn i + q
0 0
D 0 0 i
(1)
O vetor de efeitos aleatrios e o vetor de erro aleatrio na i-sima observao tm distribuio normal com mdia zero e so no correlacionados. As matrizes de covarincias D e i so respectivamente, compostas de elementos e elementos nas suas diagonais principais, onde
bi i
D = D()
i = i ( )
Mtodos Computacionais
28 de fevereiro de 2014
5 / 20
Nos modelos mistos, o vetor bi so formados por variveis aleatrias, dessa forma, precisamos denir o modelo hierrquico como Y|bi N (Xi + Zi bi , i ) A esperana e a varincia condicional da varivel aleatria Yi |bi respectivamente E [Yi |bi ] = Xi + Zi bi e Var [Yi |bi ] = i
Assim, podemos obter a distribuio marginal de Yi : E [Yi ] = E [E (Yi |bi )] = E [Xi + Zi bi ] = Xi Var [Yi ] = E [Var (Yi |bi )] + Var [E (Yi |bi )] = Zi DZi + i = Vi tal que Yi NN (Xi , Vi ).
Vanessa Souza Santos Mtodos Computacionais 28 de fevereiro de 2014 6 / 20
1
(2 )ni /2 |i |1/2
onde = ( , , ) . Assim, como a distribuio de bi conhecida, tal que bi N (0, D), por denio sua densidade
f (bi ) = (2 )ni /2 |D|1/2
1 exp bi D1 bi 2
Mtodos Computacionais
28 de fevereiro de 2014
7 / 20
1
(2 ) 2 |D|1/2 |i |1/2
ni
1 1 exp (Yi Xi Zi bi ) i 2
(Yi Xi Zi bi ) + bi D1 bi
Mtodos Computacionais
28 de fevereiro de 2014
8 / 20
Sob essas condies, a funo de log-verossimilhana da conjunta (ou log-verossimilhana para dados completos) de Yi e bi
n
l ( |Y, b) =
i =1
ni
log(2 )
1 1 1 Xi Zi bi ) i (Yi Xi Zi bi ) bi D bi 2
Nesse contexto, a varivel bi por no ser observada, considerada como uma varivel latente no modelo, caso contrrio, a funo de log-verossimilhana para os dados observados ca com dados incompletos.
Mtodos Computacionais
28 de fevereiro de 2014
9 / 20
ALGORITMO EM
Algoritmo EM
Em geral, o algoritmo EM (Expectation-Maximization) um procedimento iterativo que converge para o EMV (Estimador de Mxima Verossimilhana). A ideia bsica do Algoritmo EM completar os dados, ou seja, substituir os valores faltantes por valores estimados, o que torna o processo de maximizao mais fcil. Este algoritmo envolve dois passos: Passo E (expectation): consiste em calcular E(l (; Y)|Y) Passo M (maximization): so as atualizaes do vetor de sequncia (k ) pela maximizao de E(l ( ; Y)|Y).
Mtodos Computacionais
28 de fevereiro de 2014
10 / 20
ALGORITMO EM
Mtodos Computacionais
28 de fevereiro de 2014
11 / 20
ALGORITMO EM
PASSO E
Passo E
No passo E calculada a esperana condicional da funo da log-verossimilhana dado o vetor de observaes E(l ( ; Y)|Y) na k k sima interao dado = . Dessa forma, atravs da funo de log-verossimilhana para dados completos temos
Q1i (1 ; ) +
i =1
Q2i (2 ; )
onde 1 = ( , ) e 2 = . Aqui, a log-verossimilhana para os modelos lineares mistos dividida (k ) em dois termos: Q1 ( 1 | ) que est em funo de 1 e Q2i ( 2 ; ) que est em funo de 2 .
Vanessa Souza Santos Mtodos Computacionais 28 de fevereiro de 2014 12 / 20
ALGORITMO EM
PASSO E
(k )
), obtemos [i ]1 (Yi
(k )
Q1 (1 |
(k )
) = C
(k ) 1 1 k) log |( Yi Xi i | 2 2 (k )
Xi
+ Yi Xi
(k )
(k ) (k ) i
[i ]1 Zi bi
(k )
tr [i ]1 Zi bi bi
1 2
Zi .
(k )
) podemos obter
Q2 (2 |
(k )
) = log |D(k ) |
1 2
1 tr [D(k ) ]1 bi bi 2
(k ) i
ALGORITMO EM
PASSO E
Portanto,
1 1 1 bi = E{bi |(k ) , Yi } = (D1 + Zi i Zi ) Zi i (Yi Xi )
bi bi = E{bi bi |(k ) , Yi }
1 1 1 1 = (D1 + Zi i Zi ) Zi i (Yi Xi )(Yi Xi ) i Zi 1 1 1 1 (D1 + Zi + (D1 + Zi i Zi ) i Zi ) .
Mtodos Computacionais
28 de fevereiro de 2014
14 / 20
ALGORITMO EM
Passo M
Passo M
O passo M produz uma nova estimativa dos parmetros para cada interao obtidas no passo E, repetindo o procedimento at que essa estimativa tenha convergido. Basicamente, apara a k -sima interao obtemos (k ) Q(| ), onde
(k )
que maximiza
Q(
(k +1)
(k )
) > Q( |
(k )
) l (
(k )
)| < ,
ALGORITMO EM
Passo M
(k )
=
i =1
k ) 1 Xi [( i ] Xi
1 n i =1
k ) 1 Xi [( Yi Zi bi i ]
(k +1)
1
n
Yi Xi
i =1
(k )
Yi Xi
(k )
2 Yi Xi
(k )
Zi bi + tr Zi bi bi bi bi
(k ) i
(k ) i
Zi
D(k +1) =
Vanessa Souza Santos
1
q
n i =1
Mtodos Computacionais
28 de fevereiro de 2014
16 / 20
ESTUDO DE SIMULAO
Estudo de Simulao
Para o estudo de simulao, vamos gerar observaes do seguinte modelo univariado:
yij = 1 xi 1 + 2 xi 2 + 3 xi 3 + 4 xi 4 + 5 xi 5 + b1 zi 1 + b2 zi 2 + ij ,
onde
ESTUDO DE SIMULAO
Portanto, para gerar observaes yij , primeiramente gerou-se observaes da distribuio multivariada conforme mostrado abaixo
N1002
0 0
D 0 0
em que D = diag()22 , = diag( )10001000 , b o vetor de efeitos aleatrios com dimenso 2 1 e mdia (0, 0) e o vetor de erros alearios com dimensso 1000 1000. Geradas as observaes de yij , foi implementado o algoritmo EM para obter as estimativas pontuais conforme a prxima tabela. Os intervalos de conana foram obtidos atravs da reamostragem de bootstrap, com 100 amostras.
Mtodos Computacionais
28 de fevereiro de 2014
18 / 20
ESTUDO DE SIMULAO
Estudo de Simulao
Tabela 1 - Estimativas do Modelo Linear Misto para n=1000 Varivel
1 2 3 4 5
Estimativas EM Lim. Inferior 2.0128460 2.0087996 0.2011597 0.2010806 0.5021279 0.5013371 0.8001624 0.7985111 3.0156920 3.0150400 0.03980736 0.03923188
Mtodos Computacionais
28 de fevereiro de 2014
19 / 20
Referncias
Referncias
Lachos, V. H., Ghosh, P. and Arellano-Vallec, R. B. (2010). Likelihood based inference for skew-normal independent linear mixed models. Statistica Sinica 20, 303-322. McCulloch, C. E. and Searle, S. R. (2000). Generalized, Linear and MixedModels. Wiley, New York.
Mtodos Computacionais
28 de fevereiro de 2014
20 / 20