Cap tulo 3 Mtodos de Estimao e ca

3.1 Estimadores de Mxima Verossimilhana a c

No Cap tulo 1 foi introduzido o conceito de verossimilhana ou plausibilidade. c Foi visto que esta medida est associada aos poss a veis valores de um ou mais parmetros e a funo de verossimilhana dene a plausibilidade de cada um a ca c destes poss veis valores. Em termos de estimao parece razovel selecionar o ca a valor do parmetro que recebe a maior verossimilhana, dada uma amostra da a c populao de interesse. Estes conceitos so formalizados a seguir. ca a Denio 3.1 Seja X1 , . . . , Xn uma amostra aleatria de p(x|), . A ca o funo de verossimilhana de correspondente a esta amostra aleatria dada ca c o e por
n

l(; x) =
i=1

p(xi |).

Denio 3.2 O estimador de mxima verossimilhana (EMV) de o valor ca a c e que maximiza l(; x). Seu valor observado a estimativa de mxima e a verossimilhana. c No caso uniparamtrico, i.e. um escalar, temos que R e o EMV pode e e ser obtido como soluo da chamada equao de verossimilhana ca ca c l(; x) = 0. (3.1)

E claro que sempre necessrio vericar que a segunda derivada negativa para e a e garantir que a soluo de (3.1) um ponto de mximo. Ou seja, devemos ter ca e a 2 l(; x) 2 < 0.
=

23

24

CAP ITULO 3. METODOS DE ESTIMACAO

Em muitas aplicaes mais simples algebricamente (e muitas vezes computaco e cionalmente) trabalhar na escala dos logaritmos. Do ponto de vista da maximizaca a o no far diferena j que a funo logaritmo estritamente crescente e o valor a c a ca e de que maximiza l(; x) o mesmo que que maximiza log l(; x). Portanto, a e equao (3.1) pode ser reescrita em termos de logaritmo da verossimilhana e ca ca c log l(; x) = U (X; ) = 0. Trata-se portanto de um problema de otimizao e a equao de verossimilhana ca ca c pode no ter soluo anal a ca tica.

A Denio 3.2 pode ser generalizada para o caso multiparamtrico, i.e. ca e pode ser um vetor de parmetros de dimenso k, = (1 , . . . , k ), ou mesmo a a uma matriz de parmetros. Se for um vetor de parmetros as equaes de a a co verossimilhana so c a l(; x) = 0, i = 1, . . . , k. (3.2) i Neste caso as condies de segunda ordem para garantir que a soluo de (3.2) co ca seja um ponto de mximo referem-se ` matriz de segundas derivadas (ou matriz a a Hessiana) da funo de verossimilhana. A condio de que a matriz ca c ca e H= 2 l(; x) =

seja negativa denida, i.e. z Hz < 0, z = 0 sendo cada elemento de H dado por 2 l(; x) hij = . i j

Exemplo 3.1 : Seja X1 , . . . , Xn uma amostra aleatria da distribuio de o ca Bernoulli com parmetro . Para quaisquer valores observados cada xi igual a a e 0 ou 1 e a funo de verossimilhana dada por ca c e
n

l(; x) = p(x|) =
i=1

xi (1 )1xi .

Como o valor de que maximiza l(; x) o mesmo que maximiza log l(; x) neste e caso mais conveniente algebricamente determinar o EMV obtendo o valor de e

 3.1. ESTIMADORES DE MAXIMA VEROSSIMILHANCA que maximiza

n

25

log l(; x) =
i=1 n

[xi log + (1 xi ) log(1 )]

n

=
i=1

xi log +

n
i=1

xi log(1 )

= n[ log + (1 x) log(1 )]. x Assim, a primeira derivada dada por e n x (1 x) (1 )

e igualando a zero obtm-se que = x. A segunda derivada dada por e e n x (1 x) + <0 2 (1 )2

de modo que o EMV de = X, i.e. a proporo amostral de sucessos. Como e ca E(X) = segue que este estimador tambm no viesado. Note que esta soluo e e a ca < 1 pois assumimos que 0 < < 1. No entanto, quando x = 0 s vale se 0 < o temos que log l(; x) = n log(1 ) que uma funo decrescente de e portanto e ca maximizada em = 0. Analogamente, se x = 1 temos que log l(; x) = n log() e o EMV de mesmo que a proporo que maximizada em = 1. Assim, X e e ca amostral de sucessos seja 0 ou 1.

Exemplo 3.2 : Seja X1 , . . . , Xn uma amostra aleatria da distribuio N (, 1). o ca A funo de verossimilhana dada por ca c e
n

l(; x) = p(x|) =
i=1

(2)1/2 exp((xi )2 /2)

n

= (2)

n/2

exp
i=1

(xi )2 /2

e o logaritmo da verossimilhana dado por c e n log l(; x) = log(2) 2

n

(xi )2 /2.
i=1

Tomando a primeira derivada e igualando a zero obtm-se a equao de verossime ca

26 ilhana c

CAP ITULO 3. METODOS DE ESTIMACAO

(xi ) = 0
i=1

cuja soluo = ca e xi /n. A segunda derivada n < 0 de modo que o EMV e = X. Alm disso o estimador no viesado para . Note que aqui no de e e e a a precisamos nos preocupar com valores extremos (como no exemplo anterior) pois o espao paramtrico ilimitado. c e e
n i=1

Exemplo 3.3 : Seja X1 , . . . , Xn uma amostra aleatria da distribuio U (0, ), o ca > 0. A funo de densidade dada por ca e p(x|) = 1/n , 0 xi , i = 1, . . . , n 0, caso contrrio. a

Assim, a verossimilhana uma funo estritamente decrescente de e porc e ca tanto seu mximo atingido quando assume o menor dos seus poss a e veis valores. Esta condio satisfeita quando = max(x1 , . . . , xn ), i.e. o EMV ca e e = max(X1 , . . . , Xn ). Por outro lado a funo de densidade poderia ser denida ca como 1/n , 0 < xi < , i = 1, . . . , n p(x|) = 0, caso contrrio. a Neste caso, max(X1 , . . . , Xn ) no um dos poss a e veis valores de j que > xi , a i = 1, . . . , n, i.e. > max(X1 , . . . , Xn ). Portanto, o EMV no existe. a Exemplo 3.4 : Seja X1 , . . . , Xn uma amostra aleatria da distribuio o ca U (, + 1), < < . A funo de densidade dada por ca e p(x|) = 1, xi + 1, i = 1, . . . , n 0, caso contrrio. a

A condio xi para i = 1, . . . , n equivalente a min(x1 , . . . , xn ) e a ca e condio xi + 1 para i = 1, . . . , n equivalente a max(x1 , . . . , xn ) + 1. ca e Assim, a funo de densidade pode ser reescrita como ca p(x|) = 1, max(x1 , . . . , xn ) 1 min(x1 , . . . , xn ) 0, caso contrrio. a

e qualquer valor de no intervalo [max(x1 , . . . , xn )1, min(x1 , . . . , xn )] maximiza a funo de verossimilhana. Em outras palavras, o EMV no unico. ca c a e Exemplo 3.5 : Seja X1 , . . . , Xn uma amostra aleatria da distribuio N (, 2 ). o ca

 3.1. ESTIMADORES DE MAXIMA VEROSSIMILHANCA A funo de verossimilhana dada por ca c e

n

27

l(, 2 ; x) = p(x|, 2 ) =
i=1

(2 2 )1/2 exp((xi )2 /2 2 )
n

= (2 2 )n/2 exp
i=1

(xi )2 /2 2

e o logaritmo da verossimilhana dado por c e n L(, ; x) = log l(, ; x) = log(2 2 ) 2

2 2 n

(xi )2 /2 2 .
i=1

Tomando a primeira derivada e igualando a zero obtm-se as seguintes equaes e co de verossimilhana c n 1 n (xi ) = 2 ( ) = 0 x 2 i=1 1 n + 4 2 2
n

(xi )2 = 0.
i=1

A soluo da primeira equao = x e a soluo da segunda equao avaliada ca ca e ca ca n 2 2 em = x = i=1 (xi x) /n. As segundas derivadas avaliadas em e 2 e so dadas por a n < 0, 2 n( ) x =0 e 4 n 2 4
n i=1 (xi 6

)2

n < 0. 4

Conclui-se ento que X e a

n 2 i=1 (Xi X) /n

so os EMV de e 2 respectivamente. a

EMV e estat sticas sucientes

Se X1 , . . . , Xn uma amostra aleatria de p(x|) e T (X) uma estat e o e stica suciente para ento, pelo critrio de fatorao, a funo de verossimilhana a e ca ca c e dada por l(; x) = f (t, )g(x). Como g(x) constante em relao a ento o valor que maximiza l(; x) o e ca a e mesmo que maximiza f (t, ), que depende de x somente atravs de t(x). Assim e ser necessariamente uma funo de t e concluimos que o EMV sempre funo a ca e ca de uma estat stica suciente.

28

CAP ITULO 3. METODOS DE ESTIMACAO

Invarincia a
e Seja X1 , . . . , Xn uma amostra aleatria de p(x|) e o EMV de . Suponha que o queremos inferir o valor de = g() onde g uma funo 1 a 1 (ou bijetora) de . e ca e Se = h() a funo inversa e o EMV de ento h() maximiza p(x|h()). e ca a Por outro lado tambm maximiza p(x|h()), i.e. h() = e portanto h() = e ou equivalentemente = g(). e Conclui-se ento que g() o EMV de g(). Esta propriedade chamada a e princpio da invarincia. a Exemplo 3.6 : No Exemplo 3.5, pelo princ da invarincia segue que o EMV pio a n 2 /n. de = e i=1 (Xi X) Exemplo 3.7 : Seja X1 , . . . , Xn N (, 1) e queremos estimar a probabilidade e g() = P (X < 0). Como = X o EMV de e P (X < 0) = P (X < ) = () ento pelo princ a pio da invarincia o EMV de P (X < 0) (X). a e Exemplo 3.8 : Seja X1 , . . . , Xn uma amostra aleatria da distribuio exponeno ca cial com parmetro e queremos estimar a probabilidade g() = P (X > 1). O a EMV de = 1/X e a funo de distribuio de X P (X < x) = 1 ex , e ca ca e portanto P (X > 1) = 1 P (X < 1) = e . Assim, pelo princ pio da invarincia a o EMV de P (X > 1) e g() = e = e1/X .

O EMV no depende do plano amostral a

Se dois experimentos do origem a funes de verossimilhana l1 () e l2 () que a co c so proporcionais, i.e. l1 () = k l2 (), k > 0 e k no depende de , ento o EMV a a a de o mesmo. e Exemplo 3.9 : O tempo (em minutos) entre chegadas de clientes em um banco e denotado pela varivel aleatria X Exp(). Deseja-se estimar o tempo mdio a o e entre chegadas a partir de uma amostra aleatria X1 , . . . , Xn . O EMV de o e = 1/X e pela propriedade de invarincia segue que o EMV de = E(X) = 1/ a = 1/ = X. Para uma amostra de tamanho n = 20 dois planos amostrais e poderiam ter sido utilizados, (i) Fixar n = 20 a priori. (ii) Observar X1 , X2 , . . . at obter um tempo superior a 10 minutos. e Suponha que no segundo experimento observou-se xi < 10, i = 1, . . . , 19 e x20 > 10 e em ambos a mdia amostral foi igual 6 minutos. Ento a estimativa de e a

 3.1. ESTIMADORES DE MAXIMA VEROSSIMILHANCA

29

mxima verossimilhana do tempo mdio entre chegadas x = 6 no importando a c e e a como a amostra foi obtida. Diz-se que o mtodo satisfaz ao chamado princ e pio da verossimilhana. Este c princ pio postula que, para fazer inferncias sobre uma quantidade desconhecida e s importa aquilo que foi realmente observado e no aquilo que poderia ter o a ocorrido mas efetivamente no ocorreu. a

Observaes incompletas co
Em muitas situaes prticas os dados fornecem informaes incompletas sobre co a co determinado fenmeno. Isto ocorre em geral quando o experimento precisa ser o terminado por algum motivo de ordem prtica e que pode ou no estar sob a a controle do pesquisador. Esta observao parcial dos dados chamada de censura ca e e os mtodos para descrio e modelagem deste tipo de dados chamada de e ca e anlise de sobrevivncia ou anlise de conabilidade. Esta informao parcial a e a ca deve ser levada em conta ao se tentar estimar os parmetros de interesse. a Exemplo 3.10 : No Exemplo 3.9, o tempo at a chegada do prximo cliente e o ser observado at que: o cliente chegue ou o expediente se encerre, o que ocorrer a e primeiro. Suponha que esperou-se 15 minutos e o expediente se encerrou sem que ningum tenha aparecido. Ou seja, X21 no foi observado mas sabe-se que e a X21 > 15. A mdia amostral baseada em 21 observaes maior do que 6 e a e co e estimativa de mxima verossimilhana obtida maximizando-se a c e
20

p(x1 |) . . . p(xn |)P (X21 > 15) = exp(

20 i=1

xi ) exp(15).

Do Exemplo 3.9 temos que x = 6 ento o tempo total de espera dos 20 primeiros a 20 clientes foi i=1 xi = 120 e a funo de verossimilhana ca 20 e135 . ca c

Soluo numrica ca e
Em muitas situaes prticas a funo de verossimilhana est associada a modco a ca c a elos complexos e a equao de verossimilhana no apresenta soluo anal ca c a ca tica explicita. Exemplo 3.11 : Suponha que uma varivel aleatria X tem funo de densidade a o ca k k o f (x) = j=1 pj fj (x), sendo pj > 0 e j=1 pj = 1. Para uma amostra aleatria X1 , . . . , Xn a funo de verossimilhana ca ca c
n k

f (x) =
i=1 j=1

pj fj (xi ) .

30

CAP ITULO 3. METODOS DE ESTIMACAO

Mesmo que as funes fj (x) sejam completamente conhecidas no h soluo de co a a ca mxima verossimilhana para os pesos pj . a c Exemplo 3.12 : Suponha que X Gama(, ). Para uma amostra aleatria o X1 , . . . , Xn o logaritmo da funo de verossimilhana ca ca c
n

L(, ; x) = log
i=1

x exp(xi ) () i

= n log + ()

log(xi )
i=1 i=1

xi

e L(, ; x)/ = 0 no tem soluo anal a ca tica expl cita. Nestes casos pode-se recorrer a mtodos numricos para obter o EMV de um e e parmetro . Lembrando que a funo escore denida como a ca e U (X; ) = log l(; x)

e ento, se o EMV de segue que U (X; ) = 0. Expandindo U (X; ) em srie a e de Taylor em torno de 0 obtemos que 0 = U (X; ) = U (X; 0 ) + ( 0 )U (X; 0 ) + . . . e desprezando os termos de ordem mais alta ento para valores de e 0 prximos a o segue que 0 = U (X; ) U (X; 0 ) + ( 0 )U (X; 0 ). Resolvendo para segue que U (X; 0 ) U (X; 0 ) = 0 + 0 U (X; 0 ) J(0 ) onde J() a informao observada de Fisher. e ca Assim, a partir de um valor inicial (0) um procedimento iterativo para busca de mximo dado por a e (j+1) = (j) U (X; (j) ) U (X; (j) ) = (j) + U (X; (j) ) J((j) )

que deve ser repetido at que o processo se estabilize segundo algum critrio e e (j+1) (j) de convergncia. Um critrio tipicamente utilizado | e e e | < onde e especicado arbitrariamente. Este o conhecido algoritmo de Newton-Raphson e e aonde o algoritmo se estabiliza tomado como a estimativa de mxima o ponto e a verossimilhana. c Uma modicao do algoritmo acima obtida substituindo-se a informao ca e ca

 3.1. ESTIMADORES DE MAXIMA VEROSSIMILHANCA

31

observada, J(), pela informao esperada de Fisher, I(). Sob algumas condica co es de regularidade, tipicamente vericadas na prtica, este mtodo modicado a e converge para o estimador de mxima verossimilhana. a c

Distribuio assinttica ca o
Em muitas situaes a equao de verossimilhana tem soluo anal co ca c ca tica expl cita porm o EMV uma funo complicada da amostra. Neste caso, pode no e e ca a ser uma tarefa fcil obter a distribuio do estimador ou vericar sua ecincia. a ca e Uma alternativa estudar o comportamento do estimador quando o tamanho e da amostra n tende a innito (comportamento assinttico). Como na prtica o o a tamanho amostral nito os resultados obtidos so aproximadamente corretos e a para n sucientemente grande. Pode-se mostrar que, sob condies de regularidade co N (, I 1 ()), quando n .

A prova deste resultado est alm do escopo destas notas e ser omitida (ver a e a Migon and Gamerman 1999). Na prtica, i.e. para n nito, dizemos que para a n sucientemente grande, o estimador de mxima verossimilhana tem disa c 1 tribuio aproximadamente N (, I ()). Ou seja, o EMV sempre assintoticaca e mente no viesado e eciente j que sua esperana tende para e sua varincia a a c a tende para o limite inferior da desigualdade de Cramer-Rao. Alm disso, ele e e consistente j que V ar() 0 quando n . a O resultado pode ser generalizado para uma funo g(), i.e. ca g() N g(), [g ()]2 I() , quando n .

Exemplo 3.13 : Suponha uma unica observao X da distribuio binomial com ca ca = X/n e a informao de Fisher parmetros n e desconhecido. O EMV de a e ca n/[(1 )] (verique). Portanto, para n grande a distribuio aproximada da e ca varivel aleatria a o n( ) (1 ) N (0, 1). e

3.1.1

Comentrios a

Em muitas situaes a funo de verossimilhana pode ser muito dif ou mesmo co ca c cil imposs de ser calculada. Assim, obter estimativas de mxima verossimilhana vel a c

32

CAP ITULO 3. METODOS DE ESTIMACAO

e principalmente quanticar a incerteza associada pode ser uma tarefa complexa. Por outro lado a tendncia atual de propor modelos cada vez mais complexos e e para analisar conjuntos dados em quase todas as reas da cincia (e.g. dados a e espacialmente distribuidos). Alguns fatores que podem levar a diculdades prticas no processo de estia mao so, ca a
X dados faltantes ou incompletos; X funo de verossimilhana complexa, com um nmero grande de parmetca c u a ros ou uma forma funcional computacionalmente intratvel (e.g. modelos a probito multinomiais, modelos de sries temporais para dados qualitativos); e X maximizao pode ser extremamente lenta; ca X no existncia de um mximo unico, ou mximo localizado no extremo do a e a a espao dos parmetros (e.g. modelos de misturas nitas). c a

Felizmente vrios mtodos computacionalmente intensivos (Bootstrap, algoa e ritmo EM, mtodos de Monte Carlo, algoritmos genticos, etc) foram e contine e uam sendo desenvolvidos ou adaptados para tratar de situaes cada vez mais co complexas (e portanto mais realistas). Os recursos computacionais atualmente dispon veis vem contribuindo muito para disseminar o uso destas tcnicas. e

3.1.2

Problemas

1. Deseja-se estimar a proporo de mulheres em cursos de graduao em ca ca Estat stica no Brasil. Uma amostra aleatria de 90 alunos matriculados foi o selecionada e obteve-se que 58 eram mulheres e 32 eram homens. Encontre a estimativa de mxima verossimilhana de . a c 2. No exerc cio anterior sabe-se que 1/2 < < 3/5. Qual a estimativa de mxima verossimilhana de para aquela amostra. a c 3. Seja X1 , . . . , Xn uma amostra aleatria da distribuio de Bernoulli com o ca parmetro (0 < < 1). Mostre que o EMV de no existe se os valores a a observados forem todos iguais a 1 ou todos iguais a 0. 4. Seja X1 , . . . , Xn uma amostra aleatria da distribuio de Poisson com o ca parmetro desconhecido ( > 0). a (a) Obtenha o EMV de assumindo que pelo menos um valor observado diferente de zero. e (b) Mostre que o EMV de no existe se todos os valores observados a forem nulos.

 3.2. METODO DOS MOMENTOS

33

5. Seja X1 , . . . , Xn uma amostra aleatria da distribuio N (, 2 ), com mdia o ca e 2 conhecida e varincia desconhecida. Obtenha o EMV de e verique se a ele no viesado. e a 6. Seja X1 , . . . , Xn uma amostra aleatria da distribuio exponencial com o ca parmetro desconhecido ( > 0). Obtenha o EMV de . a 7. Seja X1 , . . . , Xn uma amostra aleatria da distribuio cuja funo de deno ca ca sidade dada por e p(x|) = x1 , 0 < x < 1, > 0 0, caso contrrio. a

(a) Obtenha os EMV de e g() = /(1 + ). (b) Obtenha as distribuies aproximadas destes estimadores para n co grande. 8. Seja uma amostra aleatria X1 , . . . , Xn da distribuio N (, 1). Obtenha o ca o EMV de g() = P (X > 0) e sua distribuio aproximada quando n ca e grande. 9. Seja X1 , . . . , Xn uma amostra aleatria da distribuio de Poisson com mo ca e dia desconhecida. Obtenha o EMV do desvio padro da distribuio. a ca 10. O tempo de vida de um tipo de lmpada tem distribuio exponencial a ca com parmetro desconhecido. Uma amostra aleatria de n lmpadas a o a foi testada durante T horas e observou-se o nmero X de lmpadas que u a falharam. Obtenha o EMV de baseado em X. 11. Suponha que 21 observaes so tomadas ao acaso de uma distribuio exco a ca ponencial com mdia desconhecida. A mdia amostral de 20 observaes e e co foi igual a 6 e o valor da outra observao desconhecido mas sabe-se que ca e maior do que 15. Calcule o EMV de . e 12. Dois estat sticos precisam estimar uma quantidade desconhecida > 0. O estat stico A observa uma varivel aleatria X Gama(3, ) e o estat a o stico B observa uma varivel aleatria Y com distribuio de Poisson e mdia a o ca e 2. Se os valores observados foram X = 2 e Y = 3 mostre que as funes co de verossimilhana so proporcionais e obtenha o EMV de . c a

3.2

Mtodo dos Momentos e

O mtodo dos momentos para estimao de parmetros bastante simples e e ca a e intuitivo. Basicamente, ele preconiza a estimao de momentos populacionais ca

34

CAP ITULO 3. METODOS DE ESTIMACAO

(no observveis) por seus equivalentes momentos amostrais. Assim, para uma a a varivel aleatria X cuja distribuio depende de um parmetro com momentos a o ca a de ordem k dados por k = E(X k |) e uma amostra aleatria X1 , . . . , Xn desta distribuio, o mtodo preconiza a o ca e estimao de k por ca n 1 k = X k. n i=1 i Qualquer outra funo de estimada a partir de sua relao com os momentos. ca e ca Para um vetor de parmetros = (1 , . . . , r ) os estimadores so obtidos como a a soluo do sistema de equaes criado igualando-se os r primeiros momentos ca co amostrais e populacionais, k = k , k = 1, . . . , r.

No dif vericar que o mtodo sempre produz estimadores no viesados a e cil e a para os momentos populacionais, i.e. 1 E(k ) = n com varincia dada por a V ar(k ) = V ar = = 1 n2 1 n2
n n

E(Xik ) = k .
i=1

1 n

Xik
i=1

V ar(Xik )
i=1 n

E(Xi2k ) E 2 (Xik )
i=1

2k 2 k = . n O mtodo tambm tem boas propriedades assintticas j que as leis dos grandes e e o a nmeros garantem que k k com probabilidade 1 quando n . u

Exemplo 3.14 : Seja uma amostra aleatria X1 , . . . , Xn tomada de uma diso 2 tribuiao com E(X) = 1 e V ar(X) = . Pelo mtodo dos momentos, a mdia c e e

 3.2. METODO DOS MOMENTOS populacional estimada por X e o segundo momento estimado por e e 2 = 1 n
n

35

Xi2 .
i=1

Como 2 = 2 2 segue que a varincia populacional estimada por a e 1 1 = 2 1 = n

2 2 n

Xi2
i=1

1 X2 = n

Xi2
i=1

nX 2

1 = n

(Xi2 X)2 .
i=1

Assim, os estimadores da mdia e da varincia coincidem com os EMV no caso e a normal. Exemplo 3.15 : Seja uma amostra aleatria X1 , . . . , Xn tomada de uma diso tribuio Gama com parmetros e . A mdia e a varincia populacionais so ca a e a a dados por E(X) = / e V ar(X) = / 2 . Portanto, pelo mtodo dos momentos os estimadores para e so obtidos como e a soluo das equaes ca co 1 / = n 1 / 2 + 2 / 2 = n A segunda equao pode ser reescrita como ca obtendo-se 1 =
n i=1 n

Xi = X
i=1 n

Xi2
i=1

1 +

=X

1 +X

1 n

Xi2
i=1

Xi2 /n X = X

n 2 i=1 (Xi

X)2 /n = X

n 2 i=1 (Xi

X . X)2 /n

Substituindo na primeira equao obtm-se que ca e = X2 n 2 2 . i=1 (Xi X) /n

Neste exemplo, estimadores de mxima verossimilhana no podem ser obtidos a c a explicitamente e mtodos computacionais devem ser utilizados. Assim, uma pose s vel aplicao do mtodos dos momentos utilizar este resultado para obter ca e e

36

CAP ITULO 3. METODOS DE ESTIMACAO

valores iniciais em algoritmos de busca pelo mximo da funo de verossimila ca hana. c

3.3

Estimadores de M nimos Quadrados

Seja agora uma amostra aleatria Y1 , . . . , Yn tomada de uma distribuio tal que o ca 2 E(Yi |) = fi () e V ar(Yi |) = . Ou seja, a mdia de cada Yi assume uma forma e espec ca, que pode depender de outras variveis, e as varincias so as mesmas. a a a Uma forma equivente e Yi = fi () + i com E( i ) = 0 e V ar( i ) = 2 para i = 1, . . . , n. O critrio adotado aqui consiste em estimar de modo a minimizar os erros e cometidos, Yi fi (), minimizando uma funo destes erros. Uma funo que ca ca penaliza igualmente erros positivos e negativos e comumente utilizada a funo e e ca quadrtica. Assim, o critrio pode ser expresso como, obter que minimiza a e
n

S() =
i=1

(Yi fi ())2 .

O valor obtido chamado de estimador de m e nimos quadrados (EMQ) de . Exemplo 3.16 : Regresso linear simples. Suponha que os valores da varivel de a a interesse Y so afetados linearmente pelos valores de uma outra varivel conhecida a a X. Dados n valores de X e Y um poss modelo para este problema E(Yi ) = vel e Xi e o EMQ do parmetro obtido minimizando-se a e
n

S() =
i=1

(Yi Xi )2 .

Derivando e igualando a zero esta soma de quadrados obtm-se que e

n

2
i=1

(Yi Xi )(Xi ) = 0 =
n i=1

n i=1 Yi Xi n 2 i=1 Xi

e como a segunda derivada dada por 2 e =

e Xi2 > 0 segue que o EMQ de

n i=1 Yi Xi . n 2 i=1 Xi

Note como nenhuma distribuio de probabilidades foi assumida para que o ca

3.3. ESTIMADORES DE M INIMOS QUADRADOS

37

mtodo pudesse ser aplicado. Este um dos motivos para sua grande utilizae e ca o. Por outro lado, se os dados tiverem distribuio normal o procedimento ca coincide com a estimao de mxima verossimilhana, i.e. pode-se mostrar que ca a c minimizar a soma de quadrados dos erros equivalente a maximizar a funo de e ca verossimilhana. c Outro fato importante que o peso atribuido a cada observao na soma de e ca quadrados foi o mesmo j que todas tm a mesma varincia. O mtodo pode ser a e a e estendido ao caso de varincias desiguais e conhecidas a menos de uma constante, a 2 i.e. V ar(Yi |) = /wi . Neste caso a soma de quadrados a ser minimizada e
n

S() =
i=1

wi (Yi fi ())2

e observaes com maior varincia (menor wi ) tero um peso menor na estimao. co a a ca Este procedimento chamada de estimao por m e ca nimos quadrados ponderados. O mtodo anterior (sem ponderao) ento chamado de estimao por m e ca e a ca nimos quandrados ordinrios e um caso particular onde todos os pesos so iguais a 1. a e a Exemplo 3.17 : No Exemplo 3.16 o estimador de m nimos quadrados ponderados de dado por e n wi Yi Xi = i=1 . n 2 i=1 wi Xi

Finalmente, vale notar que a funo fi () pode assumir vrias formas distintas. ca a Por exemplo, se fi for um polinmio de ordem k em uma varivel X conhecida, o a 2 k i.e. 0 + 1 X + 2 X + + k X ento os EMQ de 0 , 1 , . . . , k so obtidos a a minizando-se
n

S() =
i=1

(Yi 0 1 Xi 2 Xi2 k Xik )2 .

Por outro lado, se fi dene uma dependncia linear em k variveis conhecidas e a X1 , . . . , Xk , i.e. 0 + 1 X1 + 2 X2 + + k Xk ento os EMQ de 0 , 1 , . . . , k a so obtidos minizando-se a
n

S() =
i=1

(Yi 0 1 Xi1 2 Xi2 k Xik )2 .

Em ambos os casos teremos um vetor de parmetros 0 , 1 , . . . , k a serem esa 2 timados (alm da varincia ) o que equivale a resolver um sistema de k + 1 e a equaes do tipo S/j = 0 para j = 0, . . . , k. co

38

CAP ITULO 3. METODOS DE ESTIMACAO

3.4

Problemas

1. Seja X1 , . . . , Xn uma amostra aleatria tomada da distribuio Gama(,2). o ca Obtenha um estimador para usando o mtodo dos momentos. e 2. Seja X1 , . . . , Xn uma amostra aleatria tomada da distribuio o ca Exponencial(). Obtenha um estimador para usando o mtodo dos moe mentos. 3. Seja X1 , . . . , Xn uma amostra aleatria tomada da distribuio o ca Geomtrica(p). Obtenha um estimador para p usando o mtodo dos moe e mentos. 4. Seja X1 , . . . , Xn uma amostra aleatria tomada da distribuio N (, 2 ). o ca 2 Obtenha estimadores de e usando o mtodo dos momentos. Obtenha e 2 o vis do estimador de . e 5. Seja X1 , . . . , Xn uma amostra aleatria tomada da distribuio Gama(, ). o ca Obtenha estimadores de e usando o mtodo dos momentos. e 6. No Exemplo 3.16 mostre que o EMQ obtido no viesado com varincia e a a n 2 2 / i=1 Xi . 7. No Exemplo 3.16 obtenha os EMQ de 0 e 1 supondo que E(Yi ) = 0 +1 Xi com varincia constante. a 8. Se Yi | N (fi (), 2 ) mostre que o EMV e o EMQ de coincidem.