Sie sind auf Seite 1von 6

Matriz de Variˆancia e Covariˆancia e o Teorema de Gauss-Markov

Reginaldo J. Santos Departamento de Matem´atica-ICEx Universidade Federal de Minas Gerais http://www.mat.ufmg.br/~regi

26 de setembro de 2001

, x n . A opera¸c˜ao de tomar

a esperan¸ca ser´a denotada por E. Definimos E(X) como sendo o vetor dos valores esperados de cada elemento de X, ou seja,

Seja X = [x 1

x n ] t um vetor de vari´aveis aleat´orias x 1 ,

E(X) = E

x

x

.

.

.

x

1

2

n

=

E(x 1 )

E(x 2 )

.

.

.

E(x n )

.

1 Matriz de Variˆancia e Covariˆancia

Sejam σ 12 , σ 13 ,

x 1 ,

2

σ i

vari´aveis

, x n , σ (k1)k . Ou seja,

= E[(x i E(x i )) 2 ],

aleat´orias

com

variˆancias

σ

2

1

,

.

.

.

2

, σ n

e

covariˆancias

σ ij = E[(x i E(x i ))(x j E(x j ))], para i

= j

Reunindo as variˆancias e covariˆancias em uma matriz, ficamos com

Var(X) = V =

2

1

12

.

.

.

1n

σ

σ

σ

1

σ 12

σ

.

2

2

σ 2n

···

···

···

σ

σ

1n

2n

.

2

n

σ

˜

`

´

˜

2

2

INTRODUC¸ AO A AN ALISE DE REGRESS AO

que ´e chamada de matriz de variˆancia e covariˆancia ou matriz de dispers˜ao das

vari´aveis aleat´orias x 1 ,

, x n . Ela ´e sim´etrica (V t = V ) e o elemento de posi¸c˜ao i, i ´e a

variˆancia da vari´avel x i e o elemento de posi¸c˜ao i, j, para i

vari´aveis x i e x j . Assim, podemos expressar V como

V = Var(X) = E[(X E(X))(X E(X)) t ].

= j, ´e a covariˆancia, entre as

(1)

Seja A uma matriz m × n. Ent˜ao,

E(AX) = AE(X),

(2)

pois

E(AX)

=

=

E

a 11 x 1 + a 12 x 2 +

a 21 x 1 + a 22 x 2 +

.

.

.

a m1 x 1 + a m2 x 2 +

.

.

.

.

a 11 E(x 1 ) + a 21 E(x 1 ) +

a 12 E(x 2 ) + a 22 E(x 2 ) +

.

.

.

a m1 E(x 1 )

+

a m2 E(x 2 )

+

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

+

+

a 1n x n a 2n x n

.

+ a mn x n

.

.

.

.

+

+

a 1n E(x n ) a 2n E(x n )

.

+ a mn E(x n )

= AE(X)

De forma an´aloga podemos mostrar que se B ´e uma matriz n × m, ent˜ao

E(XB) = E(X)B

De (2) e (3) segue que

e

E(AXB) = AE(X)B.

(3)

Var(AX)

=

E[(AX E(AX))(AX E(AX)) t ] = E[(AX AE(X))(AX AE(X)) t ]

=

E[A(X E(X))(X E(X)) t A t ] = AE[(X E(X))(X E(X)) t ]A t

=

AVar(X)A t

(4)

2 Introdu¸c˜ao `a An´alise de Regress˜ao

Vamos supor que um vetor de vari´aveis aleat´orias Y = [y 1 ,

esperan¸ca seja uma combina¸c˜ao linear de outros vetores, ou seja, que

, y m ] t seja tal que a sua

   = E(Y ) = b 1 X 1 +

E(y 1 ) E(y 2 )

.

.

.

E(y m )

+

b n X n = b 1

x

11

21

.

.

.

m1

x

x

+

+ b n

x

x

x

1n

2n

.

.

.

mn

(5)

3

A equa¸c˜ao (5) pode ainda ser escrita de duas outras formas:

ou simplesmente

onde

E(y i ) = b 1 x i1 +

X =

x

x

11

21

.

.

.

x m1

x

x

12

22

x m2

+

b n x in ,

para i = 1,

E(Y ) = XB,

.

.

.

.

.

.

.

.

.

.

.

.

x

x

1n

2n

.

x mn

,

e

B =

, m

b

b

.

.

.

b

1

2

n

.

(6)

O problema aqui ´e determinar os parˆametros b i a partir de observa¸c˜oes y i , para i =

1, , m. Para cada i, a diferen¸ca y i E(y i ) ´e o desvio do valor observado y i em rela¸c˜ao

ao valor esperado E(y i ) e ´e escrito como

ε i = y i E(y i ),

para i = 1,

, m

(7)

Assim, em termos das observa¸c˜oes e dos erros, o nosso modelo pode ser escrito como

y i = b 1 x i1 +

+ b n x in + ε i ,

para i = 1,

, m

ou de forma mais compacta, simplesmente

 
 

Y

= XB + ε,

(8)

onde

Y =

y

y

.

.

.

1

2

y

m

X =

x

x

11

21

.

.

.

x m1

x

x

12

22

x m2

.

.

.

.

.

.

.

.

.

.

.

.

x

x

1n

2n

.

x mn

,

B =

b

b

.

.

.

b

1

2

n

e ε =

ε

ε

.

.

.

1

2

ε

m

.

A equa¸c˜ao (8) ´e chamada de equa¸c˜ao do modelo. Ela ´e a base para estimar B a partir

dos dados obtidos armazenados em X e Y . Os erros ε i por defini¸c˜ao, tˆem m´edia zero, pois de (7) temos que

¯

E(ε) = E(Y E(Y )) = E(Y ) E(Y ) = 0.

Vamos assumir tamb´em que os erros ε i tˆem a mesma variˆancia σ 2 e que cada um deles ´e n˜ao correlacionado (tem covariˆancia zero) com os outros.

˜

`

´

˜

4

2

INTRODUC¸ AO A AN ALISE DE REGRESS AO

Assim a matriz de variˆancia-covariˆancia dos ε i ’s ´e σ 2 I n . Portanto,

σ 2 I n = Var(ε) = E[(ε E(ε))(ε E(ε)) t ] = E(εε t ).

(9)

´

E

usual se tomar como estimador do vetor de parˆametros B, a solu¸c˜ao de quadrados

m´ınimos, ou seja, a solu¸c˜ao de

min

n

i=1

2

ε i

= min ||XB Y || 2 .

Este problema ´e equivalente a resolver as equa¸c˜oes normais

X t XB = X t Y.

A solu¸c˜ao de quadrados m´ınimos foi usada por Gauss em 1801 para predizer a tra-

jet´oria do aster´oide Ceres. Dias ap´os o aster´oide ter sido descoberto, o seu rastreamento

foi perdido. V´arios astrˆonomos publicaram artigos fazendo a previs˜ao da trajet´oria do as- ter´oide. Entretanto, quando o aster´oide foi novamente localizado, a sua posi¸c˜ao era muito pr´oxima daquela prevista por Gauss e diferia muito das previs˜oes feitas pelos outros. Na maioria dos casos a matriz X tem posto m´aximo, ou equivalentemente X t X ´e n˜ao

ˆ

singular. Nestes casos temos uma f´ormula para o estimador B

ˆ

= (X t X) 1 X t Y

 

B

(10)

ˆ

O estimador de quadrados m´ınimos ´e n˜ao viesado, ou seja, E ( B) = B, pois de (10) e

(6), temos

ˆ

E( B)

= E[(X t X) 1 X t Y ] = (X t X) 1 X t E(Y ) = (X t X) 1 X t XB = B

ˆ

Este estimador, que vamos chamar de B ´e o “melhor” estimador linear n˜ao viciado, como

mostra o pr´oximo teorema.

5

Teorema 2.1 (Gauss-Markov). Considere o modelo linear

com as hip´oteses

Y = XB + ε,

 

¯

Var(ε) = σ 2 I n .

 

E(ε) = 0

e

ˆ

˜

Seja B = (X t X) 1 X t Y o estimador de quadrados m´ınimos. Se B ´e um outro estimador

 

˜

˜

de B tal que B = CY , onde C ´e uma matriz n × n, e E( B) = B (n˜ao viciado), ent˜ao:

Z t Var( B)Z Z t Var( B)Z,

˜

ˆ

para todo Z R n

Demonstra¸c˜ao. Vamos demonstrar para o caso em que a matriz X tem posto m´aximo, ou equivalentemente X t X ´e n˜ao singular. Por (4), temos que

 

ˆ

Var( B) = (X t X) 1 X t Var(Y )X(X t X) 1 .

 

(11)

Mas, por (1), (6) e (9) a variˆancia de Y ´e dada por

 
 

Var(Y ) =

E[(Y E(Y ))(Y E(Y )) t ] = E(εε t ) =

σ 2 I n .

(12)

Substituindo (12) em (11) obtemos

 
 

ˆ

Var( B) = σ 2 (X t X) 1 .

 

(13)

Por outro lado, por (4) e usando (12), obtemos

 
 

˜

Var( B) = CVar(Y )C t = σ 2 (CC t ).

 

(14)

 

˜

Agora, como por hip´otese E( B) = B, segue que

 
 

˜

B = E( B) = E(CY ) = CE(Y ) = CXB,

para todo

B R n .

O

que implica que

 

I n = CX.

(15)

Assim, usando (13), (14) e (15) segue que

σ 2 C[I n X(X t X) 1 X t ]C t . (16)

A matriz M = I n X(X t X) 1 X t ´e sim´etrica e tal que M 2 = M (idempotente). Assim,

Var( B) Var( B) = σ 2 [CC t CX(X t X) 1 X t C t ] =

˜

ˆ

Z t Var( B)Z Z t Var( B)Z

˜

ˆ

=

Z t [Var( B) Var( B)]Z

˜

ˆ

=

σ 2 Z t (CMC t )Z

= σ 2 (Z t CM )(M t C t Z)

=

σ 2 ||Z t CM || 2

0,

o que prova o resultado.

= σ 2 || Z t CM || 2 ≥ 0 , o que prova o

6

ˆ

REFER ENCIAS

Referˆencias

[1] David C. Lay.

´

Algebra Linear e suas Aplica¸c˜oes. Livros T´ecnicos e Cient´ıficos Editora

S.A., Rio de Janeiro, 2a. edition, 1999.

[2] Steven J. Leon.

´

Algebra Linear com Aplica¸c˜oes. Livros T´ecnicos e Cient´ıficos Editora

S.A., Rio de Janeiro, 5a. edition, 1998.

´

[3] Reginaldo J. Santos. Um Curso de Geometria Anal´ıtica e Algebra Linear. Imprensa

Universit´aria da UFMG, Belo Horizonte, 2010.

[4] Shayle R. Searle. York, 1982.

[5] S. D. Silvey. Statistical Inference. Penguin, Harmondsworth, 1970.

Matrix Algebra Useful for Statistics. John Wiley and Sons, New