Regresso Linear Mltipla

A Regresso Linear Mltipla corresponde ao Modelo Linear dado

no incio onde as variveis preditoras so numricas (var.
qualitativas), sendo a regresso linear simples um seu caso
particular (apenas uma varivel preditora).
Recordar a sua formalizao, nomeadamente ac. 8,9 e 13.
A matriz X
n(p+1)
muitas vezes designada a matriz do
delineamento.
Cada
j
, j = 1, . . . , p (p n), pode ser interpretado como a
variao no valor esperado da varivel resposta Y quando se
incrementa de uma unidade o valor da varivel preditora que lhe
est associada (i.e. x
j
), admitindo que as restantes variveis
preditoras permanecem inalteradas.
p. 67/83
RLM - Estimao
Parmetros desconhecidos:
0
, . . . ,
p
e .
Mtodo dos mnimos quadrados para
0
, . . . ,
p
: minimizar
relativamente aos parmetros,
n

i=1
e
2
i
=
n

i=1
(y
i
y
i
)
2
=
n

i=1
_
y
i

0

1
x
1(i)

p
x
p(i)
_
2
.
Obtm-se, tal como na RLS,

= (X
t
X)
1
X
t
Y.
necessrio ter-se n > p e que (X
t
X)
1
exista (condio
suciente , colunas de X serem linearmente independentes).
p. 68/83
RLM - Estimao
Estimao de
2
:

2
= QMRE =

n
i=1
E
2
i
n p 1
=

n
i=1
_
Y
i


Y
i
_
2
n p 1
.
Semelhante RLS, verica-se
(n p 1)
2

2
=
SQRE

2

2
(np1)
Valores ajustados:

Y = X

= HY,
sendo H = X(X
t
X)
1
X
t
.
p. 69/83
RLM - Estimao
Propriedades distribucionais
Recordar as propriedades da normal multivariada, ac. 12, de onde
decorre que:

N
p+1
_
,
2
(X
t
X)
1
_
.

Y = X

N
n
(X,
2
H),
E = Y

Y N
n
(0,
2
(I
n
H)),
p. 70/83
RLM - Inferncia
Combinaes lineares de : seja c
(p+1)1
um vector de
constantes,
=
p

j=0
c
j

j
= c
t
.
Estimador:

=

p
j=0
c
j

j
= c
t

.
Varincia do estimador: var(

) =
2
c
t
(X
t
X)
1
c.
Seguindo o raciocnio visto na RLS (ac. 37)

_
var(

)
=
c
t

c
t

_
QMRE c
t
(X
t
X)
1
c
t
np1
. (10)
Por exemplo, c
k
= 1 e c
j
= 0 para j = k, corresponde a =
k
para
um k particular.
p. 71/83
RLM - Inferncia
Seguindo o raciocnio visto nos acs. 33-34 na construo de I.C.s
obtm-se,
I.C. a (1 ) 100% para c
t
com desconhecido
_
c
t

t
np1;/2

_
QMRE c
t
(X
t
X)
1
c,
c
t

+t
np1;/2

_
QMRE c
t
(X
t
X)
1
c
_
; (11)
t
np1;/2
o quantil de ordem 1 /2 de uma t
(np1)
.
Um exemplo de (11) ,
I.C. a (1 ) 100% para um
j
, j = 0, . . . , p com desc.,
_

j
t
np1;/2

_
var(

j
),

j
+t
np1;/2

_
var(

j
)
_
.
p. 72/83
RLM - Inferncia
Outro exemplo de (11) o caso do I.C. para E[Y ]. Recorde-se,
E[Y ] =
0
+
1
x
1
+ +
p
x
p
.
Na representao anterior,
c
t
= (c
0
, c
1
, . . . , c
p
) = (1, x
1
, . . . , x
p
).
Assim,
I.C. a (1 ) 100% para E[Y ], com desconhecido,
_

Y t
np1;/2

_
QMRE h
ii
,

Y +t
np1;/2

_
QMRE h
ii
_
.
p. 73/83
RLM - Inferncia
Testes de Hipteses para c
t
com desconhecido
1. Hipteses: H
0
: c
t
= c
t

0
vs. H
1
: c
t
= c
t

0
.
2. Estatstica do teste (cf. (10)):
T

H
0
=
c
t

c
t

0
_
QMRE c
t
(X
t
X)
1
c
t
np1
.
3. Regio crtica: Teste bilateral,
RC = (, t
np1;/2
) (t
np1;/2
, +).
4. Deciso: No aceitar H
0
a 100% se
t
calc
RC ou p value < .
Os testes unilaterias efectuam-se de forma semelhante.
p. 74/83
RLM - Inferncia
Por exemplo,
Teste para um
j
, j = 0, . . . , p :
1. Hipteses: H
0
:
j
=
0
j
vs. H
1
:
j
=
0
j
.
2. Estatstica do teste:
T

H
0
=

j

0
j
_
var(

j
)
t
(np1)
.
3. Regio crtica: Teste bilateral,
RC = (, t
np1;/2
) (t
np1;/2
, +).
4. Deciso: No aceitar H
0
a 100% se
t
calc
RC ou p value < .
p. 75/83
RLM - ANOVA
Tabela ANOVA (Anlise de Varincia): a mesma relao entre as
Somas de Quadrados (SQ) ainda se verica (cf. Ac. 46) e, a
denio e interpretao do coeciente de determinao tambm
se mantm (cf. Ac. 47).
Teste ao ajustamento do modelo (modelo signicativo):
1. Hipteses: H
0
: R
2
= 0 vs. H
1
: R
2
> 0, que equivalente a
H
0
: = 0 vs. H
1
: = 0.
2. Estatstica do teste:
SQM/p
SQRE/(np1)
|H
0
F
p,np1
.
3. Regio crtica: Teste unilateral, RC = (f
p,np1;
, +).
4. Deciso: No aceitar H
0
a 100% se
f
calc
RC ou p value = P(F
(p,np1)
> f
calc
) < .
p. 76/83
RLS - ANOVA
Tabela ANOVA
Fonte g.l. SQ QM f
calc
(v.a. F
p,np1
)
Modelo p

n
i=1
( y
i
y)
2
P
n
i=1
( y
i
y)
2
p
QMModelo /
Resduos n p 1

n
i=1
( y
i
y
i
)
2
P
n
i=1
( y
i
y
i
)
2
np1
QMResduos
Total n 1

n
i=1
(y
i
y)
2

Note-se que a hiptese H
0
: R
2
= 0 bastante restritiva,
correspondendo a um ajustamento pssimo do modelo e, a sua
rejeio no equivalente a poder garantir que o modelo se ajusta
bem.
p. 77/83