MA34B - Formulario de Modelos Lineales

9 de julio 2006

Profesor ctedra: Rodrigo Abt B.

Auxiliar: Julio Deride
1) Formulacin general del Modelo Lineal:

Y = X +

En que Y es un vector de n 1, X es una matriz de n k , es un vector de

k 1, y es un vector de n 1. De manera desagregada:

y1

y2

..
.

x11 x12 x1k

1

x
x

x
21
22
2k 2

= ..

yn
NOTA:

..
.

..
.

..
.

xn1 xn2 xnk

..
.

..
.

Cualquier la puede ser representada como:

yi = xti + i

En que xi es el vector correspondiente a la la i-sima de la matriz X .

2) Estimador MCO:

= (X t X)1 X t Y

El estimador MCO para los coecientes

es aquel que minimiza la
P 2
suma de los cuadrados de los errores: i .
1

O de otra forma, corresponde al resultado de proyectar el vector Y

sobre el subespacio generado por las columnas de X .
Para que exista una nica solucin al problema anterior, la matriz X
debe ser de rango completo, esto es, que las columnas de X sean l.i.
La solucin MCO es una solucin de tipo geomtrica-algebraica
es una combinacin lineal de los yi .

Adems se tienen los siguientes resultados:

Y = X
Y = X +
Por ende: = Y Y

Cuando existe una constante en el modelo, una medida de la alidad"del

ajuste es usar el coeciente de determinacin :
SSR
2i
R =1
=1 P
SST
(yi y)2
P

Adems si el modelo tiene constante:

SST = SSE + SSR

En que SST =

(yi y)2 , SSE =

(
yi y)2 y SSR =

P 2
.
i

Si suponemos que E(i ) = 0, V ar(i ) = 2 y Cov(i , j ) = 0i 6= j ,

se tendr adems que el estimador MCO es insesgado, con varianza
V ar() = 2 (X t X)1 , y es el mejor estimador entre todos los estimadores insesgados LINEALES en Y (Teorema de Gauss-Markov). Adems
se puede constuir un estimador insesgado para 2 :
e 2 =

t
nk

3) Inferencia en el Modelo Lineal:

Suponiendo adems que los errores son normales: Nm (0, 2 In ), se tiene la base para hacer test de hiptesis. En este caso se tiene que:
2

Nm (, 2 (X t X)1 ), en cuyo caso se tiene que: i N (i , 2 (X t X)1

ii ), donde
1
2
t
(X X)ii corresponde al elemento i-simo de la diagonal de la matriz.

Numericamente, el estimador MCO es igual al estimador mximo

verosmil de bajo el supuesto de normalidad de los errores. Adems el estimador es eciente, esto es, alcanza la cota de Cramer-Rao, y es el EIVUM.
NOTA:

a) Tests sobre un coeciente del modelo

- Para hacer tests estadsticos sobre un coeciente, se utiliza el estadstico t:
i i0
t(/2)nk
ti = q
e (X t X)1
ii

Bajo las hiptesis:

H0 : i = i0
H1 : i 6= i0

Se rechaza H0 si |ti | > t(/2)nk . Para testear la signicacin individual, se

toma i0 = 0, y se rechaza H0 con el criterio anterior, o si P-Valor < /2.
Este mismo estadstico se utiliza para hacer intervalos de conanza
sobre el coeciente en cuestin.
- Para hacer tests estadsticos sobre combinaciones lineales de coecientes
at , se tiene que:
NOTA:

= at
E(at )
= at 2 (X t X)1 a
V ar(at )

Por ende, usando el T.C.L.:

at at
N (0, 1)
s

2nk
nk

at (X t X)1 a
at at
q
=
t(/2)nk
(n k)e 2
e at (X t X)1 a

/(n k)
2

Y se resuelve de manera anloga a los test de un coeciente.

a) Tests sobre un conjunto de coecientes

- Si existe constante en el modelo:
SSE
k1
SSR
nk

F =

Fk1,nk

Y se rechaza H0 : todos los salvo la constante son 0 si F > Fk1,nk a un

nivel de signicacin .
NOTA:

El estadstico F se puede construir a partir del R2 como:

F =

R2 /(k 1)
(1 R2 )/(n k)

4) Prediccin:

Una prediccin corresponde a un valor que toma y usando el modelo bajo

una nueva observacin x0 :
yn+1 = xt0 + n+1

Un predictor natural es yn+1 = xt0 , donde la esperanza del error de prediccin yn+1 yn+1 es 0, y su varianza es 2 (1 + xt0 (X t X)1 x0 ).
Bajo la hiptesis de normalidad de los errores:
yn+1 yn+1
q

e 1 + xt0 (X t X)1 x0

t(/2)nk

6) Comparacin de modelos:

Sean:
(1)E(Y ) = 0 + 1 x1 + 2 x2 + . . . + k1 xk1
(2)E(Y ) = 0 + 1 x1 + 2 x2 + . . . + k2 xk2
SSR2 SSR1/(k1 k2)
Fk1k2,nk1
SSR1/(n k1)

Donde SSR1 y SSR2 corresponden a la suma de los cuadrados de los residuos

del modelo original y del modelo con variables omitidas respectivamente, y
donde k1 y k2 es la cantidad de coecientes de cada modelo
6) Comentarios generales:

El modelo lineal es un modelo ASOCIATIVO, por lo que es indispensable conocer el fenmeno estudiado si se quiere hacer una interpretacin causal.
La linealidad de un modelo viene dada por los COEFICIENTES, y
no por los regresores.
Siempre hay que gracar los datos para examinar su comportamiento,
detectando as puntos extremos, linealidad y relacin entre las variables
Un modelo lineal hace un buen ajuste de los datos si la parte explicada
por X es "mayor"que la explicada por los residuos. Es por esto mismo, que la calidad de un modelo se parte generalmente estudiando el
tamao y comportamiento de los residuos.
Muchos de los anlisis de sensibilidad, y diagnsticos en los modelos de
regresin parten del anlisis de la matriz (X t X), que es una medida de
las interacciones entre las variables.
Es til examinar la correlacin entre todas las variables, regresores y
variable dependiente, para detectar problemas de multicolinealidad, y
la relacin con la variable dependiente (ojal posteriormente al anlisis
grco).
Los coecientes (magnitud y signo) del modelo se interpretan ceteris
paribus, es decir, manteniendo lo dems constante.
En un modelo estimado por MCO, los residuos son siempre ortogonales a X t (Por construccin)
En un modelo con constante, la suma de los residuos es siempre 0.
Gracar los residuos ayuda a vericar los supuestos del modelo. Si
los supuestos son correctos, no debera encontrarse un patrn en los
residuos versus las observaciones.
5

SUERTE. EL PROFESOR