Tema 6:

Multicolinealidad
Mximo Camacho

Mximo Camacho

Econometra I - ADE+D 11/12 - Tema 6

Multicolinealidad

Bloque I: El modelo lineal clsico

r

Tema 1: Introduccin a la econometra

Tema 2: El modelo de regresin lineal

Tema 3: El mtodo MCO

Tema 4: Propiedades de la estimacin MCO

Tema 5: Inferencia y prediccin

Bloque II: Extensiones al modelo lineal clsico

r

Tema 6: Multicolinealidad

Tema 7: Variables ficticias

Tema 8: Heteroscedasticidad

Tema 9: Endogeneidad

Mximo Camacho

Econometra I - ADE+D 11/12 - Tema 6

Descripcin de la clase

Introduccin

Multicolinealidad exacta

Consecuencias sobre la estimacin

Cmo detectarla?

Cmo corregirla?

Multicolinealidad aproximada

Consecuencias sobre la estimacin

Cmo detectarla?

Cmo corregirla?

Conclusiones

Mximo Camacho

Econometra I - ADE+D 11/12 - Tema 6

1. Introduccin
1.1. Ejemplo de clase

En California los responsables de educacin quieren estudiar notas en 420

colegios. Datos en 1998
i

Notas Yi

Ratio estudiantes por profesor X1i (REP)

Porcentaje de alumnos que no hablan bien el idioma X2i (PNI)

Porcentaje de alumnos que pueden pedir ayuda para comedor X3i (PAC)

Porcentaje de alumnos que pueden pedir ayuda por renta baja X4i (PAR)

Cmo estimamos esta relacin?

Modelo lineal clsico

Mximo Camacho

Econometra I - ADE+D 11/12 - Tema 6

nuevas

1. Introduccin
1.2. Supuestos del modelo lineal clsico

Suponemos relacin lineal entre las variables

Yi = 0 + 1 X 1i + ... + k X ki + i

Y = X +

Yi = i ' + i

Supuestos
E ( i i ) = E ( i ) = 0

Exogeneidad dbil

Muestras aleatorias E ( i j ) = E ( i ) = 0

Momentos cuartos finitos

No multicolinealidad exacta

Normalidad

Homoscedasticidad

Mximo Camacho

( )

E ( i j ) = E ( i )E ( j ) = 0

( )

( )

0 < E i4 < ,0 < E X 14i < ,...,0 < E X ki4 <

X 1 ,..., X n no son linealmente dependientes

X~N
var( i X ) = 2i

Econometra I - ADE+D 11/12 - Tema 6

2. Multicolinealidad exacta
2.1. Concepto

Definicin
i

Una o varias variables explicativas son una combinacin lineal de otra(s)

Ejemplos econmicos
i

.
Renta regional
i = 0 + 1intersi + i

. i = 0 + 1ingresosi + 2gastos i + 3beneficioi + i

Cotizacin

La matriz de explicativas X tiene columnas linealmente dependientes

Y1 1

Y2 1
=

Y 1
n

Mximo Camacho

X 11
X 12

X 1n

X k 1 0 1

X k 2 1 2
+


X kn k n

Econometra I - ADE+D 11/12 - Tema 6

2. Multicolinealidad exacta
2.2. Implicacin para el modelo

(
)

=
X
'
X
X 'Y
No podemos encontrar de forma nica MCO

rango ( X ) < K

X'X = 0

(X X)-1

Teora: Hemos excluido este caso por supuesto !

Pero podra aparecer en aplicaciones prcticas

Cmo detectarlo?
i

Los programas se quejarn de que no podemos invertir matriz (XX)

En Eviews aparece el mensaje near singular matrix

Cmo corregirlo?
i

Se deben a errores del investigador al introducir las explicativas

Al aparecer mensaje de error, corregiremos las explicativas

Mximo Camacho

Econometra I - ADE+D 11/12 - Tema 6

2. Multicolinealidad exacta
2.2. Implicacin para el modelo
Correccin
i

En el ejemplo de la renta regional, supongamos intersi = 4

Renta regionali = 0 + 1intersi + i
Renta regionali = 0 + i

Renta regionali = 0 + 1 4 + i

0 = 0 + 1 4

En el ejemplo de la cotizacin sabemos beneficiosi = ingresosi - gastosi

Cotizacin i = 0 + 1ingresosi + 2gastos i + 3beneficioi + i

0 = 0
Cotizacin i = 0 + 1ingresosi + 2gastos i + i

1 = 1 + 3

2 = 2 3
Mximo Camacho

Econometra I - ADE+D 11/12 - Tema 6

3. Multicolinealidad aproximada
3.1. Concepto

Definicin
i

Una o varias variables explicativas son una combinacin lineal aproximada de otra(s)

Supongamos que X1 es buena explicativa pero comb. lineal aproximada de las dems
X 1i = 0 + 2 X 2i + ... + k X ki + u1i

Ejemplos econmicos
Porcentaje de alumnos que pueden pedir ayuda por renta baja
Porcentaje de alumnos que pueden pedir ayuda para comedor
Ayudas que recibe una colegio para libros
Ayudas que recibe el colegio para instalaciones
Gasto pblico en carreteras
Gasto pblico en mejorar otras comunicaciones

Mximo Camacho

Econometra I - ADE+D 11/12 - Tema 6

3. Multicolinealidad aproximada
3.2. Implicacin para el modelo

(
)

=
X
'
X
X 'Y
Podemos encontrar de forma nica MCO

rango ( X ) = K

X'X 0

(X X)-1

Nota: Hemos excluido la multicolinealidad exacta por el supuesto !

Estimadores cumplen buenas propiedades y contrastes e intervalos como siempre

Qu problemas genera en la estimacin?

i

Para entenderlo, supongamos que hacemos la regresin

X 1i = 0 + 2 X 2i + ... + k X ki + u1i

Y definimos

SCR1
u1i
R = 1
= 1
2
STC1
(
)
X

X
1i 1
2
1

Mximo Camacho

Econometra I - ADE+D 11/12 - Tema 6

10

3. Multicolinealidad aproximada
3.2. Implicacin para el modelo

Qu problemas genera en la estimacin?

i

Podemos demostrar (ejercicios de clase y Wooldridge, pg. 102) que

1 = 1 +

u
u
1i

2
1i

var 1 X =

u12i

(1 R ) (X
2
1

1i

X1 )

Cuanta mayor relacin lineal entre X1 y el resto mayor varianza de 1

Estimacin imprecisa e intervalos de confianza muy grandes 1 tn K , / 2 var 1

Ejemplos:

( )

2
Si X1 no se relacionara ( R21 = 0 ) var 1 X =

Si R21 = 0.5 esa varianza se duplica

Si R21 = 0.9 esa varianza se multiplica por 10

Mximo Camacho

(X

Econometra I - ADE+D 11/12 - Tema 6

1i

X1 )

11

3. Multicolinealidad aproximada
3.2. Implicacin para el modelo

Ejemplo simulado (Novales, pg 346)

Se generan 50 tripletas de vectores (112 x 1)

, X 1 , X 2 (j=1, 2, 50)

Bajo 3 supuestos de R21 (0, 0.9 y 0.99). Siempre se cumplen los supuestos clsicos

Se generan Y j conociendo la recta poblacional Yi j = 8 + 5 X 1ji 3 X 2ji + i j

Se estima MCO 50 veces y los resultados medios

Medias

R21 = 0.00

R21 = 0.90

R21 = 0.99

( 8.0 , 5.1, -3.0 )

( 7.9, 5.1,-3.2 )

( 7.9, 5.2, -3.3 )

var 1

0.23

1.29

11.22

0.23

1.06

11.03

( )
var( )
Mximo Camacho

Econometra I - ADE+D 11/12 - Tema 6

casi esperanzas
(insesgados)
aumentan mucho

12

3. Multicolinealidad aproximada
3.2. Implicacin para el modelo

Puede indicar artificialmente variables no son significativas individualmente

i

Supongamos que hacemos el contraste

Yi = 0 + 1 X 1i + ... + k X ki + i

H 0 : i = 0

H a : i 0

El estadstico tiene varianza muy grande y tiende a caer en zona de no RH0

r

Con independencia de que X1 se relacione con Y

Aunque el R2c sea alto y no caiga al quitar X1

t* =

( )

var i

~ tn K

- tn-K,/2
Mximo Camacho

Econometra I - ADE+D 11/12 - Tema 6

tn-K,/2
13

3. Multicolinealidad aproximada
3.3. Mtodos de deteccin de multicolinealidad
Mtodo 1: grficos de las explicativas

En nuestro ejemplo

Esperamos que PAR y PAC se relacionen (negativamente) con la dependiente

Esperamos que PAR y PAC se relacionen linealmente (y positivamente)

Crtica: los grficos siempre nos pueden engaar

Notasi = 0 + 1REPi + 2 PNI i + 3 PACi + 4 PARi + i

720

720

700

700

680

680

80
70

660

50

PAR

NOTAS

NOTAS

60

660

640

640

620

620

40
30
20
10
0

600

600
0

10

20

30

40
PAR

Mximo Camacho

50

60

70

80

20

40

60

80

100

PAC

Econometra I - ADE+D 11/12 - Tema 6

20

40

60

80

100

PAC

14

3. Multicolinealidad aproximada
3.3. Mtodos de deteccin de multicolinealidad

Mtodo 2: regresar explicativas entre ellas y ver R2j

i

Sabemos que

) (1 R ) (X

var j X =

2
j

ji

X j)

El problema viene dado por R2j altos que indican alta relacin lineal

Veamos como son los R2j

REPi = 0 + 1PNI i + 2 PACi + 3 PAR3i + i R12 = 0.04
PNI i = 0 + 1REPi + 2 PACi + 3 PAR3i + i R22 = 0.49
PARi = 0 + 1REPi + 2 PNI i + 3 PAC3i + i R32 = 0.60
PACi = 0 + 1REPi + 2 PNI i + 3 PAR3i + i R42 = 0.74

Parece que el problema puede estar con PAR o con PAC

Mximo Camacho

Econometra I - ADE+D 11/12 - Tema 6

15

3. Multicolinealidad aproximada
3.3. Mtodos de deteccin de multicolinealidad
i

Crtica cmo de grande debe ser R2j para preocuparnos por multicolinealidad?
r

En la literatura ha habido algunos intentos de acotarlo

Ej: Klien (1962). Slo nos preocupa si R2j > R2

Notasi = 0 + 1REPi + 2 PNI i + 3 PACi + 4 PARi + i R 2 = 0.77

PARi = 0 + 1REPi + 2 PNI i + 3 PAC3i + i R32 = 0.60

PACi = 0 + 1REPi + 2 PNI i + 3 PAR3i + i R42 = 0.74
r

Debemos preocuparnos por multicolinealidad?

No hay ninguna razn objetiva para usar esta cota

Mximo Camacho

Econometra I - ADE+D 11/12 - Tema 6

16

3. Multicolinealidad aproximada
3.3. Mtodos de deteccin de multicolinealidad

Mtodo 3: regresar explicativas entre ellas y contrastes significatividad conjunta

i

Sabemos que

REPi = 0 + 1PNI i + 2 PACi + 3 PARi + i

CSC: H 0 : 1 = 0, 2 = 0, 3 = 0

*
j

F =

R 2j 3

(1 R ) (n 4)
2
j

REPi = 0 + 1PNI i + 2 PACi + 3 PAR3i + i F1* = 5.77

PNI i = 0 + 1REPi + 2 PACi + 3 PAR3i + i F2* = 133
RH 0

PARi = 0 + 1REPi + 2 PNI i + 3 PAC3i + i F3* = 208

PACi = 0 + 1REPi + 2 PNI i + 3 PAR3i + i F4* = 394
i

3.60

Crtica. Con n grande RH0 con demasiada frecuencia: recuerda que R21 = 0.04 !!!

Mximo Camacho

Econometra I - ADE+D 11/12 - Tema 6

17

3. Multicolinealidad aproximada
3.3. Mtodos de deteccin de multicolinealidad

Mtodo 4: contradiccin contraste significatividad global e individuales

i

Supongamos que en el modelo

Yi = 0 + 1 X 1i + 2 X 2i + 3 X 3i + 4 X 4i + i

Las explicativas X2i , X3i y X4i se relacionan casi linealmente

Si las variables se relacionan con la dependiente

r

El contraste de significatividad global, menos afectado por la multicolinealidad,

puede indicar significatividad (incluso al 1%)

r
i

Y el R2 puede ser alto indicando un buen ajuste

Sus contrastes de significatividad individuales

r

Pueden indicar no significatividad

Slo una variable (X1i ) significativa

Mximo Camacho

Econometra I - ADE+D 11/12 - Tema 6

18

3. Multicolinealidad aproximada
3.3. Mtodos de deteccin de multicolinealidad
i

Crtica: casos tan claros no los tendremos en la realidad

Notasi = 700.39 1.01 REPi 0.13 PNI i 0.52 PACi 0.04 PARi R = 0.77
2

(0.23)

( 4.69)

ti* =

( 0.03)

t1* = 4.23
*
i
t 2 = 3.81
*
var i t3 = 16.42
t * = 0.78
4

( )

( 0.03)

F =

( 0.06)

R2 4

(1 R ) (n 5) = 357
2

t3

t1

t4

t2

-1.96
Mximo Camacho

1.96
Econometra I - ADE+D 11/12 - Tema 6

2.37

19

3. Multicolinealidad aproximada
3.3. Mtodos de deteccin de multicolinealidad
r

Globalmente significativas

PAR es la nica no significativa

Se debe a multicolinealidad o a que no es una buena explicativa?

Si se debe a multicolinealidad: vamos a ver soluciones

Si no se relaciona con la dependiente: deberamos quitarla del modelo

Pero cmo lo sabremos?

Lo mejor es acudir al sentido comn

Cules son las soluciones a la multicolinealidad?

Mximo Camacho

Econometra I - ADE+D 11/12 - Tema 6

20

3. Multicolinealidad aproximada
3.4. Soluciones a la multicolinealidad

Solucin 1: aadir informacin extra-muestral

i

Ampliar la muestra: usando otros colegios de California

r

Crtica: debemos usar toda la informacin disponible en la primera estimacin

Usar la estimacin de otra muestra

r

Supongamos que usando datos de Texas hemos estimado

Notasi = 0.20 PARi

r

Para los datos de California estimamos

Notasi = 0 + 1REPi + 2 PNI i + 3 PACi 0.20 PARi + i

r

Mximo Camacho

Crtica: por qu

4Texas = 4California

? Restricciones falsas sesgan la estimacin

Econometra I - ADE+D 11/12 - Tema 6

21

3. Multicolinealidad aproximada
3.4. Soluciones a la multicolinealidad

Solucin 2: Usar estimadores alternativos a MCO

i

Estimador de Cresta
r

Buscamos un c y un estimador de menor varianza

C = ( X ' X + cI )1 X ' Y
r
i

1
1
2
var c X = ( X ' X + cI ) X ' X ( X ' X + cI )

crticas: el estimador propuesto es sesgado y cmo elegir c

Estimador de componentes principales

r

Buscamos combinacin lineal de las columnas de X: Z = XB

B se busaca de forma que las Zi sean ortogonales (elimina multicolinealidad)

Regresamos usando Z

crticas:

Mximo Camacho

Y = Z +

difciles de interpretar

da igual si objetivo es predecir

sesgados
Econometra I - ADE+D 11/12 - Tema 6

22

3. Multicolinealidad aproximada
3.4. Soluciones a la multicolinealidad

Solucin 3: Eliminar la variable no significativa (PARi)

i

(Ver tema 5: consecuencias de imponer restricciones ciertas y falsas)

Supongamos que eliminamos la variable: imponemos 4 = 0

r

Si no se relaciona con las notas Imponemos una restriccin cierta

(No sesgo y reducimos la varianza)

Si se relaciona con las notas Imponemos una restriccin falsa

(Introducimos sesgo y reducimos la varianza)

Cundo merece la pena asumir el riesgo de eliminarla?

r

Mximo Camacho

Analizaremos el error cuadrtico medio

Econometra I - ADE+D 11/12 - Tema 6

23

3. Multicolinealidad aproximada
3.4. Soluciones a la multicolinealidad
r

Supongamos un modelo ms sencillo

Yi = 1 X 1i + 2 X 2i + i

Pensamos que X2 presenta problemas de multicolinealidad con X3 : si = 0

2
~

Yi = 1 X 1i + i
r

ECM? (Ejercicios de clase y Novales, pg 361)

~
2
ECM 1 = var 1 + sesgo

( )

( )

~
ECM (1 )
= 1 + R22 t 2 1
ECM (1 )

t =

var(i )

Slo merece la pena si | t |<1 algunos autores piden | t* |<<1

crticas: qCunto podemos considerar t* <<1?

qQueremos estimadores sesgados?

Mximo Camacho

Econometra I - ADE+D 11/12 - Tema 6

24

3. Multicolinealidad aproximada
3.4. Soluciones a la multicolinealidad
r

En nuestro ejemplo

Notasi = 700.39 1.01 REPi 0.13 PNI i 0.52 PACi 0.04 PARi
( 4.69 )

(0.23)

( 0.03)

( 0.03)

( 0.06 )

t4 =

( )

var 4

= 0.78

Qu hacemos?
q

Mi consejo es acudir al sentido comn (teora econmica)

Parece que tanto PAC como PAR contienen la misma informacin sobre los
colegios: nos dicen cules tienen ms alumnos pobres

Podemos eliminar PAR porque PAC ya contiene la informacin necesaria

para estimar el modelo de notas
Notasi = 700.15 0.99 REPi 0.12 PNI i 0.55 PACi
( 4.69 )

Mximo Camacho

(0.24 )

( 0.03)

Econometra I - ADE+D 11/12 - Tema 6

( 0.02 )

25

4. Conclusin

X4 puede tener distintas relaciones con las dems ( X-4 ) y la dependiente

X4 no explicativa y multico, : X4 la eliminamos con contrastes
X4 explicativa y no multico, X4 explicativa: X4 ser explicativa final
X4 explicativa y multico no severa: X4 ser explicativa tras los contrastes
X4 explicativa y multico severa: acudir al sentido comn ms contrastes
X-4

X4

X-4

X4

caso 1

caso 3

X-4

X-4

X4

X4

caso 2

Mximo Camacho

caso 4

Econometra I - ADE+D 11/12 - Tema 6

26

5. Qu hemos aprendido?

Multicolinealidad
i

Relacin lineal entre las variables explicativas del modelo

Exacta
i

Teora: nunca hay porque suponemos !

Prctica: fcil de detectar y resolver

Aproximada
i

Da lugar a estimaciones imprecisos, varianzas e intervalos de confianza grandes

Difcil de detectar y de corregir

Qu hacer?
i

Asegurarnos de que tenemos multicolinealidad: todas pruebas y teora econmica

No significativa y la informacin sobre Y ya est en las que quedan: eliminarla

No significativa pero la informacin sobre Y ya est en las que quedan: la dejamos

Mximo Camacho

Econometra I - ADE+D 11/12 - Tema 6

27