Sie sind auf Seite 1von 70

Ingeniera Comercial

Econometra
Captulos II
Profesor: Facundo Luna

Outline
Modelo Clsico de Regresin Lineal de Dos Variables.
Mnimos Cuadrados Ordinarios.
Supuestos y estimacin.
Bondad del Ajuste y Coeficiente de Determinacin.
Propiedades.
Forma funcional y cambio de escala.

Outline
Modelo Clsico de Regresin Lineal de Dos Variables.
Mnimos Cuadrados Ordinarios.
Supuestos y estimacin.
Bondad del Ajuste y Coeficiente de Determinacin.
Propiedades.
Forma funcional y cambio de escala.

Para qu usar modelos de regresin

Examinar la relacin entre una variable dependiente y un


conjunto de variables independientes

Ej. Cmo se relaciona la cantidad demandada de un bien con su


precio?

Predecir el comportamiento esperado de una cierta


variable en funcin de variables independientes conocidas
Ej. Cul es el nivel de consumo dado un cierto nivel de ingreso?

Evaluar hiptesis:
Ej: Cmo es la propensin marginal a consumir de los hogares
pobres?

Ejemplo de un modelo de regresin

Se cree que existe una relacin lineal entre el punto de


ebullicin del agua y la presin atmosfrica a la que esta se
pone a hervir
Se evala esta hiptesis tomando 6 mediciones en los Andes a distintas
alturas
Se registra la presin atmosfrica (pulgadas de mercurio) y el punto de
ebullicin (temperatura en F)
Se obtienen las siguientes medidas
X
Y

20.79
194.5

22.423.89 24.02 25.14 29.04


197.9 200.9 201.4 203.6 210.7

Ejemplo de un modelo de regresin

Se tiene en mente el siguiente modelo

Queremos estimar los parmetros y .


Necesitamos encontrar una manera o definir un mtodo
para hacerlo

Veamos grficamente cmo se visualizan estos


puntos

Ejemplo de un modelo de regresin

Ejemplo de un modelo de regresin

Luce como una recta, pero no es posible conectar


todos los puntos con una misma lnea
El ajuste no es perfecto
Hay ms de una manera de trazar una lnea que pase
cerca de todos estos puntos
Hay que decidir cmo elegir el lugar por donde va a pasar
Vamos a usar un mtodo llamado MINIMOS
CUADRADOS ORDINARIOS, pero bien yo podra decidir
unir el primer punto y el ltimo

195

200

205

210

Ejemplo de un modelo de regresin

20

22

24
Y
linea

26
Fitted values

28

30

Algo de terminologa

En el modelo simple de regresin, tenemos


Tpicamente nos referimos a y como
Variable dependiente, o
Variable explicada, o
Regresando.

Tpicamente nos referimos a x como

Variable independiente, o
Variable explicativa, o
Regresor, o
Variable de control.

Outline
Modelo Clsico de Regresin Lineal de Dos Variables.
Mnimos Cuadrados Ordinarios.
Supuestos y estimacin.
Bondad del Ajuste y Coeficiente de Determinacin.
Propiedades.
Forma funcional y cambio de escala.

Supuestos

RLS.1- Lineal en los Parmetros

RLS.2- Muestreo Aleatorio

RLS.3- Variacin Muestral en la Variable


Explicativa

RLS.4- Media Condicional E(u|x) =0


Cov(u,x)=0
E(xu)=0

Supuestos

El
valor promedio de u, el trmino de error, en la poblacin
es cero. Esto es,
E(u) = 0
Este no es un supuesto muy restrictivo, por que uno siempre puede
pensar que cualquier desviacin de E(u) = 0, puede ser absorbida
por .

Pero

necesitamos hacer un supuesto clave acerca de cmo u y


x se relacionan.
No vamos a querer que conocer x nos de ningn tipo de informacin
acerca de u. Querremos que u y x no estn correlacionadas. Esto es,
E(u|x) = E(u) = 0, lo que implica que

Supuestos

Este ltimo supuesto es crucial.


Para poder interpretar al parmetro de una manera causal
(manteniendo todos los no-observables constantes, un ao
adicional de educacin aumenta los ingresos en $XXX)
uno tiene que asegurarse de que las X sean variables fijas
Por qu? Volvamos al ejemplo
Supongamos que en los no observables est habilidad innata

Supuestos

Causalidad

Un individuo ms hbil tiene, independientemente de su nivel


educativo, un ingreso ms alto que el promedio (un u positivo)
Pero, podra tambin suceder que un individuo ms hbil tambin
encuentra menos costoso adquirir educacin y por lo tanto
tambin un individuo ms hbil adquiere ms educacin
Educacin y habilidad (parte del trmino de error) estn
relacionadas
Cuando uno no especifica el modelo adecuadamente, encuentra
un efecto educacin sesgado hacia arriba Grficamente

15000

20000

Habilidad y educacin

Relacin verdadera

5000

10000

Lnea estimada

10
educ
linea_verdadera
Fitted values

15
salario_h

20

Supuestos

Causalidad
El punto es que la variable educacin nos da informacin
del valor del residuo
A mayor educacin, mayor habilidad y por lo tanto, ms
probable encontrar valores de u altos
Necesitamos que E(u/x)=0 (que X NO de info acerca de los valores
que puede tomar u)
Si E(u/x)=0, entonces
se llama parte sistemtica de Y, o parte explicada
u es la parte no sistemtica o no explicada

Mnimos Cuadrados Ordinarios

Idea bsica es estimar los parmetros a partir de una


muestra de datos.

Sea {(xi,yi): i=1, ,n} una muestra aleatoria, de tamao


N.

Para cada observacin de esta muestra, se cumplir que

Vemoslo grficamente.

Lnea de regresin poblacional; puntos


muestrales y errores asociados.
y
y4

u4

y3
y2

y1

u2 { .

.{

.} u3

} u1

x1

x2

x3

x4

Derivando los estimadores MCO

Para
derivar los estimadores MCO, necesitamos el

supuesto de que E(u|x) = E(u) = 0. Noten que esto tambin


implica que: Cov(x,u) = E(xu) = 0
Por qu? Les recuerdo que Cov(x,u) = E(xu) E(x)E(u)
Si E(u|x) = 0, entonces, Cov(x,u)=0
Si E(u) = 0, Cov(x,u) = E(xu), y entonces, E(xu) = 0.

Vamos a elegir las expresiones para y , tal que estas dos


condiciones se cumplan en la muestra.
E(y x) = 0 => = 0
E[x(E(y x)] = 0=>

=0

Derivando los estimadores MCO

Tenemos que resolver este sistema de dos ecuaciones.

Obtendremos una expresin para y otra para en


funcin de los datos.

Estas sern nuestras estimaciones.

Obtendremos a partir de los datos estimaciones


puntuales para los parmetros del modelo.

Soluciones MCO

Las soluciones estarn dadas por las siguientes


expresiones.

siendo necesario que >0

Pendiente de la recta

La pendiente estimada est dada por la covarianza entre


x e y divida por la varianza muestral de x.

Si x e y estn correlacionadas de manera positiva, la


pendiente ser positiva.

Si x e y estn negativamente correlacionadas, la


pendiente ser negativa.

Necesitamos que x vare en la muestra.

De dnde viene el trmino MCO?


Lo que acabamos de hacer es equivalente a dibujar la
recta tal que estamos minimizando los residuos al
cuadrado.
Esto es, las mismas expresiones se obtienen si
procedemos a minimizar la distancia entre Y y la recta
estimada.
El residuo, , es la estimacin del verdadero valor, u. Y
est dado por la diferencia entre el valor de y para un
cierto individuo y la recta estimada.

De dnde viene el trmino MCO?

Llamamos valores ajustados o predicciones a los


valores de la variable explicada que obtenemos
siguiendo el modelo de regresin simple con los
valores de los coeficientes estimados:

El residuo es entonces la diferencia entre el valor


observado y el valor ajustado de la variable:

Problema de Optimizacin

idea de MCO es usar tcnica de


La
minimizacin usual para obtener el menor
valor de errores al cuadrado

Min =
Condiciones de Primer orden:

Como pueden observar son las mismas expresiones que las


derivadas en los supuestos de MCO

Lnea de regresin poblacional; puntos


muestrales y errores asociados
y
y4

4 {

y 0 1 x
y3
y2

y1

2 { .

.}

3
Valor ajustad o
Valor predicho

1
}
.
x1

x2

x3

x4

Propiedades algebraicas de MCO

La
suma de los residuos estimados es cero.

Y entonces tambin el promedio de los residuos estimados tambin


es cero.

Prueba: primera condicin de primer orden de MCO

La covarianza muestral entre los residuos estimados y x es


cero.

Prueba: segunda condicin de primer orden de MCO

La recta estimada siempre pasa por el promedio de los datos.

Prueba: definicin de

Porqu usar MCO y no otro


mtodo?
Es fcil obtener la frmula de los
estimadores.
Sin tcnicas de optimizacin numrica
Teora estadstica es sencilla: insesgadez,
consistencia y eficiente.
Solucin coincide con las propiedades
deducidas de la esperanza condicional.

Outline
Modelo Clsico de Regresin Lineal de Dos Variables.
Mnimos Cuadrados Ordinarios.
Supuestos y estimacin.
Bondad del Ajuste y Coeficiente de Determinacin.
Propiedades.
Forma funcional y cambio de escala.

Descomposicin de la varianza

Pensemos
en cada observacin como la suma de una
parte explicada y una parte no explicada .
Definamos la expresin
=Suma total de cuadrados
Sintticamente se la llama, STC.
Se puede demostrar que

STC=SCE + SCR

Bondad de Ajuste

Esta expresin nos permite entender qu tan bien


nuestro modelo nos permite ajustar nuestros datos.

Podemos computar la fraccin de la SCT que es


explicada por el modelo.

R2 = SCE/SCT = 1 SCR/SCT
Es la proporcin de la variacin muestral de y que es
explicada por x.

Importante: R2 est entre 0 y 1

Cmo hacer regresiones?


Stata: si tipea el comando reg y x
Uno obtiene los coeficientes estimados y otros
estadsticos cuya funcin ya iremos viendo

Veamos un Ejemplo

Ejemplo

Cmo interpretamos los coeficientes estimados?

Pendiente: un aumento en una hora de trabajo a la semana, reduce


la cantidad de horas de sueo a la semana en 0.15 hrs.
Una persona que no trabaja, duerme a la semana 60 hrs.

En nuestra muestra hay individuos que no trabajan, y si


los sacamos?

Ejemplo

Coeficiente de determinacin? Obtengo un 11%


aproximadamente, segn qu muestra use
Las horas de trabajo explican un 11% de la varianza total en las
horas de sueo.
Veamos hombres versus mujeres

Ejemplo

Ejemplo

Estructura de los captulos


Modelo Clsico de Regresin Lineal de Dos Variables.
Mnimos Cuadrados Ordinarios.
Supuestos y estimacin.
Bondad del Ajuste y Coeficiente de Determinacin.
Propiedades.
Forma funcional y cambio de escala.

Propiedades del estimador MCO


Insesgamiento

Asumamos

Modelo poblacional es lineal en los parmetros:

La muestra que tenemos es aleatoria, de tamao n: {(xi, yi): i=1,


2, , n}. Entonces, podemos escribir , el modelo muestral
como .
E(u|x) = 0 y entonces E(ui|xi) = 0
La variable x tiene varianza positiva.

Propiedades del estimador MCO


Insesgamiento

Insesgamiento: el valor esperado del estimador se corresponde con el verdadero


valor real del parmetro.

La insesgadez es una propiedad deseable, ya que nos asegura


que el estimador en promedio est centrado sobre el parmetro.

Propiedades del estimador MCO


Insesgamiento
Los estimadores MCO para y son insesgados.
Esta propiedad depende de los cuatro supuestos ya
mencionados.
Esta propiedad describe el estimador: en una muestra
dada, podramos estar cerca o lejos del verdadero
parmetro: en promedio estamos bien
Qu tan cerca o lejos puede estar una realizacin
especfica, depende de su varianza

Propiedades del estimador MCO


Varianza
Asumamos que la distribucin de nuestro estimador
est centrada en torno al verdadero parmetro.
Queremos pensar en qu tan dispersa est la
distribucin de este estimador.
Para facilitarnos el anlisis, asumamos por el momento
que Var(u|x) = 2 (Homosedasticidad).
Var(u|x) = E(u2|x)-[E(u|x)]2
E(u|x) = 0, y entonces 2 = E(u2|x) = E(u2) = Var(u)

Propiedades del estimador MCO


Varianza
2 es llamada tambin varianza no condicional, o
varianza del error.
, la raz cuadrada de la varianza del error se llama
desviacin estndar del error.
Decimos entonces que E(y|x)= + x y Var(y|x) = 2

Propiedades del estimador MCO


Varianza

Estas formulas no son validas en presencia de


heterocedasticidad
cae si:
Disminuye
Aumenta

Caso Homosedstico

y
f(y|x)

.
x1

x2

.E(y|x) = + x
0

Caso heteroscedastico

f(y|x)

.
x1

x2

x3

E(y|x) = 0 +
1 x

Estimacin de la varianza

No
conocemos la verdadera varianza del error 2; no
podemos obtenerla por que no conocemos los verdaderos
errores ui

Slo observamos los residuos estimados, i

Podemos usar estos residuos para estimar la varianza del


error.

Usaremos como estimador de la varianza del error, la


varianza del error estimado

Outline
Modelo Clsico de Regresin Lineal de Dos Variables.
Mnimos Cuadrados Ordinarios.
Supuestos y estimacin.
Bondad del Ajuste y Coeficiente de Determinacin.
Propiedades.
Forma funcional y cambio de escala.

Formas funcionales
logartmicas

Hasta ahora hemos visto modelos en


niveles

W= + Educ+u

Coeficiente mide el cambio en W ante un


cambio unitario en Educ.
Suena poco realista

Interpretacin modelo
simple

Datos CASEN 2011, hombres 25-60 aos

Interpretacin modelo
simple

Limitacin: por cada ao adicional de educacin


un hombre aumenta su salario en $63.544.
Parece un poco naive; uno esperara que no fuera
igual pasar de tener 10 a 11 aos de educacin,
que pasar de tener 17 a 18 (magister).
Cuando veamos el modelo con ms de una
variable, encontraremos maneras de flexibilizar
este supuesto.
En el contexto del modelo simple, uno puede jugar
con la forma funcional, en vez de usar salaros en $
$, usar logaritmos
Veamos cmo

Formas funcionales
logartmicas

Forma logartmica doble (log-log)


ln(W)= 0+1ln(Educ)+

Coeficiente se interpreta como una


elasticidad: qu variacin porcentual
experimenta la variable Y ante un cambio
porcentual en X
Veamos un ejemplo

Formas funcionales
logartmicas

Interpretacin: Cuando los aos de educacin aumentan en un 1%, el salario aumenta en un


0.78%. Si el coeficiente fuera 2.5: un aumento de un 1% en los aos de educacin aumenta el
salario en 2.5%

Formas funcionales
logartmicas

Forma semi-logartmica
ln(W)= 0+1 Educ+
Interpretacin aproximada coeficiente: variacin
porcentual en la variable Y ante un cambio en
una unidad en X.
Se conoce como semi-elasticidad.
Veamos esto con un ejemplo.

Formas funcionales
logartmicas

Interpretacin: Un ao adicional de educacin aumenta el salario mensual en 10,1%


Esto en realidad es una aproximacin (efecto exacto es 10,6%
La frmula para evaluar el cambio en el salario mensual cuando la educacin aumenta en un ao est
dada por

% y 100 exp( 1x) 1


^

Formas funcionales
logartmicas

Por qu usamos logaritmos?


Reducimos el rango de variacin de la variable
dependiente => menor influencia valores
extremos
Flexibilizacin de forma funcional
Ej es demasiado simplista pensar que un ao de
educacin aumenta el salario horario en 500 pesos,
pero tal vez resulta ms plausible postular que un ao
adicional de educacin aumenta el salario en un cierto
%

Formas cuadrticas

Ejemplo
ln W= 0+1Educ+2Educ2+

Lo importante es recordar que para encontrar el


efecto de Educ en W tengo que considerar
ambas pendientes.
En particular:

y 0 1 Educ 2 Educ 2
y 2 Educ Educ

Formas cuadrticas

Lo que en definitiva indica esta frmula es


que el efecto de Educ en W no es lineal.
Depende del valor de Educ.
Si Educ=0, es el efecto de pasar de educ=0 a
educ=1.
Para otros valores de Educ debemos tener en cuenta
el segundo trmino
Que no es constante, sino que depende de Educ

Formas cuadrticas

Estimemos el modelo de salarios con el


trmino cuadrtico

Datos CASEN 2011

12

Linear prediction
13
14

15

Formas cuadrticas

10
aos de escolaridad

15

20

61

10

12

14

16

Formas cuadrticas

10
aos de escolaridad
Linear prediction

15

20

lsal

62

Formas cbicas

Podramos incluso agregar un trmino al


cubo

Datos CASEN 2011

12

13

14

15

Formas cbicas

10
aos de escolaridad

Linear prediction
Yhat Modelo lineal

15

20

Yhat Modelo Cuadrado

Cambios de escala

Escalando datos. Opciones


1. En el modelo de salarios, quiero medir los salarios en
miles de pesos. Cambia la escala de la variable
dependiente.
2. En un modelo en el que tanto la variable dependiente
como la independiente estn medidas en $$, quiero
pasar a medirlas en miles de pesos.

Cambios de escala
1.

En el modelo de salarios, quiero medir los


salarios en miles de pesos. Cambia la escala
de la variable dependiente.
Modelo original: coeficiente muestra en cuntos
pesos aumenta el salario mensual cuando
aumenta en un ao la educacin
Modelo escalado: coeficiente muestra en cuntos
miles de pesos aumenta con cada aumento
unitario en los aos de educacin.
Cambia la escala: coeficientes y errores estndares se
dividen por 1000.
Veamos un ejemplo.

Cambios de escala
Modelo original

Cambios de escala
Modelo con variable dependiente en miles de pesos

Cambios de escala
2.

En un modelo en el que tanto la variable


dependiente como la independiente estn
medidas en $$, quiero pasar a medirlas en
miles de pesos.
No cambia nada, excepto la constante y sumas
explicadas, residuales
Por qu cambian las sumas residuales y la constante?
Suma de residuos antes la tena en pesos cuadrados;
ahora est en miles de pesos.
Constante antes me meda cuntos pesos ganaba un
individuo con cero ao de educacin; ahora me mide
cuntos MILES de pesos.

Ingeniera Comercial

Econometra
Captulos II
Profesor: Facundo Luna