MODELOS DE REGRESIN LINEAL

REGRESIN LINEAL
El Anlisis de Regresin se ocupa del estudio de la dependencia de una variable, la variable dependiente, de una o varias variables, las variables explicatorias, con el objeto de estimar o predecir el valor promedio de la primera con base en valores fijos o conocidos de las segundas.

EJEMPLOS

Se quiere estimar o predecir la estatura promedio de los hijos con base en la estatura de los padres. Interesa estudiar la dependencia del gasto de consumo personal con el ingreso personal neto disponible. Un agrnomo puede estar interesado en estudios de la dependencia de una cosecha de un producto especfico, con relacin a la temperatura, la cantidad de lluvia, la cantidad de sol recibida y dos fertilizantes, a travs de este estudio se puede predecir la produccin media de la cosecha. Se quiere explicar la penetracin promedio en el acero al carbono, con base en el tiempo de exposicin.

En el caso de una sola variable que explique a la variable dependiente, se trata de un ANLISIS DE REGRESIN LINEAL SIMPLE, mientras que si existen dos o ms variables explicatorias, sera un ANLISIS DE REGRESIN LINEAL MLTIPLE.

Y A la variable se le llama variable X 1 , X 2 ,variable X k dependiente, explicada o variable respuesta y a las variables ,variables explicativas, independientes, de control o estmulo.

En el Anlisis de Regresin interesa una relacin o dependencia estocstica y no una dependencia funcional determinstica propios de los mecanismos fsicos que relacionan estas variables, tales como la Ley Ohm, la ley de la gravedad de Newton y la ley de los gases de Boyle, entre otras.

MNIMOS CUADRADOS ORDINARIOS

Se trata de estimar los parmetros tal que se haga mnimo y esto se obtiene por el mtodo de mnimos cuadrados ordinarios MCO

MODELO DE REGRESION MULTIPLE

El modelo de regresin lineal mltiple con p variables predictoras y basado en n observaciones tomadas es de la forma

para i=1,2,.n.

ANOVA

Si valor p< entonces rechazo H0

MEDIDAS DE LA ADECUACIN DEL MODELO

El coeficiente de determinacin mltiple R2 mide la proporcin de la variabilidad total explicada por el modelo de regresin planteado .

VALIDACION DE SUPUESTOS DEL MODELO

MULTICOLINEALIDAD
En los modelos de regresin mltiple se espera encontrar dependencias entre la variable respuesta Y y las variables regresoras xs , sin embargo en la prctica se encuentra que tambin hay dependencias entre las variables regresoras xs . La multicolinealidad puede tener efectos sobre las estimaciones de los coeficientes de regresin y sobre la aplicabilidad general del modelo estimado.

Tipos De Multicolinealidad
1.

2.

EXACTA: Cuando un xj es combinacin lineal de alguno o todos los xs APROXIMADA

Los estimadores siguen siendo MELI pero la varianza de los es muy grande, lo que crea intervalos de confianza para los muy grandes

Diagnstico y Causas
Deteccin: La prueba global (ANOVA prueba F) da significativa (valor p tiende a cero) y las pruebas individuales (prueba t) dan no significativas. VIF (factores de inflacin de la varianza) si entrega un valor mayor o igual que 10. 1 VIF j 1 R2 j

Un anlisis entre la matriz de correlacin, muestra relacin entre variables explicatorias con coeficientes mayores a 0.90.

Causas: problemas de muestreo y/o especificacin del modelo (sobre o subespecificacin)

Solucin
Ampliacin

de muestra Reespecificacin del modelo Reduccin de dimensin (Regresin por pasos) Regresin Ridge Otros mtodos

Regresin Por Pasos

Se especifican entry y stay

1. 2. 3.

Paso 1: se corre una regresin para cada variable independiente. Se denomina a la variable con el mayor valor de la estadstica t, x[1]
Si la estadstica t no indica que x[1] sea significante en el nivel entry , el procedimiento termina. Si es

significante, se conserva para usarla en el paso 2.

Regresin Por Pasos

1.

Paso 2: se corre una regresin agregando cada variable independiente al modelo y = 0 + 1x[1] + 2xj + Se denomina a la variable (nueva) con el mayor valor de la estadstica t, x[2] Si la estadstica t no indica que x[2] sea significante en el nivel entry , el procedimiento

1. 2.

termina. Si es significante, se comprueba que la

estadstica t >stay para x[2].

Regresin Por Pasos

1.

Pasos posteriores: se continan agregando variables independientes, una por una, al modelo. En cada paso se suma una variable independiente al modelo si teine la estadstica t ms grande de las variables independientes que no estn en el modelo y si su estadstica t indica que es significante en el nivel Despus de aadir una variable independiente, el procedimiento comprueba que todas las variables independientes ya incluidas tienen t significante en el nivel stay

2.

Eliminacin Hacia Atrs

1. 2.

3.

4.

Se corre una regresin con todas las p variables independientes. Si la estadstica t ms pequea es significante en el nivel stay , se conserva el modelo con todas las variables. Si la estadstica t ms pequea no es significante en el nivel stay , se elimina esa variable del modelo y se corre la regresin de nuevo. Se repite estos pasos hasta conseguir que la estadstica t ms pequea sea significante en el nivel stay .

HETEROSCEDASTICIDAD

Se viola el supuesto de varianza constante

CAUSAS
Caractersticas de las variables Presencia de valores atpicos (lejanos) Mala especificacin del modelo

As bajo heterocedasticidad los estimadores siguen siendo insesgados pero dejan de ser eficientes, es decir que ya no son MELI, por lo tanto las pruebas no son confiables

DETECCIN

Prueba de White:

Si valor p tiende a cero hay presencia de heterocedasticidad

SOLUCIN

Transformaciones de potencia. Mnimos cuadrados generalizados Transformaciones Box-Cox

AUTOCORRELACIN

Los residuales estn correlacionados, es decir:

Los estimadores dejan de ser MELI, las pruebas de hiptesis NO SON CONFIABLES

CAUSAS
Caractersticas de los datos: datos en el tiempo Sesgo en la especificacin del modelo: efectos sistemticos por variables faltantes o por forma funcional incorrecta, lo cual genera una mala especificacin Manipulacin de los datos

DETECCIN
Grficamente: comportamiento sistemtico, forma de embudo en los residuales vs row number Prueba Durbin-Watson

Si DW est cercano a 2 no hay autocorrelacin Si DW est entre 1.5 y 2.5 est en zona de indecisin Si DW est cercano a 0 a 4 hay autocorrelacin

SOLUCIN
Transformaciones de potencia Correccion Cochrane - Orcutt

NORMALIDAD
Se evala la normalidad de los residuales. Se realiza la prueba Jaque Bera, si valor p tiende a 1 entonces los residuales se distribuyen normal Se organiza por medio de transformaciones de potencia