Regresin por mnimos cuadrados

Paulina Chvez Oliver Pablo Rocabado Soria Edwin Zamudio Hernndez A01184037 A01360066 A01183774

17.1 Regresin Lineal

O = 0 + 1 + expresin matemtica para la

lnea recta, donde:

1 pendiente de la recta - 0 interseccin con el eje y - error o diferencia entre el valor verdadero y el aproximado
-

= 0 1 = 0 + 1 =

17.1.1 Criterios para un mejor ajuste

=
<1 <1

0 1

Para esta ecuacin, cualquier recta que pase por el punto medio entre dos puntos (excepto una vertical) minimiza la ecuacin dado que los errores se cancelan.

=
<1 <1

0 1

Esta estrategia es tambin inadecuada dado que cualquier valor dentro de la lnea que une a dos puntos minimiza el valor absoluto de la suma.

=
<1

2 =
<1

( 0 1 )2

Esta es la tcnica que mejor supera las deficiencias de los procedimientos anteriores ya que mediante ella se obtiene una lnea nica para cierto conjunto de datos. A esta estrategia se la conoce como mnimos cuadrados.

17.1.2. Ajuste de una lnea recta por mnimos cuadrados

Para determinara los valores de 0 1 derivamos la anterior ecuacin con respecto a cada uno de los coeficientes: = 2 ( 0 1 ) 0 = 2 0 1 1 Si igualamos estas derivadas a cero, obtenemos un mnimo y tenemos: 0= 0= 0 1 0 + 1 2 1 =

0 +

2 1 =

stas s llaman ecuaciones normales y si se resuelven en forma simultneas se obtiene:

1 =

0 = 1

Ejemplo 17.1

1 2 3 4 5 6 7

0.5 2.5 2.0 4.0 3.5 6.0 5.5

Para la siguiente tabla: = 7 = 119.5 2 = 140 28 = 28 = 7 = 4 = 24 3.428571

1 =

24 7

7 199.5 28(24) = 0.8392857 7 140 (28)2 0 = 3.428571 0.8392857 4 = 0.07142857

Por lo tanto, el ajuste por mnimos cuadrados es: = . + .

17.1.3 Cuantificacin del error en la regresin lineal

O Principio de mxima verosimilitud
O la dispersin de los puntos alrededor de la lnea es de

magnitud similar en todo el rango de los datos O la distribucin de estos puntos cerca de la lnea es normal. O Desviacin estndar o error estndar del estimado:

;2

O Coeficiente de determinacin: O Coeficiente de correlacin:

1 2 ; ; 1 2 ; 2

2 =

Ejemplo 17.2

1
2 3 4 5 6

0.5
2.5 2.0 4.0 3.5 6.0

8.5765
0.8622 2.0408 0.3265 0.0051 6.6122

0.1687
0.5625 0.3473 0.3265 0.5896 0.7972

5.5
24.0

4.2908
22.7143

0.1993
2.9911

O = O =

22.7143 7;1

= 1.9457 = 0.7735

2.9911 7;2

O Como < , el modelo de regresin lineal

es adecuado.
O 2 = O =
22.7143;2.9911 22.7143

= 0.868

0.868 = 0.932 O El modelo lineal explic el 86.8% de la incertidumbre original.

17.1.6 Comentarios generales sobre la regresin lineal

O Cada tiene un valor fijo; no es aleatorio y

se conoce sin error. O Los valores de son variables aleatorias independientes y todas tienen la misma varianza. O Los valores de para una dada deben estar distribuidos normalmente.

17.2 Regresin polinomial

O Otro mtodo para obtener una

ecuacin de regresin es por medio de regresin polinomial. O Ahora para ajustar los datos se representa en la grfica con una curva. O Ejemplo de la ecuacin de un polinomio de segundo grado: O = 0 + 1 + 2 2 +

17.2 Regresin polinomial

O Para este caso la suma de cuadrados de

residuos es: 0 1 2 2 )2 O Ecuacin general para un polinomio de msimo grado: O = 0 + 1 + 2 2 + + + O Donde el error estndar es:
O = O /:1 =
;(:1) <1(

17.3 Regresin lineal mltiple

O Se utiliza ms de una variable explicativa

para el modelo. O Ecuacin de regresin lineal mltiple: O = 0 + 1 1 + 2 2 + O En este caso la lnea de regresin se convierte en un plano.

17.4 Mnimos cuadrados lineales en general

17.4.1 Formulacin general de una matriz para mnimos cuadrados lineales
O Modelo lineal general de mnimos cuadrticos

y= a0z0+ a1z1+ a2z2+ a3z3++ amzm+ con ~NID (0, 2)

Donde z0,z1,,zm son m+1 funciones diferentes. En el modelo de regresin lineal simple y mltiple z0=1, z1=x1, z2=x2,,zm=xm. Y en la regresin polinomial son: z0=x0=1, z1=x, z2=x2,,zm=xm.

Matricialmente:
{Y}=[Z] {A} + {E}
O Dnde:

con E ~N (0, I2)

1 2 =

1 1 [Z]= 1

11 21 1

12 1 22 2 2

1 = 2

1 = 2

O Donde m es el nmero de variables en el modelo y n es el

nmero de datos. O El vector columna {Y} contiene los valores observados de la variable dependiente. O El vector columna {A} contiene los coeficientes desconocidos. O El vector columna {E} contiene los residuos.

La suma de los cuadrados de los residuos se define:

2

= =
<1

<0

O Esta cantidad se minimiza tomando las

derivadas parciales con respecto a cada uno de los coeficientes es igualando a cero la ecuacin resultante. El resultado de este proceso son las ecuaciones normales: [[Z]T[Z]]{A} = {[Z]T{Y}}

17.4.2 Tcnicas de solucin

O 1. Descomposicin LU: si usted est

interesado solo en aplicar un ajuste por mnimos cuadrados en un caso donde el modelo adecuado se conoce de antemano. O 2. Mtodo de Cholesky: -Est expresamente diseado para resolver matrices simtricas como las Ecuaciones Normales. -Es ideal en casos donde el grado del modelo (es decir, el valor de m en la ecuacin) no se conocen de antemano.

2. Mtodo de Cholesky:
O -Desarrolla modelos sucesivos de grado superior de

manera muy eficiente. En cada paso es factible examinar la suma residual de los cuadrados del error (y una grfica!), para examinar si la inclusin de trminos de grado superior mejora el ajuste de manera significativa.
O -En la regresin lineal mltiple la situacin anloga

se presenta cuando se agregan, una por una, variables independientes al modelo (calcular el error residual por cada variable y ver si el aumento de variables adicionales resulta en una mejora del ajuste).

17.4.2 Tcnicas de solucin

O 3. Mtodo de la matriz inversa: Donde

para obtener los coeficientes de la ecuacin Lineal calculamos:

{A} = {[Z]T{Y}} [[Z]T[Z]]-1

Intervalo de confianza
Es un par de nmeros entre los cuales se estima que estar cierto valor desconocido con una determinada probabilidad de acierto. O El cual puede ser calculado para la interseccin con el eje y: L=a0-t /2,n-2 S(a0) U=a0+t /2,n-2 S(a0) Donde:

=
2

;2

0 = 1

Intervalo de confianza
Donde S(aj)= el error estndar del coeficiente, sea que se obtiene : ( ) = ( ) Intervalo de confianza para la pendiente: L=a1-t /2,n-2 S(a1) U=a1+t /2,n-2 S(a1) 2 1 =