Beruflich Dokumente
Kultur Dokumente
El ejemplo ms simple de una aproximacin por mnimos cuadrados es ajutar una lnea
recta a un conjunto de observaciones definidas por puntos: (x1, y1), (x2, y2),, (xn, yn).
La expresin matemtica para la lnea recta es
y = a0 + a1x + e (17.1)
17.1 REGRESIN LINEAL 467
0
0 5 x
a)
y
0
0 5 x
b)
y
5
FIGURA 17.1
a) Datos que muestran
un error significativo. b)
Ajuste polinomial oscilando
ms all del rango de los
datos. c) Resultados ms 0
satisfactorios mediante 0 5 x
el ajuste por mnimos c)
cuadrados.
e = y a 0 a1x
Una estrategia para ajustar una mejor lnea a travs de los datos ser minimizar la
suma de los errores residuales de todos los datos disponibles, como sigue:
n n
i =1
ei = (y a
i =1
i 0 a1 xi ) (17.2)
donde n = nmero total de puntos. Sin embargo, ste es un criterio inadecuado, como lo
muestra la figura 17.2a, la cual presenta el ajuste de una lnea recta de dos puntos. Ob-
viamente, el mejor ajuste es la lnea que une los puntos. Sin embargo, cualquier lnea
FIGURA 17.2
Ejemplo de algunos criterios para el mejor ajuste que son inadecuados para la regresin:
a) minimizar la suma de los residuos, b) minimizar la suma de los valores absolutos de los
residuos y c) minimizar el error mximo de cualquier punto individual.
Punto medio
x
a)
y
x
b)
y
Punto fuera
del conjunto
x
c)
17.1 REGRESIN LINEAL 469
recta que pase a travs del punto medio que une la lnea (excepto una lnea perfectamen-
te vertical) da como resultado un valor mnimo de la ecuacin (17.2) igual a cero, debi-
do a que los errores se cancelan.
Por lo tanto, otro criterio lgico podra ser minimizar la suma de los valores abso-
lutos de las discrepancias,
n n
i =1
ei = i =1
yi a0 a1 xi
La figura 17.2b muestra por qu este criterio tambin es inadecuado. Para los cuatro
puntos dados, cualquier lnea recta que est dentro de las lneas punteadas minimizar
el valor absoluto de la suma. As, este criterio tampoco dar un nico mejor ajuste.
Una tercera estrategia para ajustar una mejor lnea es el criterio minimax. En esta
tcnica, la lnea se elige de manera que minimice la mxima distancia a que un punto
se encuentra de la lnea. Como se ilustra en la figura 17.2c, tal estrategia es inadecuada
para la regresin, ya que da excesiva influencia a puntos fuera del conjunto; es decir, a
un solo punto con un gran error. Deber observarse que el principio minimax es, en
algunas ocasiones, adecuado para ajustar una funcin simple a una funcin complicada
(Carnahan, Luther y Wilkes, 1969).
La estrategia que supera las deficiencias de los procedimientos mencionados con-
siste en minimizar la suma de los cuadrados de los residuos entre la y medida y la y
calculada con el modelo lineal
n n n
Sr =
i =1
ei2 =
i =1
( yi,medida yi,modelo ) 2 = (y a
i =1
i 0 a1 xi ) 2 (17.3)
Este criterio tiene varias ventajas, entre ellas el hecho de que se obtiene una lnea nica
para cierto conjunto de datos. Antes de analizar tales propiedades, presentaremos una
tcnica para determinar los valores de a 0 y a1 que minimizan la ecuacin (17.3).
Para determinar los valores de a 0 y a1, la ecuacin (17.3) se deriva con respecto a cada
uno de los coeficientes:
Sr
a0
= 2 (y a i 0 a1 xi )
Sr
a1
= 2 [( y a i 0 a1 xi ) xi ]
Observe que hemos simplificado los smbolos de la sumatoria; a menos que se indique
otra cosa, todas las sumatorias van desde i = 1 hasta n. Al igualar estas derivadas a cero,
se dar como resultado un Sr mnimo. Si se hace esto, las ecuaciones se expresan
como
0= y a a x
i 0 1 i
0= y x a x a x
i i 0 i
2
1 i
470 REGRESIN POR MNIMOS CUADRADOS
( x ) a = y
na0 + i 1 i (17.4)
( x ) a + ( x ) a = x y
i 0
2
i i i i (17.5)
n xi yi xi yi
a1 = (17.6)
n xi2 ( xi ) 2
n=7 x y = 119.5
i i x 2
i = 140
x = 28
28
i x= =4
7
y = 24
24
i y= = 3.428571
7
Mediante las ecuaciones (17.6) y (17.7)
7(119.5) 28(24)
a1 = = 0.8392857
7(140) (28) 2
a 0 = 3.428571 0.8392857(4) = 0.07142857
)2
xi yi (yi y (yi a0 a1xi)2
Cualquier otra lnea diferente a la calculada en el ejemplo 17.1 dar como resultado una
suma mayor de los cuadrados de los residuos. As, la lnea es nica y, en trminos de
nuestro criterio elegido, es la mejor lnea a travs de los puntos. Varias propiedades
de este ajuste se observan al examinar ms de cerca la forma en que se calcularon los
residuos. Recuerde que la suma de los cuadrados se define como [ecuacin (17.3)]
n n
Sr =
i =1
ei2 = (y a
i =1
i 0 a1 xi ) 2 (17.8)
FIGURA 17.3
El residuo en la regresin lineal representa la distancia vertical entre un dato y la lnea recta.
Medicin
yi
n
esi
yi a0 a1xi e gr
der
ea
Ln
a0 + a1xi
xi x
472 REGRESIN POR MNIMOS CUADRADOS
Sr
Sy / x = (17.9)
n2
donde a sy/x se le llama error estndar del estimado. El subndice y/x designa que el
error es para un valor predicho de y correspondiente a un valor particular de x. Tambin,
observe que ahora dividimos entre n 2 debido a que se usaron dos datos estimados (a 0
y a1), para calcular Sr; as, se han perdido dos grados de libertad. Como lo hicimos en
nuestro anlisis para la desviacin estndar en PT5.2.1, otra justificacin para dividir
entre n 2 es que no existe algo como datos dispersos alrededor de una lnea recta
que une dos puntos. De esta manera, en el caso donde n = 2, la ecuacin (17.9) da un
resultado sin sentido, infinito.
As como en el caso de la desviacin estndar, el error estndar del estimado cuan-
tifica la dispersin de los datos. Aunque, sy/x cuantifica la dispersin alrededor de la
lnea de regresin, como se muestra en la figura 17.4b, a diferencia de la desviacin
estndar original sy que cuantifica la dispersin alrededor de la media (figura 17.4a).
Los conceptos anteriores se utilizan para cuantificar la bondad de nuestro ajuste.
Esto es en particular til para comparar diferentes regresiones (figura 17.5). Para hacer-
lo, regresamos a los datos originales y determinamos la suma total de los cuadrados
alrededor de la media para la variable dependiente (en nuestro caso, y). Como en el caso
de la ecuacin (PT5.3), esta cantidad se designa por St. sta es la magnitud del error
residual asociado con la variable dependiente antes de la regresin. Despus de realizar
la regresin, calculamos Sr, es decir, la suma de los cuadrados de los residuos alrededor
de la lnea de regresin. Esto caracteriza el error residual que queda despus de la regre-
FIGURA 17.4
Datos de regresin que muestran a) la dispersin de los datos alrededor de la media de la variable dependiente y b) la
dispersin de los datos alrededor de la lnea de mejor ajuste. La reduccin en la dispersin al ir de a) a b), como lo indican
las curvas en forma de campana a la derecha, representa la mejora debida a la regresin lineal.
a) b)
17.1 REGRESIN LINEAL 473
x
a)
x
b)
FIGURA 17.5
Ejemplos de regresin lineal con errores residuales a) pequeos y b) grandes.
sin. Es por lo que, algunas veces, se le llama la suma inexplicable de los cuadrados. La
diferencia entre estas dos cantidades, St Sr , cuantifica la mejora o reduccin del error
por describir los datos en trminos de una lnea recta en vez de un valor promedio. Como
la magnitud de esta cantidad depende de la escala, la diferencia se normaliza a St para
obtener
St Sr
r2 = (17.10)
St
n xi yi ( xi )( yi )
r= (17.11)
n xi2 ( xi ) 2 n yi2 ( yi ) 2
474 REGRESIN POR MNIMOS CUADRADOS
r = 0.868 = 0.932
Los resultados indican que el modelo lineal explic el 86.8% de la incertidumbre original.
sumx = 0: sumxy = 0: st = 0
sumy = 0: sumx2 = 0: sr = 0
DOFOR i = 1, n
sumx = sumx + xi
sumy = sumy + yi
sumxy = sumxy + xi*yi
sumx2 = sumx2 + xi*xi
END DO
xm = sumx/n
ym = sumy/n
a1 = (n*sumxy sumx*sumy)/(n*sumx2 sumx*sumx)
a0 = ym a1*xm
DOFOR i = 1, n
st = st + (yi ym)2
sr = sr + (yi a1*xi a0)2
END DO
syx = (sr/(n 2))0.5
r2 = (st sr)/st
END Regress
FIGURA 17.6
Algoritmo para la regresin lineal.
donde v = velocidad (m/s), g = constante gravitacional (9.8 m/s2), m = masa del para-
caidista igual a 68.1 kg y c = coeficiente de arrastre de 12.5 kg/s. El modelo predice la
velocidad del paracaidista en funcin del tiempo, como se describe en el ejemplo 1.1.
Un modelo emprico alternativo para la velocidad del paracaidista est dado por
gm t
v(t ) = (E17.3.1)
c 3.75 + t
Suponga que usted quiere probar y comparar la veracidad de esos dos modelos
matemticos. Esto se podra hacer al medir la velocidad real del paracaidista con valores
conocidos de tiempo y al comparar estos resultados con las velocidades predichas de
acuerdo con cada modelo.
476 REGRESIN POR MNIMOS CUADRADOS
v calculada v calculada
v medida, con el modelo, con el modelo,
m/s m/s [ec. (1.10)] m/s [ec. (E17.3.1)]
Tiempo, s a) b) c)
Esas grficas indican que la regresin lineal entre los datos y cada uno de los modelos
es altamente significativa. Ambos modelos ajustan los datos con un coeficiente de co-
rrelacin mayor a 0.99.
No obstante, el modelo descrito por la ecuacin (1.10) se ajusta mejor a nuestro
criterio de prueba de hiptesis que el descrito por la ecuacin (E17.3.1), ya que la pen-
diente y la interseccin con el eje y son ms cercanos a 1 y 0. As, aunque cada grfica
queda bien descrita por una lnea recta, la ecuacin (1.10) parece ser un mejor modelo que
la (E17.3.1).
17.1 REGRESIN LINEAL 477
55
Y 30
a)
5
5 30 55
X
(a)
55
Y 30
b)
5
5 30 55
X
(b)
FIGURA 17.7
a) Resultados con regresin lineal para comparar las predicciones calculadas con el modelo
terico [ecuacin (1.10)] contra valores medidos. b) Resultados con regresin lineal para
comparar predicciones calculadas con el modelo emprico [ecuacin (E17.3.1] contra
valores medidos.
La regresin lineal ofrece una poderosa tcnica para ajustar una mejor lnea a los datos.
Sin embargo, se considera el hecho de que la relacin entre las variables dependiente e
independiente es lineal. ste no es siempre el caso, y el primer paso en cualquier anli-
sis de regresin deber ser graficar e inspeccionar los datos en forma visual, para ase-
gurarnos que sea posible usar un modelo lineal. Por ejemplo, la figura 17.8 muestra
algunos datos que obviamente son curvilneos. En algunos casos, las tcnicas como la
regresin polinomial, que se describen en la seccin 17.2, son apropiadas. En otros, se
pueden utilizar transformaciones para expresar los datos en una forma que sea compa-
tible con la regresin lineal.
Un ejemplo es el modelo exponencial
y = a1eb1x (17.12)
FIGURA 17.8
a) Datos inadecuados para la regresin lineal por mnimos cuadrados. b) Indicacin
de que es preferible una parbola.
x
a)
x
b)
17.1 REGRESIN LINEAL 479
FIGURA 17.9
a) La ecuacin exponencial, b) la ecuacin de potencias y c) la ecuacin de razn del crecimiento.
Los incisos d), e) y f) son versiones linealizadas de estas ecuaciones que resultan de transformaciones simples.
y y y
y = a1e b1x y = a2 x b2 y = a3 x
b3 + x
x x x
a) b) c)
Linealizacin
Linealizacin
Linealizacin
ln y log y 1/y
Pendiente = b2
Pendiente = b3 /a3
Pendiente = b1
Interseccin = 1/a3
Interseccin = ln a1
x log x 1/x
Interseccin = log a2
d) e) f)
480 REGRESIN POR MNIMOS CUADRADOS
As, una grfica de ln y contra x dar una lnea recta con una pendiente b1 y una inter-
seccin con el eje de las ordenadas igual a ln a1 (figura 17.9d).
La ecuacin (17.13) es linealizada al aplicar el logaritmo de base 10 se obtiene
log y = b2 log x + log a2 (7.16)
De este modo, una grfica de log y contra log x dar una lnea recta con pendiente b2 e
interseccin con el eje de las ordenadas log a2 (figura 17.9e).
La ecuacin (17.14) es linealizada al invertirla para dar
1 3 1 1
= + (17.17)
y 3 x 3
De esta forma, una grfica de 1/y contra 1/x ser lineal, con pendiente b3/a3 y una in-
terseccin con el eje de las ordenadas 1/a3 (figura 17.9f).
En sus formas transformadas, estos modelos pueden usar la regresin lineal para
poder evaluar los coeficientes constantes. Despus, regresarse a su estado original y
usarse para fines predictivos. El ejemplo 17.4 ilustra este procedimiento con la ecuacin
(17.13). Adems, la seccin 20.1 proporciona un ejemplo de ingeniera de la misma
clase de clculo.
Planteamiento del problema. Ajuste la ecuacin (17.13) a los datos de la tabla 17.3
mediante una transformacin logartmica de los datos.
Solucin. La figura l7.10a es una grfica de los datos originales en su estado no trans-
formado. La figura 17.10b muestra la grfica de los datos transformados. Una regresin
lineal de esta transformacin mediante logoritmos dan el siguiente resultado:
log y = 1.75 log x 0.300
17.1 REGRESIN LINEAL 481
x y 1og x log y
1 0.5 0 0.301
2 1.7 0.301 0.226
3 3.4 0.477 0.534
4 5.7 0.602 0.753
5 8.4 0.699 0.922
FIGURA 17.10
a) Grfica de datos no transformados con la ecuacin de potencias que se ajusta a los
datos. b) Grfica de datos transformados para determinar los coeficientes de la ecuacin
de potencias.
0
0 5 x
a)
log y
0.5
0.5 log x
b)
482 REGRESIN POR MNIMOS CUADRADOS
As, la interseccin con el eje de las ordenadas es log a2 igual a 0.300 y, por lo tanto,
al tomar el antilogaritmo, a2 = 10 0.3 = 0.5. La pendiente es b2 = 1.75. En consecuencia,
la ecuacin de potencias es
y = 0.5x1.75
y = a 0 + a1x + a2 x2 + e
En este caso, la suma de los cuadrados de los residuos es [compare con la ecuacin (17.3)]
n
Sr = (y a
i =1
i 0 a1 xi a2 xi2 )2 (17.18)
17.2 REGRESIN POLINOMIAL 483
Sr
a0
= 2 (y a i 0 a1 xi a2 xi2 )
Sr
a1
= 2 x (y a
i i 0 a1 xi a2 xi2 )
Sr
a2
= 2 x (y a
2
i i 0 a1 xi a2 xi2 )
( x ) a + ( x ) a = y
( n ) a0 + i 1
2
i 2 i
( x ) a + ( x ) a + ( x ) a = x y
i 0
2
i 1
3
i 2 i i (17.19)
( x ) a + ( x ) a + ( x ) a = x y
2
i 0
3
i 1
4
i 2
2
i i
donde todas las sumatorias van desde i = 1 hasta n. Observe que las tres ecuaciones
anteriores son lineales y tienen tres incgnitas: a 0, a1 y a2 . Los coeficientes de las in-
cgnitas se evalan de manera directa, a partir de los datos observados.
En este caso, observamos que el problema de determinar un polinomio de segundo
grado por mnimos cuadrados es equivalente a resolver un sistema de tres ecuacio-
nes lineales simultneas. En la parte tres se estudiaron las tcnicas para resolver tales
ecuaciones.
El caso bidimensional se extiende con facilidad a un polinomio de m-simo grado
como sigue
El anlisis anterior se puede extender fcilmente a este caso ms general. As, se reco-
noce que la determinacin de los coeficientes de un polinomio de m-simo grado es
equivalente a resolver un sistema de m + 1 ecuaciones lineales simultneas. En este caso,
el error estndar se formula como sigue:
Sr
sy/ x = (17.20)
n ( m + 1)
m=2 x = 15
i x = 979 4
i
x = 2.5 x = 55 x y = 2 488.8
2
i
2
i i
y = 25.433 x = 225
3
i
TABLA 17.4 Clculos para un anlisis de error del ajuste cuadrtico por mnimos
cuadrados.
FIGURA 17.11
Ajuste de un polinomio de segundo grado.
50 Parbola
de mnimos
cuadrados
0 5 x
17.2 REGRESIN POLINOMIAL 485
Resolviendo estas ecuaciones con una tcnica como la eliminacin de Gauss se tiene
a 0 = 2.47857, a1 = 2.35929 y a2 = 1.86071. Por lo tanto, la ecuacin cuadrtica por m-
nimos cuadrados en este caso es
3.74657
sy/ x = = 1.12
63
El coeficiente de determinacin es
2 513.39 3.74657
r2 = = 0.99851
2 513.39
y el coeficiente de correlacin es r = 0.99925.
Estos resultados indican que con el modelo se explic el 99.851% de la incertidum-
bre original. Este resultado apoya la conclusin de que la ecuacin cuadrtica represen-
ta un excelente ajuste, como tambin es evidente en la figura 17.11.
FIGURA 17.12
Algoritmo para implementar la regresin polinomial y lineal mltiple.
DOFOR i = 1, order + 1
DOFOR j = 1, i
k = i + j 2
sum = 0
D0FOR = 1, n
sum = sum + xk
END DO
ai,j = sum
aj,i = sum
END DO
sum = 0
FIGURA 17.13 DOFOR = 1, n
Seudocdigo para encontrar sum = sum + y xi1
los elementos de las END DO
ecuaciones normales en la ai,order+2 = sum
regresin polinomial. END DO
Una extensin til de la regresin lineal es el caso en el que y es una funcin lineal de
dos o ms variables independientes. Por ejemplo, y podra ser una funcin lineal de x1
y x2, como en
y = a 0 + a1x1 + a2 x2 + e
En particular tal ecuacin es til cuando se ajustan datos experimentales donde la va-
riable sujeta a estudio es una funcin de otras dos variables. En este caso bidimensional,
la lnea de regresin se convierte en un plano (figura 17.14).
17.3 REGRESIN LINEAL MLTIPLE 487
x1
FIGURA 17.14
Descripcin grfica de una
regresin lineal mltiple
donde y es una funcin x2
lineal de x1 y x2.
Como en los casos anteriores, los mejores valores para los coeficientes se deter-
minan al realizar la suma de los cuadrados de los residuos,
n
Sr = (y a
i =1
i 0 a1 x1i a2 x 2 i ) 2 (17.21)
Sr
a0
= 2 (y a i 0 a1 x1i a2 x 2 i )
Sr
a1
= 2 x 1i ( yi a0 a1 x1i a2 x 2 i )
Sr
a2
= 2 x 2i ( yi a0 a1 x1i a2 x 2 i )
Los coeficientes que dan la suma mnima de los cuadrados de los residuos se obtienen
al igualar a cero las derivadas parciales y expresando el resultado en forma matricial:
n x1i x 2 i a0 yi
x
1i x12i x1i x 2 i a1 = x1i yi (17.22)
x 2 i x1i x 2 i x 22i a2 x 2 i yi
x1 x2 y
0 0 5
2 1 10
2.5 2 9
1 3 0
4 6 3
7 2 27
6 16.5 14 a0 54
16.5 76.25 48 a = 243.5
1
14 48 54 a2 100
a0 = 5 a1 = 4 a2 = 3
5 0 0 0 0 0 0 0
10 2 1 4 1 2 20 10
9 2.5 2 6.25 4 5 22.5 18
0 1 3 1 9 3 0 0
3 4 6 16 36 24 12 18
54 16.5 14 76.25 54 48 243.5 100
y = a 0 + a1x1 + a2 x2 + + amxm + e
DOFOR i 1, order 1
DOFOR j 1, i
sum 0
DOFOR 1, n
sum = sum xi1, xj1,
END DO
ai,j sum
aj,i sum
END DO
sum 0
DOFOR 1, n
sum sum y xi1,
END DO
ai,order2 sum
END DO
FIGURA 17.15
Seudocdigo para establecer los elementos de las ecuaciones normales en la regresin
mltiple. Observe que adems de guardar las variables independientes en x1,i, x2,i, etc., se
deben guardar 1 en x0,i para que funcione este algoritmo.
Aunque puede haber ciertos casos donde una variable est linealmente relacionada
con dos o ms variables, la regresin lineal mltiple tiene adems utilidad en la obtencin
de ecuaciones de potencias de la forma general
y = a 0x1a1x2a2 xmam
Hasta aqu nos hemos concentrado en la mecnica para obtener ajustes por mnimos
cuadrados de algunas funciones sencillas para datos dados. Antes de ocuparnos de la
regresin no lineal, hay varios puntos que nos gustara analizar para enriquecer nuestra
comprensin del material precedente.
490 REGRESIN POR MNIMOS CUADRADOS
En las pginas anteriores presentamos tres tipos de regresin: lineal simple, polinomial
y lineal mltiple. De hecho, las tres pertenecen al siguiente modelo lineal general de
mnimos cuadrados:
donde z0, z1, , zm son m + 1 funciones diferentes. Se observa con facilidad cmo la
regresin lineal simple y mltiple se encuentran dentro de este modelo; es decir, z0 = 1,
z1 = x1, z2 = x2, , zm = xm. Adems, la regresin polinomial se incluye tambin si las z
son monomios simples como z0 = x0 = 1, z1 = x, z2 = x2,, zm = xm .
Observe que la terminologa lineal se refiere slo a la dependencia del modelo
sobre sus parmetros (es decir, las a). Como en el caso de la regresin polinomial, las
mismas funciones llegan a ser altamente no lineales. Por ejemplo, las z pueden ser se-
noidales, como en
Esta forma es la base del anlisis de Fourier que se describe en el captulo 19.
Por otro lado, un modelo de apariencia simple como
f(x) = a 0 (1 ea1x)
donde [Z] es una matriz de los valores calculados de las funciones z en los valores me-
didos de las variables independientes,
{Y}T = y1 y 2 yn
17.4 MNIMOS CUADRADOS LINEALES EN GENERAL 491
{A}T = a 0 a1 am
{E}T = e1 e2 en
Como se dio a lo largo de este captulo, la suma de los cuadrados de los residuos en
este modelo se definen como
2
n m
Sr =
i =1
yi
j =0
a j z ji
Esta cantidad se minimiza tomando las derivadas parciales con respecto a cada uno de
los coeficientes e igualando a cero la ecuacin resultante. El resultado de este proceso
son las ecuaciones normales, que se expresan en forma matricial como
Es posible mostrar que la ecuacin (17.25) es, de hecho, equivalente a las ecuaciones nor-
males desarrolladas antes para la regresin lineal simple, la polinomial y la mltiple.
Nuestra principal motivacin para lo anterior fue ilustrar la unidad entre los tres
procedimientos y mostrar cmo se pueden expresar de manera simple en la misma no-
tacin matricial. Tambin sienta las bases para el estudio de la siguiente seccin, donde
obtendremos un mejor conocimiento sobre las estrategias preferidas para resolver la
ecuacin (17.25). La notacin matricial tambin tendr relevancia cuando volvamos a
la regresin no lineal en la ltima seccin del presente captulo.
En los anlisis anteriores en este captulo tratamos el asunto de las tcnicas numricas
especficas para resolver las ecuaciones normales. Ahora que hemos establecido la uni-
dad de los diversos modelos, podemos explorar esta cuestin con mayor detalle.
Primero, deber quedar claro que el mtodo de Gauss-Seidel no puede utilizarse aqu
debido a que las ecuaciones normales no son diagonalmente dominantes. De esta manera,
nos quedan solamente los mtodos de eliminacin. Para los propsitos actuales, podemos
dividir esas tcnicas en tres categoras: 1. mtodos de descomposicin LU, incluyendo
eliminacin de Gauss, 2. mtodo de Cholesky y 3. mtodo de la matriz inversa. En efecto,
hay interrelaciones en esta clasificacin. Por ejemplo, el mtodo de Cholesky es, de hecho,
una descomposicin LU, y todos los procedimientos se pueden formular de tal manera que
generen la matriz inversa. Sin embargo, el mrito de esta clasificacin es que cada catego-
ra ofrece ventajas respecto a la solucin de ecuaciones normales.
Descomposicin LU. Si usted est interesado slo en aplicar un ajuste por mnimos
cuadrados en un caso donde el modelo adecuado se conoce de antemano, cualquiera de
los procedimientos de descomposicin LU, descritos en el captulo 9, son perfectamen-
492 REGRESIN POR MNIMOS CUADRADOS
Cada uno de los mtodos de eliminacin se puede utilizar para determinar la inversa y,
as, servir para implementar la ecuacin (17.26). Sin embargo, como aprendimos en la
parte tres, ste es un mtodo ineficiente para resolver un conjunto de ecuaciones simul-
tneas. As, si estuviramos solamente interesados en determinar los coeficientes de
regresin, sera preferible utilizar el mtodo de descomposicin LU sin inversin. No
obstante, desde una perspectiva estadstica, existen varias razones por las cuales esta-
ramos interesados en obtener la inversa y examinar sus coeficientes. Tales razones se
analizarn ms adelante.
Adems de dar una solucin para los coeficientes de regresin, la formulacin ma-
tricial de la ecuacin (17.26) proporciona estimaciones de sus estadsticos. Es posible
demostrar (Draper y Smith, 1981) que los trminos en la diagonal y fuera de la diagonal
de la matriz [[Z] T [Z]] 1 dan, respectivamente, las varianzas y las covarianzas1 de las a.
Si los elementos de la diagonal de [[Z] T [Z]] 1 se designa por z1
i,i, entonces
var(ai1) = z1 2
i,i sy/x (17.27)
cov(ai1, aj1) = z1 2
i,j sy/x (17.28)
donde s(aj) = el error estndar del coeficiente aj = var(aj). De manera similar, los l-
mites inferior y superior para la pendiente se calculan:
El ejemplo 17.17 ilustra cmo se emplean esos intervalos para realizar inferencias cuan-
titativas respecto a la regresin lineal.
Solucin. Los datos se escriben en forma matricial para una regresin lineal simple
de la siguiente manera:
1
La covarianza es un estadstico que mide la dependencia de una variable respecto de otra. As, cov(x, y) indica
la dependencia de x y y. Por ejemplo, cov(x, y) = 0 indicara que x y y son totalmente independientes.
494 REGRESIN POR MNIMOS CUADRADOS
1 10 8.953
1 16.3 16.405
1 23 22.607
[Z] = {Y} =
1 50 49.988
[[ Z ]T [ Z ]] {A} = {[ Z ]T {Y}}
15 548.3 a0 552.741
548.3 22 191.21 a = 22 421.43
1
= TINV(0.05, 13)
que da un valor de 2.160368. Las ecuaciones (17.29) y (17.30) entonces se usan para
calcular los intervalos de confianza:
a 0 = 0.85872 2.160368(0.716372)
= 0.85872 1.547627 = [2.40634, 0.688912]
a1 = 1.031592 2.160368(0.018625)
= 1.031592 0.040237 = [0.991355, 1.071828]
17.5 REGRESIN NO LINEAL 495
Observe que los valores deseados (0 para la interseccin, y 1 para la pendiente) caen
dentro de los intervalos. Considerando este anlisis podremos formular las siguientes
declaraciones sobre la pendiente: tenemos fundamentos slidos para creer que la pen-
diente de la lnea de regresin real est dentro del intervalo de 0.991355 a 1.071828.
Debido a que 1 est dentro de este intervalo, tambin tenemos fundamentos slidos para
creer que el resultado apoya la concordancia entre las mediciones y el modelo. Como
cero est dentro del intervalo de la interseccin, se puede hacer una declaracin similar
respecto a la interseccin.
Hay muchos casos en la ingeniera donde los modelos no lineales deben ajustarse a
datos. En el presente contexto, tales modelos se definen como aquellos que tienen de-
pendencia no lineal de sus parmetros. Por ejemplo,
f(x) = a0(1 ea1x) + e (17.31)
Esta ecuacin no puede ser manipulada para ser llevada a la forma general de la ecuacin
(17.23).
Como en el caso de los mnimos cuadrados lineales, la regresin no lineal se basa
en la determinacin de los valores de los parmetros que minimizan la suma de los
cuadrados de los residuos. Sin embargo, en el caso no lineal, la solucin debe realizarse
en una forma iterativa.
El mtodo de Gauss-Newton es un algoritmo para minimizar la suma de los cua-
drados de los residuos entre los datos y las ecuaciones no lineales. El concepto clave
detrs de esta tcnica es que se utiliza una expansin en serie de Taylor para expresar la
ecuacin no lineal original en una forma lineal aproximada. Entonces, es posible aplicar
la teora de mnimos cuadrados para obtener nuevas estimaciones de los parmetros que
se mueven en la direccin que minimiza el residuo.
Para ilustrar cmo se logra esto, primero se expresa de manera general la relacin
entre la ecuacin no lineal y los datos, de la manera siguiente:
metros a 0, a1, , am, y ei = un error aleatorio. Por conveniencia, este modelo se expre-
sa en forma abreviada al omitir los parmetros,
yi = f(xi) + ei (17.32)
El modelo no lineal puede expandirse en una serie de Taylor alrededor de los valo-
res de los parmetros y cortarse despus de las primeras derivadas. Por ejemplo, para
un caso con dos parmetros,
f ( x i ) j f ( xi ) j
f ( xi ) j +1 = f ( xi ) j + a0 + a1 (17.33)
a 0 a1
f ( xi ) j f ( xi ) j
yi f ( xi ) j = a0 + a1 + ei
a0 a1
f1 /a0 f1 /a1
f /a f2 /a1
2 0
[Z j ] =
fn /a0 fn /a1
y1 f ( x1 )
y f ( x )
2 2
{D} =
yn f ( x n )
17.5 REGRESIN NO LINEAL 497
a0
a
1
{A} =
am
As, el procedimiento consiste en resolver de la ecuacin (17.35) para {A}, que se uti-
liza para calcular valores mejorados de los parmetros, como en
a 0,j+1 = a 0,j + a 0
a1,j+1 = a1,j + a1
Este procedimiento se repite hasta que la solucin converge, es decir, hasta que
ak , j +1 ak , j
a k = 100% (17.36)
ak , j +1
Planteamiento del problema. Ajuste la funcin f(x; a0, a1) = a0 (1 ea1x) a los datos:
x 0.25 0.75 1.25 1.75 2.25
y 0.28 0.57 0.68 0.74 0.79
Emplee a 0 = 1.0 y a1 = 1.0 como valores iniciales para los parmetros. Observe que para
estos valores la suma inicial de los cuadrados de los residuos es 0.0248.
Solucin. Las derivadas parciales de la funcin con respecto a los parmetros son
f
= 1 e a1x (E17.9.1)
a0
y
f
= a0 xe a1x (E17.9.2)
a1
498 REGRESIN POR MNIMOS CUADRADOS
0.2212 0.1947
0.5276 0.3543
[ Z0 ] = 0.7135 0.3581
0.8262 0.3041
0.8946 0.2371
2.3193 0.9489
[ Z0 ]T [ Z0 ] =
0.9489 0.4404
3.6397 7.8421
[[ Z0 ]T [ Z0 ]]1 =
7.8421 19.1678
El vector {D} consiste en las diferencias entre las mediciones y las predicciones del
modelo,
0.1533
[ Z0 ]T {D} =
0.0365
0.2714
A =
0.5019
As, los estimados mejorados de los parmetros son a 0 = 0.7286 y a1 = 1.5019. Los nue-
vos parmetros dan una suma de los cuadrados de los residuos igual a 0.0242. La ecua-
PROBLEMAS 499
cin (17.36) se utiliza para obtener que 0 y 1 son iguales a 37 y 33%, respectivamente.
El clculo se repetira hasta que esos valores estn abajo del criterio de terminacin
establecido. El resultado final es a 0 = 0.79186 y a1 = 1.6751. Tales coeficientes dan una
suma de los cuadrados de los residuos de 0.000662.
fi f ( xi ; a0 ,, ak + ak ,, am ) f ( xi ; a0 , ak ,, am )
(17.37)
ak ak
Se han desarrollado modificaciones del mtodo (Booth y Peterson, 1958; Hartley, 1961)
para disminuir las desventajas.
Adems, aunque hay varios procedimientos expresamente diseados para regresin,
un mtodo ms general es usar rutinas de optimizacin no lineal como las descritas en
la parte cuatro. Para hacer esto, se dan valores iniciales a los parmetros y se calcula la
suma de los cuadrados de los residuos. Por ejemplo, para la ecuacin (17.31) esto se
podra calcular como
n
Sr = [ y a (1 e
i =1
i 0
a1xi
)]2 (17.38)
PROBLEMAS
28.65 26.55 26.65 27.65 27.35 28.35 26.85 17.7 Emplee la regresin por mnimos cuadrados para ajustar
28.65 29.65 27.85 27.05 28.25 28.35 26.75 una lnea recta a
27.65 28.45 28.65 28.45 31.65 26.35 27.75
x 1 2 3 4 5 6 7 8 9
29.25 27.65 28.65 27.65 28.55 27.55 27.25
y 1 1.5 2 3 4 5 8 10 13
Haga lineal este modelo y selo para estimar a4 y b4 con base en 17.17 Use regresin lineal mltiple para ajustar
los datos siguientes. Elabore una grfica del ajuste junto con los
datos.
x1 0 0 1 2 0 1 2 2 1
x2 0 2 2 4 4 6 6 2 1
x 0.1 0.2 0.4 0.6 0.9 1.3 1.5 1.7 1.8
y 14 21 11 12 23 23 14 6 11
y 0.75 1.25 1.45 1.25 0.85 0.55 0.35 0.28 0.18
Calcule los coeficientes, el error estndar de la estimacin y el 17.24 Los datos siguientes representan el crecimiento bacterial
coeficiente de correlacin. en un cultivo lquido durante cierto nmero de das.
502 REGRESIN POR MNIMOS CUADRADOS
v, m/s 10 20 30 40 50 60 70 80 x 0.1 0.2 0.4 0.6 0.9 1.3 1.5 1.7 1.8
FN 25 70 380 550 610 1 220 830 1 450 y 0.75 1.25 1.45 1.25 0.85 0.55 0.35 0.28 0.18