Beruflich Dokumente
Kultur Dokumente
ANLISIS DE REGRESIN.
A menudo nos va a interesar describir la relacin o asociacin entre dos variables. Como siempre
la metodologa va a depender del tipo de variable que queremos describir. Ac vamos a estudiar
cmo describir la relacin entre dos variables cuantitativas.
Para mostrar graficamente la relacin entre dos variables cuantitativas usaremos un grfico
llamado de dispersin o de XY.
2
Examen
1
1 2 3 4 5 6 7
Prueba 1
ID 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
P1 1,7 3,8 5,1 5,6 5,0 5,7 2,1 3,7 3,8 4,1 3,4 4,4 6,8 5,1 4,3 6,2 5,9 5,4 4,1 6,2 5,2 4,6 4,9 5,9 5,5
Ex 3,5 3,2 3,5 5,2 4,9 3,7 3,6 4,5 4,0 3,6 4,4 3,3 5,5 3,9 4,6 5,7 4,3 4,1 5,0 3,8 4,4 4,0 4,5 3,4 4,5
Ejemplo
a) Encuentre el estudiante nmero 19 en el grfico.
b) Suponga que otro estudiante tuvo un 5,0 en la primera prueba y un 5,5 en la prueba final
acumulativa o Examen. Agregue este punto en el grfico.
Pgina 2 de 43
Al igual que cuando estudiamos los histogramas, tallos y hojas y otros grficos, ahora nos va
interesar describir la forma del grfico. Especficamente en este caso particular de grficos de
dispersin, nos va a interesar la direccin, forma y grado de asociacin entre dos variables
cuantitativas. Por direccin, diremos que dos variables estn asociadas positivamente cuando a
mayor valor de una variable el valor de la otra variable tambin aumenta, como se muestra en la
figura A. Dos variables estarn negativamente asociadas cuando a mayor valor de una variable el
valor de la otra variable disminuye, como se muestra en la figura B.
La forma de una asociacin puede ser adems lineal, curva, cuadrtica, estacional o cclica, o
quizs no tenga una forma definida. En la figura A podemos decir que la relacin es lineal. En
cambio en las figuras B y D parece no lineal. Por ltimo la figura C muestra que no hay
asociacin.
Por el grado de asociacin entendemos cun cerca estn los datos de una forma dada. Por
ejemplo, en la figura B se ve que existe un alto grado de asociacin no lineal entre los datos. En
este punto debemos tener cuidado, porque cambios de escala pueden cambiar la figura y nos
pueden llevar a conclusiones errneas. Ms adelante discutiremos sobre una medida de
asociacin llamada el coeficiente de correlacin.
Por ltimo, al mirar un grfico de dispersin nos van a interesar puntos que aparecen lejos o
desviados del patrn general del grfico. En la figura A, el punto (21, 39) est lejos del resto de
los puntos, sin embargo parece seguir el patrn general del grfico.
100 100
90 90
80
80
70
70
60
50 60
40 50
30 40
10 20 30 40 50 30
X 10 20 30 40 50
X
Figure C: No Linear Association
Figure D: No Linear Association
100
90 100
80 90
70 80
60 70
50 60
40 50
30 40
10 20 30 40 50 30
X 10 20 30 40 50
X
Pgina 3 de 43
Ejemplo
Interprete el grfico de las notas anterior.
Definicin:
El coeficiente de correlacin muestral r mide el grado de asociacin lineal entre dos variables
cuantitativas. Describe la direccin de la asociacin lineal e indica cun cerca estn los puntos a
una lnea recta en el diagrama de dispersin.
Caractersticas:
5. Unidad: La correlacin se calcula usando las dos variables cuantitativas estandarizadas. Por
lo que r no tiene unidad y tampoco cambia si cambiamos la unidad de medida de X o Y. La
correlacin entre X e Y es la misma que la correlacin entre Y y X.
y y y
x
x
x
x x x
x
x x x x x
x
x x x x x
x x x x x
x x x
x x x x
x
x x
x x
x
x x x
r 0,8 r 0,2 r =0
Pgina 4 de 43
Ejemplo
Asigne un posible valor de r para cada grfico:
x x
Graph C: ___________ Graph D: ___________
y y
x x
1 x x y y
r =
(n 1)
s X sY
Pgina 5 de 43
Ejemplo
Correlacin entre Test 1 y Test 2:
20
Test 1 Test 2
8 9 18
10 13
12 14 16
14 15
Test 2
16 19 14
12
10
8 10 12 14 16
Test 1
En SPSS
Correlaciones
Test 1 Test 2
Test 1 Correlacin de Pearson 1 .965**
Sig. (bilateral) .008
N 5 5
Test 2 Correlacin de Pearson .965** 1
Sig. (bilateral) .008
N 5 5
**. La correlacin es significativa al nivel 0,01
(bilateral).
Pgina 6 de 43
Ejemplo
La Tabla adjunta presenta 4 bases de datos preparadas por el estadstico Frank Ascombe*
x 10 8 13 9 11 14 6 4 12 7 5
y1 8.04 6.95 7.58 8.81 8.33 9.96 7.24 4.26 10.84 4.82 5.68
x 10 8 13 9 11 14 6 4 12 7 5
y2 9.14 8.14 8.74 8.77 9.26 8.1 6.13 3.1 9.13 7.26 4.74
x 10 8 13 9 11 14 6 4 12 7 5
y3 7.46 6.77 12.74 7.11 7.81 8.84 6.08 5.39 8.15 6.42 5.73
x4 8 8 8 8 8 8 8 8 8 8 19
y4 6.58 5.76 7.71 8.84 8.47 7.04 5.25 5.56 7.91 6.89 12.5
En la salida de SPSS adjunta, encuentre los coeficientes de correlacin para los pares de variables
preparadas por Ascombe. Cules son sus conclusiones?
Correlaciones
X Y1 Y2 Y3 X4 Y4
X Correlacin de Pearson 1 .816** .816** .816** -.400 .003
Sig. (bilateral) . .002 .002 .002 .223 .993
N 11 11 11 11 11 11
Y1 Correlacin de Pearson .816** 1 .750** .469 -.297 .065
Sig. (bilateral) .002 . .008 .146 .375 .849
N 11 11 11 11 11 11
Y2 Correlacin de Pearson .816** .750** 1 .588 -.451 -.014
Sig. (bilateral) .002 .008 . .057 .164 .966
N 11 11 11 11 11 11
Y3 Correlacin de Pearson .816** .469 .588 1 -.289 .023
Sig. (bilateral) .002 .146 .057 . .389 .947
N 11 11 11 11 11 11
X4 Correlacin de Pearson -.400 -.297 -.451 -.289 1 .817**
Sig. (bilateral) .223 .375 .164 .389 . .002
N 11 11 11 11 11 11
Y4 Correlacin de Pearson .003 .065 -.014 .023 .817** 1
Sig. (bilateral) .993 .849 .966 .947 .002 .
N 11 11 11 11 11 11
**. La correlacin es significativa al nivel 0,01 (bilateral).
*
Anscombe, F. (1973) "Graphs in statistical analysis", The American Statistician, 27: 17-21.
Pgina 7 de 43
11 10
10 9
9 8
8 7
7 6
6 5
5 4
Y1
Y2
4 3
2 4 6 8 10 12 14 16 2 4 6 8 10 12 14 16
X X
14 14
12 12
10 10
8 8
6 6
Y4
Y3
4 4
2 4 6 8 10 12 14 16 6 8 10 12 14 16 18 20
X X4
Pgina 8 de 43
Como ya hemos visto muchos estudios son diseados para investigar la asociacin entre dos o
ms variables. Muchas veces intentamos relacionar una variable explicativa con una variable
respuesta. Los datos que se usan para estudiar la relacin entre dos variables se llaman datos
bivariados. Datos bivariados se obtienen cuando medimos ambas variables en el mismo
individuo. Suponga que est interesado en estudiar la relacin entre las notas de la primera
prueba y las notas finales. Entonces las notas en la primera prueba corresponderan a la variable
explicativa o independiente X y las notas finales sera la variable respuesta o dependiente Y.
Estas dos variables son de tipo cuantitativo.Si el grfico de dispersin nos muestra una asociacin
lineal entre dos variables de inters, entonces buscaremos una lnea recta que describa la
relacin, la llamaremos recta de regresin.
Un poco de historia.
El nombre de regresin deriva de los estudios de herencia de Francis Galton, quien en 1886* publica
la ley de la "regresin universal". En sus estudios Galton encontr que haba una relacin directa
entre la estatura de padres e hijos. Sin embargo, el promedio de estatura de hijos de padres muy
altos era inferior al de sus padres y, el de hijos de padres muy bajos, era superior al de los padres,
regresando a una media poblacional. De ah viene el nombre de regresin.
Ejemplo
Se seleccion a 7 alumnas de la carrera de Psicologa del ao 2003 que nos dieron sus datos de
estatura (en cms) y de peso (en kilos).
*
Galton, F. (1886) "Regression Towards Mediocrity in Hereditary Stature," Journal of the
Anthropological Institute, 15:246-263 (http://www.mugu.com/galton/essays/1880-1889/galton-
1886-jaigi-regression-stature.pdf)
Pgina 9 de 43
58
56
54
peso
52
50
48
Ecuacin de la recta:
a
b
b a
b=0
a
1 2 3 1 2 3
Si queremos relacionar al peso con la estatura entonces la lnea recta ser: peso = a + b estatura .
La recta de regresin que resume el peso con la estatura es: peso = 45,276 + 0,603 estatura .
Pgina 10 de 43
58
56
54
peso
52
50
48
La figura muestra que la lnea ajusta ms o menos bien a los datos. La pendiente b = 0,603 nos
dice que el peso de este grupo aumenta en 0,603 kilos por cada centmetro que aumente de
estatura. La pendiente b es la tasa de cambio en la respuesta Y cuando X cambia. La pendiente
de la recta de regresin es una descripcin numrica importante de la relacin entre dos
variables. El intercepto es a = 45,276 , que sera el peso si la estatura fuera cero. En este caso,
el cero de estatura no tiene sentido, as es que tomaremos al intercepto slo como parte de la
ecuacin.
Necesitamos una forma objetiva de obtener una recta y que esta pase por la mayora de los
puntos.
Definicin:
La recta de regresin de mnimos cuadrados, dada por Y = a + bX , es la recta que hace mnima
la suma de los cuadrados de las desviaciones verticales de los datos a la recta, donde
b=
(x x )(y y )
i i
y a = y bx
(x x ) i
2
sY
Una forma fcil de calcular la pendiente es: b = r donde s y es la desviacin estndar de las
sX
respuestas y s x es la desviacin estndar de la variable explicativa.
El mtodo de mnimos cuadrados fue publicado por el matemtico francs Adrien Legendre (1752-1833) en 1805. Este
mtodo es una de las herramientas estadsticas ms usadas.
Pgina 11 de 43
Ejemplo
Test 1 vs Test 2.
Test 1 Test 2 20
8 9
10 13 18
12 14
14 15 16
16 19
Test 2
14
12
10
8 10 12 14 16
Test 1
Pendiente: b = 1,1 ==> cada punto adicional en el test 1, significa un aumento de 1,1 puntos
en el test 2 en promedio.
Intercepto: a = 0,8 ==> Si asignamos el valor cero puntos al test 1, el test 2 tendra un valor
de 0,8 puntos.
Si usamos la recta de regresin, podemos predecir que un estudiante que tiene 15 puntos en el
test 1 tendr Y = 0,8 + 1,1(15) = 17,3 puntos en el test 2.
Definicin:
Prediccin:
La exactitud de las predicciones de la recta de regresin depende de que tan dispersos estn las
observaciones alrededor de la recta (ajuste).
Extrapolacin:
Extrapolacin es el uso de la recta de regresin para predecir fuera del rango de valores de la
variable explicativa X. Este tipo de predicciones son a menudo poco precisas.
Por ejemplo los datos de peso y estatura fueron tomados de un grupo de alumnas de Psicologa
del ao 2003 que tenan entre 18 y 23 aos. Cunto debe haber pesado una persona si al nacer
midi 45 centmetros?
"No deje que los clculos invadan su sentido comn". (Moore, 1989).
Tarea: Calcular los residuos de la regresin, Cunto vale la suma de los residuos?
Los residuos muestran cun lejos estn los datos de la lnea de regresin ajustada, examinar los
residuos nos ayuda a saber qu tan bien describe la recta a los datos. Los residuos que se
generan a partir del mtodo de mnimos cuadrados tienen una propiedad bsica: el promedio de
los residuos es siempre cero.
Ejemplo
Volvamos al ejercicio con las estaturas y pesos de 7 alumnas. La recta de regresin la podemos
calcular usando el SPSS con la salida:
En SPSS
Coeficientes(a)
Coeficientes no Coeficientes
Modelo estandarizados estandarizados t Sig.
Tambin podemos hacer un grfico con los residuos versus la variable explicativa. El grfico de
los residuos magnifica las desviaciones de los datos a la recta, lo que ayuda a detectar problemas
con el ajuste. Si la recta de regresin se ajusta bien a los datos no deberamos detectar ningn
patrn en los residuos.
La figura A adjunta muestra un grfico de residuos tpico, generalmente se dibuja una lnea
horizontal en el cero. La figura B en cambio muestra que la relacin entre X e Y es no lineal, por
Pgina 13 de 43
lo tanto una lnea recta no es buena descripcin de la asociacin. La figura C muestra residuos en
forma de embudo, donde la variacin de Y alrededor de X aumenta cuando X aumenta.
Figura A:
Figura B:
Figura C:
Ejemplo
Los estudiantes de una clase de Fsica estn estudiando la cada libre para determinar la relacin
entre la distancia desde que un objeto cae y el tiempo que demora en caer. Se muestra el grfico
de dispersin de los datos obtenidos, y el grfico de residuos. Basado en estos grficos, Le
parece apropiado un modelo de regresin lineal?
Pgina 14 de 43
Un punto extremo es una observacin que est lejos de la lnea recta, lo que produce un residuo
grande, positivo o negativo. Un punto es influyente si al sacarlo produce un cambio notorio en
la recta de regresin.
Considere el siguiente conjunto de datos I y su grfico de dispersin correspondiente.
X Y 6 Punto A
1 1
1 2
5
2 1.5
2.5 2.5
3 3 4
3.5 3
y
4 3.5 3
4 4
4.5 4 2
5 5
5 6
1
5.5 6
2 6 1 2 3
x
4 5 6
Coeficientesa
Coeficientes
Coeficientes no estandarizad
estandarizados os
Modelo B Error tp. Beta t Sig.
1 (Constante) .958 .847 1.131 .282
x .815 .234 .724 3.482 .005
a. Variable dependiente: y
Coeficientesa
Coeficientes
Coeficientes no estandarizad
estandarizados os
Modelo B Error tp. Beta t Sig.
1 (Constante) .036 .415 .087 .932
x 1.002 .112 .943 8.973 .000
a. Variable dependiente: y
Pgina 15 de 43
6 Punto A
3
Recta con A
Y = 0,958+0,815X
Recta sin A
2 Y = 0,036+1,002X
0
0 1 2 3 4 5 6
X
X Y 7 Punto B
1 3
1.5 2 6
2 3
2 4 5
2.5 1
2.5 2
y
3 1
3 2 3
3 3
3.5 2 2
4 1
1
7 7
1 2 3 4 5 6 7
x
Pgina 16 de 43
Coeficientesa
Coeficientes
Coeficientes no estandarizad
estandarizados os
Modelo B Error tp. Beta t Sig.
1 (Constante) .886 .955 .928 .375
x .582 .292 .533 1.991 .074
a. Variable dependiente: y
Coeficientesa
Coeficientes
Coeficientes no estandarizad
estandarizados os
Modelo B Error tp. Beta t Sig.
1 (Constante) 3.694 .845 4.373 .002
x -.594 .315 -.532 -1.885 .092
a. Variable dependiente: y
7 Punto B
Recta con B
Y=0,886+0,882X
4
Y
2 Recta sin B
Y=3,694-0,594X
0
0 1 2 3 4 5 6 7 8
X
Sin embargo, el punto B es muy influyente ya que la sacarlo del anlisis la lnea recta cambia
totalmente.
El Punto B es influyente, pero no extremo.
Notas:
a) La asociacin entre una variable explicativa X y una variable respuesta Y, aunque sea muy
fuerte, no es por s sola evidencia de que los cambios en X causan cambios en Y.
estndar : i ~ N (0, )
El modelo estadstico de regresin lineal simple asume que para cada valor de X, los valores de la
respuesta Y son normales con media (que depende de X) y desviacin estndar que no
depende de X. Esta desviacin estndar es la desviacin estndar de todos los valores de Y en
la poblacin para un mismo valor de X.
=
e i
2
n2 n2
Probando la hiptesis acerca de la existencia de relacin lineal.
E(Y) =
H0 : = 0
H 0 : No existe regresin lineal
o
H1 : 0 H 1 : Existe regresin lineal
Existen hiptesis de una cola, donde H1 : < 0 o H1 : > 0 , pero lo usual es hacer el test
bilateral.
b t ( n 2 ;1 2 )[EE(b)]
(
donde t n 2 ;1 2 ) es el percentil apropiado de la distribucin t de Student con (n-2)
grados de libertad.
H0 : = 0
H1 : 0
Test 1 Test 2
8 9
10 13
12 14
14 15
16 19
Analizar > Regresin > Lineal > En Estadsticos > Seleccionar Intervalos de Confianza.
Resumen del modelo
ANOVAb
Suma de Media
Modelo cuadrados gl cuadrtica F Sig.
1 Regresin 48,400 1 48,400 40,333 ,008a
Residual 3,600 3 1,200
Total 52,000 4
a. Variables predictoras: (Constante), Test 1
b. Variable dependiente: Test 2
Coeficientes a
Coeficientes
Coeficientes no estandarizad Intervalo de confianza para
estandarizados os B al 95%
Lmite
Modelo B Error tp. Beta t Sig. Lmite inferior superior
1 (Constante) ,800 2,135 ,375 ,733 -5,996 7,596
Test 1 1,100 ,173 ,965 6,351 ,008 ,549 1,651
a. Variable dependiente: Test 2
Pgina 22 de 43
2. Examine los residuos para verificar los supuestos acerca del trmino del error. Los residuos
deben ser una muestra aleatoria de una poblacin normal con media 0 y desviacin estndar
. Cuando examine los residuos verifique:
a) Normalidad.
Para verificar normalidad haga el histograma de los residuos, este debera aparecer como
normal sin valores extremos. En el caso de tener pocas observaciones puede hacer un grfico
de tallo y hoja y verificar que no haya observaciones extremas.
El grfico de los residuos versus X, debe tener aproximadamente una banda del mismo ancho,
de la forma:
1. Describir las variables X e Y por medio de una tabla con medidas de resumen descriptiva.
Ejemplo:
Se conduce un experimento en 12 sujetos para analizar si la dosis de cierta droga (en ml) est
relacionada con el tiempo de reaccin a un estmulo en segundos.
Droga (ml) 1,0 1,5 2,0 2,5 3,0 3,5 4,0 4,5 5,0 5,5 6,0 6,5
Tiempo (segs) 1,0 0,8 1,8 1,4 2,1 1,8 2,2 3,0 2,75 3,0 4,1 4,9
Estadsticos descriptivos
N Mnimo Mximo Media Desv. tp.
Tiempo de Reaccin (seg) 12 ,80 4,90 2,4042 1,21925
Dosis de Droga (ml) 12 1,00 6,50 3,7500 1,80278
N vlido (segn lista) 12
Correlaciones
Tiempo de
Reaccin Dosis de
(seg) Droga (ml)
Tiempo de Reaccin Correlacin de Pearson 1 ,939(**)
(seg) Sig. (bilateral) ,000
N 12 12
Dosis de Droga (ml) Correlacin de Pearson ,939(**) 1
Sig. (bilateral) ,000
N 12 12
** La correlacin es significativa al nivel 0,01 (bilateral).
Pgina 24 de 43
Grficos > Generador de Grficos > Elija Dispersin/Puntos > Doble clic en el grfico, en ventana de
Editor de Grficos > Opciones > Elementos > Lnea de Ajuste Total > Lineal.
5,00
4,00
Tiempo de Reaccin (seg)
3,00
2,00
1,00
Sq r lineal = 0,882
0,00
1,00 2,00 3,00 4,00 5,00 6,00 7,00
Dosis de Droga (ml)
Linealidad?
Coeficientes(a)
Coeficientes no Coeficientes
estandarizados estandarizados
ANOVAb
Suma de Media
Modelo cuadrados gl cuadrtica F Sig.
1 Regresin 14.430 1 14.430 75.048 .000a
Residual 1.923 10 .192
Total 16.352 11
a. Variables predictoras: (Constante), Dosis de droga (ml)
b. Variable dependiente: Tiempo de reaccin (seg)
Coeficiente de determinacin?
Analizar > Regresin > Lineal > Guardar > en Residuos seleccione No Tipificados. Luego, Grficos
> Generador de Grficos > seleccione Dispersin/Puntos > doble clic en el grfico, en Editor de Grficos >
Opciones > Lnea de Referencia del eje Y.
0,6
Unstandardized Residual
0,3
0,0
-0,3
-0,6
1 2 3 4 5 6 7
Dosis de Droga (ml)
Homocedasticidad?
Pgina 26 de 43
Pruebas de normalidad
Kolmogorov-Smirnov a Shapiro-Wilk
Estadstico gl Sig. Estadstico gl Sig.
Unstandardized Residual ,162 12 ,200* ,933 12 ,413
*. Este es un lmite inferior de la significacin verdadera.
a. Correccin de la significacin de Lilliefors
Pgina 27 de 43
Anteriormente, ya vimos que el anlisis de regresin simple trata de relacionar una variable
explicativa cuantitativa con una variable respuesta cuantitativa. Todos esos elementos nos van a
servir ahora para continuar con el caso ms general y de mayor utilidad prctica, que es la
regresin lineal mltiple. Por regresin lineal mltiple entenderemos el anlisis de regresin lineal
pero ahora con ms de una variable explicativa.
Los datos para regresin lineal simple consisten en pares de observaciones (xi, yi) de dos
variables cuantitativas. Ahora tendremos mltiples variables explicativas, por lo que la notacin
ser ms elaborada. Llamaremos Xij el valor de la j-sima variable del i-simo sujeto o unidad
(i=1,2,...,n ; j=1,2,...,p). Los datos se pueden organizar de la siguiente forma en una base:
yi = 0 + 1 xi1 + 2 xi 2 + L + p xip + i
donde:
estndar : i ~ N (0, )
Si suponemos que la respuesta media est relacionada con los parmetros a travs de la
ecuacin: y = 0 + 1 x 1 + 2 x 2 + L + p x p , esto quiere decir que podemos estimar la
media de la variable respuesta a travs de la estimacin de los parmetros de regresin. Si
Pgina 28 de 43
esta ecuacin se ajusta a la realidad entonces tenemos una forma de describir cmo la media de
la variable respuesta y vara con las variables explicatorias x1, x2 , L , x p .
En regresin lineal simple usamos el mtodo de mnimos cuadrados para obtener estimadores
del intercepto y de la pendiente. En regresin lineal mltiple el principio es el mismo, pero
necesitamos estimar ms parmetros.
residuo = y observado y
estimado
El i-simo residuo = e i = y i y
i
(
e i = y i b0 + b1 x i1 + b2 x i 2 + L + b p x ip )
El mtodo mnimos cuadrados elige los valores de los estimadores b0 , b1 , L , b p ptimos, es
decir, que hacen la suma de cuadrados de los residuos menor posible. En otras palabras, los
parmetros estimados b0 , b1 , L , b p minimizan la diferencia entre la respuesta observada y la
Podemos obtener intervalos de confianza y test de hiptesis para cada uno de los coeficientes de
regresin j como lo hicimos en regresin simple. Los errores estndar de los estadsticos
muestrales b0 , b1, L , bp tienen frmulas ms complicadas, as es que nuevamente dejaremos que
SPSS haga su trabajo.
H0 : j = 0
Para docimar la hiptesis se usa el test t:
H1 : j 0
Pgina 29 de 43
bj
t = ~ t(n p 1)
EE(b j )
Notas:
- Vamos a dejar a SPSS el clculo del error estndar de bj .
- Tendremos entonces un test de hiptesis asociado a cada variable explicatoria en el modelo.
- Podemos realizar hiptesis de una cola, donde H1: j < 0 o H1: j > 0 , pero lo usual es
hacer el test bilateral.
b j t ( n p 1;1 2 ) EE (b j )
donde t ( n p 1 ;1 2 ) es el percentil apropiado de la distribucin t con (n-p-1) grados de
libertad, EE(b j ) es el error estndar de bj .
Se pueden obtener intervalos de confianza para la respuesta media o intervalos de confianza para
futuras observaciones en los modelos de regresin mltiple.
gl SC CM
Fuente de variacin Grados de libertad Suma de Cuadrados Cuadrados
Medios
Modelo p SCMod = (y y ) 2 SCMod
p
n SC Re s
Residuo n p 1 SC Re s = (y
i =1
i i )2
y
n p 1
Total n 1 SCT = (y
i =1
i y)
2
La tabla ANOVA es similar a la de regresin simple. Los grados de libertad del modelo son ahora p
en vez de 1, lo que refleja que ahora tenemos p variables explicatorias en vez de slo una. Las
sumas de cuadrados representan las fuentes de variacin. Recordemos que la suma de cuadrados
total es igual a la suma de los cuadrados del modelo de regresin ms la suma de los cuadrados
del residuo:
Estadstico F.
La razn entre el cuadrado medio del modelo y el residuo F = MCMod MC Re s , permite estimar si
la relacin entre las variables explicatorias y la respuesta es significativa. La hiptesis que docima
el test F es:
H0 : 1 = 2 = L = p = 0
H1 : al menos un j no es cero
La hiptesis nula dice que ninguna de las variables explicatorias son predictoras de la variable
respuesta. La hiptesis alternativa dice que al menos una de las variables explicatorias est
linealmente relacionada con la respuesta. Como en regresin simple, valores grandes de F nos
dan evidencia en contra de hiptesis nula. Cuando H0 es verdadera, el estadstico F tiene
distribucin F de Fisher con (p, n-p-1) grados de libertad. Los grados de libertad estn asociados
a los grados de libertad del modelo y del residuo en la tabla ANOVA.
Recordemos que en regresin lineal simple el test F de la tabla ANOVA es equivalente al test t
bilateral para la hiptesis de que la pendiente es cero. Ahora, el test F de regresin mltiple docima
la hiptesis de que todos los coeficientes de regresin (con excepcin del intercepto) son cero,
hiptesis que no es de mucho inters. En el problema de regresin mltiple interesan ms las
hiptesis individuales para cada parmetro asociado a cada variable explicatoria.
SCReg
En regresin lineal simple vimos que el cuadrado del coeficiente de correlacin era r 2 = y
SCTotal
se poda interpretar como la proporcin de la variabilidad de Y que poda ser explicada por X. Un
coeficiente similar se calcula en regresin mltiple:
R 2
=
SC Mod
=
(y y )
2
SC Total
(y y )
i
2
Cuando evaluamos un modelo de regresin lineal mltiple nos interesa decidir si una variable
dada mejora la capacidad para predecir la respuesta comparando el R2 de un modelo que contiene
la variable, con el R2 del modelo sin la variable. El modelo con mejor R2 debera ser el mejor
modelo. Pero debemos ser cuidadosos cuando comparamos los coeficientes de determinacin de
dos modelos diferentes. La inclusin de una variable adicional en el modelo nunca provoca la
reduccin de R2. Para manejar este problema, podemos utilizar el R2 ajustado, que ajusta por el
nmero de variables que hay en el modelo. El R2 ajustado es:
Ra2 = 1
n 1
n (p + 1)
(
1 R2 )
Pgina 31 de 43
Ejemplo:
Nos interesa analizar la relacin entre las notas de Enseanza Media y la Prueba de Aptitud
Acadmica (PAA). Se tienen datos de la PAA del 2001 de la regin del Maule. Queremos analizar
si podemos explicar las notas de enseanza media (NEM) con las pruebas de Matemtica (PAM),
Verbal (PAV) e Historia y Geografa (PHG).
y i = 0 + 1 xi 1 + 2 x i 2 + 3 x i 3 + 4 xi 4 + i
En forma abreviada:
NEM = PAM + PAV + PHG
Analizar > Regresin > Lineal > En Estadsticos > Seleccionar Intervalos de Confianza.
ANOVAb
Suma de Media
Modelo cuadrados gl cuadrtica F Sig.
1 Regresin 16400316 3 5466772.0 828.045 .000a
Residual 32660205 4947 6602.023
Total 49060521 4950
a. Variables predictoras: (Constante), Prueba Historia y Geografa, Prueba Aptitud
Matemtica, Prueba Aptitud Verbal
b. Variable dependiente: NEM Notas Ens Media
Coeficientesa
Coeficientes
Coeficientes no estandarizad Intervalo de confianza para
estandarizados os B al 95%
Lmite
Modelo B Error tp. Beta t Sig. Lmite inferior superior
1 (Constante) 312.088 5.656 55.179 .000 301.000 323.176
Prueba Aptitud Verbal .153 .019 .176 7.993 .000 .115 .190
Prueba Aptitud
.275 .015 .349 18.133 .000 .245 .304
Matemtica
Prueba Historia y
.096 .019 .098 5.049 .000 .059 .133
Geografa
a. Variable dependiente: NEM Notas Ens Media
Pgina 32 de 43
1. Examine los grficos de dispersin entre la variable respuesta Y versus las variables
explicatorias X para investigar si la relacin entre estas variables es lineal y por lo tanto si el
modelo es razonable. A travs de este anlisis podremos entender mejor la relacin entre los
datos.
Correlacionesa
Prueba Prueba
NEM Notas Prueba Aptitud Historia y
Ens Media Aptitud Verbal Matemtica Geografa
NEM Notas Ens Media Correlacin de Pearson 1 .526** .556** .485**
Sig. (bilateral) . .000 .000 .000
Prueba Aptitud Verbal Correlacin de Pearson .526** 1 .783** .789**
Sig. (bilateral) .000 . .000 .000
Prueba Aptitud Correlacin de Pearson .556** .783** 1 .711**
Matemtica Sig. (bilateral) .000 .000 . .000
Prueba Historia y Correlacin de Pearson .485** .789** .711** 1
Geografa Sig. (bilateral) .000 .000 .000 .
**. La correlacin es significativa al nivel 0,01 (bilateral).
a. N por lista = 4951
Pgina 33 de 43
Grficos > Cuadros de dilogo antiguos > Dispersin/Puntos > seleccione Dispersin Matricial > Definir.
2. Examine los residuos para verificar los supuestos acerca del trmino del error. Los residuos
deben ser una muestra aleatoria de una poblacin normal con media 0 y desviacin estndar
. Para verificar normalidad grafique el histograma de los residuos, este debera aparecer
como normal sin valores extremos. Adems debemos revisar los residuos individuales para
detectar valores extremos y/o influyentes. Por ltimo debemos detectar si la distribucin de
los residuos es al azar y no hay formas que muestren un problema en el ajuste, o que la
varianza no sea constante.
400 .75
300
.50
Prob acum esperada
200
Frecuencia
0 N = 4951.00
0.00
-3
-2
-2
-1
-1
-.5
0.
.5
1.
1.
2.
2.
3.
00
00
50
00
50
00
.0
.5
.0
.5
.0
0
0
Re 2
gr
esi 1
n
Re
0
sid
uo
-1
est
ud
en -2
tiz
ad -3
o
-4
400 500 600 700 800
Ejemplo:
Usando la salida de SPSS para la regresin mltiple sin la Prueba de Historia y Geografa, analice
como cambia el R2.
Colinealidad.
Aparte de los supuestos antes mencionados, siempre hay que verificar la presencia de
colinealidad. La colinealidad ocurre cuando dos o ms variables explicativas se relacionan entre s,
hasta el punto de que comunican esencialmente la misma informacin sobre la variacin
observada en Y. Un sntoma de la existencia de colinealidad es la inestabilidad de los coeficientes
calculados y sus errores estndares. En particular los errores estndares a menudo se tornan muy
grandes; esto implica que hay un alto grado de variabilidad de muestreo en los coeficientes
calculados.
Pgina 35 de 43
Ejemplo:
La Comisin Federal de Comercio (Federal Trade Commission) de Estados Unidos clasifica
anualmente las variedades de cigarrillos segn su contenido de alquitrn, nicotina y monxido de
carbono. Se sabe que estas tres sustancias son peligrosas para la salud de los fumadores.
Estudios anteriores han revelado que los incrementos en el contenido de alquitrn y nicotina de
un cigarrillo van acompaados por un incremento en el monxido de carbono emitido en el humo
de cigarrillo. La base de datos CO_multiple.sav (en Educandus) contiene los datos sobre
contenido de alquitrn (en miligramos), nicotina (en miligramos) y monxido de carbono (en
miligramos) y peso (en gramos) de una muestra de 25 marcas (con filtro) ensayadas en un ao
reciente. Suponga que se desea modelar el contenido de monxido de carbono, Y, en funcin del
contenido de alquitrn, X1, el contenido de nicotina, X2, y el peso, X3, utilizando el modelo:
yi = 0 + 1 xi1 + 2 xi 2 + 3 xi 3 + i
En forma abreviada:
CO = Alquitrn + Nicotina + Peso
Coeficientesa
Coeficientes
Coeficientes no estandarizad Intervalo de confianza para
estandarizados os B al 95%
Lmite
Modelo B Error tp. Beta t Sig. Lmite inferior superior
1 (Constante) 3.202 3.462 .925 .365 -3.997 10.401
Alquitrn .963 .242 1.151 3.974 .001 .459 1.466
Nicotina -2.632 3.901 -.197 -.675 .507 -10.743 5.480
Peso -.130 3.885 -.002 -.034 .974 -8.210 7.950
a. Variable dependiente: Monxido de Carbono (mg)
Pgina 36 de 43
CO
Alquitrn
Nicotina
Peso
Correlacionesa
Coeficientesa
Coeficientes
Coeficientes no estandarizad Intervalo de confianza para
estandarizados os B al 95%
Lmite
Modelo B Error tp. Beta t Sig. Lmite inferior superior
1 (Constante) 3.114 3.416 .912 .372 -3.970 10.199
Alquitrn .804 .059 .961 13.622 .000 .682 .927
Peso -.423 3.813 -.008 -.111 .913 -8.331 7.485
a. Variable dependiente: Monxido de Carbono (mg)
Coeficientesa
Coeficientes
Coeficientes no estandarizad Intervalo de confianza para
estandarizados os B al 95%
Lmite
Modelo B Error tp. Beta t Sig. Lmite inferior superior
1 (Constante) 1.614 4.447 .363 .720 -7.608 10.836
Nicotina 12.388 1.245 .925 9.952 .000 9.807 14.970
Peso .059 5.024 .001 .012 .991 -10.360 10.478
a. Variable dependiente: Monxido de Carbono (mg)
Modelo: CO = Alquitrn
Resumen del modelo
Coeficientesa
Coeficientes
Coeficientes no estandarizad Intervalo de confianza para
estandarizados os B al 95%
Lmite
Modelo B Error tp. Beta t Sig. Lmite inferior superior
1 (Constante) 2.743 .675 4.063 .000 1.347 4.140
Alquitrn .801 .050 .957 15.918 .000 .697 .905
a. Variable dependiente: Monxido de Carbono (mg)
Pgina 38 de 43
Tabla resumen:
Modelos R2 Coeficiente Intervalo de confianza
para CO
Alquitrn 0,963 (0,459; 1,466)
Nicotina 90,7% -2,632 (-10,743; 5,480)
Peso -0,130 (-8,210; 7,950)
Residuos
Seleccin de modelos.
Como regla general, normalmente es preferible incluir en un modelo de regresin slo las
variables explicativas que ayudan a predecir o explicar la variabilidad de la respuesta Y, a este
modelo lo llamamos parsimonioso. En consecuencia, si tenemos diversas variables explicativas
potenciales, cmo decidir cules deben quedar en el modelo y cules dejar fuera? Por lo general,
la decisin se toma en base a una combinacin de consideraciones estadsticas y no estadsticas.
Es fundamental identificar o conocer cules variables podran ser importantes. Sin embargo, para
estudiar cabalmente el efecto de cada una de estas variables explicativas, sera necesario llevar a
cabo anlisis por separado de cada posible combinacin de variables. Los modelos resultantes
podran evaluarse enseguida de acuerdo con algn criterio estadstico. Este es el mtodo ms
completo, pero tambin el que ocupa ms tiempo. Si tenemos una gran cantidad de variables
explicativas el procedimiento podra no ser factible. Existen otros mtodos paso a paso (stepwise
en ingls) que son tiles, pero que hay que usarlos con cautela porque los resultados pudieran ser
dependientes de los datos (la muestra) ms que basados en el conocimiento del problema que
estamos estudiando. La recomendacin es buscar un equilibrio entre el uso de mtodos
computacionales, el conocimiento que tenemos de las variables y los resultados de la muestra.
Pgina 39 de 43
Variables indicadoras.
Las variables explicativas que hemos considerado hasta este momento se midieron en escala
cuantitativa. Sin embargo, el anlisis de regresin puede generalizarse para incluir, asimismo,
variables explicativas cualitativas.
1 hom bres
Una variable indicadora para sexo ser:
0 mujeres
Datos > Recodificar > En distintas variables > valores antiguos y nuevos > 1 1 > 2 0
Ejemplo:
Queremos encontrar un modelo que explique el puntaje promedio en la PSU. Entre las
variables independientes considere las notas en la enseanza media (NEM) y el sexo. Para
esto usaremos los datos de la Prueba de Seleccin Universitaria (PSU) rendida el ao 2004 en la
regin del Maule. Usaremos los egresados en el ao 2003, es decir los que rinden por primera vez
la PSU.
1. Describir los datos: Descripcin grfica y numrica de las variables que se van a utilizar
en el anlisis
Pgina 40 de 43
Descripcin grfica:
900
800
700
Promedio PSU
600
500
400
300
200
Masculino Femenino
Sexo
Estadsticos de grupo
3. Bsqueda del mejor modelo (R2 y test de hiptesis de los coeficientes de regresin).
Coeficientesa
Coeficientes
Coeficientes no estandarizad Intervalo de confianza para
estandarizados os B al 95%
Lmite
Modelo B Error tp. Beta t Sig. Lmite inferior superior
1 (Constante) 93.167 7.660 12.163 .000 78.151 108.184
NEM: Notas en
.642 .012 .612 51.565 .000 .617 .666
Enseanza Media
Sexo 36.158 2.482 .173 14.570 .000 31.293 41.023
a. Variable dependiente: Promedio PSU
Pgina 42 de 43
- intercepto: si las notas fueran cero en la mujeres (sexo=0), la PSU sera de 93,167
puntos.
- Pendiente NEM: por cada punto de notas de enseanza media aumenta la PSU promedio
en 0,642 puntos.
- Pendiente sexo: los hombres tienen el promedio 36,158 puntos ms que las mujeres en la
PSU