Modelos de Variable

Dependiente Binaria
-Logit y Probit-
Econometra Aplicada
Daniel Lema
Introduccin
Modelos de regresin donde la variable
dependiente es binaria o dummy
El desarrollo moderno de los modelos de
eleccin binaria se encuentra en las
aplicaciones biolgicas.
Ej: experimentos en los que se administra
una dosis u
i
de una droga a grupos de
insectos y se pretende analizar su
probabilidad de supervivencia.

Introduccin
Sea c
i
la tolerancia de un insecto en particular a
esa droga: el insecto i muere (y
i
= 1) si u
i
> c
i
y
sobrevive (yi = 0) si u
i
< ci.
Por lo tanto, la probabilidad de fallecer es:
Pr (yi = 1) = Pr (ui > ci) .
En aplicaciones a las Ciencias Sociales, u y c
suelen ser inobservables, de manera que la
derivacin del modelo binario gira en torno a la
existencia de unas variables latentes que
determinan el comportamiento del individuo.

Por ejemplo:
Un modelo que trata de explicar los factores
determinantes de que una familia sea adquiera una
casa.
Podemos pensar que u podra ser la utilidad y c un
umbral o valor critico.
En este caso lo que observaramos es el resultado
de una decisin maximizadora de la utilidad por
parte de un individuo racional (preferencias
reveladas) y el objetivo del anlisis sera
revelarinformacin sobre las variables latentes
que gobiernan esa decisin (empleando ciertas
restricciones estructurales).
Alternativamente, u puede interpretarse como una
variable indicador (denotada habitualmente como
y*) que determina la decisin tomada por cada
individuo.

Si el valor que toma el indicador es superior
(inferior) a un determinado valor critico c
i
en
general, desconocido entonces el individuo
toma la decisin representada por yi = 1 (yi = 0).
Por lo tanto, el indicador refleja el sentimiento del
decisor frente a la opcin que representa yi = 1: si
su predisposicin es lo suficientemente grande
(mayor que ci) entonces elegir dicha opcin; en
caso contrario, optar por la opcin alternativa, yi
= 0.
Este tipo de planteamiento es usual, por ejemplo,
en estudios sobre participacin en el mercado
laboral (salario de mercado y salario de reserva)
o sobre migracin (beneficios y costos).

En particular, si suponemos que el indicador
depende aditivamente de las caractersticas
personales del individuo y de una componente
aleatoria y
i
* = x
i
+
i
,
entonces la probabilidad de que el individuo
isimo elija la accin yi = 1 vendr dada por:
Pr (y
i
= 1) = Pr (y
i
> c
i
) = F (x
i
) ,
Donde F (.) es la funcin de distribucin
acumulada de y
i
.
El objetivo es analizar como estimar el vector
de parmetros

Por ejemplo, se selecciona una muestra
de hogares y se registra el ingreso y si la
familia es propietaria o no de una casa. El
modelo puede expresarse
Y
i
=o + | X
i
+ c
i

Donde Y
i
= 1 si el hogar es propietario de su
casa y cero en caso contrario.
X
i
es el ingreso del hogar i

Se puede aplicar MCO a este problema
Este es el modelo lineal de probabilidad lineal
(MLP)
El MLP pertenece a la clase de modelos de
decisin asociada a la existencia de variables
latentes.
En concreto, el MLP representa el caso
particular en el que la funcin F (.) corresponde
a una distribucin uniforme en el intervalo [0,
1].
No obstante, los modelos lineales tienen una
serie de caractersticas que ponen en duda la
aplicabilidad de este tipo de aproximacin para
observaciones individuales.



Los test de hiptesis se basan en la
normalidad del trmino de error. No son
aplicables.
Para un valor dado de X
i
el trmino de error
slo puede tomar uno de los siguientes dos
valores
c
i
= 1 o |X
i
cuando Y
i
= 1
c
i
= o |X
i
cuando Y
i
= 0
En consecuencia los errores no se distribuyen
como una normal (de hecho lo hacen como
una binomial)
Los errores son Heteroscedasticos.
El estimador MCO es ineficiente (no
tienen varianza mnima)
Prediccin: El valor x
i
| no ser, en
general, 0 o 1.
De hecho, no existen garantas de que la
prediccin efectivamente satisfaga la
restriccin 0 Pr (yi = 1|xi) 1

Estos problemas no impiden
absolutamente la aplicacin de MCO
Se puede ajustar por heteroscedasticidad
Los errores no normales son menos
problemticos en muestras grandes
Predicciones negativas o mayores a uno
no son un problema serio (pueden
ignorarse, por ej.)
Sin embargo, algunos supuestos del modelo son
restrictivos
Por ejemplo la constancia del efecto marginal de
un cambio en el ingreso sobre la probabilidad de
ser propietario (|)
Supongamos, que los parmetros estimados por
MCO (para una muestra dada) son:
yi = 0.012 + 0.1021xi.
El valor de la constante (0.012) corresponde a la
probabilidad de que una familia sin ingresos, xi =
0, posea una vivienda.
El valor de la pendiente es el aumento en la
probabilidad de poseer una vivienda provocado
por un incremento unitario en el nivel de
ingresos.


En el MLP ese aumento se produce con
independencia del nivel de ingreso del que se
Parte
Econmicamente uno esperara que el aumento
de la probabilidad fuera no lineal: para niveles
bajos de renta la probabilidad de poseer una
vivienda sera baja,
Mientras que para niveles elevados este hecho
sera mucho ms probable.
Esto implicara una relacin de este tipo entre
probabilidad de ser propietario e ingreso

0
0.2
0.4
0.6
0.8
1
X
p
La relacin es no lineal
La variable dependiente est restringida entre cero y
uno
Por sus caractersticas, las funciones de distribucin
de variables aleatorias son candidatas potenciales,
puesto que de esta forma resolvemos de forma
sencilla el problema que tena el MLP respecto al
rango de valores que poda tomar la prediccin de la
variable endgena.
Dos modelos producen una relacin de este tipo
Un modelo basado en la funcin logstica
Un modelo derivado de una funcin de distribucin
normal acumulada
Modelo Logit
Expresando el modelo explcitamente en
trminos de probabilidades tenemos
P
i
= o + | X
i

Donde P
i
es la probabilidad de que el
hogar i sea propietario de una casa
Una relacin que genera un grfico como
el anterior es:


) (
1
1
i
X
i
e
P
| o+
+
=
Definimos la razn de probabilidades
(odds ratio) como:


i
i
P
P
1
En el caso de la propiedad de casas representa
la razn de la probabilidad de que una familia
posea una casa respecto de la probabilidad de
que no la posea.
Por ejemplo, si P
i
= 0.8 significa que las
probabiliades son 4 a 1 a favor de que la familia
posea una casa (0.8/0.2)

Si tomamos el logaritmo natural de la razn
de probabilidades obtenemos




i i
i
i
i
X Z
P
P
L | o + = =
|
|
.
|

\
|

=
1
ln
Entonces, el L
i
resulta lineal en X y tambin
en los parmetros
L es llamado modelo Logit




La interpretacin del modelo es la
siguiente:
| es la pendiente y mide el cambio en L
ocasionado por un cambio unitario en X,
es decir, dice cmo el logaritmo de las
probabilidades a favor de tener una casa
cambian a mediada que el ingreso cambia
en una unidad.
o es el valor de L si el ingreso es cero
Dado un nivel de ingreso X* si se desea
estimar la probabilidad de tener una casa
(y no las probabilidades a favor de tener
una casa) se puede calcular a partir de la
definicin de P
i
una vez estimados los
parmetros (efectos marginales).
El mtodo de estimacin es por Mxima
Verosimilitud (MV)
El Modelo Probit
La aproximacin al problema es similar al
Logit pero se supone una relacin no
lineal distinta (aunque muy similar) entre
X
i
y P
i

Se basa en la distribucin normal
acumulada
Se supone que la decisin de poseer o no
una casa depende de un ndice I
(conocido como variable latente)


El ndice I est determinado por una o varias
variables explicativas. Por ej ingreso
Cuanto mayor sea el ndice mayor la
probabilidad de tener una casa
I
i
= o + | X
i
Se supone un umbral crtico I* a partir del cul,
si I supera a I* entonces una familia posee una
casa.
El umbral I*, al igual que I, no es observable
Si se supone que est distribuido normalmente
con la misma media y varianza es posible
estimar los parmetros del ndice y tambin
alguna informacin sobre el I*.



P
i
= P (Y=1|X) = P(I*
i
I
i
)
= P(Z
i
o + | X
i
) = F(o + | X
i
)

Donde
Z es una variable estndar normal, Z ~
N(0, o
2
)
F es la funcin de distribucin normal
acumulada


Explcitamente

}

|
.
|

\
|
=
Ii
Z
i
dz e I F
2 /
2
2
1
) (
t
}
+

|
.
|

\
|
=
Xi
Z
dz e
| o
t
2 /
2
2
1

0
0.2
0.4
0.6
0.8
1
X
p
0
-
+
Pi
I
i
= o + | X
i
Pr (I*
i
I
i
)
P
i
= F(I
i
)
Estimacin
La estimacin se realiza por MV
Dado que para cada individuo i la funcin de
verosimilitud ser la probabilidad de que haya
elegido 1 o 0, la funcin de verosimilitud
muestral ser:


Tomando logaritmos:



Las derivadas parciales en caso Logit:



Donde

En el caso Probit:



Donde

La solucin a estos sistema de
ecuaciones se realiza por algoritmos
(Ej.Newton-Raphson)
Es necesario obtener la matriz de
varianzas y covarianzas asinttica
invirtiendo el Hessiano (o su esperanza)
tambin llamado Matriz de Informacin

En el Logit:



En el Probit




Los algoritmos funcionan generalmente bien en los
Logit y Probit (convergencia en 35 iteraciones).
Sin embargo, a veces no se alcanza esa
convergencia (por ejemplo, porque no se puede
invertir el Hessiano debido a que lnL no presenta la
suficiente concavidad) o se alcanza en un mximo
local.
Muchos de estos casos tienen su origen en errores en
las variables
El tamao de la muestra tambin puede jugar un
papel importante: la convergencia se alcanza ms
rpidamente cuanto mayor es el ratio entre el nmero
de observaciones y el nmero de variables
Recomendacin: aprox. 100 observaciones como
mnimo y 10 observaciones por parmetro.

Otro aspecto a tener en cuenta es que los
coeficientes de los modelos logit y probit no son
comparables directamente entre si (y mucho
menos respecto a los del MLP).
No obstante, se puede demostrar que existen
ciertas relaciones de proporcionalidad entre
ellos:
En general, las estimaciones del modelo Logit
sern entre 1.6 y 1.8 veces las del Probit.

Interpretacin de los Coeficientes
Una diferencia fundamental respecto a los
modelos lineales es que la influencia que
tienen las variables explicativas sobre la
probabilidad de elegir la opcin dada por y
i

= 1 (la derivada parcial, dyi/dx
i
=
k
en los
modelos lineales) no es independiente del
vector de caractersticas x
i
.
Una primera aproximacin a la relacin
entre las variables explicativas y la
probabilidad resultante es calcular los
efectos marginales sobre la variable latente
(y*) .
Si el efecto marginal expresa el
cambio de la variable dependiente
provocado por un cambio unitario en
una de las independientes
manteniendo el resto constante, los
parmetros estimados del Logit y el
Probit reflejan el efecto marginal de
las x
ik
en y
i
de la misma forma que en
el MLP, puesto qe E (y*|x) = x.


Por ejemplo, consideremos el siguiente modelo con
una variable explicativa continua
(xi) y una discreta (di):
Y* =
0
+
1
x
i
+
2
d
i
+
i
.
Para las variables continuas el efecto marginal viene
dado por dy*
i
/dx
i
=
1
.
Por su parte, para las ficticias el efecto marginal es
E (y*|d
i
= 1)E (y*|d
i
= 0) =
2
.
El principal problema que enfrenta este tipo de
interpretacin es que no tiene un reflejo muestral (la
variable latente no es observada).
Por lo tanto, slo es adecuada cuando lo que se
busca es analizar las preferencias o utilidades
subyacentes en el modelo.

Los efectos marginales pueden construirse
sobre la probabilidad y, de hecho, este es el
tipo de presentacin ms frecuente.
El efecto de la ksima variable explicativa,
manteniendo el resto constante, puede ser
calculado como:



siendo F (.) la funcin de distribucin y f (.) la
funcin de densidad.
Por lo tanto, en un modelo binario la
influencia que tienen las explicativas sobre
la probabilidad de elegir la opcin dada
por yi = 1 no depende simplemente del
valor los coeficientes, sino tambin del
valor que toman las variables explicativas.
Por ej: El efecto marginal mximo ocurrir
cuando Pr (y = 1) = 0.5


Esto significa que, a diferencia de lo que
ocurre en el MLP, el efecto de una
variable sobre la probabilidad vara con el
valor de esa variable (es decir, no es
independiente del vector de
caractersticas x
i
).


En Logit



En Probit


Los resultados previos suponen que si bien los
coeficientes de estos modelos no son directamente
interpretables, sus valores relativos si lo son.
Por ej. el cociente j/
k
mide la importancia relativa de
los efectos marginales de las variables x
j
y x
k
.
Dado que los efectos marginales varian con x resulta
conveniente calcularlos para valores concretos de la
variable.
Los efectos marginales medios, obtenidos a partir de la
media muestral de la variable, son una de las formas
ms comunes de presentacin de losresultados (por
ejemplo, en Stata).

Tambin se puede calcular, por ejemplo,
el efecto medio respecto al conjunto de las
observaciones:


Inferencia
La inferencia no presenta diferencias
sustanciales respecto al Modelo Lineal
Gaussiano, por lo que para llevar a cabo
hiptesis sobre el valor de un coeficiente puede
emplearse un estadstico de la tStudent
tradicional (aunque, siendo rigurosos, la
distribucin apropiada sera la Normal).(ratio z)
Por su parte, para contrastar la validez de un
conjunto de restricciones como las que definen
la significacin global del modelo puede el test
de razn de verosimilitud (LR)
LR

Por ultimo, una forma de evaluacin del modelo
es la que se deriva de la bondad del ajuste.
Evidentemente, al tratarse de modelos no
lineales carece de sentido plantear la bondad
del ajuste en los terminos que definen el
coeficiente de determinacin (R2).
Existen criterios alternativos que, en cierto
modo, siguen la misma idea.
Todas estas medidas deben interpretarse con
cierta cautela
Su validez como criterios de seleccin del
modelo es ciertamente limitada.

Una medida es el pseudo R
2
de Mc Fadden:




En este caso, si los coeficientes son poco
significativos la capacidad explicativa del
modelo ser muy reducida y el Loglikelihood
sin restricciones ser muy similar al L
0
; por el
contrario, cuanto mayor sea la capacidad
explicativa del modelo, ms proximo estar R
2

a uno.