UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Clases 8: Econometra - ICP

Temas:

Introduccin Modelos de Eleccin Discreta

MPL/Logit/Probit

Gabriel Moraga
Primer Trimestre 2015
1

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Modelos de Eleccin Discreta

En el modelo de regresin lineal vimos que podamos utilizar variables

continuas. Tambin vimos que podamos incluir variables categricas
independientes a partir de la generacin de variables dummies (variables
que toman valores cero o uno).

Sin embargo, existen muchas preguntas de investigacin donde el inters

radica en estimar un modelo para variables categricas dependientes.
Ejemplos de esto son:
Participacin en el mercado laboral (1=participa; 0=no participa).
Condicin de pobreza de un hogar (1=bajo la lnea de pobreza; 0=sobre la
lnea de pobreza).
Votar por determinado candidato presidencial (1=vota por Bachelet; 0=no
vota por Bachelet)
Grado de satisfaccin residencial a partir de una escala de likert (Muy
satisfecho, satisfecho, ni satisfecho ni insatisfecho, insatisfecho, Muy
insatisfecho)
2

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Modelos de Eleccin Discreta

Cuando queremos estimar un modelo de regresin para una variable binaria
o categrica tenemos dos alternativas:

1.

Realizar la estimacin tal cual estimamos el modelo de regresin lineal

mltiple (MRLM), pero incluyendo la variable categrica como variable
dependiente. Este modelo se conoce como: Modelo de Probabilidad
Lineal (MPL).

2.

Una segunda alternativa es estimar un modelo que asuma una

distribucin de probabilidades acotada entre cero y uno para la variable
dependiente. Los modelos ms conocidos de este tipo son:
Modelo Logit
Modelo Probit

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

1. Modelo de Probabilidad Lineal

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Modelo de Probabilidad Lineal

Cuando el modelo predictivo de la variable dependiente se enuncia en

trminos de probabilidad de un evento, se est ante un modelo binomial:
Para el caso particular de una distribucin Bernoulli tenemos solo dos
categoras posibles: (casos favorables=1, casos desfavorables=0)

La probabilidad de obtener un caso favorable es:

p = casos favorables / casos posibles
Donde, casos posibles = casos favorables + casos desfavorables.

De este modo en el ejemplo tenemos que:

p
= Probabilidad de que el evento ocurra (tener un vehculo, Y=1)
1- p = Probabilidad de que el evento no ocurra (no tener vehculo, Y=0)

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Modelo de Probabilidad Lineal

En trminos generales la distribucin binomial toma la siguiente forma:

=
(1 )

Donde = 0,1,2, ,

= !

!
!

Es una combinatoria de las posibilidades de extraer x

observaciones en cualquier orden de un total de n

Note que cuando n=1 se tiene que la combinatoria es igual a 1 para cualquier
x, por tanto la distribucin de Bernulli es: (1 )1

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Modelo de Probabilidad Lineal

En el modelo de regresin mltiple, bajo el supuesto de media condicional
cero (RLM4) tenemos:
1 , 2 , . . , ) = 0 + 1 1 + 2 2 + +

Por tanto, cuando es una variable binaria que toma valores cero o uno se
tienen las condiciones siguientes:

i.
ii.

( = 1 | 1 , 2 , . . , ) = 1 , 2 , . . ,
( = 0 | 1 , 2 , . . , ) = 1 1 , 2 , . . ,

Donde i. se define como la probabilidad de xito y ii. como la

probabilidad de fracaso de algn evento, condicional en las variables
explicativas (Xs).
7

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Modelo de Probabilidad Lineal

De este modo, se puede obtener el efecto de una variacin en una
cualquiera en las probabilidades de ocurrencia de un evento determinado
( = 1) de la siguiente forma:
= 1 1 , 2 , . . , ) =
Como es posible notar, el efecto en la probabilidad simplemente va a estar
determinado por los , los cuales se pueden estimar mediante el mtodo de
Mnimos Cuadrados Ordinarios (MCO).
Note que las probabilidades son lineales (los coeficientes siguen siendo
constantes), por lo cual el nombre del modelo es conocido como Modelo de
Probabilidades Lineal (MPL).

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Modelo de Probabilidad Lineal

Ejemplo: Consideremos el siguiente ejemplo para determinar el efecto del
ingreso familiar en la probabilidad de que los hogares tenga un vehculo:
= 0 + 1 +
Donde:
IngH: Es el ingreso familiar
y = 1 si el hogar tiene vehculo
y = 0 si el hogar no tiene vehculo

Para obtener las estimaciones de los parmetros de este modelo,

simplemente hacemos una regresin utilizando el mtodo MCO.
En este modelo la esperanza condicional de y dado IngH puede
interpretarse como la probabilidad de poseer un vehculo en el hogar dado
determinado nivel de ingresos medios.
9

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Limitaciones del Modelo de Probabilidad Lineal

Si bien en teora este modelo permite obtener las probabilidades
condicionadas presenta una variedad de problemas. Estos son:

1.

No normalidad de las perturbaciones aleatorias: La distribucin de la

variable aleatoria ya no es normal, as los parmetros del modelo si bien
siguen siendo insesgados, la varianza no est bien estimada.

2.

Varianzas heterocedsticas: En el modelo MLP las varianzas van a

depender de su media (p). Como es bien conocido en este caso los
parmetros obtenidos por MCO ya no son de mnima varianza.

3.

Probabilidades constantes: Debido a la linealidad del modelo las

probabilidades son estimadas como constantes para cualquier cambio en
las Xs.
10

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Limitaciones del Modelo de Probabilidad Lineal

4. Incumplimiento de los limites superior e inferior de los estimadores de
probabilidades:
0 < < 1

Este posiblemente es el mayor problema que presentan los estimadores. Si

corremos una regresin lineal (MCO) con variable dependiente binaria. Los
parmetros estimados no necesariamente se encuentran acotados entre 0 y
1, pudiendo obtener probabilidades menores que 0 o probabilidades mayores
que 1. Como estamos hablando de probabilidades, estos valores fuera del
rango resultan confusos .

11

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

2. Modelos LOGIT y PROBIT

12

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Modelos Logit y Probit

Debido a los problemas que presenta el Modelo de Probabilidad Lineal,
necesitamos un modelo de regresin especial en que la variable dependiente
(construida en base a las probabilidades) tenga lmites 0 y 1.
En los modelos de respuesta binaria nos centramos en la probabilidad de
respuesta condicional en las Xs. Para sortear los problemas del modelo
lineal, simplemente suponemos una forma funcional acotada entre 0 y 1
para la probabilidad de respuesta:

= 1 1 , 2 , . . , ) = (0 + 1 1 + 2 2 + + )

Aqu la funcin ( ) va a asumir valores estrictamente dentro de 0 y 1. De

este modo las funciones de distribucin candidatas naturales son las
funciones de probabilidad acumuladas, ya que al ser funciones de
probabilidad, stas estn acotadas inferiormente por 0 y superiormente
por 1.
13

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Distribucin acumula de una normal N(0,1)

1

.8

.6

.4

.2

0
-4

-2

0
norm

14

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Modelos Logit y Probit

Otro tema a considerar es que en la regresin lineal los coeficientes se

estiman mediante el mtodo de "Mnimos Cuadrados Ordinario", en
cambio en los modelos Logit o Probit la estimacin se hace mediante un
procedimiento llamado "Mxima Verosimilitud", que consiste en
encontrar los parmetros del modelo que maximizan la probabilidad de
ocurrencia del evento realmente observado.

La principal diferencia entre el modelo Logit y Probit es el tipo de

distribucin que se asume (funcin G) para determinar las probabilidades
en el modelo.

A continuacin revisaremos en mayor detalle ambos modelos:

15

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Regresin Logstica (Logit)

Para solucionar el problema del lmite superior, transformamos la variable

dependiente a chances (Odds Ratios).
Odds: se define como la razn entre la probabilidad de xito y la
probabilidad de fracaso de un evento:

Odds =
1

Se puede interpretar como el nmero de casos exitosos "" por cada caso
no exitoso "(1 )".

Tomando logaritmo del Odds se obtiene la siguiente forma:

= log = log
= 0 + 1 1 + + 1 1
1
16

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Regresin Logstica (Logit)

Para interpretar el efecto de las variables independientes sobre la

dependiente, se elimina el logaritmo natural, mediante la funcin
exponencial y se despeja "".

Resolviendo la ecuacin para "" tenemos:

= Odds = 0 + 1 1 + + 1 1

exp 0 + 1 1 + + 1 1
=
= ( )
1 + exp 0 + 1 1 + + 1 1

La funcin anterior se denomina funcin acumulada logstica.

17

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Regresin Probabilstica (Probit)

Para el modelo Probit en vez de utilizar la funcin de distribucin

acumulada Logstica utilizamos la funcin Normal:

Para determinar la diferencia entre ambos tipos de estimacin es

necesario estudiar la forma de la distribucin acumulada para cada caso:

18

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Comparacin Logit y Probit

()
1

El modelo Logit viene dado por la

funcin CDF con una lnea continua y el
Probit con una lena segmentado.

Se pueden observar tres secciones:

Inferior izquierda (cdf Logit > cdf Probit)
Centro (cdf Logit = cdf Probit)
Superior derecha (cdf Logit < cdf Probit)

19

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Comparacin Logit y Probit

()
1

El modelo Logit viene dado por la

funcin CDF con una lnea continua y el
Probit con una lena segmentado.

Se pueden observar tres secciones:

Inferior izquierda (cdf Logit > cdf Probit)
Centro (cdf Logit = cdf Probit)
Superior derecha (cdf Logit < cdf Probit)

20

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

3. Interpretacin de los Coeficientes

21

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Interpretacin de los coeficientes del Logit y Probit

En los modelos Logit y Probit los coeficientes dependen de donde se

evala la variable explicativa, es decir, al no ser funciones lineales los
coeficientes beta dependen de dnde se evale X:
Por tanto, la estimacin de los efectos de las variables en las
probabilidades se obtiene mediante la derivada parcial evaluada en algn
punto especifico.
Los paquetes estadsticos actuales permiten estimar los efectos
marginales evaluando en el promedio de todas las Xs. Esto sin embargo no
est exento de problemas ya que en el caso de usar variables discretas el
promedio de esa variable no tiene un sentido claro (ejemplo: 50 hombres
y 50 mujeres implicara una variable promedio para la dummy sexo igual a
0.5). El segundo problema vine de las variables medidas en formas
funcionales (no es claro si se prefiere promediar el valor de la funcin o el
valor de la variable inserta en la funcin)

22

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Interpretacin de los coeficientes del Logit y Probit

En trminos prcticos revisemos que pasara con solo una variable explicativa:

Si la variable independiente es una variable cuantitativa, el efecto parcial (o

marginal) representa la probabilidad del evento predicho que tiene un individuo
con un valor X+1 frente a la probabilidad que tiene un individuo con valor X. Por
ejemplo, si X es EDAD (en aos cumplidos) y estamos prediciendo la probabilidad
de muerte, el coeficiente de la regresin ser la probabilidad de muerte que tiene,
por ejemplo, un individuo de 40 aos en relacin a la que tiene uno de 39 aos.

Si la variable independiente es categrica, su interpretacin es ms simple ya que

se estima las chances de los sujetos con un valor (1) frente a las chances de los
sujetos con (0) para esa variable.

Ahora bien, si existen ms variables en el modelo es necesario que estas tomen

algn valor: por ejemplo: el promedio, la moda, los valores mximo o mnimos,
etc.
23

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Interpretacin de los coeficientes del Logit

Como vimos el modelo Logit permite expresar los coeficientes a partir de

las Odds Ratios.

Cuando X es continua:
Aumentar X en una unidad multiplica las chances (odds) de Y = 1 en
exp(B), es decir, aumenta/disminuye en (exp(B) - 1) * 100, por ciento.

Para 10X es continua:

El efecto de aumentar X en 10 unidades, significa multiplicar las
chances (odds) de Y = 1 en exp(10*B), es decir, aumenta/disminuye en
(exp(10*B) - 1) * 100, por ciento.

24

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Interpretacin de los coeficientes del Logit

Cuando X es dummy:
Las chances de Y = 1 para alguien con X = 1 son exp(B) veces las
chances de alguien con X = 0, es decir, las chances de X = 1 son (exp(B)
- 1) * 100 (por ciento), mayores/menores.

Para comparar dos categoras de una variable categrica que no son las
categoras de referencia
Las chances esperadas de Y = 1 para alguien con X1 = 1 son
exp(B1)/exp(B2) veces las chances de alguien con X2 = 1, es decir, las
chances de Y = 1 son ((exp(B1)/esp(B2)-1)*100 (por ciento)
mayores/menores para alguien con X1 = 1 que con X2 = 1.

25

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Ejemplo para el modelo Logit

A partir de una encuesta realizada a jvenes, suponga que queremos estimar
el nivel de desaprobacin de la gestin del presidente por parte de los
jvenes chilenos utilizando el siguiente modelo:
Variable dependiente (Y):
Desaprobacin de la gestin del presidente (Y=1 si desaprueba, Y=0 si no
desaprueba)
Variables independientes (explicativas)
Sector poltico en que se auto-clasifica el jven: derecha, izquierda y
centro (para esta variable se crearon 2 dummies)
Edad del joven
Sexo del joven (1=hombre; 0=mujer)
26

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Ejemplo para el modelo Logit

. logit desap hombre edad d_izquierda d_derecha
Iteration
Iteration
Iteration
Iteration
Iteration

0:
1:
2:
3:
4:

log
log
log
log
log

likelihood
likelihood
likelihood
likelihood
likelihood

=
=
=
=
=

-824.4687
-749.87566
-749.10689
-749.10434
-749.10434

Logistic regression

Number of obs
LR chi2(4)
Prob > chi2
Pseudo R2

Log likelihood = -749.10434

desap

Coef.

hombre
edad
d_izquierda
d_derecha
_cons

-.1898592
-.0337642
1.633469
-1.434226
1.20863

Std. Err.
.1240874
.0094752
.1937161
.2661337
.279266

z
-1.53
-3.56
8.43
-5.39
4.33

P>|z|
0.126
0.000
0.000
0.000
0.000

=
=
=
=

1217
150.73
0.0000
0.0914

[95% Conf. Interval]

-.433066
-.0523352
1.253793
-1.955839
.6612788

.0533476
-.0151932
2.013146
-.9126135
1.755981
27

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Ejemplo para el modelo Logit

Los coeficientes indican que:

Coeficiente hombre < 0, indica que es menos probable que los hombres rechacen
la gestin del presidente que las mujeres. Sin embargo no es estadsticamente
significativo por lo que no podemos determinar que sea efectivo.

Coeficiente edad < 0, indica que a menor edad es menos probable el rechazo a la
gestin del presidente.

Coeficiente Izquierda > 0, indica que es ms probable rechazar la gestin del

presidente si se es de izquierda a si se es de centro.

Coeficiente Derecha < 0, indica que es menos probable rechazar la gestin del
presidente si se es de derecha que si se es de centro.

28

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Ejemplo para el modelo Logit

Para dar una mejor interpretacin obtengamos los odds ratios (utilizando , or)
. logit desap hombre edad d_izquierda d_derecha, or
Logistic regression

Number of obs
LR chi2(4)
Prob > chi2
Pseudo R2

Log likelihood = -749.10434

desap

Odds Ratio

hombre
edad
d_izquierda
d_derecha
_cons

.8270756
.9667994
5.121612
.2382997
3.348894

Std. Err.
.1026296
.0091606
.9921387
.0634196
.9352323

z
-1.53
-3.56
8.43
-5.39
4.33

=
=
=
=

1217
150.73
0.0000
0.0914

P>|z|

[95% Conf. Interval]

0.126
0.000
0.000
0.000
0.000

.6485177
.9490107
3.503606
.1414458
1.937268

1.054796
.9849216
7.486833
.4014736
5.789127

29

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Ejemplo para el modelo Logit

Odds_hombre=0,827 es no significativo. Si fuese significativo, indicara que la

probabilidad de rechazar la gestin del presidente para los jvenes hombres es
0,827 veces la probabilidad de rechazarlo que las jvenes mujeres. Otra forma
alternativa sera que la probabilidad de rechazar la gestin del presidente es 17,3%
(exp()-1)*100%) menor para los jvenes hombres respecto a la probabilidad de
rechazarlo si se es joven mujer, manteniendo todo lo dems constante.

Odds_edad=0,967, indica que la probabilidad de rechazar la gestin del presidente

es 3,3% (exp()-1)*100%) menor para un joven de edad X que la probabilidad de
rechazar la gestin del presidente para un joven de edad X-1, manteniendo todo lo
dems constante.

Odds_izquierda=5,122, indica que la probabilidad de rechazar la gestin del

presidente es 412,2% (exp()-1)*100%) mayor para un joven de izquierda que la
probabilidad de rechazar la gestin del presidente para un joven de centro,
manteniendo todo lo dems constante.
30

UNIERSIDAD ALBERTO HURTADO | INGENIERA COMERCIAL PARA PROFESIONALES

Ejemplo para el modelo Logit

Odds_derecha=0,238, indica que la probabilidad de rechazar la gestin del

presidente es 76,2% (exp()-1)*100%) menor para un joven de derecha que la
probabilidad de rechazar la gestin del presidente para un joven de centro,
manteniendo todo lo dems constante.

Ahora veamos cul es la diferencia entre probabilidades de rechazo de la gestin

del presidente para jvenes de izquierda v/s jvenes de derecha:

Odds_izquierda=5,122, Odds_derecha=0,238 = (5,122/0,238)*100% = 2152%. Lo

anterior indica que la probabilidad de rechazar la gestin del presidente es 2152%
((exp(_izquierda)/exp(_derecha)-1)*100%) mayor para un joven de izquierda
que la probabilidad para un joven de derecha, manteniendo todo lo dems
constante.

31