Documentos de Discusin en Ciencias Sociales

CEACS - DD.006.1
Noviembre de 2005

ALGUNOS CONCEPTOS BSICOS SOBRE MTODOS
CUANTITATIVOS APLICADOS A LA EVALUACIN DE
PROGRAMAS SOCIALES
Rodrguez N, Oscar

Documento
CEACS-DD.006.1

Ttulo
ALGUNOS CONCEPTOS BSICOS SOBRE
MTODOS CUANTITATIVOS APLICADOS A
LA EVALUACIN DE PROGRAMAS
SOCIALES .

Autor(es)
Oscar Rodrguez Nieto

Fecha

Noviembre 30 de 2005

Temas Relacionados

Metodologas de Investigacin, Evaluacin de
programas y proyectos, Mtodos Economtricos.

Resumen

Medir el impacto que las intervenciones de un
programa o una poltica pblica tiene sobre el
bienestar de los ciudadanos ha sido durante los
ltimos quince aos una actividad necesaria
dentro del accionar del estado, en la medida
que de esta manera es posible tomar decisiones
sobre el tipo de ejecutorias que resultan ms
costo-efectivas y que permiten lograr de una
mejor manera los objetivos de las polticas
dentro de un escenario de recursos limitados.
Este documento presenta los principales
enfoques metodolgicos utilizados
actualmente para la estimacin estadstica y/o
Economtrica de los impactos de dichos
programas.
Explora principalmente la tcnica del
Propensity Score Matching y la estimacin de
modelos estructurales de efectos marginales
por exposicin diferencial al programa

CEACS
CENTRO DE ESTUDIOS Y
ASESORAS EN
CIENCIAS SOCIALES









INFORMACIN DE CONTACTO:
Avenida 22 # 41-28 (402), La Soledad, Bogot DC
Telfono: 2323253 Fax: 5701854
Sitio Web: www.ceacs.org
Correo electrnico: info@ceacs.org


Noviembre de
2005
Documentos de Discusin en Ciencias Sociales
CEACS - DD.006.1
Noviembre de 2005

ALGUNOS CONCEPTOS BSICOS SOBRE MTODOS
CUANTITATIVOS APLICADOS A LA EVALUACIN DE
PROGRAMAS SOCIALES
Rodrguez N, Oscar


NUEVAS METODOLOGAS DE FORMULACIN DE
INDICADORES DE SEGUIMIENTO Y EVALUACIN.
Por Oscar Rodrguez Nieto
Antecedentes de la evaluacin de
programas
Medir el impacto que las intervenciones de un
programa o una poltica pblica tiene sobre el bienestar
de los ciudadanos ha sido una actividad necesaria
dentro del accionar del estado, en la medida que de esta
manera es posible tomar decisiones sobre el tipo de
ejecutorias que resultan ms costo-efectivas y que
permiten lograr de una mejor manera los objetivos de
las polticas dentro de un escenario de recursos
limitados.
Como lo explica el Banco Mundial en su manual de
evaluacin de impacto
1
La evaluacin de impacto es
especialmente importante en los pases en desarrollo,
donde los recursos son escasos y cada dlar gastado
debe maximizar su efecto en la reduccin de la
pobreza. Si los programas estn mal diseados, no
llegan a los beneficiarios previstos o despilfarran los
recursos, con la informacin adecuada es posible
redisearlos, mejorarlos o eliminarlos si se estima
necesario. El conocimiento obtenido de los estudios
para evaluar los efectos tambin proporcionar
informacin decisiva para el diseo adecuado de
programas y proyectos futuros.
Desde principios del siglo XX fue una practica realizar
evaluaciones ex ante de los proyectos, especialmente
de los que involucraban obras pblicas en donde
dependiendo de el nivel de profundidad del anlisis se
definan etapas del proyecto de acuerdo con el nivel de
la evaluacin (reconocimiento, prefactibilidad,

1
Baker, Judy Evaluacin de impacto de los proyectos de
desarrollo en la pobreza. Manual para profesionales Banco
Mundial, Washington. 2000
factibilidad, diseo y ejecucin) sin embargo no era
comn encontrar que los supuestos y resultados de la
evaluacin ex ante se verificarn despus de realizado
el proyecto. En los proyectos y programas sociales, se
incorpor tambin la evaluacin ex ante pero en las
dcadas finales del siglo se impuso la necesidad de
llevar a cabo seguimiento y monitoreo del desarrollo de
los programas, as como la evaluacin ex post de los
impactos.
Dentro de las caractersticas de los programas que
facilitan la correcta evaluacin de impactos estn
2
los
siguientes:
o Objetivos claros y congruentes con metas
especficas de corto y largo plazo.
o Reglas de operacin precisas y criterios claros
para la escogencia de los participantes
o Un buen conocimiento de las principales
caractersticas poblacin beneficiaria.
o Informacin pertinente sobre indicadores
socioeconmico/demogrficos apropiados
acorde metas programa (idealmente antes y
despus del inicio del programa)
El problema del escenario contrafctico
o contrafactual
Existen muchos enfoques de evaluacin que van desde
los mtodos exclusivamente cualitativos hasta modelos
de equilibrio general macroeconmico o estimaciones
economtricas sofisticadas mediante modelos
estructurales microeconmicos. El problema

2
Luis Rubalcava Seminario Avanzado de Evaluacin de
Impacto (CIDE) Documento electrnico en
www.sedesol.gob.mx/subsecretarias/prospectiva/seminario/r
ubalcava/seminario_avanzado_sedesol_cide.pps

Documentos de Discusin en Ciencias Sociales
CEACS - DD.006.1
Noviembre de 2005

ALGUNOS CONCEPTOS BSICOS SOBRE MTODOS
CUANTITATIVOS APLICADOS A LA EVALUACIN DE
PROGRAMAS SOCIALES
Rodrguez N, Oscar

fundamental de la evaluacin de impacto es poder
encontrar una estimacin apropiada de lo que hubiese
sucedido (qu valores habran tomado las variables que
se queran impactar) si el programa no hubiese
existido. A este concepto en la terminologa de
evaluacin se le denomina el escenario contrafactual
o counterfactual en ingls. La escogencia de una u otra
metodologa para acceder a informacin que permita
estimar dicho escenario terico o contrafactual, hace
que se generen sesgos e imprecisiones que se deben
corregir con nuevas metodologas, lo cual ha dado pie a
una cuantiosa literatura economtrica sobre el tema.
En general si la accin del programa es homognea, es
decir las intervenciones que recibe cada participante
son similares y el impacto que genera el programa es
tambin homogneo, es decir que los beneficios de
unos y otros participantes tienen poca variabilidad,
entonces la accin del programa se puede caracterizar
como una variable binaria que toma valor 1 cuando la
persona ha participado de dicha intervencin y cero si
no ha participado, lo cual permite dividir la poblacin
en dos subpoblaciones de participantes y no
participantes. Por otra parte si las caractersticas de las
dos subpoblaciones son similares en todas las variables
que pueden tambin influir en los resultados y slo se
diferencian en la participacin, se podra pensar que la
subpoblacin de no participantes podra ser
representativa de la situacin que tendran los
participantes si no hubiesen participado. Este es el caso
en el cual los beneficiarios se escogen como en un
diseo experimental, es decir aleatoriamente dentro de
una poblacin homognea en ciertas condiciones
predefinidas. En estos casos, al escoger tambin una
muestra aleatoria dentro del grupo de los no
participantes, se caracterizara la distribucin de
probabilidades de los participantes en el escenario
contrafactual. Si adems se cuenta con la informacin
de las variables de inters en un momento anterior al
comienzo del programa, bastara con comparar los
cambios de dichas variables entre las dos muestras
aleatorias y se tendra el efecto neto del programa, sin
embargo si efectivamente las dos poblaciones tienen la
misma distribucin de probabilidades en ausencia del
programa, incluso la medicin inicial podra obviarse.
La estimacin de los efectos se puede en estos casos
llevar a cabo mediante una prueba de diferencia de
medias tradicional
3
.
Sin embargo existen diferentes situaciones en las
cuales los mtodos que deben aplicarse implican
variaciones al mtodo bsico, dentro de las cuales
caben las siguientes
4
:
o Cuando la escogencia de los participantes no es
aleatoria. En cuyo caso debe tenerse en cuenta
que la variable que caracteriza la participacin
es endgena en el sistema, lo cual puede
constituirse en una fuente de sesgo,
denominada sesgo de seleccin
5
.
o Cuando adicionalmente no se ha levantado una
lnea de base del programa que ofrezca
informacin de participantes y no participantes
antes de la intervencin;
o Cuando existen efectos indirectos de un
tamao significativo sobre algunos no
participantes del programa (vg. proveedores,
compradores, etc.)
o Cuando los beneficios de los participantes
pueden ser compartidos por estos con los no
beneficiarios, como pueden ser los efectos de
desborde (spill over) de la capacitacin y
asistencia tcnica

3
Si se han logrado establecer parejas participante-no
participante con caractersticas muy similares, como cuando
se evala un tratamiento mdico aplicndolo a uno de dos
hermanos gemelos, se hace una prueba sobre la media de la
diferencia entre participante y no participante. Cuando no
existe una relacin uno a uno y las varianzas se suponen
iguales se puede hacer una prueba de hiptesis sobre la
igualdad de las medias.
4
Rodrguez, scar (2005) Algunos conceptos bsicos sobre
mtodos cuantitativos a aplicados a la evaluacin de
programas sociales en Documentos de Discusin, CEACS,
2005.
5
Heckman, J (1979) Sample selection bias en
Econometrica, Vol 47 pp 153-161
Documentos de Discusin en Ciencias Sociales
CEACS - DD.006.1
Noviembre de 2005

ALGUNOS CONCEPTOS BSICOS SOBRE MTODOS
CUANTITATIVOS APLICADOS A LA EVALUACIN DE
PROGRAMAS SOCIALES
Rodrguez N, Oscar

o Cuando el programa tiene diferentes formas de
intervencin (tipos de tratamiento) y algunos
participantes reciben una menor intensidad de
tratamiento que otros;
o Cuando los criterios de seleccin de
beneficiarios no son siempre los mismos;
o Cuando el tipo de tratamiento que lleva el
programa tambin es ofrecido por otros
programas, a los cuales pueden acceder tanto
los participantes como los no participantes.
En resumen, y de acuerdo con Blundell &Costa (2000),
el mtodo apropiado de evaluacin depende en especial
de los siguientes criterios
6
:
o La naturaleza del programa. El programa
puede ser local o nacional, de pequea escala o
global
o La naturaleza de las preguntas a responder. Se
debe determinar si quiere estimarse el efecto
del programa sobre la poblacin en general, el
efecto del tratamiento sobre los participantes (y
quienes se les parezcan)
7
, o una extrapolacin
de los impactos para simular los beneficios de
un nuevo programa.
o La naturaleza de los datos disponibles.
Depende de si existe informacin para antes y
despus del programa, de si se aplic el mismo
cuestionario a un grupo de control potencial, o
es necesario levantar la informacin.
A continuacin se presenta un resumen de los mtodos
tradicionales de evaluacin cuantitativa .

6
Ver Blundell R. & Costa Dias, M. (2000) Evaluation
Methods for non-experimental data en Fiscal Studies vol
21 #4 p430, Institute of Fiscal Studies.
7
Estos dos primeros tipos de efecto dependen de si se puede
suponer que el efecto del programa es homogneo, en cuyo
caso las dos medidas deben ser iguales o si el efecto es
heterogneo, en cuyo caso se debe estimar el segundo al cual
en la literatura se le conoce como effect of treatment on the
treated ver Blundell &Costa Dias Op. Cit.
Metodologas ms utilizadas
8

El principal problema que se tiene en la evaluacin de
impactos de un programa social es la imposibilidad de
contar con informacin relativa a la situacin que
habran tenido los individuos o familias que participan
en l si dicho programa no hubiese existido. De hecho,
el impacto sobre un individuo slo se puede entender
como la diferencia entre su situacin bajo la existencia
del programa y la situacin que tendra si el programa
no hubiese nunca existido.
La literatura en evaluacin econmica y la experiencia
de los ltimos treinta aos en el tema ha llevado a
distintos tipos de soluciones para buscar una
aproximacin a la medicin de impactos, buscando
siempre mecanismos que permita hacer una estimacin
razonable de los impactos mediante diferentes tipos de
supuestos. En todos los casos se encuentran estimativos
agregados para la media del impacto sobre los
participantes pero no pueden calcularse los impactos
para participantes individuales. Heckman (1999) ilustra
tres alternativas
9
de mtodos no experimentales:
o El estimador antes-despus: Consiste en
utilizar informacin del individuo antes y
despus de la intervencin del programa y
supone que los resultados para un individuo en
el momento anterior al programa es una
aproximacin aceptable de la situacin que
tendra en ausencia del programa en un periodo
posterior. Se utiliza principalmente cuando
slo se cuenta con informacin de los
participantes en el programa en datos
longitudinales o tipo panel de datos con por lo
menos un periodo antes y uno despus de la

8
Esta seccin se ha adaptado del marco conceptual
presentado por Econometra (2006) en Determinacin y
anlisis en trminos cuantitativos de los resultados
socioeconmicos del PADEMER en las familias atendidas
informe para el Ministerio de Agricultura.
9
Ver Heckman et al (1999) The economics and
econometrics of active labor market programs Handbook of
Labor Economics Vol 3. Elsevier.
Documentos de Discusin en Ciencias Sociales
CEACS - DD.006.1
Noviembre de 2005

ALGUNOS CONCEPTOS BSICOS SOBRE MTODOS
CUANTITATIVOS APLICADOS A LA EVALUACIN DE
PROGRAMAS SOCIALES
Rodrguez N, Oscar

intervencin. Resulta muy apropiado cuando
los principales factores econmicos, sociales y
demogrficos que pueden afectar a las
variables de resultado han demostrado ser
estables. Igualmente cuando se cuenta con un
nmero importante de periodos se pueden
realizar estimaciones economtricas sin
programa y extrapolar para periodos
posteriores que sean comparables con la
situacin observada con programa.
Ao
valor observado valor observado
Informaci Informaci n Hist n Hist rica rica
sin programa sin programa
predicci predicci n n
sin programa sin programa
Beneficios Beneficios
estimados estimados
Informaci Informaci n Hist n Hist rica rica
con programa con programa
Ao
valor observado valor observado
Informaci Informaci n Hist n Hist rica rica
sin programa sin programa
predicci predicci n n
sin programa sin programa
Beneficios Beneficios
estimados estimados
Informaci Informaci n Hist n Hist rica rica
con programa con programa

o El estimador de diferencias en diferencias: Al
igual que en el mtodo anterior se utiliza
informacin anterior y posterior a la
intervencin del programa, pero dicha
observacin se obtiene tanto para hogares y/o
individuos que participan y no participan en el
programa. Este mtodo supone que los factores
econmicos externos que influyen sobre las
variables de resultado actan de igual manera
sobre los participantes que sobre los no
participantes y tambin supone que no existen
efectos del programa sobre los no
participantes. Es decir que se supone que el
cambio en las variables de resultado, en caso
de no haber programa seran las mismas. En la
medida que la estimacin se hace para el
impacto medio, no es estrictamente necesario
utilizar informacin de las mismas personas
antes y despus, siempre y cuando las dos
muestras se tomen sobre la misma poblacin.
Al utilizar informacin de los no participantes
como estimativo de la situacin de los
participantes en ausencia del programa, se est
suponiendo que no existen efectos del
programa sobre los no participantes o estos son
despreciables. Este supuesto es apropiado
cuando se considera que los efectos indirectos
del programa no son grandes
Ao
participantes participantes
No participantes No participantes
Diferencia Diferencia
inicial. inicial.
primera primera
medici medici n n
Antes Antes Durante el Programa Durante el Programa
Diferencia Diferencia
final. final.
Diferencia neta= Beneficio. Diferencia neta= Beneficio.
ltima ltima
medici medici n n
Ao
participantes participantes
No participantes No participantes
Diferencia Diferencia
inicial. inicial.
primera primera
medici medici n n
Antes Antes Durante el Programa Durante el Programa
Diferencia Diferencia
final. final.
Diferencia neta= Beneficio. Diferencia neta= Beneficio.
ltima ltima
medici medici n n

o El estimador de seccin transversal: Se utiliza
cuando no hay informacin disponible sobre
periodos anteriores a la intervencin del
programa. Obviamente debe utilizarse una
comparacin entre participantes y no
participantes en la medida que un individuo no
puede estar en os dos estados en un mismo
periodo del tiempo. Supone que la situacin
inicial de los participantes y de los no
participantes era similar antes de la
intervencin del programa y que los factores
econmicos, sociales y demogrficos afectan
las variables de resultado de la misma manera
para participantes y no participantes. Un
problema importante que tiene este tipo de
mtodos est entonces en la comparabilidad de
la informacin entre participantes y no
participantes. Adicionalmente, si el
comportamiento de las variables de resultado
influye sobre la decisin de participar o no en
el programa, se viola el supuesto de igualdad
de medias en ausencia de proyecto
Documentos de Discusin en Ciencias Sociales
CEACS - DD.006.1
Noviembre de 2005

ALGUNOS CONCEPTOS BSICOS SOBRE MTODOS
CUANTITATIVOS APLICADOS A LA EVALUACIN DE
PROGRAMAS SOCIALES
Rodrguez N, Oscar


Ao
participantes participantes
no no participanres participanres
Beneficios Beneficios
Inicio del Inicio del
programa programa
Ao
participantes participantes
no no participanres participanres
Beneficios Beneficios
Inicio del Inicio del
programa programa

Desde el punto de vista estadstico estos tres enfoques
pueden desarrollarse mediante mtodos paramtricos,
como los de regresin, controlando el sesgo de
seleccin mediante el mtodo de variables
instrumentales, o tambin pueden estimarse los
impactos mediante mtodos no paramtricos como el
propensity score matching, que compara cada
observacin del grupo de tratamiento con un promedio
ponderado de observaciones del grupos de control y
que permite escoger las observaciones de ambos
grupos que optimiza la comparabilidad entre ellos, para
eliminar el sesgo de seleccin.
El Pareo por Probabilidad de
Participacin o Propensity Score
Matching
La medicin de impactos en una seccin transversal de
datos tambin presenta alternativas metodolgicas que
corresponden a la estimacin de diferencias de medias
por regresin simple, mediante variables instrumentales
o por mtodos no paramtricos
La primera alternativa consiste en formular un modelo
economtrico que explique el comportamiento de la
variable de resultado a partir de un conjunto de
variables explicativas incluyendo entre ellas una
variable de participacin en el programa. La variable
de participacin puede ser una variable dictoma que
toma el valor cero (D=0) cuando la observacin
corresponde a un no participante o el valor uno (D=1)
si corresponde a un participante. Sin embargo tambin
puede utilizarse una medida continua de intensidad de
exposicin al programa como pueden ser las horas de
capacitacin o el nmero de asistencias tcnicas. En los
casos en los cuales las variables de participacin
resultan endgenas, como en aquellos casos en los
cuales la decisin de participar en el programa depende
de la misma variable para la cual se quieren medir los
resultados (v.g ingresos), se debe utilizar el mtodo de
variables instrumentales que elimina los sesgos debidos
a incluir variables endgenas como explicativas.
Otros supuestos que es importante tener en cuenta
cuando se trabaja con secciones transversales son
los que tienen que ver con la comparabilidad de las
muestras
10
:
o Que el resultado medio para el grupo de
control sea igual al que hubiese tenido el
grupo de tratamiento si este no hubiera
participado en el programa. Es decir que
no se encuentren diferencias demasiado
grandes en variables no observables que
pueden influir en la variable de resultado.
Se violara este supuesto si por ejemplo se
tuviese evidencia que los participantes
tuvieran destrezas o discapacidades
especficas no investigadas en la encuesta
y que los del grupo de tratamiento
carecieran de ellas.
o Que participantes y no participantes
tengan un rango comn
11
en el dominio de
las variables explicativas. Se violara este
supuesto si por ejemplo el grupo de control
estuviera conformado por un porcentaje
alto de hogares pobres
12
y el grupo de
tratamiento por un porcentaje alto de
hogares no pobres, se podra pensar que las
oportunidades que ofrece el programa

10
Vera, Marcos, Evaluar intervenciones sanitaria sin
experimentos Gaceta Sanitaria, Vol 17(3) .2003
11
En el lenguaje de evaluacin se le conoce como Common
Support
12
De acuerdo con una medida no dependiente directamente
del ingreso como puede ser el ndice de necesidades bsicas
insatisfechas que refeja pobreza estructural.
Documentos de Discusin en Ciencias Sociales
CEACS - DD.006.1
Noviembre de 2005

ALGUNOS CONCEPTOS BSICOS SOBRE MTODOS
CUANTITATIVOS APLICADOS A LA EVALUACIN DE
PROGRAMAS SOCIALES
Rodrguez N, Oscar

puede generar resultados mayores en los
no pobres que en los pobres y si se aplicara
el programa al grupo de tratamiento los
resultados medios habran sido diferentes
o Que la muestra est equilibrada en las
variables observables. No slo se requiere
que compartan un rango comn sino que al
interior de ese rango las distribuciones de
probabilidad conjunta de las dos muestras
sean comparables. Por ejemplo si la edad
de los jefes de hogar vara entre 20 y 50
aos pero en el grupo de control estn un
90% de jefes estn entre 20 y 25 aos y en
el de tratamiento el 90% est entre 45 y 50
aos posiblemente las muestras no seran
muy comparables.
Xj
Y
Rango com Rango com n n
Xj
Y
Rango com Rango com n n

Los modelos de regresin en muchos casos no
garantizan el cumplimiento de los anteriores supuestos
por lo cual los evaluadores de proyectos han acudido a
otro tipo de tcnicas estadsticas para reducir la
posibilidad de sesgo en las estimaciones de los
impactos. La tcnica ms difundida par asegurar el
cumplimiento de los supuestos es la denominada
propensity score matching (PSM) o pareo por
probabilidades de participacin, que adems permite
captar efectos no lineales entre las variables.
El objetivo de esta metodologa
13
es aproximarse a una
situacin donde no hay diferencias entre los dos grupos
con respecto a las caractersticas individuales y del
entorno que han sido incluidas en el anlisis, y de esta
forma asegurar que las variables resultado sern las
mismas en caso que los individuos del grupo de
tratamiento no hubieran sido tratados. El supuesto
fundamental del PSM es que todas las variables que
influyen en la decisin de participar en el Programa y
en la determinacin de la variable de resultado estn
incorporadas en el anlisis. Bajo el supuesto antes
mencionado, el PSM estima el efecto promedio del
Programa sobre los beneficiarios (ATT Average
Treatment Effect on the Treated).
Para afirmar que la diferencia entre los grupos es
atribuida al Programa, es necesario construir un grupo
de control que sea lo ms parecido posible al grupo de
tratamiento en las variables observables que
determinan la participacin en el Programa y el
resultado. Para construir un grupo de control lo ms
parecido posible al grupo de tratamiento, es necesario,
medir la distancia entre individuos del grupo de
tratamiento y de de control. El mtodo de PSM utiliza
la probabilidad de participar en el Programa como
distancia para medir la cercana entre individuos del
grupo de tratamiento y del control; la probabilidad
estimada se conoce por el nombre de propensity score.
Xj
D
Rango com Rango com n n
0
1
Probabilidad Probabilidad
de participar de participar
PS
i
observaciones de control con
probabilidad de participar similar
a la del participante i
participante i
Xj
D
Rango com Rango com n n
0
1
Probabilidad Probabilidad
de participar de participar
PS
i
observaciones de control con
probabilidad de participar similar
a la del participante i
participante i


13
Econometra S.A. Evaluacin de los programas de
msica, deporte y capacitacin para el trabajo Informe de
consultora para la Alcalda de Medelln. 2005
Documentos de Discusin en Ciencias Sociales
CEACS - DD.006.1
Noviembre de 2005

ALGUNOS CONCEPTOS BSICOS SOBRE MTODOS
CUANTITATIVOS APLICADOS A LA EVALUACIN DE
PROGRAMAS SOCIALES
Rodrguez N, Oscar


Xj
Y
Rango com Rango com n n
participante i
observaciones de control con
probabilidad de participar similar
a la del participante i
promedio ponderado
impacto i
Xj
Y
Rango com Rango com n n
participante i
observaciones de control con
probabilidad de participar similar
a la del participante i
promedio ponderado
impacto i


Modelos Estructurales de Efectos
Marginales por Exposicin Diferencial al
tratamiento
La estimacin de un modelo estructural marginal
(SMM) permite llevar a cabo inferencias causales de
mltiples tratamientos continuos y la interaccin entre
ellos. En este tipo de modelos las variables de inters
se hacen depender de la intensidad del tratamiento o
tratamientos y se estiman por mtodos de regresin, de
los cuales el de variables instrumentales resulta el ms
apropiado por controlar el posible sesgo de seleccin
que puede presentarse. A continuacin se describe el
tipo de modelo planteado utilizando la nomenclatura
bsica de Blundell & Costa (2004)
14
.
Este mtodo fue utilizado por Econometra S.A. en la
evaluacin del Programa Fomipyme que corresponde a
un fondo para la promocin de la micro, mediana y
pequea empresa, en Colombia que financia diferentes
tipos de intervenciones. A continuacin se realiza una
formulacin general en un caso en el cual la unidad de
intervencin son microempresas.
Se denomina Y
i
a la variable de resultado o indicador
de impacto, correspondiente a la empresa i. A las
variables que miden la exposicin de la empresa i a

14
Blundell, R.& Costa Dias, M. (2004) Alternative
aproaches to evaluation in empirical
microeconomics,Institute of Fiscal Studies. pp 6-118
cada uno de los posibles tratamientos j se les denomina
X
ij
. A las variables exgenas observables, diferentes a
la intensidad del tratamiento, que influyen sobre el
resultado se les llama W
ik
. Finalmente se denomina c
i

al trmino de error aleatorio, que incorpora todas las
variables no observables que influyen sobre todas las
observaciones y los factores de azar que influyen de
manera especfica sobre cada uno de los elementos de
la muestra.

) , , (
i ik ij i
W X G Y c =
con

n i ... 1 = empresas
J j ... 1 = tratamientos
K k ... 1 = variables
exgenas
G(.) es una funcin que podra se lineal o no. En este
tipo de modelos, no se requiere estrictamente un grupo
de control para estimar el escenario contrafactual, sino
que la ecuacin del modelo permite simular el
contrafactual al hacer todos los X iguales a cero. Bajo
este enfoque cada observacin acta como escenario
contrafactual de las dems observaciones con un nivel
de tratamiento diferente.
El parmetro de inters en este tipo de evaluaciones es
el efecto tratamiento marginal sobre los tratados, es
decir el efecto que tiene sobre los participantes una
unidad adicional (dosis) de cada tipo de intervencin
X.
Hacer las estimaciones de esta manera genera una gran
economa en el tamao mnimo de muestra requerido
para medir los impactos y en principio no se requiere
obtener informacin de una muestra de control. Sin
embargo, si se hace de esta manera, puede quedar la
duda acerca de si al aplicar el mismo tipo de
intervenciones a otras empresas el resultado sera o no
extrapolable y si este mismo tipo de intervenciones,
aplicadas por otros programas pblicos o privados,
tendran un mayor o menor efecto. Se prev escoger
una muestra de no participantes o no beneficiarios
Documentos de Discusin en Ciencias Sociales
CEACS - DD.006.1
Noviembre de 2005

ALGUNOS CONCEPTOS BSICOS SOBRE MTODOS
CUANTITATIVOS APLICADOS A LA EVALUACIN DE
PROGRAMAS SOCIALES
Rodrguez N, Oscar

directos (a la cual llamaremos en adelante muestra de
control o de comparacin) que puede estar intervenida
por otros programas e iniciativas, la cual debe tener
caractersticas similares a la muestra de participantes
en las variables exgenas W. el contar con este tipo de
muestra permite estimar los efectos tratamiento
marginales de la poblacin y no slo de los
participantes.
Para controlar el problema de la endogeneidad de las
variables de intensidad del tratamiento X se utilizar el
mtodo de mnimos cuadrados en dos etapas (variables
instrumentales) el cual consiste en encontrar un
conjunto de variables Z que puedan explicar el
comportamiento de las variables de intensidad del
tratamiento pero que no estn correlacionadas con el
trmino de error del modelo (que no sean afectadas por
los factores no observables comunes o especficos, del
modelo, que no sean causados por el indicador de
resultado que se est modelando y cuya nica
influencia sobre los resultados finales sea a travs de
las variables X). De est manera el modelo completo
queda conformado por dos ecuaciones:
) , , (
ij ik il j ij
W Z H X q =
) , ), , | ( (
i ik ik il ij i
W W Z X E G Y c =
Donde
ij
q es un trmino aleatorio de error ,
) , | (
ik il ij
W Z X E es el valor de X estimado usando la
funcin H(.) y el subndice len Z indica que puede
haber ms de una variable instrumental en la
estimacin de cada X pero al menos debe haber una.
En principio se plantean tres tipos de especificacin,
aunque dependiendo del comportamiento observado de
la muestra se pueden incorporar variaciones: Modelo
Lineal, Modelo de variable dependiente discreta (Probit
o Logit), modelo Cobb Douglas de funcin de
produccin.
Modelo Lineal
El modelo lineal es el ms comn y funciona cuando
los efectos de las diferentes variables explicativas se
pueden suponer como aditivos

= =
+ + + =
K
k
i ik k ij
J
j
j i
W X Y
1 1
0
c | o o
El efecto marginal de cada tipo de intervencin X se
calcula a travs del coeficiente que ele corresponde en
la regresin
o =
c
c
ij
i
X
Y

Modelo de variable dependiente discreta
Este tipo de modelos buscan estimar la probabilidad de
ocurrencia de un evento o caracterstica y se usan
principalmente cuando los indicadores de impacto son
categricos o cualitativos
|
|
.
|

\
|
+ + + u =

= =
K
k
i ik k ij
J
j
j i
W X Y P
1 1
0
) ( c | o o
Donde la funcin u(.) es tal que tiende a 1 cuando el
argumento tiende a infinito y tiende a cero cuando el
argumento tiende a menos infinito. Si se utiliza una
funcin logstica se le denomina modelo logit y si se
utiliza una funcin acumulativa normal se le denomina
modelo Probit. En este caso, por tratarse de modelos no
lineales, el efecto marginal del tratamiento es variable
con respecto al conjunto de variables consideradas
dentro de la explicacin. Para determinar el efecto
marginal se fija un nivel de probabilidad y se calcula la
derivada de la funcin en ese punto.
Modelo Cobb-Douglas
En este caso al tratarse de, las variables de resultado de
indicadores relacionados con la produccin, lo ms
apropiado es el planteamiento de un modelo al estilo de
la funcin de produccin Cobb-Douglas.
La funcin Cobb Douglas se especifica suponiendo que
la intensidad de las intervenciones amplifica
Documentos de Discusin en Ciencias Sociales
CEACS - DD.006.1
Noviembre de 2005

ALGUNOS CONCEPTOS BSICOS SOBRE MTODOS
CUANTITATIVOS APLICADOS A LA EVALUACIN DE
PROGRAMAS SOCIALES
Rodrguez N, Oscar

exponencialmente el efecto de los factores de
produccin
i k
ij j
e W e A Y
K
k
ik
J
j
X
i
c |
o
|
|
.
|

\
|
|
|
.
|

\
|
=
[ [
= = 1 1
0

que linealizando se puede escribir como

= =
+ + + =
K
k
i ik k ij
J
j
j i
W X A Y
1 1
0
) ln( ) ln( ) ln( c | o
Otra opcin sera considerar los tratamientos como
factores de produccin, pero en ese caso la ausencia de
tratamiento no estara definida en trminos de
logaritmo.
Los efectos marginales no son homogneos sino que
dependen del nivel de actividad de la empresa.
o =
c
c
=
c
c
ij
i
i ij
i
X
Y
Y X
Y 1 ) ln(

i
ij
i
Y
X
Y
o =
c
c


Para controlar la posible endogeneidad de las
variables de intensidad del tratamiento, lo cual
implica encontrar un conjunto de variables Z que
estn altamente correlacionadas con las X pero que
no se encuentren correlacionadas con el trmino de
error, es decir que no se vean influidas por el
resultado.