MTODOSDEEVALUACIN

Dina Pomeranz

Agosto 2011
Enlaadministracintributariasetomandecisionesdiariamentequepuedenafectaralaeconomadetodoelpas.
Cmosetomanestasdecisiones?Sondecisionesbuenasomalas?Lametadeunaevaluacinesinformarsobre
losefectosdepolticasactualesypotenciales.Existenvariosmtodosdeevaluacincondiferentesnivelesdefiabi
lidad.Lacalidaddelaevaluacinesdesumaimportanciaparapoderentregarresultadoscorrectos.Estedocumen
toofreceunbreveresumendelosmtodosmscomunesconlasventajasydesventajasdecadaunoyunades
cripcindelascondicionesbajolascualescadamtodoproduceresultadosfiables.
Antesdepresentarlosmtodosespecficos,sepresentarnalgunosconceptosbsicos:
Elobjetivodecadaevaluacindeimpactoesdemonstrarunefectocausal:Sequieremedirelimpactodeunpro
gramaounapolticaenalgunavariabledeinters.Porejemplo,culeselimpactodeunanotificacinenlasrecti
ficacionesdeimpuestos.Existeunacausayunefecto.Lacausaeselcambiodeunapolticaolaimplementacinde
unprogramanuevo.Elefectoeselresultadoqueseatribuyedirectamentealapolticaoalprogramanuevo.
Ladificultadenmedirelimpactoestenquesolamentesepuedeobservarloqueocurri,noloquehubieraocu
rridosinelprograma.Vemossiuncontribuyentequerecibiunanotificacinhizounarectificacin,peronovemos
quehubierahechosinohubierarecibidolanotificacin,esdecirnosabemossielcontribuyentehubierahechola
misma rectificacin. Esta situacin imaginaria, lo que
hubierapasadosinelprograma,sellamaelcontra
factual. Entender el contrafactual es clave para
entenderelimpactodeunprograma.
Siexistieraunarepresentacincorrectadelcontra
factual la estimacin del impacto sera fcil. El
impactodelprogramaodelapolticaesladiferen
cia entre el resultado que observamos con el pro
grama y el resultado que hubiera ocurrido sin el
programaelcontrafactual.
Como en la realidad el contrafactual no existe, ya que es lo que hubiera pasado en un escenario distinto, cada
evaluacinintentademaneraexplcitaoimplcitaconstruirunaestimacindelcontrafactualparacompararlo
conloqueocurri.Normalmente,laestimacindelcontrafactualserepresentaconungrupoquesedenominael
grupodecontrolodecomparacin.Elgrupodecontrolconsistedepersonasoempresasquenoparticiparonenel
programa,mientrasqueelgrupodetratamientoeselgrupoqueparticipenelprograma.Paraestimarelimpac
todelaintervencinsecomparaelgrupodetratamientoconelgrupodecontrol.

HarvardBusinessSchool,RockCenter213,SoldiersFieldRoad,Boston,MA02163,dpomeranz@hbs.edu.

FIGURA1 ELCONTRAFACTUAL
FUENTE:JPAL(2010)

2
Laevaluacinproduceresultadosfiables,sielgrupodecontrolesigualalgrupodetratamientoentodaslascarac
tersticasobservablesynoobservablessalvouna:suexposicinalprograma.Enestecaso,cualquierdiferencia
despusdelaintervencinselepuedeatribuiralprograma,yaqueensuausencialosdosgruposseraniguales.
Cadamtodoutilizadoparalaconstruccindelgrupodecomparacinimponeciertossupuestosbajoloscualesel
grupo de control y el grupo de tratamiento seran comparables. Cuando los supuestos son realistas, el grupo de
control es una buena representacin del contrafactual. Pero cuando los supuestos noson realistas, la estimacin
del impactodel programa resulta sesgada. Una evaluacin sesgadapuede resultar enmalas decisiones, y genera
prdidasdeesfuerzo,tiempoyfondospblicos.
Por lo tanto, es importante hacer explcitos los supuestos involucrados en cada mtodo de evaluacin y trabajar
conmtodosdealtacalidad.Enlasiguientepartedeldocumento,sepresentarnlosdiferentesmtodosdeeva
luacinconunadescripcindesuscaractersticas,cualidadesylimitaciones.
1. EVALUACINALEATORIA
Lasevaluacionesaleatorias(oevaluacionesexperimentales)construyen
un grupo de comparacin de mxima calidad: la asignacin aleatoria
tiene como objetivo que no exista ninguna diferencia entre los indivi
duos del grupo de tratamiento y del grupo de control, salvo el hecho
que uno ha sido escogido al azar para participar en el programa y el
otro no. Por lo tanto, las evaluaciones aleatorias representan el caso
idealdeunaevaluacindeimpacto.Esporestaraznqueenlaevalua
cindenuevasmedicinasyenlasinvestigacionesdecienciasnaturales,
seusacasiexclusivamenteestemtodo.
1

Sin embargo, la asignacin aleatoria

requierequelaevaluacinseprepare
antesdeiniciarelprograma.Poresto,
este mtodo tambin se denomina
evaluacinprospectiva.Enunproceso
aleatorio se asigna individuos (o em
presas u otras entidades) al grupo de
tratamiento y aquellos que no se
seleccionan forman parte del grupo
decontrol.Elprocesoaleatoriopuede
ser algo tan simple como tirar una
monedaounsorteo.Normalmente,la
asignacin aleatoria se hace a travs
deunsimpleprocesoenExceloStata.
No es necesario que los dos grupos
seandeigualtamao.

1
Hayquedistinguirentreunaevaluacinaleatoriayunmuestreoaleatorio:Muchosestudioshacenmuestreosaleatoriospara
sacarinformacinrepresentativadelapoblacin.Elmuestreoaleatorionointentamedirimpacto.Lacaractersticadistintivade
unaevaluacinaleatoriaeslaasignacinaleatoriadeltratamiento.

Aleatorizacinenlaprctica
Es importante que el proceso de aleatorizacin sea realmente aleatorio y no
unprocesoquesimplementeparecearbitrario.Porejemplo,asignarperso
nas con apellidos con la primera letra AL a tratamiento y MZ a control
parece aleatorio, pero no lo es. Tal asignacin requiere el supuesto que per
sonasALsonigualesapersonasMZ.Peroesposiblequelasfamiliascon
apellidosconlaprimeraletraALseandistintasdelasfamiliasconapellidos
que comiencen con MZ. Por ejemplo, la composicin tnica puede variar.
Paraevitarestasituacinserecomiendaelusodeunprocesoautomatizado,
por ejemplo usando una computadora para generar nmeros aleatorios y
asignartratamientoenbaseaestosnmeros.
Una computadora tambin facilita procesos de aleatorizacin ms complica
dos, como la aleatorizacin estratificada. La estratificacin se recomienda
cuandoelnmerodeparticipantespotencialesespequeo,yengeneralpara
asegurarse que los dos grupos sean equilibrados con respeto a las variables
msimportantes.Enlaestratificacin,sedividelamuestraensubgruposcon
caractersticasimilaresysealeatorizadentrodecadasubgrupo.Porejemplo,
sisedividelapoblacinporgneroyseasigna30%deloshombresy30%de
las mujeres al tratamiento, la asignacin ser perfectamente equilibrada por
gnero.Elgrupodetratamientotendralamismacomposicindegneroque
elgrupodecontrol.
FIGURA2:
ELDISEODEUNAEVALUACINALEATORIA

3
Segnlaleydelosgrandesnmeroscuandohaysuficientespersonasencadagrupounaasignacinaleatoriage
neradosgruposqueseparecenentodaslascaractersticasobservables(comoeducacin),ynoobservables,(co
momotivacin).Porlotanto,cualquierdiferenciaquesurjaposteriormenteentreelgrupodetratamientoyelde
controlsepuedeatribuiralprogramaynoaotrosfactores.Porestarazn,sisediseaneimplementanadecua
damentelasevaluacionesaleatoriassonelmtodomsconfiableparaestimarelimpactodeunprograma.
Cmosedeterminaelnmerorequeridodeparticipantesaun
estudioaleatorio?Segnlaleydelosgrandesnmerosmientras
msindividuosestnenelestudiomsprobableesquelosdos
grupossernparecidos.Estaesunadelasrazonesporlacualel
tamaodelamuestraesimportante.Unmayortamaosiempre
esmejorporquereducelaprobabilidaddeque,porcasualidad,
se obtengan grupos desbalanceados. Sin embargo, un estudio
demayortamaopuedesermscostosoynosiempreesfacti
ble.Porlotantoserecomiendahacerclculosdepoderestads
ticoparadeterminarculeseltamaonecesarioparateneruna
buenaesperanzadepodermedirlosimpactosenlasprincipales
variablesdeinters.
Losclculosdepoderincorporanlosdistintosfactoresqueafec
tan el nmero de participantes requeridos. Entre los factores a
ser considerados estn la varianza de la variable de inters y el
efecto mnimo que se espera detectar. Mientras ms alta es la
varianza de la variable dependiente ms observaciones son
necesarias para poder detectar un efecto estadsticamente
significativo. Mientras el efecto que se quiere medir es ms
pequeo ms grande es el nmero de participantes requerido. Finalmente, el diseo de la aleatorizacin puede
afectareltamaodelgrupoquesenecesita.Sisealeatorizaaniveldegrupos(diseoconglomerado),porejemplo
todas las empresas de un mismo contador juntas, se requiere ms empresas que si la aleatorizacin es a nivel
individual.
Despus de haber determinado el nmero de participantes requeridos, se puede proceder al proceso de asigna
cinaleatoria.Esimportanteverificarquelosgruposestnbalanceadosconrespetoalasprincipalesvariablesde
inters. Los artculos acadmicos con estudios experimentales normalmente incluyen una tabla de balance que
muestraquelasprincipalescaractersticassonparecidasenlosdosgrupos.
Finalmentesepasaalaimplementacindelprogramaodelapolticaaevaluar.Enmuchoscasos,serecomienda
hacerunpilotodelaintervencinapequeaescala,paratesteartodoslosprocedimientosyevitarquesepresen
ten problemas inesperados en la implementacin. Durante la implementacin es importante asegurarse que se
respetelaasignacinaleatoriayquenosecambienparticipantesdeungrupoaotro.
2
Lomsimportanteeneste
proceso es asegurarse que no haya ninguna otra diferencia entre el grupo de tratamiento y el grupo de control

2
En el caso que no se haya respetado la asignacin aleatoria en la implementacin, se puede ocupar la metodologa del In
tenttoTreat,yconvariablesinstrumentalesobservarelefectoTreatmentontheTreated.Estopuededarseporejemplosi
sequieremedirelimpactodeunafiscalizacinperoalmomentodeintentardefiscalizarresultaquealgunoscontribuyentesen
el grupo de tratamiento son no ubicables. O si se mandan cartas a contribuyentes y una parte de las cartas no llega. Es muy
importantequeenlaevaluacindelosdatossetrabajeconlaasignacinaleatoriaoriginal,esdecircompararlosqueseasig
naronaltratamientoconlosqueseasignaronalcontrol.Nuncaesvlidocompararlosquedehechosetrataronconlosquese
intenttratarperoquealfinalnoformaronpartedelprograma.Laraznesqueestosdosgruposyanosonigualesexante.
Estudiosaleatorios:Pasosaseguir
1) Escoger un programa y una poblacin de
inters,ylasprincipalesvariablesdeinters.
2) Clculos de poder estadstico: Determinar el
tamao requerido de los grupos de trata
miento y de control, para tener una buena
esperanza de medir los impactos en las va
riablesdeinters.
3) Asignacinaleatoriaaltratamiento.Verificar
que la asignacin result equilibrada con
respetoalasprincipalesvariablesdeinters.
4) Piloto: implementacin del programa a
pequea escala para evitar problemas ines
peradas(siposible).
5) Implementacin: Asegurarse no haya ningu
na otra diferencia entre grupos de trata
mientoydecontrol.

4
salvolaaplicacindelprograma.Porejemplo,seperderalavalidezdelestudiosisedetienenlasotrasactividades
fiscalizadorasenelgrupodecontrolperosesiguenaplicandoenelgrupodetratamientooalrevs.
Estoconcluyeel resumende los estudios aleatorios. Sin embargo, muchas vecesno es posibleasignar polticaso
programas al azar. En los siguientes apartados se describen otros mtodos de evaluacin que intentan construir
unaaproximacindelcontrafactualbajociertossupuestos.Lavalidezdecadamtododependerdequetanpare
cidoseaelgrupodetratamientoalgrupodecontrolantesdelaintervencin.

2. DIFERENCIASIMPLE(TRATADOSV.NOTRATADOS)
El mtodo de diferencia simple es uno de los ms comunes. La metodologa es simple: comparar el grupo que
recibielprogramaconotrogrupoquenolorecibi.Sinembargo,paraserunabuenarepresentacindelcontra
factualelgrupodecontroldeberarepresentarloquehubierapasadoconelgrupodetratamientosinelprograma.
Estoesunsupuestocreble?Lamentablemente,muchasveceslarespuestaesno.
Enmuchosprogramashayunprocesodeseleccindequinrecibeeltratamiento.Aveceslaseleccinesexplcita;
porejemplo,unprogramadefiscalizacinparaelcualseseleccionansloaloscontribuyentesconunindicadorde
riesgoalto.Laseleccintambinpuederesultardealgonoexplcitoonoobservable;porejemplo,silosfiscaliza
dores escogen a aquellos contribuyentes que presienten tienen algn comportamiento irregular. En cualquier
caso,estaasignacinnoaleatoriaintroduceunsesgodeseleccin.Esdecir,elgruponotratadoyelgrupotratado
dejandeserigualantesdelaimplementacindelprograma.Ladiferenciaqueseobservaentrelosgrupospodra
serelresultadodelimpactodelprograma,odeladiferenciaoriginalentrelosdosgruposodeunamezcladelos
dos.
Porejemplo,existeunprogramadetutoresgratisparaniosconproblemasescolaresyqueremosmedirsuimpac
to.Sisecomparasimplementelasnotasdelosniosquerecibieronlaayudadeuntutorconlosquenolarecibie
ronesposiblequeseobservequelosnioscontutorestienennotasmsbajasquelosniossintutores.Concluir,
en base a esta observacin,que los tutores hicieron dao al logro escolar de los nios muy probablemente sera
Enresumen:Evaluacinaleatoria
Descripcin:Mtodoexperimentalquesirveparamedirrelacionescausalesentredosvaria
blescomparandolostratadosconlosnotratadoscuandolaparticipacinfuedeterminada
aleatoriamente.
Representacindelcontrafactual:Elgrupodecomparacinesseleccionadodeformaaleatoria
antesdelcomienzodelprogramadentrodeungrupodeparticipantespotenciales.
Supuestosclaves:Laaleatorizacinesvlida.Esdecir,losdosgrupossonestadsticamente
idnticos(enfactoresobservablesynoobservables).Noseleaplicaningnotrotratamiento
diferenteaalgunodelosgrupos.
Ventajas:Laestimacindelimpactodelprogramaesmuycreblecuandosediseeimple
mentcorrectamente.
Desventajas:Requierelaasignacinaleatoriaantesdelprogramaporloqueusualmentenose
puedenhacerevaluacionesretrospectivas.Eltamaodelamuestradebeserlosuficientemen
tegrandeparapoderdetectarunresultadosignificativo.

5
errneo. Lo ms probable es que hubo una seleccin inicial en la cual nios con notas ms bajas tenan mayor
probabilidad de recibir la ayudade un tutor. En estecaso, el sesgo deseleccin introduce una subestimacin del
impactotanfuertequeelimpactoparecenegativoenlugardepositivo.

3. PREPOST(ANTESVS.DESPUS)
Una evaluacin prepost es un tipo particular de evaluacin de diferencia simple. En vez de usar otro grupo de
personascomogrupodelcontrolseusaelmismogrupodepersonasantesdelcomienzodelprograma.
Portanto,unaevaluacinprepostmideelcambioeneltiempotomandoencuentaelestadoinicialdelgrupo.En
estecaso,semideelimpactocomoladiferenciaentrelasituacinanteriorylasituacinposterioraunainterven
cin. El anlisis prepost es una manera muy comn de evaluar programas. Muchas veces este tipo de anlisis
retrospectivoparececonvenientesilosdatosdelasituacinanterioralprogramaexisten.
Unaevaluacinprepostnospermitetomarencuentaelnivelescolaroriginaldelosestudiantes.Pero,elgrupo
depersonasantesdelcomienzodelprogramaesunabuenarepresentacindelcontrafactual?Esdecir,escorrec
to suponer que sin el programa, durante este periodo no
se hubiera dado ningn cambio en los resultados del gru
potratado?
Miremos la situacin en el ejemplo de los tutores gratui
tosparaestudiantes.Escrebleasumirqueenlos2aos
del programa, los nios no hubieran mejorado sus notas
sinlostutores?Enrealidad,esprobablequelosestudian
tes hubieran seguido aprendiendo y mejorando sus cono
cimientos. Si se hace una evaluacin prepost, se atribui
Enresumen:Diferenciasimple
Descripcin:Midelasdiferenciasdespusdelprogramaentreaquellosqueparticiparonenel
programayaquellosquenoparticiparon.
Representacindelcontrafactual:Elgrupodecomparacincorrespondealosindividuosque
noparticiparonenelprograma(poralgunarazn),yparaloscualestenemosdatosdespus
delprograma.
Supuestosclaves:Losnoparticipantessonidnticosalosparticipantesexceptoporlainter
vencindelprograma.Nohayningunaseleccineneltipodepersonaqueentralprograma.
Ventajas:Muchasvecesyaexistendatosadministrativosquesepuedenanalizarretrospecti
vamente.Norequieredatosdelasituacinanterioralprograma.
Desventajas:Necesitaungruponoafectadoporelprograma.Silosgrupostratadosynotra
tadossondistintosantesdelprograma,elmtodopuedesubestimarosobreestimarelim
pactoverdaderodelapoltica;esdecirseintroduceunsesgodeseleccinenlaestimacin.
FIGURA3:SUPUESTOSOBRECONTRAFACTUALPARAPREPOST
FUENTE:JPAL(2010)

6
raesteaprendizaje,normaldeldesarrollodelnio,alprogramadetutores.
Estaevolucinnaturaldelresultadoatravsdeltiemposellamatendenciasecular.Ademsdelatendenciasecu
lar,puedehaberchoquesquecambianelresultadoperonotienenqueverconelprograma.Porejemplo,sihay
unacrisiseconmicaduranteelperiododeimplementacindeunapolticafiscalizadoraelcomportamientotribu
tariopuedevariarindependientementedeestapoltica.Enestecasonoseracorrectoatribuirelcambiodelcom
portamientotributarioalapoltica.Nosesabesielcambioeneltiemposedebealacrisis,alapoltica,oauna
mezcladelasdos.

4. DIFERENCIASENDIFERENCIAS(DIFFINDIFF)
Unaevaluacindediferenciasendiferenciascombinalosdosmtodosanterioresparatomarencuentatantolas
diferenciasdenivelentrelosdosgruposcomolastendenciasseculares.
La metodologa de diferencias en diferencias
usa las dos variaciones. La diferencia en el
tiempo y la diferencia entre los dos grupos.
Para calcular el efecto, primero se debe en
contrar el cambio en el tiempo del grupo
tratado (1) y el cambio del grupo no tratado
(2)yluegorestarestosdosresultados(3).
En una regresin mltiple la diferencia en
diferenciasseveeneltrminodeinteraccin
entre el grupo tratado y el periodo post
tratamiento:

t
= o +[
1
I

+[
2
post
t
+[
3
I

post
t
+e
t
,
FIGURA4CALCULANDODIFERENCIASENDIFFERENCIAS
Resultado
antes del
programa
Resultado
despus del
programa
Diferencia
Grupotratado 24,80 51,22 26,42
Gruponotratado 36,67 56,27 19,60
Estimacindiferenciasendiferencias: 6,82
Enresumen:Evaluacinprepost
Descripcin:Mideelcambioenlosresultadosdelosparticipantesdeunprogramaeneltiem
po.Esladiferenciaentrelasituacinanterioryposteriorauntratamiento.
Representacindelcontrafactual:Elgrupodecomparacinconsisteenlosmismosparticipan
tesdelprogramaantesdesuinicio.
Supuestosclaves:Elprogramaeselnicofactorqueinfluyenelcambiodelresultado.Sinel
programaelresultadosehubieramantenidoigual.
Ventajas:Muchasvecesyaexistendatosadministrativosquesepuedenanalizarretrospecti
vamente.Norequieredatosdepersonasquenoparticiparonalprograma.
Desventajas:Muchosfactorescambianconeltiempoypuedenafectarelresultado,loqueva
encontradelsupuestoclave.Enparticular,lacomparacinprepostnocontrolaporelefecto
delatendenciasecularodechoques,ajenoalprograma,queafectanelresultado.
3
2
1
FUENTE:JPAL(2010)

7
donde
t
representalavariabledeintersdelindividuoienelperiodot,I

esunavariabledicotmicaindicandosi
elindividuoirecibielprogramaono,ypost
t
esundicotmicaindicandoelperiodoposterioralprograma,[
3
re
presentaelestimadordeladiferenciaendiferencias.
En esencia, la estimacin de diferencias en
diferencias usa tanto el cambio en el tiempo
del grupo no tratado como una estimacin del
contrafactual para el cambio en el tiempo del
grupo tratado. El supuesto clave es que sin el
programa la tendencia en los dos grupos hu
bierasidoigual.Estoeselsupuestodetenden
cias comunes o de tendencias paralelas. Se
violaelsupuestosielgrupodetratadoshubie
ra tenido una tendencia diferente al grupo de
controlenlaausenciadelprograma.
En el caso del programa de tutores para estu
dianteselsupuestoimplicaraquesinlaayudaadicionallosnioscontutorysintutorhubieranmejoradosuren
dimientoescolaralmismoritmo.Peroesposiblequeaunsinelprogramalosnioslentoshubieranmejoradoms
quelosavanzados,yaquetenanmuchoquemejorar.Oalrevs,esposiblequesinlostutoresladistanciaentre
losnioslentosylosniosavanzadoshubieraaumentadoanms.Enlosdoscasos,nosabemossiladiferencia
deladiferenciasedebealacaractersticadelosgrupos,alprogramadelostutoresoaunamezcladeambas.

EnResumen:Diferenciasendiferencias
Descripcin:Comparaelcambioenlosresultadosdelosparticipantesconelcambioenlos
resultadosdelosquenoparticiparonenelprograma.
Representacindelcontrafactual:Elcambiodelosquenoparticiparonenelprogramasirve
comorepresentacindelcontrafactualdelcambiodelosparticipantesdelprograma.
Supuestosclaves:Supuestodetendenciascomunes:Asumequesinelprogramalosdosgru
postendrantrayectoriasidnticasalolargodeesteperiodo.
Ventajas:Controlaportodaslascaractersticasquenocambianconeneltiempo(tantoobser
vablescomonoobservables)yportodosloscambioseneltiempoqueafectanalgrupotrata
doynotratadodeigualmanera.
Desventajas:Silosdosgrupossehubierandesarrolladodemaneradiferenteenlaausenciadel
programaexisteunsesgodeseleccin.Senecesitaungruponoafectadoporelprogramay
datosanterioresalaintervencin.
FIGURA5:SUPUESTOSOBRECONTRAFACTUALENDIFERENCIASENDIFERENCIAS
FUENTE:JPAL(2010)

8
5. MATCHINGYPSM
Con el matching volvemos a la meta original de construir una representacin del contrafactual y crear un grupo
igualalgrupotratado.Elmatchingconstruyeungrupoidnticoencaractersticasobservablesantesdelprograma.
Existen varios mtodos de matching. A continuacin se describe el caso bsico donde para cada individuo en el
grupotratadosebuscaunindividuoconlasmismascaractersticasobservablesenelgruponotratado.Paraesti
marelimpactodelprogramasecomparanlosresultadosentreelgrupodetratamientoyelgrupodecontrolque
est compuesto de individuos con caractersticas idnticas a los individuos tratados.Dado que los dos grupos te
nan las mismas caractersticas observables antes del programa, se espera que la nica diferencia despus del
programasealaexposicinalmismo.
En el caso de tutores, por ejemplo, podemos encontrar nios que no se inscribieron en el programa, pero que
antes de la intervencin tenan las mismas notas que un nio que recibi la ayuda de un tutor. De esta manera,
creamosungrupocontodoslostratadosyotrogrupoconlosparesdelostratados,esdecirindividuosnotratados
que tienen las mismas caractersticas observables. La figura 6 muestra el procesode seleccin de pares con tres
caractersticas:edad,puntajepretestygnero.

Enciertoscasos,elmatchingpuedesermejorquediferenciaendiferenciasporqueelprocesodeencontrarpares
nos asegura que los dosgrupos son iguales en los factores observables queconsideramos importantes. Pero, es
crebleasumirqueelgrupotratadoesigualalgrupoqueseleparecesegnlasvariablesobservables?
Elproblemaesqueelmatchingnuncapuedecontrolarporlasvariablesnoobservables.Enelejemplodetutores,
habr alguna razn para qu dos nios con notas iguales reciban un tratamiento distinto. Ser qu la maestra
sabequeunotienemspotencialqueotro?Serquunotienepapsqueloapoyanmsylebuscanuntutor?Si
hayalgoquenoestennuestrosdatosoqueesdifcilmedir(porejemplo,lamotivacindelospaps)queinfluye
enelresultado,entoncesvolvemosalproblemadesesgodeseleccin.Esprobable,porejemplo,queunniocon
papsqueloapoyanhubieramejoradomsquesucompaeroconnotasigualesaunsinelprogramadetutores.
Apartedelproblemadenoobservables,otrodesafodelmatchingesquenecesitamosencontrarindividuosconlas
mismascaractersticastantoenelgruponotratadocomoenelgrupotratado.Esterequerimientosellamalacon
FIGURA6ELPROCESODEMATCHINGENELEJEMPLODETUTORES
FUENTE:JPAL(2010)

9
dicindeapoyocomn(commonsupportcondition).Enelejemplodelostutores,sifueraelcasoquetodoslos
estudiantesconnotasmuybajasrecibieronlaayudadeuntutornoseraposiblehacerelmatchingpornotas.
Finalmente,mientrasmscaractersticasqueramosincluirenelmatchingmsdifcileshacerlo.Conmuchosdatos
(porejemploelcensodetodoslosestudiantesenelpas)podraserimposibleencontrarunestudiantecompara
blequenorecibiuntutor.Porotrolado,conmenosdatospuedeserqueciertosindividuosenelgrupotratado
notenganunparexactoenelgruponotratado.
Por estas razones se ha desarrollado el Propensity Score Matching (PSM). El PSM permite hacer un matching
conmuchascaractersticas.Sereduceelnmerodecaractersticasasolounndicequepredicelaprobabilidadde
formar parte del programa. En efecto, el ndice es un promedio ponderado de las caractersticas subyacentes. El
matchingluegosehaceentreindividuosquetenanigualprobabilidaddeparticiparenelprograma.

6. REGRESINDISCONTINUA
Existeunametodologaquepermitesacarconclusionescausalestanfiablescomoelexperimentoaleatorio,quese
puedeaplicarenciertoscasosespeciales.Avecesprogramasopolticastienenunumbralespecficoquedetermi
naquinrecibeuntratamiento.Undiseoderegresindiscontinuaseaprovechadelhechoquelosindividuoso
empresas muy cercanas al umbral son bsicamente iguales. Bajo ciertos supuestos, se puede interpretar la dife
renciaentrelosresultadosdelosindividuosjustodebajodelumbral(quenorecibenelprograma)ylosresultados
delosindividuosjustoencimadelumbral(querecibenelprograma)comoelimpactodelaintervencin.
EnResumen:Matching
Descripcin:Comparalosresultadosdeindividuostratadosconlosresultadosdeindividuos
similaresperoquenofuerontratados.
Representacindelcontrafactual:
Matchingexacto:Paracadaparticipante,seescogealmenosunnoparticipantequees
idnticoenlascaractersticasseleccionadas.
Propensityscorematching(PSM):Secomparaparticipantesdelprogramaanoparticipan
tesquesegnsuscaractersticasobservablestenanlamismaprobabilidaddeparticipar
enelprograma.
Supuestosclaves:Losnoparticipantesenpromediosonidnticosalosparticipantesempa
rejados,exceptoporlaparticipacinenelprograma.
Ventajas:Norequiereunaaleatorizacinanterioralprograma.Nospuededarnosoloelim
pactopromediodelprograma,sinotambinladistribucindelimpactodelprograma.
Desventajas:Puedenexistircaractersticasnoobservablesqueafectanlaprobabilidadde
participaralprogramayalmismotiempoafectanlosresultados.Estointroduceunsesgode
seleccin.Sabersiesprobablequelascaractersticasnoobservablesseanimportantesen
estecontextorequiereconocermuybienlamaneraenlacualseseleccionaronlosparticipan
tesdelprograma.

10
Supongamos por ejemplo que se disea un programa que manda una carta de notificacin a todas las empresas
quetenganunadiferenciaconinformacindetercerossuperiora100dlares.Enestecaso,eltamaodeladife
renciaeslavariabledeseleccinporquelalneadecorteestdefinidaporestavariable.
La figura 7 muestra el concepto de una eva
luacin de regresin discontinua. La lnea
slida representa la relacin entre el tamao
deladiferenciayelmontodeimpuestodecla
rado: mientras ms grande la diferencia, ms
impuesto se declara. Se puede ver que en la
regindelalneadecorte,elumbralsobreel
cual se manda la carta, hay una discontinui
dad o salto en el pago de impuestos. Bajo
ciertas condiciones se puede atribuir este
saltoalenvodelacarta.
Uno de los supuestos ms importante para
usareldiseoderegresindiscontinuaesque
nohubouncambioestratgicoenelcompor
tamiento de las firmas alrededor del umbral.
Siporejemplo,lasempresasjustodebajode100dlaresdediferenciatenanbuenoscontadoresquesabancmo
manejarse para quedar debajo del lmite, existe una diferencia entre las empresas justo debajo y justa arriba del
umbral.Taldiferenciaentornoalumbralintroduceunsesgodeseleccin.Lamanipulacinalrededordelumbralse
denominaunarespuestaconductualalumbral.
La ventaja de la regresin discontinua es que el supuesto que no hay respuesta conductual al umbral se puede
testear.Sihubieramanipulacinseproduciraunaconcentracinmsaltadeempresasjustoarribaojustodebajo
del umbral, lo que se puede verificar. Al igual, se puede verificar que no haya diferencias en las caractersticas
clavesentrelasempresasjustodebajoysobreelumbral.
Finalmente,undiseoderegresindiscontinuatambinrequierequenohayaotrosprogramasopolticasquese
apliquenalmismoumbral.Porejemplo,silasempresascondiferenciasmayoresa100dlaresademsrecibieron
unavisitadeunfiscalizadornosepuededistinguirelimpactodelavisitadelimpactodelacarta.
Ambosproblemas,larespuestaconductualalumbralyotraspolticasqueseaplicanalmismoumbral,sepresen
tanconmayorfrecuenciacuandoelumbralesunnmeroconocidoportodos.Porlotanto,losumbralesptimos
para el uso de esta metodologa son secretos, o definidos expost, y se aplican en la implementacin de un solo
programa.
3

En el anlisis de regresin discontinua no se compara simplemente los resultados de las empresas o individuos
justodebajodelumbralconlosresultadosdelosqueestnjustoencima.Secorreunaregresinenlacualsecon
trola por el cambio en la variable de seleccin de manera lineal y tambin con potencias de la variable de selec
cin.Paraverlosdetallesrefirasealabibliografa.

3
Un ejemplo de un umbral escogido expost sera si se define un monto de ventas declaradas, debajo del cual se aplica un
cierto tratamiento, despus de que las declaraciones se hayan presentado. En este caso, las empresas no pueden ajustar sus
ventasdeclaradasalumbralporqueenlafechadehacerladeclaracinnoseconocaelpuntodecorte.Enelcasoqueelum
bralseapblicoyconocidoanteriormenteesmuyimportantetestearsihayrespuestaconductualalumbralantesdeaplicarla
regresindiscontinua.Siexistimanipulacinalrededordelpuntodecorteelestimadorcalculadoconunaregresindisconti
nuanoesvlido..
FIGURA7DISEODEREGRESINDISCONTINUA

11

FIGURA8:COMPARACION(MUYSIMPLIFICADA)DELOSMTODOS

Enresumen:Regresindiscontinua
Descripcin:Comparalosresultadosdeindividuosqueestnjustodebajodeunumbralque
loscalificaparaeltratamientoconlosresultadosdeindividuosqueestnjustoarribadeeste
umbral.
Representacindelcontrafactual:Losresultadosdelosindividuosqueestncercadelalnea
decorte,peroquecaenenelotroladoyportantonopuedenparticiparenelprograma,re
presentanelcontrafactualdelosindividuosquecaenjustoencimadelumbralyporlotanto
recibeneltratamiento.
Supuestosclaves:Losindividuosjustoarribadelalneadecortesonigualesalosindividuos
quecaenjustodebajodelalneadecorte.Nohaynimanipulacinalrededordelumbralni
otraspolticasqueseaplicanapartirdelmismocorte.
Ventajas:Produceestimacionesmuyfiablesdelimpacto.Enlasadministracionestributarias,
existenmuchaspolticasqueseaplicansegnuncorteymuchasvecesyaexistenlosdatos
administrativosqueserequierenparaelanlisis.Lamayoradelossupuestossedejantestear.
Desventajas:Lasconclusionessolamenteseaplicanaindividuosoempresasalrededordel
corte.Nosepuedesaberculseraelimpactoenaquellosqueestnmuylejosdelumbral.

12
Bibliografa
Abdul LatifJameel Poverty Action Lab (JPAL). Por qu aleatorizar? La evaluacin de programas sociales. Uni
versidaddelosAndes.Bogota,Colombia.14Jul2010.
Textosgenerales
Angrist,JoshuaD.,andJornSteffenPischke.MostlyHarmlessEconometrics:AnEmpiricistsCompanion.Princeton,
NJ:PrincetonUniversityPress,2009.
Imbens, Guido, and Jeffrey Wooldridge. "Recent Developments in the Econometrics of Program Evalua
tion."JournalofEconomicLiterature.47.1(2009):586.
Evaluacinexperimental
Banerjee, Abhijit, and Esther Duflo. "The Experimental Approach to Development Economics."Annual Reviews of
Economics.1.(2009):151178.
Duflo, Esther, Rachel Glennerster, and Michael Kremer. "Using Randomization in Development Economics Re
search:AToolkit."HandbookofDevelopmentEconomics.4.(2007):38953962.
Ludwig,Jens,JeffreyKling,andSendhilMullainathan."MechanismExperimentsandPolicyEvaluations."Journalof
EconomicPerspectives.Forthcoming(2011).
Diferenciasendiferencias
Duflo, Esther."Schooling and LaborMarket Consequences of School Construction in Indonesia: Evidence from an
UnusualPolicyExperiment."AmericanEconomicReview.91.(2001):795813.
Abadie, Alberto. "Semiparametric DifferenceinDifferences Estimators."Review of Economic Studies. 72. (2005):
119.
Bertrand, Marianne, Esther Duflo, and Sendhil Mullainathan. "How Much Should We Trust DifferencesIn
DifferencesEstimates?."QuarterlyJournalofEconomics.119.1(2004):249275.
Matching
Dehejia, Rajeev, and Sadek Wahba. "Causal Effects in NonExperimental Studies: ReEvaluating the Evaluation of
TrainingPrograms."JournaloftheAmericanStatisticalAssociation.94.(1999):10531062.
Diseoderegresindiscontinua
Imbens,GuidoandThomasLemieux."RegressionDiscontinuityDesigns:AGuidetoPractice."JournalofEconomet
rics.142.(2008):615635.
Lee,David,andThomasLemieux."RegressionDiscontinuityDesignsinEconomics."JournalofEconomicLiterature.
48.2(2010):281355.