Beruflich Dokumente
Kultur Dokumente
TeoradeCambio,Indicadoresy
MedicindelImpacto
ClaudioFerraz
PUCRio
AbdulLatif Jameel PovertyActionLab
povertyactionlab.org
Agendadelcurso
1. Evaluacionesdeimpacto:Quson?Por
quhacerlas?Cundohacerlas?
2. TeoradeCambio,indicadoresymedicindel
impacto
3. Porqualeatorizar?
4. Cmoaleatorizar?
5. Eltamaomuestral
6. Implementarunaevaluacin
7. Anlisiseinferencia
Agendadelcurso
1. Evaluacionesdeimpacto:Quson?Por
qu hacerlas?Cundo hacerlas?
2. TeoradeCambio,indicadores ymedicin
delimpacto
3. Por qu aleatorizar?
4. Cmo aleatorizar?
5. Eltamaomuestral
6. Implementar una evaluacin
7. Anlisis einferencia
Objetivosdeaprendizaje
1. EvaluacindeimpactorequierePROFUNDO
conocimientodefuncionamientoyobjetivosdel
programa
2. LaTEORADECAMBIOfacilitaevaluaciny
medicindecmofuncionaunprogramaycuales
suimpacto
Articulaobjetivos,insumos,productos,resultadose
impactos
Simplificadefinicindehiptesisdeinvestigacin
Facilitaconstruccinindicadoresparadistintasmetasdel
programa 4
Resumendelaexposicin
1. TeoradeCambio
2. Resultadoseindicadores
3.Nocionesinicialesdemedicindeimpacto
5
Resumendelaexposicin
1. TeoradeCambio
Ques?
Cmosedesarrolla?
Ejemplo:Informacinsobredesempeo
municipalenMxico
2.Resultadoseindicadores
3.Nocionesinicialesdemedicindelimpacto
6
Resumendelaexposicin
1. TeoradeCambio
Ques?
Cmosedesarrolla?
Ejemplo:Informacinsobredesempeo
municipalenMxico
2.Resultadoseindicadores
3.Nocionesinicialesdemedicindelimpacto
7
TeoradeCambio
RepresentavisualmentecadenaCAUSAL
entre:
Necesidades/Objetivos
Insumos
Productos
Resultadosintermedios
Impactos(esperadosynodeseados)
Facilitadefinicindehiptesisaverificar
Resumendelaexposicin
1. TeoradeCambio
Ques?
Cmosedesarrolla?
Ejemplo:Informacinsobredesempeo
municipalenMxico
2.Resultadoseindicadores
3.Nocionesinicialesdemedicindelimpacto
9
Cadenadecausalidad
Objetivos Resultados
Insumos Productos Impactos
Intermedios
Cadenadecausalidad
Objetivos Resultados
Insumos Productos Impactos
Intermedios
Enriquecencomprensindel
programa
Refuerzanconclusiones
Facilitanextraccinde
lecciones
Cadenadecausalidad
OBJETIVOS
1. Respondenauna
necesidad
2. Especificanpoblacin
objetivo
3. Sonmedibles
Cadenadecausalidad
INSUMOS
1. Qupuedohacerpara
lograrobjetivo?
2. Factibles
3. Sonmedibles
Cadenadecausalidad
PRODUCTOS
1. Consecuenciadirectade
miaccin/intervencin
2. Sonmedibles
3. Representanelprimer
resultadoobservablede
miaccin
Cadenadecausalidad
RESULTADOS
INTERMEDIOS
1. Sonlosfactoresde
transicinqueconectan
losproductosconlos
impactos
2. Sonmedibles
Cadenadecausalidad
IMPACTOS
1. Loquequierocambiarcon
programa
2. Directamente
relacionadoscon
objetivos
3. Sonmedibles
Resumendelaexposicin
1. TeoradeCambio
Ques?
Cmosedesarrolla?
Ejemplo:Informacinyeleccioneslocalesen
Mxico
2.Resultadoseindicadores
3.Nocionesinicialesdemedicindelimpacto
17
Elentorno:Informacinantesde
eleccioneslocales
18
Elentorno:Informacinantesde
eleccioneslocales
Culessonlosobjetivosprincipalesdela
AuditoraSuperiordelaFederacin(ASF)?
Culessonlasprincipalescaractersticasdela
campaadeVolantesdestinadosapblico
local?
19
ElusodelaInformacin
Porquseconsideraradeseablediseminar
informacinproporcionadaporlaASFantes
delaseleccionesmunicipales?
SilainformacinesimportantePorqula
mayoradelaspersonasnousanla
informacingratuitaentregadaporlaASF
paratomarsusdecisionesdevoto?
20
TeoradeCambiodelosvolantes
deinformacin
Culessonposiblescadenasdecausalidaden
elcasodelosvolantesdeInformacin?
Culessonetapasnecesariasparaobtener
impactosfinales?
Culessonposiblesimpactosfinales?
21
TeoradeCambiodelosvolantes
deinformacin
Necesidades Insumo Producto Resultado Impacto Objetivoa
Intermedio largoplazo
? ? ? ? ? ?
22
TeoradeCambiodelosvolantes
deinformacin
Necesidades Insumo Producto Resultado Impacto Objetivoa
Intermedio largoplazo
Informacin
Mejoruso
pblicarelevante delos
paralosvotantes recursos
noesutilizada.
Losgobiernos
? pblicosa
nivellocaly
localestiendena mejoradela
malgastarfondos entregade
sinrepresalias
servicios
Loque
hagopara
lograrmi 23
objetivo
Tratamiento 1
Tratamiento 2
Tratamiento 3
Control
TeoradeCambiodelosvolantes
deinformacin
Necesidades Insumo Producto Resultado Impacto Objetivoa
Intermedio largoplazo
Volantes:
Campaade
informacin
Informacin previoa
pblicarelevante elecciones
paralosvotantes municipales
noesutilizada.
Losgobiernos
localestiendena
enfocadas
enquines
son
?
malgastarfondos responsable
sinrepresalias sdeproveer
ciertos
servicios
pblicos
Consecuenciadirecta
demiaccin
? 28
TeoradeCambiodelosvolantes
deinformacin
Necesidades Insumo Producto Resultado Impacto Objetivoa
Intermedio largoplazo
Volantes:
Campaade
informacin
Informacin previoa Votantesse
pblicarelevante elecciones hacenms
paralosvotantes municipales conscientes
noesutilizada.
Losgobiernos
localestiendena
enfocadas
enquines
son
sobreel
desempeo
desus
?
malgastarfondos responsable representantes
sinrepresalias sdeproveer municipales.
ciertos
servicios
pblicos
Factoresqueconectan
productoconimpacto
? 29
TeoradeCambiodelascuotas
31
Mltiplesposiblesimpactos
Supongaquerecolectadatosde20diferentes
indicadoresdeimpacto
Encuentraunoqueesmuypositivo
Encuentraunoqueesmuynegativo
Encuentraquepara18,losresultadossonmuy
similaresynosonsignificativamentediferentes
Qupuedeconcluir?
Definalashiptesisclaveantesdeliniciodelexperimento
32
Definirhiptesisclave
Culespodranserejemplosdealgunas
hiptesisclaveaprobar?
33
TeoradeCambiodelascuotas
34
Resumen delaexposicin
1.TeoradeCambio
Ques?
Cmosedesarrolla?
Ejemplo:CuotasenconsejosdealdeasenIndia
2.Resultadoseindicadores
3.Nocionesinicialesdemedicindelimpacto
35
Medicin
Describeelentornoencualserealizala
intervencin/elexperimento
Cuantificainsumosenlaintervencin
Permiteevaluarlaimplementacindelaintervencin
Cuantificalosresultadoseimpactos
Registralaspercepcionesdelaintervencin
36
Medicin
Describeelentornoencualserealizala
intervencin/elexperimento
Cuantificainsumosenlaintervencin
Permiteevaluarlaimplementacindelaintervencin
Cuantificalosresultadoseimpactos
Registralaspercepcionesdelaintervencin
SEHACEPORMEDIODEINDICADORES
37
Quesunindicador?
???
Indicadoresson
Variablescuantitativasocualitativasquenos
permitendeformasencillayconfiable:
Describirentornodenecesidades
Medirinsumos
Caracterizarimplementacin/procesos
Cuantificarresultados/impactos
Registrarpercepciones
Consejossobrerecoleccinde
indicadores
C (laros):precisosysinambigedad
R (elevantes):apropiadosparalamedicinen
cuestion
E (conmicos):fcilesdemediryrecolectar
A (decuados):suficientesparadetectar
impactosenhiptesisclaves
TeoradeCambioconindicadores
Insumo Producto Resultado Impacto Objetivoa
Necesidades Intermedio largoplazo
Informacin
Votantesse Msvotantesse
Pblica Candidatos Mejorusode
hacenms cambiande
Relevantepara Volantes:de y/opartidos losrecursos
conscientes partidopara
losvotantesno informacin conmejor pblicosa
sobreel votarporla
esutilizada.Los previoa rendimient nivellocaly
rendimientos oposicin(Se
gobiernoslocales elecciones oganan mejoramiento
desus votamenospor
tiendena municipales ms delaentrega
representantes partidoymspor
malgastarfondos elecciones deservicios
municipales. gestin)
sinrepresalias
INDICADORES:
? ? ?
42
TeoradeCambioconindicadores
Necesidades Insumo Producto Resultado Impacto Objetivo a
Intermedio largo plazo
Informacin
Votantesse Msvotantesse
Pblica Candidatos Mejorusode
hacenms cambiande
Relevantepara Volantes:de y/opartidos losrecursos
conscientes partidopara
losvotantesno informacin conmejor pblicosa
sobreel votarporla
esutilizada.Los previoa rendimient nivellocaly
rendimientos oposicin(Se
gobiernoslocales elecciones oganan mejoramiento
desus votamenospor
tiendena municipales ms delaentrega
representantes partidoymspor
malgastarfondos elecciones deservicios
municipales. gestin)
sinrepresalias
INDICADORES:
1.TeoradeCambio
Ques?
Cmosedesarrolla?
Ejemplo:CuotasenconsejosdealdeasenIndia
2.Resultadoseindicadores
3.Nocionesinicialesdemedicindelimpacto
44
Cmomedirelimpacto?
Quhabraocurridoenausenciadel
programaaquienesparticiparonenl?
Diferenciaentre
Quocurri(conelprograma)
quhabraocurrido(sinelprograma)
=IMPACTOdelprograma
45
Impacto:Ques?
Intervencin
Impacto
Impacto
Tiempo
Impactoyelcontrafactual
Contrafactual:Quhabraocurridoenausencia
delprogramaaquienesparticiparonenl?
Nopuedoobservaraunapersonaqueparticipay
noparticipaenelprogramasimultneamente.
Objetivoclavedetodoslosmtodosde
evaluacindeimpactoesconstruiroreplicarel
contrafactual.
Seleccionandoungruponoafectadoporelprograma,
ungrupodecomparacin(ogrupodecontrol)
Construyendoelcontrafactual
Experimental:
Utilizaasignacinaleatoriadelprogramapara
crearungrupodecontrolqueimiteel
contrafactual.
Noexperimental:
Argumentaqueunciertogrupoexcluidoreplicael
contrafactual.
48
Observandoelcontrafactual
2. LaTEORADECAMBIOfacilitaevaluaciny
medicindecmofuncionaunprogramaycuales
suimpacto
Articulaobjetivosinsumos,productos,resultadose
impactos
Simplificadefinicindehiptesisdeinvestigacin
Facilitaconstruccinindicadoresparadistintasmetasdel
programa 51
Gracias!
(cferraz@econ.pucrio.br)
PUCRio
AbdulLatif Jameel PovertyActionLab
povertyactionlab.org