INTRODUCCIN A LA EVALUACIN DE IMPACTO

Esta primera parte del libro, nos dar una visin general de lo que la evaluacin de impacto se trata. En el captulo 1, se discute por qu es importante la evaluacin del impacto y cmo encaja en el contexto de la evidencia basada en la formulacin de polticas. Contrastamos la evaluacin de impacto con otras prcticas comunes de evaluacin, tales como las evaluaciones de seguimiento y proceso. Finalmente, presentamos las diferentes modalidades de evaluacin de impacto, tales como la evaluacin prospectiva y retrospectiva, y ensayos de eficacia frente a la eficiencia. En el captulo 2, discutimos la manera de formular las preguntas de evaluacin e hiptesis que son tiles para la poltica. Estas preguntas y las hiptesis son la base de la evaluacin, ya que determinan qu es lo que la evaluacin se busca.

Por qu evaluar?
CAPTULO 1 Programas y polticas de desarrollo suelen estar diseados para cambiar los resultados, por ejemplo, para aumentar los ingresos, para mejorar el aprendizaje, o para reducir las enfermedades. Si estos cambios se logran en realidad es una cuestin crucial de poltica pblica pero que no suele ser examinado. Ms comnmente, los directores de programa y los responsables de polticas se centran en el control y la medicin de las entradas y salidas inmediatas de un programa, cunto dinero se gasta, cmo se distribuyen muchos libros de texto, en lugar de evaluar si los programas han alcanzado sus objetivos previstos de mejora del bienestar. Formulacin de polticas Basada en la Evidencia Las evaluaciones de impacto son parte de una agenda ms amplia de la formulacin de polticas basada en evidencia. Esta tendencia mundial est marcada por un cambio de enfoque de los insumos a los resultados y los resultados. De los Objetivos de Desarrollo del Milenio de incentivos para el rendimiento pago para proveedores de servicios pblicos, esta tendencia global est dando nueva forma de cmo las polticas pblicas se llevan a cabo. No slo es la atencin a los resultados que se utiliza para establecer y realizar un seguimiento de objetivos nacionales e internacionales, pero los resultados son cada vez ms utilizados por, y requiere de administradores, programas para mejorar la rendicin de cuentas, informar a las asignaciones presupuestarias, y orientar las decisiones polticas. Seguimiento y la evaluacin estn en el centro de la formulacin de polticas basadas en la evidencia. Que proporcionan un conjunto bsico de herramientas que los interesados

pueden utilizar para comprobar y mejorar la calidad, eficiencia y eficacia de las intervenciones en distintas fases de ejecucin, o en otras palabras, centrarse en los resultados. Los actores que utilizan el seguimiento y la evaluacin se pueden encontrar tanto dentro como fuera de los gobiernos. Dentro de una agencia gubernamental o ministerio, los funcionarios a menudo tienen que hacer caso a sus superiores que los programas de trabajo para obtener las asignaciones presupuestarias para continuar o ampliarlos. En el plano nacional, los ministerios sectoriales compiten entre s para obtener financiacin del ministerio de finanzas. Y, por ltimo, los gobiernos en su conjunto tienen un inters en convencer a sus electores de que sus inversiones han elegido rendimientos positivos. En este sentido, la informacin y las pruebas se convierten en medios para facilitar la conciencia pblica y promover la rendicin de cuentas del gobierno. La informacin producida por los sistemas de monitoreo y evaluacin pueden ser compartidas con regularidad con los mandantes para informarles de los resultados de los programas gubernamentales y para construir una base slida para la transparencia y la rendicin de cuentas. En un contexto en el que los responsables polticos y la sociedad civil exigen resultados y la rendicin de cuentas de los programas pblicos, la evaluacin de impacto puede proporcionar pruebas slidas y crebles en el rendimiento y, sobre todo, de si un determinado programa alcanz sus resultados deseados. A nivel mundial, las evaluaciones de impacto son tambin centrales para el desarrollo de conocimientos acerca de la efectividad de los programas de desarrollo mediante la iluminacin de lo que funciona y no funciona para reducir la pobreza y mejorar el bienestar. En pocas palabras, una evaluacin de impacto se evala los cambios en el bienestar de las personas que se pueden atribuir a un determinado proyecto, programa o poltica. Este enfoque sobre la atribucin es el sello distintivo de las evaluaciones de impacto. En consecuencia, el desafo central para llevar a cabo evaluaciones de impacto eficaces es identificar la relacin causal entre el proyecto, programa o poltica y los resultados de inters. Como veremos a continuacin, las evaluaciones de impacto generalmente, estiman el impacto promedio de un programa en el bienestar de los beneficiarios. Por ejemplo, la introduccin de un nuevo plan de estudios aumenta las puntuaciones de prueba entre los estudiantes? un programa de agua y saneamiento aument el acceso al agua potable y mejor la salud? Fue un programa de capacitacin efectiva a los jvenes en el fomento de la iniciativa empresarial y aumentar los ingresos? Adems, si la evaluacin de impacto incluye una muestra suficientemente amplia de los beneficiarios, los resultados pueden ser comparados entre los subgrupos de los beneficiarios. Por ejemplo, la introduccin de un nuevo plan de estudios aumenta las puntuaciones de prueba entre los estudiantes hombres y mujeres? Las evaluaciones de impacto tambin puede ser utilizado para probar de forma explcita las opciones alternativas al programa. Por ejemplo, una evaluacin puede comparar el rendimiento de un programa de entrenamiento en comparacin con la de una campaa de promocin para aumentar la educacin financiera. En cada uno de estos casos, la evaluacin de impacto proporciona informacin sobre el impacto global de un programa, a diferencia de los estudios de casos especficos o ancdotas, que puede dar slo informacin parcial y no pueden ser representativos de los impactos del programa en

general. Evaluaciones en este sentido, bien diseado y bien implementado es capaz de proporcionar evidencia convincente y completa que se puede utilizar para informar las decisiones polticas y la opinin pblica. El resumen en el recuadro 1.1 ilustra cmo la evaluacin del impacto contribuy a los debates polticos en torno a la expansin de un programa de transferencia condicional de efectivo en Mxico. 1 Recuadro 1.2 ilustra cmo la evaluacin del impacto han ayudado a mejorar la asignacin de los recursos del gobierno de Indonesia mediante la documentacin que las polticas son ms eficaces en la disminucin de las tasas de fertilidad. ______________________________ Recuadro 1.1: Evaluaciones y la sostenibilidad poltica El programa Progresa / Oportunidades en efectivo condicionadas Programa de Transferencia en Mxico En la dcada de 1990, el gobierno de Mxico puso en marcha una innovadora poltica de transferencia monetarias condicionadas (TMC) el programa "Progresa". Sus objetivos eran proporcionar a los hogares pobres con el apoyo de ingresos a corto plazo y para crear incentivos a la inversin en capital humano de los nios, principalmente mediante la prestacin transferencias de efectivo a las madres en los hogares pobres condicionada a que los nios que asistan regularmente a la escuela y visitar un centro de salud. Desde el principio, el gobierno consider que era esencial monitorear y evaluar el programa. Funcionarios del programa contrataron a un grupo de investigadores para disear una evaluacin de impacto y convertirlo en la expansin del programa a la vez que se puso en marcha, sucesivamente, a las comunidades participantes. La eleccin presidencial de 2000 condujo a un cambio de partido en el poder. En 2001, los evaluadores externos de Progresa presentaron sus conclusiones a la nueva administracin. Los resultados del programa fueron impresionantes: demostraron que el programa estaba bien orientada a los pobres y haba generado cambios prometedores en el capital humano de los hogares. Schultz (2004) encontr que el programa mejor significativamente la matrcula escolar, en un promedio de 0,7 aos ms de escolaridad. Gertler (2004) encontraron que la incidencia de la enfermedad en los nios disminuy en un 23 por ciento, mientras que en los adultos report una reduccin del 19 por ciento en el nmero de das de enfermedad o discapacidad. Entre los resultados nutricionales, Behrman y Hoddinott (2001) encontraron que el programa redujo la probabilidad de retraso del crecimiento en alrededor de 1 centmetro por ao para los nios en el rango de edad crtica de 12 a 36 meses. Estos resultados apoyan la evaluacin de un dilogo poltico basado en la evidencia y contribuy a la decisin del nuevo gobierno para continuar el programa. Por ejemplo, el gobierno ampli el alcance del programa, introduciendo becas escolares de media-alta y programas de mejora de la salud de los adolescentes. Al mismo tiempo, los resultados fueron utilizados para modificar otros programas de asistencia social, tales como grade y pequeo subsidio a la tortilla.

El xito de la evaluacin de Progresa tambin contribuy a la rpida adopcin de las TMC en todo el mundo, as como la adopcin en Mxico de la legislacin que obliga a todos los proyectos sociales a ser evaluados. Fuente: Behrman y Hoddinott 2001; Gertler 2004; Fiszbein y Schady 2009, Levy y Rodrguez 2005; Schultz 2004; Skoufi como McClafferty y 2001. Cuadro 1.2: Evaluacin de mejoras en las asignaciones de recursos Planificacin de la Familia y fertilidad en Indonesia En la dcada de 1970, los esfuerzos de Indonesia innovadoras de planificacin familiar ganaron el reconocimiento internacional por su xito en la disminucin de las tasas de fertilidad del pas. El reconocimiento surgi a partir de dos fenmenos paralelos: (1) las tasas de fecundidad se redujo en un 22 por ciento entre 1970 y 1980, un 25 por ciento entre 1981 y 1990, y un poco ms moderado entre 1991 y 1994, y (2) durante el mismo perodo, el Gobierno de Indonesia aumento sustancialmente los recursos asignados a la planificacin familiar (subvenciones, especialmente las de anticonceptivos). Teniendo en cuenta que las dos cosas sucedieron simultneamente, muchos concluyeron que se trataba de la mayor inversin en planificacin familiar que ha dado lugar a una menor fertilidad. No convencidos por la evidencia disponible, un equipo de investigadores analizaron si los programas de planificacin familiar de hecho bajaron las tasas de fertilidad. Ellos encontraron, al contrario de lo que se crea, que los programas de planificacin familiar slo tuvo un impacto moderado sobre la fertilidad, y argument que al contrario, fue un cambio en la condicin de la mujer que fue responsable de la disminucin de las tasas de fertilidad. Los investigadores sealaron que antes del comienzo del programa de planificacin familiar muy pocas mujeres en edad reproductiva haban terminado la educacin primaria. Durante el mismo perodo que el programa de planificacin familiar, sin embargo, el gobierno emprendi un programa de educacin a gran escala para las nias, por lo que al final del programa, las mujeres que entran en edad reproductiva se han beneficiado de la educacin adicional. Cuando el boom petrolero trajo la expansin econmica y una mayor demanda de mano de obra en Indonesia, la participacin de las mujeres educadas en la fuerza laboral aument de manera significativa. A medida que el valor de tiempo de las mujeres en el trabajo aument, tambin lo hizo el uso de anticonceptivos. Al final, el aumento de los salarios y la capacitacin explica el 70 por ciento de la disminucin observada en la fertilidad, ms que la inversin en programas de planificacin familiar. Estos resultados de la evaluacin informadas a los responsables de poltica cambiaron las decisiones posteriores de asignacin de recursos: la financiacin fue reprogramada fuera de los subsidios a la anticonceptivos y hacia los programas que aumentan las mujeres matriculadas en la escuela. Aunque el objetivo ltimo de los dos tipos de programas eran similares, los estudios de evaluacin han demostrado que en el contexto indonesio, menores tasas de fertilidad se podan obtener de forma ms eficiente mediante la inversin en educacin que por la inversin en planificacin familiar.

Fuente: Gertler y Molyneaux 1994, 2000. Por qu evaluar? ______________________________

Qu es la Evaluacin de Impacto? Cifras de evaluacin de impacto entre una amplia gama de mtodos complementarios que apoyen la poltica basada en la evidencia. Aunque este libro se centra en los mtodos cuantitativos de evaluacin de impacto, vamos a comenzar por su inclusin en el contexto ms amplio de resultados, que tambin incluye el monitoreo y otros tipos de evaluacin. El monitoreo es un proceso continuo que rastrea lo que est sucediendo dentro de un programa y utiliza los datos recopilados para informar a la implementacin del programa y el da a da la gestin y la toma de decisiones. Utilizando los datos en su mayora administrativos, de supervisin del rendimiento pistas del programa con los resultados esperados, comparaciones entre programas, y analiza las tendencias en el tiempo. Por lo general, el seguimiento entradas inputs, actividades y productos, aunque en ocasiones pueden incluir los resultados, como el progreso hacia las metas nacionales de desarrollo. Las evaluaciones son evaluaciones peridicas, el objetivo de un proyecto planificado, en curso o completado, programa o poltica. Las evaluaciones se utilizan para responder a preguntas especficas relacionadas con el diseo, implementacin y resultados. En contraste con la monitorizacin continua, que se llevan a cabo en puntos discretos en el tiempo y con frecuencia buscan un punto de vista externo de expertos tcnicos. Su diseo, mtodo y los costos varan considerablemente segn el tipo de pregunta que la evaluacin trata de responder. En trminos generales, las evaluaciones pueden dirigirse a tres tipos de preguntas (Imas y Rist 2009): Preguntas descriptivas. La evaluacin busca determinar lo que est ocurriendo y describe los procesos, las condiciones, las relaciones organizativas y opiniones de los interesados. Preguntas normativas. La evaluacin compara lo que est ocurriendo a lo que debera estar teniendo lugar, sino que evala las actividades y si los objetivos se logran. Cuestiones normativas se aplican a los insumos, actividades y productos. Preguntas de causa y efecto. La evaluacin examina los resultados y trata de evaluar lo diferencia que la intervencin hace en los resultados. Las evaluaciones de impacto son un tipo particular de evaluacin que pretende responder a cuestiones de causa y efecto. A diferencia de las evaluaciones generales, que pueden responder a muchos tipos de preguntas, las evaluaciones de impacto se estructuran en torno a un determinado tipo de pregunta: Cul es el impacto (o efecto causal) de un programa en un resultado de inters? esta cuestin bsica incorpora una dimensin causal important slo estamos interesados en el impacto del programa, es decir, el efecto sobre los resultados

que el programa causa directamente. Una evaluacin de impacto busca los cambios en los resultados que son directamente atribuibles al programa. El enfoque en la causalidad y la atribucin es el sello distintivo de las evaluaciones de impacto y determina las metodologas que se pueden utilizar. Para poder estimar el efecto causal o el impacto de un programa sobre los resultados, cualquier mtodo elegido debe estimar el llamado contrafactual, es decir, lo que el resultado hubiera obtenido los participantes del programa si no hubieran participado en el programa. En la prctica, la evaluacin de impacto requiere que el evaluador encuentre un grupo de comparacin para calcular lo que habra sucedido a los participantes en el programa sin el programa. La Parte 2 del libro describe los principales mtodos que se pueden utilizar para encontrar grupos de comparacin adecuados. La evaluacin bsica de preguntas Cul es el impacto o efecto causal de un programa en un resultado de inters - se pueden aplicar a muchos contextos. Por ejemplo, cul es el efecto causal de las becas a la asistencia escolar y el rendimiento acadmico? Cul es el impacto en el acceso a servicios de salud de la contratacin de la atencin primaria a los proveedores privados? Si los pisos de tierra son reemplazadas por pisos de cemento, cul ser el impacto en la salud de los nios? Hacer mejores carreteras aumentar el acceso a los mercados de trabajo y eleva los ingresos de los hogares, y en caso afirmativo, por cunto? El tamao de clase influyen en el rendimiento estudiantil, y si lo hace, por cunto? Son las campaas de correo electrnico o sesiones de entrenamiento ms eficaces para aumentar el uso de mosquiteros en reas de malaria? Evaluacin del impacto de las decisiones polticas Las evaluaciones de impacto son necesarias para informar a los responsables polticos en una serie de decisiones, de recortar los programas ineficientes, para ampliar las intervenciones que funcionan, para ajustar los beneficios del programa, a elegir entre las alternativas de varios programas. Son ms eficaces cuando se aplican de forma selectiva a responder a las preguntas importantes de la poltica, y puede ser particularmente eficaz cuando se aplica a los programas piloto innovadores que estn probando un nuevo enfoque, no probado pero prometedor. La evaluacin del programa mexicano Progresa / Oportunidades descrito en el recuadro 1.1 se volvi tan influyente, no slo por el carcter innovador del programa, sino tambin porque su evaluacin de impacto presentado pruebas crebles y fuertes que no podan ser ignorados en las decisiones polticas posteriores. Adopcin del programa y la expansin fueron fuertemente influenciados por los resultados de evaluacin. Hoy, el programa Oportunidades llega a cerca de uno de cada cuatro mexicanos y es una pieza central de la estrategia de Mxico para combatir la pobreza. Las evaluaciones de impacto pueden ser utilizados para explorar los diferentes tipos de cuestiones de poltica. La forma bsica de evaluacin de impacto pondr a prueba la eficacia de un programa determinado. En otras palabras, que responder a la pregunta, Es un programa determinado eficaz frente a la ausencia del programa? Tal como se presenta en la parte 2, este tipo de evaluacin de impacto se basa en la comparacin de un grupo de tratamiento que han recibido un proyecto, programa o poltica con un grupo de comparacin que no, con el fin de evaluar la efectividad del programa.

Adems de responder a esta pregunta bsica de evaluacin, las evaluaciones tambin se pueden utilizar para probar la efectividad de las alternativas de implementacin del programa, es decir, responder a la pregunta, cuando un programa se puede implementar de varias maneras, cul es el ms eficaz? En este tipo de evaluacin, dos o ms enfoques dentro de un programa pueden ser comparados entre s para generar evidencia sobre la cual es la mejor alternativa para alcanzar una meta particular. Estas alternativas del programa se refieren a menudo como "grupos de tratamiento." Por ejemplo, cuando la cantidad de beneficios que un programa debe proveer para ser eficaz no es clara (20 horas de formacin o 80?), Las evaluaciones de impacto puede probar el impacto relativo de la intensidad de la variable del tratamiento (ver recuadro 1.3 para un ejemplo). Las evaluaciones de impacto ponen a prueba tratamientos alternativos del programa, incluyen normalmente un grupo de tratamiento para cada uno de los tratamientos, as como un grupo "puro" de comparacin que no recibe ningn tipo de intervencin del programa. Las evaluaciones de impacto tambin puede ser utilizado para probar las innovaciones o alternativas de implementacin de un programa. Por ejemplo, un programa puede que desee probar alternativas campaas de divulgacin y seleccione un grupo para recibir una campaa de correo, mientras que otros recibieron visitas de casa en casa, para evaluar qu es ms eficaz. _____________________________ Cuadro 1.3: Evaluacin para mejorar el diseo del programa La desnutricin y el desarrollo cognitivo en Colombia En la dcada de 1970, la Estacin de Investigacin de Ecologa Humana, en colaboracin con el Ministerio de Educacin Nacional, implement un programa piloto para abordar la desnutricin infantil en Cali, Colombia, al proporcionar asistencia mdica y actividades educativas, as como los alimentos y suplementos nutricionales. Como parte de la prueba piloto, un equipo de evaluadores fue encargado de determinar (1) el tiempo que un programa debe durar para reducir la desnutricin entre los nios en edad preescolar de familias de bajos ingresos y (2) si las intervenciones tambin podra conducir a mejoras en el desarrollo cognitivo . El programa se hizo con el tiempo disponible para todas las familias elegibles, pero durante la prueba piloto, los evaluadores fueron capaces de comparar grupos similares de nios que recibieron diferentes duraciones de tratamiento. Los evaluadores utilizaron por primera vez un proceso de seleccin para identificar a un grupo objetivo de 333 nios desnutridos. Estos nios fueron clasificados en 20 sectores por barrio y a cada sector se le asign al azar a uno de los cuatro grupos de tratamiento. Los grupos diferan slo en el orden en que se inici el tratamiento y, por tanto, en la cantidad de tiempo que pasaron en el programa. El Grupo 4 empez muy pronto y fue expuesto al tratamiento para el perodo ms largo, seguido por los grupos 3, 2, y luego 1. El tratamiento en s consiste en 6 horas de atencin

de la salud y actividades educativas por da, adems de ms alimentos y suplementos nutricionales. A intervalos regulares a lo largo del programa, los evaluadores utilizaron las pruebas cognitivas para seguir el progreso de los nios en los cuatro grupos. Los evaluadores concluyeron que los nios que estaban en el programa durante ms tiempo han demostrado las mayores ganancias en la mejora cognitiva. En la prueba de inteligencia Stanford-Binet, que estima que la edad mental menos la edad cronolgica, el grupo de cuatro nios un promedio de -5 meses, y el grupo de nios de 1 mes un promedio de 15meses. Este ejemplo ilustra cmo los ejecutores y los responsables polticos son capaces de utilizar las evaluaciones de los grupos de tratamiento mltiple para determinar la alternativa ms eficaz del programa. Fuente: McKay et al. 1978. ________________________________________________ Decida si va a evaluar No todos los programas justifican una evaluacin de impacto. Las evaluaciones de impacto pueden ser costosos, y su presupuesto para la evaluacin debe ser utilizado de manera estratgica. Si usted est empezando, o pensando en la expansin, de un nuevo programa y se pregunta si seguir adelante con una evaluacin de impacto, haciendo algunas preguntas bsicas le ayudar con la decisin. La primera pregunta sera, Qu est en juego en este programa? La respuesta a esta pregunta depender tanto del presupuesto que est involucrado y el nmero de personas que son o sern eventualmente, afectados por el programa. Por lo tanto, las siguientes preguntas, Tiene, la voluntad, el programa requiere una gran parte del presupuesto disponible? Y, o ser, que el programa afecta a un gran nmero de personas? Si el programa no requiere de un presupuesto o slo afecta a pocas personas, no valdra la pena evaluar. Por ejemplo, para un programa que proporciona asesoramiento a los pacientes del hospital con los voluntarios, el presupuesto involucrado y el nmero de personas afectadas no pueden justificar una evaluacin de impacto. Por el contrario, una reforma de pagar a los maestros que a la larga afectar a todos los maestros de primaria en el pas sera un programa con participaciones mucho mayores. Si se determina que lo que esta en juego son altos, entonces la siguiente pregunta es si existen evidencias que demuestren que el programa funciona. En particular, sabe usted cun grande sera el impacto del programa? Esta la evidencia de un pas disponible con similares circunstancias? Si no existe evidencia disponible sobre el potencial del tipo de programa que se contempla, es posible que desee comenzar con un proyecto piloto que incorpora una evaluacin de impacto. Por el contrario, si los datos disponibles a partir de circunstancias similares, el costo de una evaluacin de impacto probablemente se justifica slo si se puede abordar una cuestin nueva de poltica importante. Ese sera el caso si el programa incluye algunas innovaciones importantes que an no han sido probados.

Para justificar la movilizacin de los recursos tcnicos y financieros necesarios para llevar a cabo una evaluacin de impacto de alta calidad, el programa a ser evaluado debe ser Innovador. Se est poniendo a prueba un nuevo enfoque prometedor. Replicable. El programa se puede ampliar o se puede aplicar en un entorno diferente. Estratgicamente relevante. El programa es una gran iniciativa, requiere recursos considerables, cubre, o podra ser ampliado para cubrir un gran nmero de personas, o podra generar un ahorro sustancial. no probados. Poco se sabe acerca de la efectividad del programa, a nivel mundial o en un contexto particular. influyentes. Los resultados sern utilizados para informar las decisiones clave de poltica. Anlisis coste-efectividad Una vez que los resultados de evaluacin de impacto estn disponibles, se puede combinar con informacin sobre los costos del programa para responder a dos preguntas. En primer lugar, por la forma bsica de evaluacin de impacto, aadiendo la informacin de costos nos permitir realizar un anlisis coste-beneficio, que responder a la pregunta, Cul es el balance coste-beneficio de un programa determinado? Anlisis costo-beneficio estima que el total de beneficios previsto de un programa, en comparacin con sus costos totales esperados. Se trata de cuantificar todos los costes y los beneficios de un programa en trminos monetarios y se evala si los beneficios superan los costos. En un mundo ideal, anlisis costo-beneficio sobre la base de pruebas de evaluacin de impacto que existen no slo para un determinado programa, sino tambin para una serie de programas o alternativas de programa, por lo que los responsables polticos podran evaluar qu programa o alternativa es ms rentable en alcanzar una meta particular. Cuando una evaluacin de impacto es la prueba de programas alternativos, aadiendo la informacin de costos nos permite responder a la segunda pregunta, Cun diferentes son las alternativas de implementacin del programa en comparar la rentabilidad? Este anlisis coste-efectividad compara el rendimiento relativo de dos o ms programas alternativos para llegar a un resultado comn. En un costo-beneficio o anlisis de costo-efectividad, la evaluacin de impacto estima el beneficio y la eficacia por un lado, y el anlisis de costos proporciona la informacin de costos. Este libro se centra en la evaluacin de impacto y no discute en detalle cmo recoger los datos de costes o llevar a cabo anlisis costo-beneficio. 2 Sin embargo, es muy importante que la evaluacin de impacto se complemente con informacin sobre el costo del proyecto, programa o poltica que se evala. Una vez que el impacto y la informacin de costos est disponible para una variedad de programas, anlisis

coste-efectividad puede identificar que inversiones rinden la mayor tasa de retorno y permitir a los responsables polticos a tomar decisiones informadas sobre los que la intervencin para invertir en ellos. Recuadro 1.4 ilustra cmo las evaluaciones de impacto pueden ser utilizados para identificar la mayora de los programas costo-efectivos y mejorar la asignacin de recursos. __________________________ Recuadro 1.4: evaluacin de la rentabilidad Al comparar las estrategias para aumentar la asistencia escolar en Kenia Mediante la evaluacin de una serie de programas en un entorno similar, es posible comparar la relacin costo-efectividad de diferentes enfoques para mejorar los resultados, tales como asistencia a la escuela. En Kenia, la organizacin no gubernamental Internacional de Manutencin de Nios de frica (Africa ICS) implement una serie de intervenciones de educacin que incluye el tratamiento contra los parsitos intestinales, la provisin de uniformes escolares gratuitos, y la provisin de comidas escolares. Cada una de las intervenciones fue sometida a una evaluacin aleatoria y anlisis de costo-beneficio, y la comparacin entre ellas ofrece interesantes luces sobre cmo aumentar la asistencia escolar. Un programa que proporcion medicamentos contra los parsitos intestinales en nios en edad escolar aument la asistencia de aproximadamente 0,14 aos por cada nio atendido, a un costo estimado de $ 0,49 por nio. Esto equivale a alrededor de 3.50 dlares por cada ao adicional de participacin en la escuela, incluidos las externalidades experimentadas, por los nios y no adultos en las escuelas, pero en las comunidades que se benefician de la reduccin de la transmisin de los gusanos. Una segunda intervencin, el Programa de Apadrinamiento de Nios, la reduccin de los costes de la asistencia escolar de proporcionar uniformes escolares a los alumnos de siete escuelas seleccionadas al azar. Las tasas de desercin disminuy dramticamente en las escuelas de tratamiento, y despus de 5 aos del programa se estim para aumentar los aos en la escuela en un promedio de 17 por ciento. Sin embargo, incluso bajo los supuestos ms optimistas, el coste aumentar la asistencia a la escuela usando uniformes escolares se estima en aproximadamente $ 99 por ao adicional de asistencia a la escuela. Por ltimo, un programa que proporciona desayunos gratuitos a los nios en 25 escuelas preescolares seleccionados al azar llev a un aumento del 30 por ciento en la asistencia en las escuelas de tratamiento, a un costo estimado de $36 por cada ao adicional de escolaridad. Resultados de los exmenes tambin se incrementaron en alrededor de 0,4 desviaciones estndar, siempre y cuando el maestro estaba bien entrenado antes del programa. A pesar de intervenciones similares pueden tener resultados diferentes de destino, como los efectos de la eliminacin de parsitos o logro educativo, adems de una mayor

participacin, la comparacin de una serie de evaluaciones realizadas en el mismo contexto puede revelar que los programas logran los objetivos deseados al menor costo posible. Fuentes: Kremer y Miguel 2004, Kremer, Moulin, y Namunyu 2003, la pobreza Laboratorio de Accin de 2005; Vermeersch y Kremer 2005. __________________________ Evaluacin prospectiva frente retrospectiva Las evaluaciones de impacto se pueden dividir en dos categoras: prospectiva y retrospectiva. Evaluaciones prospectivas se desarrollan al mismo tiempo que el programa se est diseando y se incorporan a la implementacin del programa. Los datos de referencia son recogidos antes de la ejecucin de programas para los grupos de tratamiento y de comparacin. Evaluaciones retrospectivas evalan el impacto del programa despus de que el programa ha sido implementado, generando grupos de tratamiento y de comparacin expost. En general, las evaluaciones de impacto son ms probables de producir resultados fuertes y creibles de la evaluacin, por tres razones. En primer lugar, los datos de referencia pueden ser recogidos para establecer medidas de de resultados de inters pre-programa. Los datos de referencia proporcionan informacin sobre los beneficiarios y los grupos de comparacin antes de que el programa sea implementado y son importantes para medir los resultados antes de la intervencin. Datos de referencia sobre los grupos de tratamiento y de comparacin deben ser analizados para asegurar que los grupos son similares. Lneas de base tambin se pueden utilizar para evaluar la eficacia de la focalizacin, es decir, si el programa va a llegar a sus destinatarios. En segundo lugar, definir las medidas de xito de un programa en fase de planificacin del programa se centra en la evaluacin y el programa sobre los resultados esperados. Como veremos, las evaluaciones de impacto echar races en la teora de cambio de un programa o la cadena de resultados. El diseo de una evaluacin de impacto ayuda a clarificar los objetivos del programa, en particular, ya que requiere el establecimiento de medidas bien definidas de un programa exitoso. Los encargados de formular polticas deberan establecer objetivos claros y preguntas para la evaluacin para asegurar que los resultados ser polticamente relevantes. De hecho, el pleno apoyo de los polticos es un requisito previo para la realizacin de una evaluacin exitosa, las evaluaciones de impacto no deberan llevarse a cabo a menos que los responsables polticos esten convencidos de la legitimidad de la evaluacin y su valor para informar las decisiones de poltica importantes. Tercero y ms importante, en una evaluacin prospectiva, los grupos de tratamiento y de control son identificados antes de la ejecucin del programa. Como explicaremos con ms detalle en los captulos que siguen, existen muchas ms opciones para llevar a cabo evaluaciones vlidas cuando las evaluaciones se han previsto desde el principio, e informado por la ejecucin de un proyecto. Se argumenta en las partes 2 y 3 que una estimacin vlida del contrafactual puede casi siempre ser encontrada en cualquier

programa con reglas de asignacin claros y transparentes, siempre que la evaluacin se ha diseado de forma prospectiva. En resumen, las evaluaciones prospectvas tienen la mejor oportunidad para generar contrafactuales vlidos. En la etapa de diseo, formas alternativas para estimar un contrafactual vlido puede ser considerado. El diseo de la evaluacin del impacto tambin puede ajustarse plenamente a las reglas de operacin del programa, as como a la implantacin del programa o la ruta de expansin. Por el contrario, en las evaluaciones retrospectivas, el evaluador tiene a menudo una informacin tan limitada que es difcil de analizar si el programa se ejecut con xito y si los participantes realmente se beneficiaron de ella. En parte, la razn es que muchos programas no recogen los datos de referencia a menos que la evaluacin fue construido desde el principio, y una vez que el programa est implementado, es demasiado tarde para hacerlo. Evaluaciones retrospectivas usan datos existentes que son necesarios para evaluar los programas que le fueron asignadas en el pasado. En general, las opciones para obtener una estimacin vlida del contrafactual son mucho ms limitados en esas situaciones. La evaluacin depende de reglas claras de operacin del programa con respecto a la asignacin de beneficios. Tambin depende de la disponibilidad de datos con una cobertura suficiente de los grupos de tratamiento y de comparacin antes y despus de la implementacin del programa. Como resultado, la viabilidad de una evaluacin retrospectiva depende del contexto y nunca est garantizado. Aun cuando sea posible, las evaluaciones retrospectivas a menudo utilizan mtodos cuasiexperimentales y se basan en supuestos ms fuertes, asi pueden producir evidencia que es ms discutible. Estudios de eficacia y los estudios de efectividad La principal funcin de la evaluacin de impacto es la produccin de evidencia sobre la efectividad del programa para el uso de los funcionarios pblicos, directores de programas, la sociedad civil y otros interesados. Los resultados de evaluacin de impacto son especialmente tiles cuando las conclusiones se pueden aplicar a la poblacin en general de inters. La cuestin de la generalizacin (conocido como "validez externa" en la literatura sobre mtodos de investigacin) es clave para los polticos, ya que determina si los resultados identificados en la evaluacin puede ser replicados por grupos ms all de los estudiados en la evaluacin si el programa se ampla . En los primeros das de evaluaciones de impacto de programas de desarrollo, una gran parte de la evidencia se bas en los estudios de eficacia realizadas en circunstancias muy especficas, por desgracia, los resultados de estos estudios a menudo no eran generalizables ms all del alcance de la evaluacin. Los estudios de eficacia eran llevados a cabo tpicamente en un entorno muy especfico, con fuerte participacin tcnica de los investigadores durante la ejecucin del programa. Estos estudios de eficacia se realizan a menudo como prueba de concepto, para poner a prueba la viabilidad de un nuevo programa. Si el programa no genera los efectos previstos en estas condiciones a menudo se gestiona correctamente, es probable que funcione si se extiende a cabo en circunstancias normales.

Debido a que los estudios de eficacia se realizan a menudo como pilotos gestionados en condiciones, los impactos de estos pilotos a menudo a pequea escala no necesariamente pueden ser de carcter informativo sobre el impacto de un proyecto similar aplicado a mayor escala, en circunstancias normales. Por ejemplo, una intervencin piloto introduce nuevos protocolos de tratamiento puede trabajar en un hospital con excelentes gerentes y personal mdico, pero la misma intervencin no puede trabajar en un hospital promedio con menos directivos atentos y personal limitado. Adems, los clculos de costo-beneficio pueden variar, ya que los costos fijos y economas de escala no pueden ser capturados en los estudios de eficacia pequeos. Como resultado, mientras que la evidencia de los estudios de eficacia pueden ser tiles para poner a prueba un enfoque, los resultados suelen tener validez externa limitada y no siempre representan adecuadamente la configuracin ms general, que suelen ser la principal preocupacin de los responsables polticos. Por el contrario, los estudios de eficacia proporcionan la evidencia de las intervenciones que tienen lugar en circunstancias normales, utilizando los canales regulares de ejecucin. Cuando las evaluaciones de eficacia son diseadas e implementadas correctamente, los resultados obtenidos son vlidas no slo para la muestra de evaluacin, sino tambin para otros beneficiarios fuera de la muestra. Esta validez externa es de vital importancia para los responsables de polticas, ya que les permite utilizar los resultados de la evaluacin para tomar decisiones informadas de programas amplios que se aplican a beneficiarios ms all de la muestra de evaluacin. Combinacin de fuentes de informacin para evaluar Tanto el "qu" y el "por qu" Las evaluaciones de impacto realizadas en forma aislada de otras fuentes de informacin son vulnerables tanto tcnicamente como en trminos de su eficacia potencial. Sin informacin sobre la naturaleza y el contenido del programa para contextualizar los resultados de evaluacin, los responsables de polticas se quedan perplejos acerca de por qu ciertos resultados se lograron o no. Mientras que las evaluaciones de impacto pueden producir estimaciones fiables de los efectos causales de un programa, no estn diseados para proporcionar informacin sobre la aplicacin del programa. Por otra parte, las evaluaciones de impacto deben estar bien alineados con la implementacin de un programa y por lo tanto, necesitan ser guiados por la informacin sobre cmo, cundo y dnde el programa objeto de evaluacin est siendo implementado. Los datos cualitativos, los datos de seguimiento y evaluacin de procesos son necesarios para seguir la ejecucin de programas y para examinar las cuestiones de proceso que son fundamentales para informar e interpretar los resultados de las evaluaciones de impacto. En este sentido, el impacto de las evaluaciones y otras formas de evaluacin son complementarios el uno al otro en lugar de sustitutos.

Por ejemplo, un gobierno provincial puede decidir anunciar que va a pagar bonos a los centros de salud rurales si aumentan el porcentaje de partos en la clnica de la asistencia de un profesional de la salud. Si la evaluacin indica que no se producen cambios en el porcentaje de partos atendidos en la clnica, muchas explicaciones posibles y las correspondientes necesidades de la accin puede existir. En primer lugar, puede ser que el personal de las clnicas rurales no tienen suficiente informacin sobre los bonos, o que no entienden las reglas del programa. En ese caso, el gobierno provincial tiene que intensificar sus campaas de informacin y educacin a los centros de salud. Por otra parte, si la falta de equipos o de la electricidad impiden que las clnicas de salud admitan a ms pacientes, puede ser necesario para mejorar el sistema de apoyo y mejorar el suministro de energa. Finalmente, las mujeres embarazadas en zonas rurales puede no querer usar las clnicas, sino que prefieren las parteras tradicionales y los partos en casa por razones culturales. En ese caso, puede ser suficiente ms eficiente para hacer frente a las barreras de las mujeres para acceder a dar bonificaciones a las clnicas. Por lo tanto, una buena evaluacin de impacto permitir al gobierno a determinar si la tasa de partos atendidos ha cambiado como resultado del programa de bonos, pero los enfoques complementarios de evaluacin son necesarios para comprender si el programa se llev a cabo como estaba previsto y donde se perdieron los enlaces. En este ejemplo, los evaluadores que desean complementar su anlisis del impacto por entrevista al personal de la clnica de salud en cuanto a su conocimiento del programa, la revisin de la disponibilidad de equipos en las clnicas, la realizacin de grupos focales con mujeres embarazadas a entender sus preferencias y las barreras de acceso, y examinar los datos disponibles sobre el acceso a los centros de salud en las zonas rurales. Utilizando datos cualitativos Los datos cualitativos son un complemento clave para las evaluaciones de impacto cuantitativo, ya que pueden aportar perspectivas complementarias sobre el desempeo de un programa. Las evaluaciones que integran el anlisis cualitativo y cuantitativo se caracterizan por el uso de "mtodos mixtos" (Bamberger, Rao y Woolcock 2010). Los enfoques cualitativos incluyen grupos focales y entrevistas con los beneficiarios seleccionados y otros informantes clave (Rao y Woolcock, 2003). Aunque los puntos de vista y opiniones recogidas durante las entrevistas y los grupos focales puede no ser representativos de los beneficiarios del programa, que son especialmente tiles durante las tres etapas de una evaluacin de impacto: 1. En el diseo de una evaluacin de impacto, los evaluadores pueden usar grupos focales y entrevistas a informantes clave para desarrollar hiptesis sobre cmo y por qu el programa de trabajo y aclarar las preguntas de investigacin que deben ser abordados en el trabajo de evaluacin de impacto cuantitativo. 2. En la etapa intermedia, antes de que los resultados cuantitativos de evaluacin de impacto estn disponibles, el trabajo cualitativo puede ayudar a proveer a los responsables polticos puntos de vista rpida sobre lo que sucede en el programa.

3. En la etapa de anlisis, los evaluadores pueden aplicar los mtodos cualitativos para proporcionar el contexto y las explicaciones de los resultados cuantitativos, para explorar casos "atpicos" de xito y fracaso, y para desarrollar explicaciones sistemticas de los resultados del programa, ya que se encontr en los resultados cuantitativos. En ese sentido, el trabajo cualitativo puede ayudar a explicar por qu ciertos resultados se observan en el anlisis cuantitativo, y se puede utilizar para entrar en la de "recuadro negro" de lo que sucedi en el programa (Bamberger, Rao y Woolcock 2010). Utilizando datos de monitoreo y las evaluaciones del proceso Los datos de vigilancia y monitoreo tambin son un recurso crtico en una evaluacin de impacto. Estos permiten al evaluador verificar que los participantes recibieron el programa, qu tan rpido se est expandiendo el programa, cmo se gastan los recursos, y sobre todo si las actividades se estn ejecutando segn lo previsto. Esta informacin es fundamental para la aplicacin de la evaluacin, por ejemplo, para asegurar que los datos de referencia recogidos antes de introducir el programa y para verificar la integridad de los grupos de tratamiento y de comparacin. Adems, el sistema de monitoreo puede proporcionar informacin sobre el costo de la ejecucin del programa, que tambin es necesaria para el anlisis de costo-beneficio. Por ltimo, las evaluaciones de procesos se centran en cmo se implementa un programa y opera, evaluar si se ajusta a su diseo original y la documentacin de su desarrollo y operacin. Las evaluaciones de proceso por lo general se pueden realizar con relativa rapidez y a un costo razonable. En los pilotos y en las etapas iniciales de un programa, que puede ser una valiosa fuente de informacin sobre cmo mejorar la aplicacin del programa.