Cippec Uni Monitoreo Evaluacion

Monitoreo y evaluacin de polticas, programas y proyectos sociales
Di Virgilio, Mara Mercedes Monitoreo y evaluacin de polticas, programas y proyectos sociales / Mara Mercedes Di Virgilio y Romina Solano. - 1a ed. - Buenos Aires : Fundacin CIPPEC, 2012. 125 p. ; 23x23 cm. ISBN 978-987-1479-35-1 1. Polticas Pblicas. I. Solano, Romina II. Ttulo CDD 320.6
Direccin editorial Fabian Repetto, director del Programa de Proteccin Social de CIPPEC Sebastin Waisgrais, especialista en Monitoreo y Evaluacin de UNICEF Autores Mercedes Di Virgilio Romina Solano Supervisin de contenidos Roberto Martnez Nogueira Colaboradores Natalia Aquilino Javier Curcio Sofa Olaviaga Virgina Tedeschi Edicin y correccin Liora Gomel Diseo grfico Patricia Peralta Impreso en VERLAP S.A. Noviembre de 2012 Los autores agradecen la ayuda de Federico Tobar, Sofa Duarte y Florencia Tognolotti. Si desea citar este manual: Di Virgilio, M. M. y Solano, R. (2012). Monitoreo y evaluacin de polticas, programas y proyectos sociales. Buenos Aires: CIPPEC y UNICEF.
CIPPEC Av. Callao 25, 1 piso (C1022AAA). Ciudad de Buenos Aires, Argentina. Tel: (54-11) 4384-9009 / Fax: (54-11) 4384-9009 Interno 1213 www.cippec.org - infocippec@cippec.org
Fondo de las Naciones Unidas para la Infancia (UNICEF) Junn 1940, PB (C1113AAX). Ciudad de Buenos Aires, Argentina. Tel: (54-11) 5093-7100/ Fax: (54-11) 5093-7111 www.unicef.org/argentina - buenosaires@unicef.org
ndice
Presentacin...................................................................................................................................................... 5 Sobre el proyecto: 3 manuales para fortalecer la gestin local de polticas sociales.............................. 5 Una herramienta para funcionarios/as y legisladores/as locales ............................................................. 6 Acerca de este manual: monitoreo y evaluacin de polticas, programas y proyectos sociales............ 7 Cmo recorrer este manual?...................................................................................................................... 8 Captulo 1 Introduccin..................................................................................................................................................... 11 1.1 Polticas, Programas y Proyectos (las 3 P)......................................................................................... 13 1.2 El ciclo de vida de las polticas, programas y proyectos.................................................................. 16 1.3 Breve resea sobre el proceso de descentralizacin........................................................................ 17 El sistema municipal argentino................................................................................................................ 17 El proceso descentralizador.................................................................................................................... 18 El impacto de la descentralizacin en el gasto pblico social.................................................................. 21 1.4 Nuevo paradigma en polticas sociales destinadas a infancia y adolescencia................................ 27 Captulo 2 Aspectos conceptuales bsicos del monitoreo y la evaluacin de polticas, programas y proyectos sociales.......35 2.1 Qu son la evaluacin y el monitoreo de polticas, programas y proyectos sociales?.................. 39 2.2 El monitoreo: un instrumento para la toma de decisiones................................................................ 45 2.3 Hacia un sistema integrado de monitoreo y evaluacin.................................................................... 50 2.4 Qu ventajas genera aplicar herramientas de monitoreo y evaluacin desde el nivel municipal?...... 56 2.5 Quin monitorea? Quin evala?..................................................................................................... 57 2.6 Vinculando el monitoreo y la evaluacin con el ciclo de vida de las polticas, los programas y los proyectos............................................................................................................60 Captulo 3 Mtodos, tcnicas y herramientas para monitoreo y evaluacin........................................................................... 65 3.1 Insumos necesarios para llevar adelante el proceso de monitoreo y evaluacin: la construccin de una lnea de base................................................................................................. 67 3.2 El proceso de monitoreo y evaluacin. Componentes...................................................................... 71 Componente 1: descripcin de la poltica, programa o proyecto............................................................. 72 Componente 2: identificacin de los actores involucrados...................................................................... 73 Componente 3: identificacin, definicin y descripcin del problema...................................................... 74
3
Componente 4: objetivos y preguntas en el marco de la investigacin evaluativa.................................... 79 Componente 5: la construccin de la evidencia emprica........................................................................ 79 Componente 6: procesamiento y anlisis de los datos............................................................................ 81 Componente 7: socializacin de los resultados....................................................................................... 82 3.3 Tipos de monitoreo y evaluacin........................................................................................................84 3.3.1 Evaluacin para la puesta en marcha de polticas, programas y proyectos.....................................84 3.3.2 Monitoreo y evaluacin durante el proceso de implementacin de las polticas, programas y proyectos........................................................................................................................... 88 3.3.3 Evaluacin ex post de polticas, programas y proyectos sociales................................................... 94 3.3.4 El monitoreo y la evaluacin como proceso de aprendizaje............................................................98 3.4 Herramientas para el monitoreo y la evaluacin.............................................................................. 100 3.4.1 Instrumentos y tcnicas para construir evidencia emprica........................................................... 100 Ficha 1. Encuestas.......................................................................................................................... 101 Ficha 2. Entrevistas individuales...................................................................................................... 103 Ficha 3. Grupos focales.................................................................................................................. 105 Ficha 4. Datos secundarios............................................................................................................. 107 Ficha 5. Observacin participante................................................................................................... 109 Ficha 6. Lista de control con preguntas...........................................................................................110 Ficha 7. Anlisis de las partes interesadas........................................................................................111 Ficha 8. Tcnica Delphi/panel de expertos/as..................................................................................112 Ficha 9. Clculo de los costos reales del programa.........................................................................113 Ficha 10. Clculo de la relacin CostoImpacto (va ACE)................................................................114 3.4.2 Cmo utilizar la informacin? Instrumentos para la difusin y comunicacin de los resultados...........115 Ficha 11. Informe escrito..................................................................................................................116 Ficha 12. Hojas de informacin........................................................................................................117 Ficha 13. Diapositivas......................................................................................................................117 Ficha 14. Gacetilla de prensa...........................................................................................................118 Ficha 15. Presentacin oral..............................................................................................................118 Bibliografa......................................................................................................................................................119 Acerca de las autoras.................................................................................................................................... 125
Presentacin
Sobre el proyecto: 3 manuales para fortalecer la gestin local de polticas sociales
Con el objetivo de visibilizar y dar prioridad a los problemas que afectan a nios, nias y adolescentes, desde 2004, UNICEF y CIPPEC trabajan juntos en diversas iniciativas. Los proyectos realizados y las lecciones aprendidas nos permitieron dimensionar el nuevo rol que ocupan los municipios en el campo de las polticas sociales a partir del proceso de descentralizacin. Adems, a partir de ellos pudimos identificar los desafos estratgicos que el nuevo panorama institucional plantea a los/as funcionarios/as locales en trminos de capacidades de gestin. Para complementar y profundizar los esfuerzos realizados hasta el momento, y sumarse a otros emprendimientos que trabajan en esta lnea, UNICEF y CIPPEC desarrollaron 3 manuales para la gestin local de pol ticas sociales. Cada manual se enfoca en uno de estos temas:
XX Planificacin de polticas, programas y proyectos sociales. XX Monitoreo y evaluacin de polticas, programas y proyectos
sociales.
XX Coordinacin de polticas, programas y proyectos sociales.
Los 3 manuales, en conjunto y por separado, constituyen un instrumento de apoyo para quienes trabajan en el territorio. El modo en que se abordan los conceptos y se sistematizan las herramientas fue especficamente diseado para ayudar a los actores locales a enfrentar los problemas diarios de la gestin social.
Los manuales combinan literatura especializada con herramientas tiles para colaborar con el fortalecimiento de las capacidades locales de gestin de polticas sociales, especialmente en aquellas destinadas a niez y adolescencia.
UNICEF - CIPPEC 5
Una herramienta para funcionarios/as y legisladores/as locales

La complejidad inherente a las polticas sociales, en especial a las destinadas a nios, nias y adolescentes, supone un desafo que involucra a los tres niveles de gobierno: nacional, provincial y municipal. Durante las ltimas dcadas, los gobiernos locales asumieron un rol protagnico en el diseo, implementacin y evaluacin de polticas sociales destinadas a infancia y adolescencia. Esto se debe, principalmente, a dos procesos que se desarrollaron a partir de la dcada de los ochenta y que pueden condensarse en:
Ms informacin sobre estos procesos en las secciones 1.3 y 1.4 de este manual, respectivamente. XX La descentralizacin de funciones hacia jurisdicciones subna
cionales (provincias y municipios). XX Un cambio en el abordaje de las polticas de niez y adolescencia.
Ambos factores de contexto, que sern descriptos con mayor profundidad en la introduccin, contribuyeron a la conformacin de una nueva estructura institucional: los gobiernos locales asumieron crecientes responsabilidades y un rol cada vez ms fundamental. Por eso, y aunque estos manuales cuentan con mltiples usuarios potenciales, estn especialmente orientados a los/as funcionarios/as y legislado res/as locales cada vez ms involucrados/as en el proceso de decisin, diseo e implementacin de polticas pblicas destinadas a niez y adolescencia. Las distintas secciones de cada manual permitirn a los/as funcionarios/as locales:
XX Comprender mejor el proceso de identificacin de prioridades, la adminis-
tracin de los recursos y la toma de decisiones, en el marco de un nuevo andamiaje institucional para la gestin local de la poltica social destinada a los nios, nias y adolescentes. XX Establecer criterios de accin para desarrollar con xito tanto las nuevas funciones como las responsabilidades ya asumidas en torno a la gestin social.
6
XX Utilizar instrumentos de gestin de polticas sociales, especialmente en
aquellas destinadas a nios, nias y adolescentes.

XX Generar capacidades para planificar a travs de metodologas participa-
tivas y con criterios de equidad.

XX Generar capacidades para el monitoreo y evaluacin de polticas so-
ciales, con nfasis en la importancia del proceso de aprendizaje en la gestin. XX Generar capacidades para coordinar los diversos sectores y niveles de gobierno involucrados en la gestin de polticas sociales, para construir un abordaje integrador.
Acerca de este manual: monitoreo y evaluacin de polticas, programas y proyectos sociales

Este manual incluye herramientas de monitoreo y evaluacin (en adelante M&E) de polticas, programas y proyectos sociales (las 3 P) que fueron diseadas especialmente para su aplicacin en el mbito municipal. Ofrece informacin, metodologas, instrumentos y experiencias concretas.
En este manual se utilizar la frase las 3 P para referirnos a polticas, programas y proyectos sociales. Nos permitimos esta licencia porque consideramos que las herramientas aqu propuestas pueden aplicarse a cada una de estas instancias. Pero, adems, porque creemos que para construir un sistema integral de proteccin que permita enfrentar la vulneracin de los derechos de las Nias, Nios y Adolescentes (como seala la Ley 26061 de Proteccin Integral de los Derechos de las Nias, Nios y Adolescentes [2005]), resulta ineludible lograr una articulacin armoniosa entre los objetos mencionados. Para lograr ese objetivo, la construccin del sistema debe alcanzar no solo a las polticas pblicas destinadas a esta poblacin, sino tambin a los programas y los proyectos que las operativizan.
Las 3 P
UNICEF - CIPPEC 7
Sus objetivos son:

XX Brindar metodologas y recursos tiles que faciliten la elaboracin y
ejecucin de herramientas de M&E.

XX Jerarquizar el M&E de las 3 P desde la gestin local. XX Difundir los beneficios y las oportunidades que se abren al incorpo-
rar herramientas de M&E para la gestin local. XX Compartir experiencias locales de implementacin de herramientas de M&E. En el captulo 1 se explican el proceso de descentralizacin en la Argentina y la transformacin del paradigma de las polticas sociales destinadas a infancia y adolescencia. El captulo 2 es el nico que tiene un perfil terico. Su objetivo es desarrollar los principales abordajes y conceptos sobre M&E. En l se sealan las razones para monitorear y evaluar una poltica pblica, se describen los diferentes tipos que existen (segn qu, cundo y quines evalen) y se destacan las ventajas de aplicar estrategias de M&E tambin en el nivel municipal. En el captulo 3 se desarrollan las tcnicas y herramientas de M&E a partir de un enfoque temporal que las clasifica segn se utilicen antes, durante o despus de la implementacin de un programa o poltica social. Para eso, se describen los componentes del proceso de M&E, se explican los insumos necesarios para llevarlo adelante y se profundiza sobre cada uno de los tipos de evaluacin. Este captulo incluye fichas descriptivas que servirn como guas al momento de aplicar las herramientas de M&E mencionadas.
Cmo recorrer este manual?

Al igual que los de Planificacin y de Coordinacin, este manual fue pensado como una herramienta de consulta que admite recorridos diversos. No fue diseado para ser ledo solo en forma lineal (de principio a fin), sino como material de consulta permanente, para ayudar a responder a necesidades y preguntas cotidianas sobre conceptos, herramientas y modalidades de gestin social.
Si bien invitamos a cada lector a delinear su propio recorrido, sugerimos algunos:

XX El primer recorrido es lineal y est pensado para aquellos que se acer
can por primera vez al tema: les recomendamos leer el manual de principio a fin para interiorizarse, primero sobre las cuestiones conceptuales del monitoreo y la evaluacin de las 3 P y, luego sobre los distintos modos de implementar procesos de evaluacin o poner en marcha herramientas de monitoreo. XX El segundo recorrido est pensado para aquellos que necesitan di sear herramientas de M&E: les sugerimos que se enfoquen en la segunda seccin del captulo 3 porque describe distintos tipos de M&E y propone herramientas concretas para utilizar en cada caso. XX El tercer recorrido est pensado para aquellos que necesitan imple mentar herramientas de M&E: al final del captulo 3 se incluyen fichas que pueden ser utilizadas para monitorear y evaluar las 3 P. Los recorridos propuestos constituyen pistas para acercarse al contenido del manual. Esperamos que les resulten tiles y que puedan incluirlos como herramientas en su trabajo cotidiano.
FICHA
Recuerden que este manual forma parte de una serie compuesta por los manuales de Planificacin de polticas, programas y proyectos sociales y Coordinacin de polticas, programas y proyectos sociales. Les sugerimos que los utilicen en forma complementaria, que los transiten y los combinen de acuerdo con la temtica especfica que necesiten o deseen abordar.
UNICEF - CIPPEC 9
Captulo 1 Introduccin
1.1 1.2 1.3
1.4
Polticas, Programas y Proyectos (las 3 P) El ciclo de vida de las polticas, programas y proyectos Breve resea sobre el proceso de descentralizacin El sistema municipal argentino El proceso descentralizador El impacto de la descentralizacin en el gasto pblico social Nuevo paradigma en polticas sociales destinadas a infancia y adolescencia
13 16 17 17 18 21 27
1.1 Polticas, Programas y Proyectos (las 3 P)

Desde 1980, la Argentina atraviesa un proceso de descentralizacin que torna ineludible la reflexin sobre las capacidades del Estado en todos sus niveles para asumir viejos y nuevos desafos. En este contexto, UNICEF y CIPPEC se propusieron acercar a los/as funcionarios/as locales una perspectiva multidimensional e integradora que, sin negar las restricciones del contexto, busca fortalecer las capacidades de gestin local para gobernar procesos complejos.
Aqu entenderemos a las capacidades estatales como la aptitud de las instancias de gobierno para plasmar los mximos niveles posibles de valor social a travs de polticas pblicas
UNICEF - CIPPEC Cap.
(Repetto, 2004). Las herramientas de Planificacin, Monitoreo y Evaluacin y Coordinacin que se presentan en estos manuales recuperan experiencias e incluyen propuestas concretas. Estos instrumentos se combinan con conceptos crticos de la gestin social, ejemplos tiles, sugerencias y reflexiones que permiten mejorar las capacidades locales.
La forma de utilizar estas herramientas variar de acuerdo con el objeto al que se apliquen. Por eso es necesario conocer sus caractersticas y tenerlas presentes a la hora de disear un proceso de planificacin, monitoreo y evaluacin o coordinacin.
Identificar qu es lo que se va a planificar, monitorear, evaluar o coordinar, es decir, cul ser el objeto, no es una cuestin menor. De hecho, si no tenemos claridad acerca de las caractersticas de ese propsito, ser difcil realizar un diseo adecuado.
13
Las polticas, los programas y los proyectos (las 3 P) son algunos de estos posibles objetos; y aunque difieren entre s, son conceptos relacionados que deben formularse e implementarse en forma artculada.
XX Qu es una poltica pblica?
Polticas Pblicas
Aqu entenderemos a las polticas pblicas como el conjunto de objetivos, decisiones y acciones que lleva a cabo un gobierno para solucionar los problemas que, en un momento determinado, tanto los ciudadanos como el propio gobierno consideran prioritarios (Tamayo Sez, 1997). Estas acciones y decisiones involucran a una multiplicidad de actores, sectores o niveles de gobierno. La poltica pblica no es resultado de un proceso lineal, coherente y necesariamente deliberado de diseo o formulacin, sino que es objeto de un proceso social y poltico que configura un campo en disputa.
XX Qu son los programas y los proyectos?
Programas
Las polticas pblicas se cristalizan en programas y proyectos a los que se les asignan recursos para su puesta en prctica. Por ejemplo, el Plan Nacional de Accin por los Derechos de las Nios, Nias y Adolescentes se operativiza a travs de programas y proyectos provinciales y municipales. Mientras que poltica pblica se refiere a procesos polticos y sociales que se desarrollan en el tiempo, programa remite a una construccin tcnica (que no niega el componente poltico), con mayor o menor capacidad de expresar la complejidad del problema. Los programas se conforman de un conjunto de proyectos que persiguen los mismos objetivos (Cohen y Franco, 2005); son los responsables de es tablecer las prioridades de la intervencin, ya que permiten identificar y organizar los proyectos, definir el marco institucional y asignar los recursos. Los proyectos pueden ser definidos como la unidad mnima de asignacin de recursos para el logro de uno o ms objetivos especficos. De forma agregada, constituyen el punto de partida ms adecuado para formular apreciaciones sobre los programas. Los proyectos deben tener una poblacin objetivo definida en funcin de la necesidad que se pretende satisfacer, una localizacin espacial y tiempos de inicio y finalizacin predefinidos (Cohen y Franco, 2005). Las 3 P se diferencian en la naturaleza de los propsitos que persiguen, en los supuestos acerca de la accin sobre los que se sostienen y en el espectro de actores que involucran. En la tabla 1.1 se presentan estas diferencias a travs de un ejemplo para el sector de niez y adolescencia.
Proyectos
14
Tabla 1.1 Poltica, programa y proyecto: algunas diferencias
Poltica de proteccin de derechos de nios, nias y adolescentes Los objetivos Una cuestin: necesidad de garantizar los derechos de nios, nias y adolescentes. La cuestin se redefine a lo largo del tiempo.
Programa de proteccin de derechos de nios, nias y adolescentes Un objetivo: contribuir a que los derechos de los nios, nias y adolescentes estn protegidos; en especial, contra la violencia, el abuso, la explotacin y el trabajo infantil. La definicin de sus objetivos es el resultado de un proceso de negociacin entre actores de diferentes niveles de gobierno (nacional y provincial) y del nivel provincial. Organismos nacionales y provinciales comprometidos en la gestin del programa. Organismos a cargo de implementar polticas de erradicacin del trabajo infantil, de salud, educacin, de desarrollo social, etc. Organizaciones sociales. Poblacin infantil y adolescente.
Proyecto de defensoras zonales y/o municipales Un objetivo: garantizar la defensa de los derechos de los nios, nias y adolescentes ante las instituciones pblicas y privadas locales. La definicin de sus objetivos no se modifica en forma arbitraria. Su vigencia est atada a la existencia del programa y a sus orientaciones. Organismos comprometidos en la gestin del proyecto. Organismos gubernamentales del nivel local. Efectores de salud y educacin. Organizaciones sociales de base territorial. Poblacin infantil y adolescente.
Supuestos acerca de la accin Los actores
Organismos gubernamentales. Medios de comunicacin locales. Organizaciones sociales. Organismos como UNICEF y OIT. Partidos polticos.
Fuente: CIPPEC, sobre la base de Chiara y Di Virgilio (2009).
Al igual que las polticas, los programas y proyectos no se mantie nen en el tiempo tal como fueron diseados. Cuando se ponen en marcha, entran en relacin con otros programas y proyectos, o con otras formas de organizacin, y sufren modificaciones. La relacin de los programas o proyectos sociales con la poltica social en los distintos niveles (nacional, provincial o municipal) ser virtuosa (o no) segn cules sean las caractersticas que asuman los procesos de gestin, las condiciones del contexto y las capacidades estatales.
15
1.2 El ciclo de vida de las polticas, programas y proyectos

Adems de ser aplicables a objetos con distintos niveles de alcance, los conceptos y herramientas presentados a lo largo de estos manuales son tambin susceptibles de uso en diferentes etapas de las 3 P. Estas etapas suelen ser presentadas a travs de un ciclo secuencial de la poltica (vlido tambin para la instancia de programa o proyecto) que, si bien no es ms que una construccin analtica, otorga el beneficio de constituir un marco de referencia y permite ordenar sus distintas fases. El modelo secuencial sugiere una serie de instancias que conforman un ciclo, en el que la ltima etapa retroalimenta a la primera y reinicia el proceso completo. Si bien en la literatura especializada existen otras calificaciones, con ms o menos etapas, en trminos generales, las etapas del ciclo pueden nominarse del siguiente modo:
XX La identificacin del problema (necesidades no satisfechas,
derechos vulnerados).
XX La decisin1. XX El diseo y la configuracin (formulacin) de la poltica pblica,
con el correspondiente planteo de objetivos y metas. XX La implementacin. XX La evaluacin.
El hecho de que la evaluacin figure como etapa final del ciclo responde a un ordenamiento conceptual, a fines aclaratorios y de referencia. Por el contrario, en estos manuales se considera que la evaluacin puede entrar en escena en los distintos momentos del ciclo de vida de una poltica, programa o proyecto social. Ms informacin: seccin 2.6 de este manual.
Considerar los distintos alcances de las intervenciones pblicas (polticas, programas y proyectos) y las diferentes etapas de su desarrollo (que esquematiza el ciclo de polticas) constituye un insumo importante para superar la frecuente desarticulacin que se evidencia entre las polticas nacionales y provinciales (donde suelen decidirse y formularse) y el contexto local en el que se implementan.
Como se describe en este captulo, en la Argentina, la decisin fundamental en materia de polticas sociales orientadas a niez y adolescencia ya fue tomada, es por eso que en estos manuales no se profundizar sobre esta etapa.
16
1.3 Breve resea sobre el proceso de descentralizacin

El sistema municipal argentino
El sistema municipal argentino se caracteriza por su heterogeneidad. Este rasgo se debe a que la determinacin del rgimen municipal constituye una facultad reservada a las provincias, y no delegada al gobierno federal. Bajo su denominacin coexisten veinticuatro regmenes distintos (uno para cada provincia y uno para la Ciudad Autnoma de Buenos Aires), establecidos a su vez por cada una de las constituciones y normativas locales. La institucin municipal no tiene, entonces, una forma nica. En algunos casos, los regmenes provinciales otorgan a los municipios facultades limitadas (regmenes autrquicos); en otros, les conceden una autonoma plena que los faculta para el dictado de su carta orgnica, la eleccin de autoridades ejecutivas y legislativas o la autoadministracin. Adems, cada municipio se define por aspectos como la cantidad de habitantes, el marco institucional, el rgimen provincial al que pertenece, las caractersticas geogrficas y econmicas, e incluso la tradicin poltica partidaria de los dirigentes. Actualmente, en la Argentina existen 2259 gobiernos locales (INDEC, 2010) y solo poco ms de la mitad posee un ejecutivo y un legislativo (por lo general, un Concejo Deliberante). El resto son gobiernos locales definidos como comunas, juntas de gobierno o comisiones municipales. Pero, a pesar de sus diferencias, es posible encontrar entre ellos muchos puntos en comn.
Al margen del rol fundamental y de las responsabilidades que an poseen tanto los gobiernos provinciales como el gobierno nacional, la descentralizacin gener un enorme reto para los gobiernos locales, ya que debieron asumirse como los principales responsables del desarrollo local en un contexto de recursos econmicos y tcnicos limitados.
17
El proceso descentralizador
Al consolidarse la democracia, y como consecuencia de la reforma constitucional de 1994 que otorg autonoma a los municipios a travs del artculo 123, los gobiernos locales argentinos comenzaron un proceso de transformacin, en trminos de competencias y funciones, al aa dir nuevas y complejas responsabilidades a su clsica prestacin de servicios bsicos como la recoleccin de residuos, el suministro de agua potable y energa elctrica, la limpieza y mantenimiento de calles y caminos vecinales, el alumbrado pblico y el mantenimiento de los cementerios, entre otros. Los procesos descentralizadores implicaron un fuerte llamado de atencin sobre la dimensin territorial de las polticas pblicas. Sin embargo, hasta que esta reforma institucional cobr fuerza, el territorio local sigui siendo visto como un simple mbito administrativo desde el cual los habitantes reciban, de modo pasivo, los servicios y programas pblicos desarrollados y gestionados por el nivel central del Estado.
Los municipios asumieron cada vez ms responsabilidades en el entramado institucional argentino hasta convertirse en los principales receptores gubernamentales de las mltiples demandas sociales.
La expansin de esta visin centralista del Estado fue particularmente crtica en el caso de las polticas sociales porque los problemas sobre los que estas intervienen tienen mltiples matices y particularidades propios del entorno local.
18
La jerarquizacin del nivel municipal es tributaria de mltiples factores que pueden resumirse en cuatro grandes hitos, ntimamente relacionados (Camou y Di Virgilio, 2008):
XX En la dcada del ochenta , durante los inicios de la transicin democr-
tica, se impulsaron iniciativas descentralizadoras con la expectativa de sentar bases democrticas tambin en el nivel local. XX La reforma constitucional de 1994 formaliz los cambios en las relaciones intergubernamentales. En el artculo 123, por ejemplo, se estableci que las provincias deban asegurar la autonoma municipal en sus constituciones. Esto implic reformas jurdicas, administrativas y econmicas que, en algunos casos, an no se efectivizaron. XX Durante la dcada del noventa, el modelo de gestin que acompa a los programas de alivio a la pobreza y de asistencia al empleo (financiados por organismos multilaterales de crdito) repercuti tambin sobre los impulsos descentralizadores. En un contexto guiado por las urgencias fiscales de gobiernos nacionales preocupados, casi exclusivamente, por el ajuste estructural y la apertura de mercados, los municipios se convirtieron en los receptores naturales de las responsabilidades y demandas. XX Con un impacto geogrfico y social heterogneo, este proceso de descentralizacin tuvo un nuevo impulso a partir de 2003, luego de una profunda crisis que deriv en una revitalizacin del rol de Estado. El marco institucional y normativo en el que hasta entonces operaban muchas polticas sociales tuvo importantes modificaciones: la Ley 26061 de Proteccin Integral de los Derechos de las Nios, Nias y Adolescentes (2005), la Ley 26390 de Erradicacin del Trabajo Infantil (2008) y la Ley 26233 sobre los Centros de Desarrollo Infantil (2007), entre otras.
Grandes hitos de la descentralizacin en la Argentina
La transferencia de responsabilidades a los niveles provincial y municipal de gobierno hizo aflorar, en las ltimas tres dcadas, un nuevo tejido de relaciones econmicas, polticas y administrativas entre ellos.
Es importante reconocer que descentralizar implica siempre nuevas y mayores complejidades para la gestin estatal, en trminos de relacio nes intergubernamentales.
Complejidades y ventajas de la descentralizacin

19
Por ejemplo, cuando se decide, disea y gestiona una poltica social en el marco de este nuevo contexto institucional, es importante determinar tanto en trminos fomales como informales:
XX Si la capacidad de decisin est distribuida entre las autoridades de dis-
tinta escala territorial.

XX Qu atribuciones le caben a cada autoridad. XX Qu mecanismos existen para coordinar la actividad entre autoridades de
distinta jurisdiccin. XX En qu medida las diferencias entre jurisdicciones coinciden con diferencias reales en el entorno social, y si existen mecanismos para compensar esas diferencias (Acua y Repetto, 2009). XX Las heterogneas capacidades de gestin de cada una de las unidades a cargo de la implementacin de polticas sociales.
Si las polticas pblicas se ajustan ms a las necesidades de una localidad, aumenta la eficiencia y eficacia de los programas implementados.
La descentralizacin ofrece ciertas ventajas que vale la pena destacar:

XX Representa una oportunidad para redistribuir poder poltico desde los
gobiernos centrales a los subnacionales (provincias y municipios) y au mentar, as, su participacin en la identificacin de prioridades, la gestin de los recursos y la toma de decisiones. XX Cuando la descentralizacin llega efectivamente al nivel municipal (un proceso an incipiente en nuestro pas), la formulacin de las polticas pblicas se acerca a la comunidad, se facilita la identificacin de ne cesidades de grupos sociales y se fortalecen los lazos entre vecinos y funcionarios. Al afectar la distribucin de funciones y recursos, el proceso impacta en forma directa sobre la economa de los gobiernos locales. Los programas y responsabilidades descentralizados requirieron (y an requieren) un volumen de recursos que no siempre fueron transferidos de manera proporcional a las tareas delegadas, o en tiempo y forma.
La descentralizacin no es un proceso ni lineal, ni automtico, ni homogneo. Por el contrario, depende de ciertas condiciones institucionales, polticas, sociales y econmicas. Adems, vara segn las caractersticas y las diferentes capacidades de gestin de los gobiernos locales.
20
La descentralizacin de funciones redund, en muchos casos, en una enorme carga presupuestaria que los municipios rara vez fueron capaces de afrontar por s solos. La capacidad tributaria de los gobiernos locales es acotada en trminos de recaudacin. Esto condiciona fuertemente el gasto y limita la fijacin de prioridades en el nivel local. En paralelo, el nivel de demanda hacia los gobiernos locales aument en forma significativa tras la delegacin de funciones: se convirtieron en los primeros receptores de las expectativas sociales que antes se dirigan a otros niveles de gobierno. Para los municipios, esto gener un cuello de botella en trminos de las polticas que eran capaces de implementar.
Aumentan las responsabilidades y funciones de los municipios Aumentan las demandas ciudadanas hacia los municipios Pero los recursos no fueron transferidos de forma proporcional Como resultado, la situacin de los municipios parece un embudo
El impacto de la descentralizacin en el gasto pblico social

Para conocer cmo afect el proceso de descentralizacin en polticas sociales a los municipios, vale la pena analizar la evolucin y composicin del gasto pblico consolidado en esta rea. En la Argentina, las responsabilidades de financiamiento del gasto pblico corresponden a los tres niveles de gobierno (nacional, provincial y municipal). Los distintos niveles comparten funciones y responsabilidades en la formulacin, implementacin y M&E de polticas sociales, incluidos los programas destinados a nios, nias y adolescentes.
21
Durante las dcadas del ochenta y noventa, la participacin de las provincias y, en menor proporcin, de los gobiernos locales en la inver sin pblica social aument en forma significativa.
Variacin de la composicin de gasto pblico social
Como puede observarse en el grfico 1.1, el impacto de la descentralizacin se observa en la variacin de la composicin del gasto pblico social2. Mientras que el componente nacional disminuye, el provincial y el municipal aumentan. A comienzos de los ochenta la participacin del gobierno nacional alcanzaba ms del 50 % del total, veinte aos ms tarde haba disminuido 15 puntos. Hacia 2009, los gobiernos provinciales y municipales eran responsables de casi el 65 % del gasto.
Grfico 1.1 Gasto pblico social por nivel de gobierno (Nacin, provincias y municipios). 1980-2009 (calculado sobre la base de porcentajes del PBI) Sin seguridad social
Nacin 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%
Provincias
Municipios
Para un anlisis ms detallado, se sugiere revisar El papel de los municipios en la inversin pblica social en infancia y adolescencia. Resultados de una encuesta nacional a municipios argentinos (Maceira y otros, 2010). Este documento, publicado en 2010 por CIPPEC y UNICEF, constituye un antecedente de estos tres manuales.
22
1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009
Fuente: CIPPEC, sobre la base de los datos disponibles en la Secretara de Poltica Econmica y Planificacin del Desarrollo, Ministerio de Economa de la Nacin.
El proceso de descentralizacin hacia los gobiernos subnacionales (provincias y municipios) se concentr, principalmente, en las reas sociales: salud, educacin y promocin social. El grfico 1.2 muestra cmo creci la participacin de los gobiernos subnacionales en el gasto social, en particular, entre las dcadas del ochenta y noventa.
Grfico 1.2 Participacin de los gobiernos subnacionales (provincias y municipios) en el gasto social (total, educacin, salud y promocin social). Promedios 1981-2009 (en porcentajes)
Participacin de los gobiernos subnacionales en el gasto pblico social
Promedio 1981-1900 1,00 0,90 0,80 0,70 0,60 0,50 0,40 0,30 0,20 0,10 0,0 Gasto social total
Promedio 1991-2000
Promedio 2001-2009
Educacin
Salud
Promocin social
En el caso de la educacin, el proceso descentralizador iniciado en los aos setenta continu durante la dcada de 2000, sobre todo, con el traspaso de la educacin media y terciaria no universitaria. En el caso de la salud, el esquema descentralizador que se inici en los aos sesenta tuvo una continuidad significativa en la dcada pasada, pero menos profunda que en los otros dos sectores (Maceira y otros, 2010). Como se observa en el grfico 1.3, los municipios duplicaron el gasto en polticas sociales durante la dcada del noventa, y luego de una merma (probablemente producida por la crisis de 2001-2002) el nivel de gasto se recuper, e incluso sigui aumentando hasta alcanzar poco menos del 3,5 % del PBI en 2009 (ltimo dato disponible).
23
Grfico 1.3 Gasto pblico consolidado de gobiernos municipales en polticas sociales como % de PBI. 1980-2009
4 3,5 3 2,5 2 1,5 1 0,5

2006 2008 2009* 2003 2004 2002 2000 2005 1984 1994 1996 1990 1998 1992 1995 1980 1986 1988 1983 1989 1993 1997 1982 1987 1981 1991 2001 2007 1985 1999
(*) Cifras provisionales Fuente: CIPPEC, sobre la base de los datos disponibles en la Direccin de Anlisis de Gasto Pblico y Programas Sociales del Ministerio de Economa de la Nacin, ao 2012 (ltimo dato disponible, ao 2009).
Por su parte, el grfico 1.4 muestra el aumento de la participacin de los gobiernos locales en el finan ciamiento de las reas de salud, educacin y promocin social. El rea de promocin social es la que registra un mayor crecimiento y en la que existe una mayor participacin local. Esto se explica, en parte, porque el municipio es la instancia de gobierno ms cercana al ciudadano y, en consecuencia, la primera ventana de los reclamos de la sociedad (Maceira y otros, 2010).
24
Grafico 1.4 Participacin de los gobiernos locales en el gasto social (educacin, salud y promocin social). Promedios 1981-2008 (en porcentajes)
Promedio 1981-1900
Promedio 1991-2000
Promedio 2001-2009
33% 28%
10% 3% 3% 4% 6% 7%
2%
Educacin
Salud
Promocin social
Sin embargo, al mismo tiempo que ascendi el gasto pblico municipal destinado a polticas sociales, tambin aument el nivel de dependencia municipal a las transferencias econmicas de los gobiernos provincia les o del gobierno nacional. Esto se observa al analizar la composicin del gasto pblico municipal desde la perspectiva de su fuente de financiamiento. El grfico 1.5 muestra la disminucin constante del componente municipal a favor del provincial, desde 2000 hasta 2003, cuando comienzan a aumentar las transferencias del gobierno nacional.
25
Grfico 1.5 Nivel de dependencia municipal a las transferencias econmicas de gobiernos provinciales o del gobierno nacional
100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 2000 2001 2002 2003 2004 2005 2006 2007 2008 Transferencias de los gobiernos provinciales Transferencias del Gobierno nacional Recursos propios
Fuente: Direccin de Anlisis de Gasto Pblico y Programas Sociales, Ministerio de Economa y Finanzas Pblicas de la Nacin (2010).
En este contexto complejo, los gobiernos locales, devenidos actores estratgicos en la gestin de polticas sociales, enfrentan a diario desafos para los cuales no siempre poseen los recursos y las herramientas necesarias.
En parte debido a este origen diverso de las fuentes de financiamiento, pero tambin porque los diseos se realizan en el nivel central y se aplican sin una adaptacin a las particularidades locales, las polticas nacionales y provinciales suelen estar desarticuladas del contexto local en el que se implementan. Muchas polticas y programas abordan cuestiones y desafos a escala local, pero pocas veces incorporan en su diseo e implementacin al contexto ms prximo como factor condicionante. Estos problemas de coordinacin impiden, por ejemplo, la implementacin de un sistema integral de proteccin a la niez y la adolescencia. En sntesis, las funciones y responsabilidades de los gobiernos locales crecieron en las ltimas dcadas, en particular, aquellas relacionadas con las reas sociales. Adems, aumentaron los reclamos de la sociedad hacia los municipios. Sin embargo, los recursos no crecieron en forma proporcional.
26
El gasto pblico social consolidado dirigido a niez y adolescencia implic, en 2008 (ltimas estimaciones disponibles), una inversin de $72751,5 millones, lo que representa una inversin de $5945 por nio, nia o adolescente (UNICEF, 2010). Entre 2001 y 2008, la inversin social en personas menores de 18 aos reflej un crecimiento nominal acumulado de 338,8 %, sin considerar el impacto del aumento de los precios. En trminos reales, si se contempla el impacto en la evolucin de los precios y se equiparan los valores de cada ao a pesos de 2001, es posible identificar que el incremento en este perodo fue del 62,8 %.
Los mayores aumentos nominales se presentaron en 2005 y 2008, ambos superiores al 30 %, como consecuencia de las mayores erogaciones realizadas por los gobiernos provinciales (cerca del 80 % del crecimiento total). En 2005, se destacan el impacto de la Ley de Financiamiento Educativo y la implementacin de los Programas Federales de Vivienda. En 2008, el incremento responde principalmente a aumentos relacionados con la provisin de educacin y salud (UNICEF, 2010).
1.4 Nuevo paradigma en polticas sociales destinadas a infancia y adolescencia3

Como mencionamos, en los ltimos aos surgi un nuevo paradigma para abordar las polticas sociales destinadas a infancia y adolescencia. Por su relevancia y peso creciente, afect rpidamente tanto a la agenda estatal como a la de los organismos internacionales, los mbitos acadmicos y las organizaciones de la sociedad civil. Esta corriente interpela al viejo paradigma en general y, sobre todo, a las polticas que deberan disearse para responder a los problemas que afectan a los menores de 18 aos. La Convencin de las Naciones Unidas sobre los Derechos del Nio, que entr en vigor en 1989, inaugur esta nueva forma de abordar la infancia y adolescencia al reconocer la posicin de los nios, nias y adolescentes como sujetos de derecho. En este tratado, la familia es reconocida como el ambiente natural de bienestar para los nios, nias y adolescentes, y como espacio predilecto para potenciar su pleno desarrollo. En consecuencia, la principal tarea del Estado es velar por sus derechos en el marco de la vida familiar.
Este apartado se elabor sobre la base de Inversin pblica social en infancia y adolescencia: Un anlisis institucional y presupuestario para el municipio de Morn (Olaviaga y Marazzi, 2010). 27
1989 Entra en vigor la Convencin 1994 La Convencin adquiere rango constitucional 2005 Se aprueba la Ley 26061
La Convencin establece tambin que el Estado debe comprometerse a difundir informacin y materiales de inters para que los nios, nias y adolescentes adquieran el derecho a expresarse, a construir libremente su opinin y a gozar de la oportunidad de ser escuchado.
Tras firmar la Convencin, los Estados se comprometen a asegurar a los menores de edad su proteccin, es decir, la promocin y restitucin de sus derechos y el cuidado necesarios para su bienestar. Para eso, se formulan una serie de obligaciones asociadas con la salud, la educacin y el esparcimiento. En particular, se establece como lmite el derecho a no sufrir discriminacin, maltrato o explotacin econmica.
Las modificaciones en el plano internacional fueron adaptadas a la realidad argentina, con diversos matices en el mbito nacional y pro vincial. La Convencin fue ratificada en 1990 a travs de la Ley 23849 y en 1994 se le otorg jerarqua constitucional (art. 75, inc. 22). La puesta en marcha de los lineamientos que establece exige transformaciones profundas en la legislacin, reformas en las prcticas de las instituciones y modificaciones en la relacin entre el Estado, la familia y la comunidad, y los nios, nias y adolescentes.
La sancin, en 2005, de la Ley 26061 de Proteccin Integral de los Derechos de las Nios, Nias y Adolescentes inaugur en la Argentina un nuevo paradigma para abordar el diseo y ejecucin de polticas y programas orientados a infancia y adolescencia. Esta normativa supone la conformacin de un nuevo andamiaje institucional en el que los gobiernos locales adquieren un protagonismo estratgico.
En 2005 se aprob la Ley 26061 de Proteccin Integral de los Derechos de las Nias, Nios y Adolescentes, que dispone la aplicacin obligatoria de la Convencin sobre los derechos de esta poblacin y establece las caractersticas bsicas que deberan adquirir las polticas pblicas ligadas a infancia y adolescencia. A partir de all, y en lnea con lo determinado por la normativa nacional, se avanz con las normativas provinciales.
28
La primera consecuencia de esta ley fue la derogacin del antiguo rgimen del patronato de menores (establecido por la Ley 10903, conocida como Ley Agote), vigente desde 1919. Esto signific un corte estructural respecto del paradigma anterior (y de sus implicancias organizacionales, sociales y culturales) que haba consolidado la intervencin del Estado en la vida de los nios, nias y adolescentes en situacin de pobreza y les daba facultad de tutela a los jueces. La Ley 26061 estableci tambin una nueva manera de entender y atender las necesidades de la niez y la adolescencia; a partir de ella se instala el principio de corresponsabilidad y se establece una serie de obligaciones y facultades hacia el Poder Ejecutivo en todos sus niveles. Adems, se habilit la creacin del Sistema de Proteccin Integral de los Derechos de Nios, Nias y Adolescentes, que busca garantizar el disfrute pleno y el ejercicio efectivo y permanente de los derechos reconocidos en el nivel nacional y en los tratados internacionales que la Nacin ratifica. El Sistema est conformado por todos los organismos, entidades y servicios que disean, planifican, coordinan, orientan, ejecutan y supervisan las polticas pblicas (de gestin estatal o privada) en el mbito nacional, provincial y municipal. Polticas que buscan promover, prevenir, asistir, resguardar y restablecer los derechos de las nios, nias y adolescentes (Art. 32).
Derogacin del antiguo rgimen de patronato de menores
Creacin del Sistema de Proteccin Integral de los Derechos de Nios, Nias y Adolescentes
29
A partir de la creacin del Sistema de Proteccin Integral de los Derechos de nios, nias y adolescentes, las provincias son las encargadas de planificar y ejecutar polticas. Esta aplicacin es desigual entre los distintos municipios, cuyas funciones, grados de autonoma y recursos para abordar la problemtica de la niez y la adolescencia difiere segn la provincia en la que se encuentren. De acuerdo con un informe del defensor del pueblo de la Nacin, la aplicacin desigual de este sistema se evidencia en las grandes diferencias que existen en el nivel de adhesin a la Ley 26061 y en los avances en el desarrollo del marco legislativo de las provincias. En el mapa se pueden observar los distintos grados de avance.
Jujuy
En la tabla 1.2 se presenta la cantidad de rganos provinciales y municipales con competencia en niez y adolescencia en relacin con las localidades urbanas (con ms de 2000 habitantes segn INDEC).
Tabla 1.2 Cobertura de rganos locales con competencia en materia de niez y adolescencia en localidades urbanas (provincias que cuentan con ley de proteccin integral, con o sin reglamentacin y que brindaron la informacin) Cantidad de rganos locales de distintas competencias 62 60 18 15 2 13 112 14 14 5 0 0 0 0 Cantidad de localidades urbanas 41 44 14 15 2 14 158 22 33 121 16 29 35 32
Jurisdicciones
Cobertura %
Misiones Entre Ros

Salta Formosa
151,2 136,4 128,6 100,0 100,0 92,9 70,9 63,6 42,4 4,1 0,0 0,0 0,0 0,0
Chubut
Mis ion es
Tucuman Catamarca Santiago de Estero
Chaco
CABA Tierra del Fuego Santa Cruz Buenos Aires
La Rioja
Santa Fe
Corrientes
San Juan
Cordoba Entre Rios San Luis
Mendoza
Buenos Aires La Pampa
Jujuy Mendoza
Nivel de adecuacin Bajo
Neuquen
Rio Negro
Categoras situacionales No legisl conforme a la Ley 26061 o Convencin Internacional de los Derechos del Nio (CIDN). Cuenta con Ley de adhesin (a la Ley 26061 o a la CIDN), pero no tiene an desarrollo legislativo. Cuenta con Ley de proteccin integral, pero an no fue reglamentada. Cuenta con Ley de proteccin integral y est reglamentada.
Santa Fe La Rioja Ro Negro Salta Tucumn
Chubut
Santa Cruz
Intermedio
Fuente: CIPPEC, sobre la base del informe del defensor del pueblo (2011).
Tierra del Fuego
Alto
Fuente: CIPPEC, sobre la base del informe del defensor del pueblo (2011).
As, tomando como unidad de anlisis a las jurisdicciones provinciales, el informe del defensor del pueblo de la Nacin vuelve a mostrar diferencias sustanciales.
30
Todos los gobiernos locales comparten, en mayor o menor medida, un grado de responsabilidad en garantizar los derechos de los nios, nias y adolescentes en su jurisdiccin, en coordinacin con los distintos niveles de gobierno y organismos competentes a efectos de llevar a la prctica un enfoque integral. Es por eso que mejorar las capacidades de los municipios para que puedan responder a este desafo en forma adecuada constituye una meta prioritaria.
La Ley dispuso, adems, la creacin de la Secretara Nacional de Niez, Adolescencia y Familia (que depende del Ministerio de Desarrollo Social y del Consejo Federal de Niez, Adolescencia y Familia) cuyo objetivo es involucrar institucionalmente a las provincias en el diseo de polticas de niez y adolescencia (Art. 45). De este modo, se reconoce la necesidad de que la Poltica de Proteccin Integral de Derechos sea implementada a travs de una concertacin articulada de accin de la Nacin, las provincias y los municipios (Art. 32). La Secretara Nacional de Niez, Adolescencia y Familia es el principal organismo encargado de promover y cuidar el ejercicio de los derechos destinados a niez y adolescencia. Entre sus responsabilidades se encuentra garantizar el funcionamiento del Consejo Federal de Niez, Adolescencia y Familia, creado en el ao 2006 mediante Decreto 416/06, y coordinar entre ambas instancias el diseo y articulacin de las polticas pblicas integrales. La Secretara debe ocuparse tambin de asegurar la ejecucin de los instrumentos de carcter internacional a los que la Nacin suscriba y de conseguir financiamiento nacional e internacional para el desarrollo de las polticas, adems de traspasarlo a las provincias cuando sea necesario. El Consejo Federal debe, adems de las funciones mencionadas en articulacin con la Secretara, concertar y efectivizar las polticas de proteccin integral, proponer e impulsar reformas legislativas e institucionales destinadas a la concrecin de los principios establecidos en la Convencin,
Creacin de la Secretara Nacional de Niez, Adolescencia y Familia
Consejo Federal de Niez, Adolescencia y Familia
31
fomentar espacios de participacin activa de la sociedad civil y promover la supervisin y control de las instituciones privadas de asistencia y proteccin de derechos (Art. 46).
Defensor de los derechos de los nios, nias y adolescentes
En la Ley 26061 de Proteccin Integral de los Derechos de las Nios, Nias y Adolescentes (2005) se estableci, tambin, la figura del Defensor de los derechos de nios, nias y adolescentes para velar por la proteccin y promocin de los derechos consagrados en la Constitucin nacional y en la Convencin sobre Derechos del Nio y las Leyes nacionales (Art. 47). Sin embargo, esta figura jurdica an no fue implementada.
Registro de Proteccin Integral de la Niez y la Adolescencia
En el ao 2009 se cre el Registro de Proteccin Integral de la Niez y la Adolescencia (Decreto 2044/2009) para integrar y sistematizar la informacin relacionada con las acciones gubernamentales de proteccin de los derechos de las personas menores de dieciocho (18) aos de edad, y para ampliar y calificar al conjunto de polticas pblicas en la materia. En lnea con este cambio de paradigma, desde 2003 se evidencia una re vitalizacin del rol del Estado que, acompaada por la recuperacin de la crisis econmica de 2001/2002, contribuy a que los principales indicadores sociales experimentaran una sostenida mejora (en particular, los ndices de pobreza, indigencia y desigualdad), con un indudable correlato en la mejora de la situacin de los nios, nias y adolescentes y de sus familias. Esta mejora se explica parcialmente (adems de ser una consecuencia del crecimiento econmico) por la implementacin de una reciente oferta programtica cuyo pblico objetivo (en ocasiones, pblico exclusivo) son los nios, nias y adolescentes. Si bien en este perodo, y para este grupo etario en particular, la poltica por antonomasia es la Asignacin Universal por Hijo para Proteccin Social, no deben dejar de resaltarse medidas tales como el Plan Nacer, el Plan Primeros Aos, la Ley 26206 de Educacin Nacional, la Ley 26390 de Erradicacin del Trabajo Infantil y la Ley 26233 sobre los Centros de Desarrollo Infantil, entre otras. En esta etapa se evidencia tambin el fortalecimiento de las distintas ofertas programticas provinciales y, en algunos casos, de las municipales. Esta oferta, pese a aterrizar en cada territorio en forma fragmentada y desarticulada, contribuy a mejorar la situacin relativa de nios, nias y adolescentes.
32
A pesar de la mejora en muchos indicadores sociales, la situacin social que experimentan los hogares en la Argentina segn su ubicacin geogrfica y su composicin sigue siendo heterognea y plantea retos ineludibles, como enfatizar la dimensin social y poltica que el cambio de paradigma supone y colocar en primer plano la inversin de recursos econmicos y materiales para la infancia y adolescencia. Para garantizar que las expectativas que se generaron en nuestro pas tras la sancin de la Convencin Internacional de los Derechos del Nio en 1989 y el consecuente marco normativo se vuelvan efectivas, los municipios deben trabajar en forma articulada con el gobierno provincial y nacional. Para lograr construir un sistema integral de proteccin de los derechos de los nios, nias y adolescentes, la Argentina tiene an campo por recorrer. Hasta el momento se avanz a travs de una proliferacin de intervenciones (muchas veces, bajo la modalidad de programas) que no responden a lgicas integrales y que, desde el mbito nacional, suelen desplegarse sin la sinergia necesaria entre los diversos territorios provinciales y municipales. Por eso, el principal desafo es avanzar sostenidamente hacia la constitucin de ese sistema. Dado que los principales problemas sociales que afectan a la niez y adolescencia son de carcter multidimensional (combinan carencias y necesidades tangibles e intangibles, expresan obstculos y restricciones de muy diversa ndole, y en ellos se involucran a su vez distintos actores sectoriales y jurisdiccionales), an se requiere afrontar el trnsito desde pro yectos y programas a polticas, y desde polticas hacia un sistema integral. Esa transicin, sumamente compleja en su implementacin y gestin cotidiana, debe ser moldeada tanto de acuerdo con los problemas especficos que afectan a la niez y adolescencia (y, por supuesto, a sus familias) como en lnea con lo que establece la Ley Nacional de Proteccin Integral. Tampoco debe olvidarse que, pese a los importantes avances normativos e institucionales realizados, los cambios planteados desde la Convencin primero y desde el nuevo paradigma despus, no son fciles de plasmar. En otras palabras, el marco normativo es necesario, pero no suficiente, porque la transformacin que promueve el nuevo paradigma involucra un proceso social y cultural mucho ms complejo y no lineal, con marchas y contramarchas, avances y retrocesos.
33
En conjunto, la descentralizacin y el cambio en el paradigma trajeron aparejados grandes desafos a la hora de planificar, monitorear, evaluar y coordinar polticas, programas y proyectos sociales desde la gestin local. Para ejercer satisfactoriamente las nuevas funciones y responsabilidades asumidas por los gobiernos locales, es imprescindible desarrollar nuevas capacidades que permitan identificar prioridades, administrar recursos y establecer criterios de accin estratgicos. Estos manuales pretenden ser un instrumento til en este sentido.
34
Captulo 2 Aspectos conceptuales bsicos del monitoreo y la evaluacin de polticas, programas y proyectos sociales
2.1 2.2 2.3 2.4 2.5 2.6
Qu son la evaluacin y el monitoreo de polticas, programas y proyectos sociales? El monitoreo: un instrumento para la toma de decisiones Hacia un sistema integrado de monitoreo y evaluacin Qu ventajas genera aplicar herramientas de monitoreo y evaluacin desde el nivel municipal? Quin monitorea? Quin evala? Vinculando el monitoreo y la evaluacin con el ciclo de vida de las polticas, los programas y los proyectos
39 45 50 56 57 60
UNICEF - CIPPEC
A lo largo de estas pginas desarrollaremos una serie de conceptos tiles para disear o implementar herramientas de monitoreo y evaluacin (en adelante, M&E) de polticas, programas y proyectos sociales (las 3 P)4 destinados a niez y adolescencia. Este punto de partida nos permitir pasar de la teora a la prctica de un modo ms slido y sencillo. Los objetivos de este captulo son:
XX Comprender los principales aspectos conceptuales del monitoreo y
Cap.
la evaluacin en el marco de los procesos de gestin de las 3 P destinadas a niez y adolescencia. XX Identificar el lugar que ocupan el monitoreo y la evaluacin en los procesos de gestin de las 3 P, segn sus diferentes tipos y modalidades. XX Conocer los alcances y limitaciones de los diferentes tipos y modalidades de M&E. Para cumplir con nuestros objetivos intentaremos responder a las siguientes preguntas: qu es el monitoreo?, qu es la evaluacin?, cul es la diferencia entre ellos?, qu monitoreamos?, qu evaluamos?, para qu lo hace mos?, cmo monitoreamos?, cmo evaluamos?, quin/quines lo hacemos?, y en qu momento? En la figura 2.1 se presentan algunos conceptos y relaciones que trabajaremos en este captulo.
En este manual se utilizar la frase las 3 P para referirnos a polticas, programas y proyectos sociales. Para mayor informacin, consultar la Introduccin.
37
Figura 2.1 El monitoreo y la evaluacin en el proceso de gestin de polticas, programas y proyectos sociales de niez y adolescencia
PROCESO DE GESTIN DE POLTICAS, PROGRAMAS Y PROYECTOS DESTINADOS A NIEZ Y ADOLESCENCIA
Retroalimentacin para la formulacin o el rediseo de las 3 P
Evaluacin ex ante de las 3 P destinadas a niez y adolescencia. Apoya el diseo de la intervencin social. Sirve de base para el monitoreo, la evaluacin concurrente y ex post
Monitoreo de las 3 P destinadas a niez y adolescencia
Evaluacin ex post
Formulacin y diseo de las 3 P destinadas a niez y adolescencia
Ejecucin de las 3 P destinadas a niez y adolescencia
Evaluacin concurrente
Mejoras concurrentes
Fuente: CIPPEC.
Desde nuestra perspectiva, una poltica pblica, y en particular una poltica social, es algo ms que la suma de los programas y proyectos que la componen, aun cuando esta se concrete a travs de aquellos. Como mencionamos en el cap tulo 1, entendemos a las polticas como un conjunto de objetivos, decisiones y acciones que desarrolla un gobierno para solucionar los problemas que, en un momento determinado, tanto los ciudadanos como el propio gobierno consideran
Incluso cuando a los fines de darle fluidez al relato nos refiramos muchas veces a proyectos o programas, nos interesa resaltar que la evaluacin pierde sentido si no se la inscribe en un proceso ms amplio y dinmico.
38
prioritarios (Tamayo Sez, 1997). Estos objetivos, acciones y decisiones involucran a una multiplicidad de actores y sectores o reas (salud, educacin, desarrollo social, etc.) de uno o varios niveles de gobierno (nacional, provincial o municipal) y desbordan los lmites y las expresiones propias de cada programa o proyecto.
2.1 Qu son la evaluacin y el monitoreo de polticas, programas y proyectos sociales?

La evaluacin puede definirse como la emisin de un juicio de valor acer ca de una poltica, programa o proyecto y puede ser entendida como:
XX Una actividad programada de reflexin sobre la accin, cuya realizaCap.
UNICEF - CIPPEC
cin puede proponerse para antes, durante o despus de la implementacin de una poltica, programa o proyecto. La evaluacin se lleva a cabo mediante procedimientos sistemticos de recoleccin, anlisis e in terpretacin de informacin y a travs de comparaciones respecto de parmetros definidos. Su finalidad es emitir juicios valorativos fun damentados y comunicables, sobre las actividades y los resultados () de las intervenciones sociales y formular recomendaciones que permitan decisiones orientadas a ajustar la accin (Nirenberg, 2009).
XX Consecuencia de la necesidad de introducir cambios respecto de
un problema de viabilidad, funcionamiento, resul tados o impacto de las 3 P. En este sentido, se realiza si existe la posibilidad de generar una accin deliberada que permita superar ese problema. No se ejecuta una evaluacin si no se prev la posibilidad de provocar consecuencias que induzcan a la accin o modifiquen el curso de la intervencin. La evaluacin responde a un propsito (Martnez Nogueira, 2004). El desarrollo de una evaluacin supone una decisin de poltica pblica y consti tuye un insumo clave para el desarrollo de las 3 P.
XX Un proceso reflexivo que se apoya en la formulacin de preguntas
Definiciones de evaluacin
precisas sobre uno o varios aspectos relativos al diseo, ejecucin o finalizacin de las 3 P. Los procedimientos de recoleccin, anlisis e interpretacin de informacin constituyen la base sobre la cual es posible responder a dichos interrogantes.
39
El vocablo evaluacin proviene del latn valere, que significa valorar. Evaluar es fijar el valor de una cosa y para hacerlo se requiere un procedimiento que permita comparar aquello a evaluar respecto de un criterio o un patrn determinado (Cohen y Franco, 1988).
La evaluacin se compone de:

XX Un objeto: la poltica, programa o proyecto sobre el que se emite un juicio
de valor.
XX Un referente: el criterio o patrn de deseabilidad contra el que se compa-
ra el objeto de la evaluacin.
XX Una estrategia o procedimiento sistemtico mediante el cual se recolecta
y analiza la informacin.
Figura 2.2 Componentes de la evaluacin
Objeto de evaluacin
Referente de evaluacin
Estrategia de evaluacin
EVALUACIN
Fuente: CIPPEC.
40
La evaluacin no debe ser entendida como un proceso aislado. Muy por el contrario, es a la vez un insumo para orientar la accin y un pro ceso permanente de aprendizaje y mejora que acompaa toda la vida de una poltica social. En otras palabras, es una herramienta para la toma de decisiones.
El monitoreo es el seguimiento que se realiza durante la ejecucin de una poltica, programa o proyecto. Es un instrumento, de gestin y de poltica, que permite revisar en forma peridica los aspectos sustantivos de las 3 P, para optimizar sus procesos, resultados e impactos. Constituye
un insumo indispensable para la gestin adminisComo cualquier producto de un proceso de trativa y estratgica de una iniciativa pblica. investigacin aplicada, los resultados de una evaluacin constituyen un nuevo conocimiento prctico. La evaluacin busca conocer para hacer, para actuar, para construir, para modificar (Padrn, 2006), y as Para mayor informacin sobre el monitoreo nos ayuda a construir un futuro deseado en relacin con una determinada consultar la seccin 2.2 de poltica o programa social.
este manual.
El monitoreo es uno de los instrumentos que tambin colabora en la construccin de ese futuro. Ambos son fundamentales para la toma de decisiones a mediano y largo plazo y constituyen una fuente primordial de aprendizaje para los gobiernos y los/las gestores de polticas y programas (Subirats, 1995).
La evaluacin y el monitoreo
En la evaluacin se combinan distintos tipos de informacin. Por un lado, el propio proceso produce informacin; por el otro, se basa en la informacin que se produce, por ejemplo a travs del monitoreo, sobre el grado de ejecucin de las actividades que se desarrollan en el marco de una poltica, la utilizacin de los recursos y el nivel de logro de los resultados esperados. La construccin de un futuro deseado, es decir, hacia dnde queremos ir, est mediada entre otros factores por los insumos que proveen el monitoreo y la evaluacin para la toma de decisiones estratgicas, operativas o tcticas en el marco del desarrollo de una poltica. Estas decisiones pueden ser:
XX De tipo preventiva: nos anticipamos a los riesgos potenciales que se
son instrumentos de poltica ya que forman parte de la atmsfera poltica inherente a la toma de decisiones que rodea a las 3 P evaluadas, y porque el contenido de la evaluacin, su juicio de valor, tiene un componente claramente poltico (Subirats, 1995). Es por eso que de ningn modo deben ser entendidos como rituales neutros o vacos.
detectaron en una evaluacin. XX De tipo correctiva: reorientamos procesos, estrategias o tcnicas para corregir efectos no deseados, ineficacias o ineficiencias de nuestras acciones.
41
La evaluacin: un tipo particular de investigacin La investigacin evaluativa es un tipo particular de investigacin aplicada. Difiere de los otros tipos por la forma en que concibe la nocin de problema: en el marco de la investigacin bsica, el problema se define como una construccin de orden cognitivo; en el de la investigacin evaluativa, en cambio, es una construccin de orden prctico, es decir, la descripcin de una situacin que se evala como conflictiva y que puede ser mejorada (Padrn, 2006).
Aunque el/la funcionario/a y el equipo tcnico encargados de una poltica tengan un alto grado de conocimiento sobre ella, habitualmente se requiere la colaboracin del/la evaluador/a para definir con precisin el problema o cuestin a investigar. El/la evaluador/a impulsa y encausa el proceso de definicin del problema y el diseo de los objetivos de la evaluacin, y abre as un proceso de nego ciacin con el/la funcionario/a sobre cmo se va a definir el problema y cules van a ser los objetivos de la evaluacin. Un aspecto clave en este proceso de negociacin es la definicin de los principales nudos, es decir, de los desafos que se quieren abordar desde la gestin. Por qu estos nudos son tan importantes en la gestin de una poltica? Precisamente, porque cuestionan las hiptesis iniciales que sustentan el diseo de una po ltica pblica.
Definir un nudo significa identificar, por ejemplo, temas complicados, procesos de decisin complejos que debern encararse o potenciales colaboradores y detractores que pueden aumentar o reducir la viabilidad de la poltica.
42
La definicin del problema: el caso del Programa Escuelas Plurilinges Aqu recuperamos el ejemplo de una evaluacin concurrente (de la ejecucin) del Programa Escuelas Plurilinges, desarrollado por el Gobierno de la Ciudad de Buenos Aires desde inicios de la dcada de 2000. El Programa comenz en 2001 con un doble propsito: ampliar y diversificar la oferta de servicios educativos de la Ciudad e implementar desde los primeros grados una enseanza de calidad en lengua extranjera, de manera sistemtica, intensiva y escalonada. Escuelas Plurilinges se puso en marcha de manera progresiva: en 2001 se inici en 12 escuelas y entre 2002 y 2003 se extendi a otras 10. Para evaluarlo e intentar advertir cules eran los nudos en su ejecucin, un equipo de evaluadores/as se reuni en diversas oportunidades con la directora de Programacin y con la coordinadora del Programa. Ellas no tenan pensado incorporar nuevas escuelas y estaban preocupadas por asegurar que el Programa pudiera completarse en las instituciones donde ya funcionaba5 de manera exitosa y sustentable. Durante estas reuniones se detectaron los siguientes nudos: Extensin: muchas escuelas solicitaban incorporarse al Programa. Aunque desde la coordinacin no tenan previsto atender este pedido, lo cierto es que las restricciones para garantizar los docentes de lengua extranjera a las escuelas que s pertenecan al Escuelas Plurilinges impedan, incluso, la consideracin de esta posibilidad.
5 Es decir, que el Programa se implementa en todas las secciones (grados) de una escuela de cada distrito escolar.
Situacin edilicia: algunas escuelas tenan problemas de adecuacin edilicia porque el Programa supona una modificacin de la caja horaria6 de los establecimientos educativos. Tambin haba dificultades para instalar los materiales didcticos tal como lo requeran las actividades. Articulacin y coordinacin: otros nudos se relacionaban con la necesidad de fomentar la articulacin entre los/as maestros/as de grado y lo/as de lengua extranjera, o entre estos/as y los/as otros/as docentes de materias especiales Cmo lograr un trabajo conjunto en la definicin de contenidos y otros aspectos?, cules eran las dificultades para que la cooperacin se concretara?, qu situaciones de cooperacin eran indispensables y qu actores deberan ser involucrados (los/as supervisores/as, los/as coordinadores/as de lenguas extranjeras, los/as directores/as de las escuelas, los/as docentes de grado, los/as de lengua extranjera o los/as de materias especiales, por ejemplo)? Impactos: tambin les preocupaban los impactos ms inmediatos del Programa, ya que este llevaba casi tres aos de implementacin y era necesario demostrar
La caja horaria en las escuelas pblicas de la Ciudad es fija y su estructura solo se puede modificar en mrgenes muy acotados. En los establecimientos de jornada completa no se pueden exceder las ocho horas que deben cumplirse entre las 8 am y las 4 pm, con una tolerancia de 15 minutos de variacin. La estructura exige, adems, un tiempo dedicado al comedor y uno al recreo. Las escuelas que cuentan con servicio de comedor resolvan las exigencias de caja horaria a travs de la implementacin de diferentes turnos de comedor y horarios de recreo. Pero esa dinmica no es compatible con el Programa porque incorpora horas adicionales de clase. Frente a esta problemtica, las escuelas tuvieron que reorganizarse y realizar readecuaciones edilicias para que todos los nios y nias almuercen en un nico turno y en un mismo espacio, con la complejidad que esto genera.
43
si haba tenido (o no) logros. En este sentido, era interesante conocer su impacto sobre la matrcula de los establecimientos o en el rendimiento escolar7. Adems, era til conocer si la oferta efectiva del Programa Escuelas Plurilinges se adecuaba a los lineamientos que le dieron origen. Las preocupaciones relevadas durante las entrevistas eran tantas que los/as evaluadores/as no saban por dnde empezar a encarar el proyecto de evaluacin. Un proyecto que, adems, tena que ser consensuado y materializado. Armarlo fue un proceso arduo. De hecho, tuvo varias versiones que supusieron reuniones de trabajo adicionales. A pesar de su complejidad, el intercambio result fundamental porque permiti definir la demanda. Finalmente, se consensu que el estudio evaluativo deba responder a dos preguntas bsicas: (1) Cules eran las fuentes de dificultad e incertidumbre que atentaban contra la implementacin y completitud del Programa? (2) Qu caractersticas tenan esas fuentes?
De este modo, qued definido el problema que la investigacin evaluativa se propona abordar. La investigacin dur cuatro meses. Sin embargo, es imposible dar cuenta de todas las fuentes de incertidumbre y dificultad, y estas deben priorizarse de acuerdo a un criterio reflexionado y acordado. En este caso, para recortar se decidi volver a los nudos que los/as responsables del Programa esbozaron en las entrevistas iniciales. Cules fueron esos nudos? Las dificultades en trminos de recursos humanos y de infraestructura, la falta de cooperacin entre los actores involucrados en el proceso de implementacin y los impactos inmediatos del Programa. Estas fueron las fuentes de dificultad y de incertidumbre que finalmente se indagaron durante la evaluacin de la ejecucin del Programa Escuelas Plurilinges.
En la evaluacin, el proyecto es el dispositivo a travs del cual se logra construir formalmente la demanda. Sin embargo, esa construccin es provisoria porque se va a redefinir a lo largo de todo el proceso de evaluacin.
Uno de los fundamentos pedaggicos del Programa es que la incorporacin de lenguas extranjeras facilita la incorporacin de los contenidos de lectoescritura asociados a la lengua materna y que esto redunda en un mejor rendimiento escolar.
Fuente: Di Virgilio (2009).
44
2.2 El monitoreo: un instrumento para la toma de decisiones

A diferencia de la evaluacin, el monitoreo es el seguimiento que se realiza durante la ejecucin de una poltica, programa o proyecto. Aunque incluye una dimensin tcnica, no se agota en ella. Por el contrario, es un instrumento de gestin y de poltica que permite revisar en forma peridica los aspectos sustantivos de las 3 P para optimizar sus procesos, resultados e impactos. Por eso, constituye un insumo indispensable para la gestin administrativa y estratgica de una iniciativa pblica. Monitoreo y evaluacin son actividades fuertemente interrela cionadas, pero no son sinnimos.
El monitoreo consiste en un examen continuo o peridico que se efecta durante la implementacin de un proyecto. Su objetivo es in-
dagar y analizar permanentemente el grado El monitoreo es un proceso en que las actividades realizadas y los resulcontinuo y permanente; la evalua cin se realiza en perodos esta tados obtenidos cumplen con lo planificado, blecidos y es de corte transversal. con el fin de detectar a tiempo eventuales diEl monitoreo constituye un proceso ferencias, obstculos o necesidades de ajuste continuo de anlisis, observacin y en la planificacin y ejecucin (SIEMPRO y elaboracin de sugerencias de ajustes que aseguren que el proyecto UNESCO, 1999). est encaminado hacia el objetivo propuesto. Por su parte, la evaluacin permite la formulacin de conclusiones acerca de lo que se observa a una escala mayor, aspectos tales como el diseo del proyecto y sus impactos, tanto aquellos previstos como no previstos (Cerezo y Fernndez Prieto, 2011).
Ms all de estas diferencias, ambos son procesos interconectados y complementarios. Por ejemplo, el monitoreo permite, adems de poner de mani fiesto soluciones problemticas y de aportar pistas para iden tificar causas y posibles soluciones, detectar seales de alarma que sern insumo para la evaluacin.
45
Tabla 2.1 Diferencias entre monitoreo y evaluacin
Componente Tipo de tarea
Monitoreo Informacin y comparacin de datos sobre la ejecucin de la poltica, programa o proyecto con los objetivos establecidos en el marco de su formulacin. Controlar la ejecucin y realizar el seguimiento de la gestin operativa y estratgica. Permanente y peridica. Equipo interno.
Evaluacin Informacin y comparacin de datos sobre la ejecucin de la poltica, programa o proyecto con los patrones de referencia valorativos definidos a travs de la visin o escenario futuro que se quiere construir. Valorar el diseo, la ejecucin, los resultados y los impactos del Programa. Puntual. En general, la evaluacin est a cargo de un equipo del Programa partcipe, con el fin de garantizar la independencia de los resultados.
Fuente: Mokate, 2001.
Propsito Modalidad Responsable
Para mayor informacin sobre este punto, consultar el manual de Planificacin.
El plan de monitoreo y evaluacin (M&E) forma parte de la planificacin de una poltica, programa o proyecto que debe adecuarse a las caractersticas del destinatario de la informacin que se producir y a los indicadores e instrumentos que se utilizarn para su recoleccin, registro y procesamiento. Durante el monitoreo se recolecta informacin sobre:
XX La ejecucin de las actividades planificadas, para apoyar la gestin
cotidiana de los proyectos sobre el terreno. XX Los resultados conseguidos a travs de la realizacin de las actividades y la respuesta de los/las titulares, para comprobar los avances y revisar el plan de trabajo. XX La consecucin de los objetivos del programa y sus impactos para revisar la lgica de intervencin y la resolucin de problemas.
46
Un sistema de monitoreo se construye a partir de indicadores. Los indicadores son medidas directas o indirectas de un evento, condicin, situacin o concepto, y permiten inferir conclusiones apreciativas acerca de su comportamiento o variacin.
Indicadores
Objetivos
Metas
Los indicadores son el resultado de operacionalizar los objetivos a alcanzar en el marco de una poltica, programa o proyecto. Se expresan en metas a partir de las cuales se disean los indicadores que permiten medir el grado en el que fueron alcanzadas (Cohen y Franco, 1988).
Indicadores
La seleccin de indicadores es un paso clave para construir un buen sistema de monitoreo. Su eleccin requiere tener en cuenta criterios como independencia, verificabilidad, validez y accesibilidad. Si a travs de la consulta con los actores involucrados es posible definir los indicadores y acordar su importancia y caractersticas especficas, quiere decir que los objetivos de la poltica son claros, compartidos y estn consensuados entre los/as responsables de su implementacin.
Indicadores: los ms habitualmente utilizados son los indicadores cuantificables, es decir, los que se expresan en cifras absolutas, tasas, proporciones o porcentuales. Si bien son necesarios, no resultan suficientes para comprender cmo se producen los procesos, qu oportunidades se encuentran, cules son los principales obstculos o qu factores dificultan la accin. Para mejorar esa comprensin son necesarios los indicadores cualitativos, que complementan a los anteriores (Nirenberg y otros, 2000).
47
Figura 2.3 El diseo del monitoreo
Construccin de indicadores Para el monitoreo se proponen cuatro categoras de indicadores: de proceso, de producto, de cobertura y de resultados.
Informacin bsica Necesaria para construir el dato del indicador o del conjunto de indicadores involucrados en la actividad evaluativa.
Definicin de la periodicidad del relevamiento Depende del tipo de indicador, las caractersticas del Programa y de las necesidades de informacin.
Seleccin de tcnicas para el rastreo de indicadores Para los indicadores de proceso y producto se utilizan, en general, los registros e informes de rutina producidos por el equipo de gestin. En el caso de los indicadores de cobertura, se pueden utilizar tambin otros instrumentos como, por ejemplo, informacin sobre el uso efectivo de los beneficios del Programa y su accesibilidad. Estas fuentes y otras (encuestas, entrevistas, etc.) se pueden usar para medir los indicadores de resultado.
Fuente: CIPPEC, sobre la base de SIEMPRO y UNESCO (2009).
Los indicadores tienen dos funciones principales:

XX Ayudar a monitorear los avances en la consecucin de los objetivos. XX Aclarar la lgica de intervencin del proyecto al indicar lo que se desea
lograr, la duracin, la calidad requerida y la poblacin objetivo. Sin una correcta definicin de los indicadores, se dificulta la reco leccin de datos y disminuye la posi bilidad de monitorear o evaluar en forma adecuada la relacin entre lo previsto y lo realizado. La seleccin de los indicadores no depende solo de la estructura y de los objetivos del proyecto, sino tambin de la disponibilidad de datos, del tiempo y de las capacidades necesarias para su recoleccin. Puede suceder que los datos disponibles sean poco confiables, y que por eso la informacin ms importante para la elaboracin de los indicadores relevantes sea tambin recogida durante el proceso evaluativo.
Indicadores
48
Existen diferentes categoras de indicadores. Las ms comunes son8:

XX Indicadores de resultado. Dan cuenta del grado de alcance de los obje-
tivos especficos de las 3 P y de su contribucin concreta para mejorar la situacin que les dio origen. XX Indicadores de cobertura. La cobertura es la proporcin de la poblacin objetivo que efectivamente recibe los servicios que brindan una poltica, programa o proyecto. Estos indicadores reflejan la relacin entre las 3 P y los titulares actuales o potenciales de sus prestaciones. XX Indicadores de producto. Los productos son los resultados concretos de las actividades, desarrolladas a partir de los insumos disponibles. Segn su carcter de materialidad, pueden distinguirse entre bienes producidos (o resultados materiales) y servicios prestados. Estos indicadores facilitan el seguimiento de la oferta que brindan las 3 P. XX Indicadores de proceso. Los procesos estn constituidos por el conjunto de actividades que se realizan para tratar de alcanzar el objetivo buscado. Estos indicadores se relacionan con los insumos que se proveen para concretar estas acciones y con los productos que se obtienen durante dichos procesos. Facilitan el seguimiento de la implementacin de las 3 P y pueden alertar sobre su desempeo. Todo indicador debe cumplir con cuatro requisitos bsicos:
XX Independencia. Cada indicador debe ser utilizado para medir un solo
Distintos tipos de indicadores
objetivo. XX Verificabilidad. Cada indicador debe ser empricamente constatable. XX Validez. Cada objetivo debe contar con, al menos, un indicador. XX Accesibilidad. La medicin de los indicadores debe ser accesible.
Requisitos de los indicadores
La clasificacin de los tipos de indicadores fue tomada de Cerezo y Fernndez Prieto (2011).
49
Consideraciones bsicas para formular buenos indicadores: Redactarlos en un lenguaje claro y preciso. Identificar una lista de posibles indicadores y evaluarlos junto con los actores involucrados. Seleccionar los ms apropiados en trminos de importancia y facilidad para la recoleccin de los datos. Considerar si son consistentes en el tiempo, es decir, durante la implementacin de toda la poltica, programa o proyecto. Determinar su dimensin temporal, es decir, el plazo de tiempo en el cual se evaluarn los resultados. Procurar que sean vlidos y confiables.
Fuente: Cerezo y Fernndez Prieto (2011).
2.3 Hacia un sistema integrado de monitoreo y evaluacin

Para mayor informacin sobre los sistemas de informacin, consultar la seccin 3.6 del manual de Coordinacin.
Los sistemas de informacin son, en general, un conjunto de herramientas, datos estadsticos, personal capacitado, equipos de informtica, comunicaciones y procedimientos organizados que interactan para capturar, almacenar, actualizar, manejar, analizar y desplegar informacin en un sistema de referencia que enriquezca las decisiones de una organizacin. Un sistema integrado de M&E colaborar, por ejemplo, con el desa rrollo e inclusin en el diseo de las 3 P de aquellos aprendizajes que resulten del anlisis de otros procesos de gestin. As, brinda informacin que permite tomar mejores decisiones y enunciarlas de manera slida. Disear e implementar un sistema integrado de M&E exige adecuarse tanto a las caractersticas especficas del modelo de organizacin y gestin de la institucin encargada de la intervencin como a las de la intervencin. Las polticas, programas y proyectos en desarrollo deben tener la posibi lidad de integrarse al sistema de M&E en cualquier momento de su ciclo de vida. Su implementacin supone utilizar indicadores vlidos y confiables en tres niveles:
50
XX Genricos: son comunes a las 3 P. A modo de ejemplo, entre ellos se
cuentan el ndice de avance fsico, de costo por unidad de producto, de eficiencia de la focalizacin y de necesidades bsicas insatisfechas (NBI). XX Sectoriales: se disean segn el rea de trabajo de cada poltica, programa o proyecto. Este tipo de indicadores incluye, por ejemplo, al ndice de aos de vida ajustados en funcin de la discapacidad (DALY O AVAD). XX Especficos: solo se utilizan en una poltica, programa o proyecto en particular. Puede tratarse, por ejemplo, de la relacin peso/talla, del ndice de masa corporal, de la razn profesor/alumno o del grado de hacinamiento. El monitoreo debe permitir que los resultados de las actividades estratgicas se reflejen en la toma de decisiones. El mejor monitoreo no es aquel que da cuenta de todas y cada una de las actividades del programa, sino de aquellas que son clave para la gestin y el aprendizaje. Para lograr una visin integral de lo que acontece con las 3 P, se debe contar con las siguientes fuentes de informacin:
XX Lnea de base que permita dar cuenta de la situacin que se encuentra
antes de que comience la intervencin. XX Informes peridicos de tipo censal, producidos por los/as ejecutores/as de proyectos y los/as coordinadores/as de programas. XX Supervisin en terreno, con muestras aleatorias o intencionales para casos especiales. XX Evaluaciones de impacto, de preferencia, con muestras representativas que controlen los mrgenes de error. Los instrumentos ms comunes para utilizar en este tipo de sistemas de informacin son los informes peridicos de programas, el anlisis documental, las entrevistas y cuestionarios a coordinadores/as, ejecutores/as y titulares, los grupos focales con actores internos, externos y titulares, las observaciones y visitas en terreno o la informacin estadstica secundaria, entre otros. Al final del captulo 3 encontrarn fichas descriptivas para cada una de estas tcnicas que les servirn como guas al momento de su aplicacin.
Requisitos clave para tener una visin integral sobre las 3 P
FICHA
51
Estos instrumentos de recoleccin de informacin pueden utilizarse de manera autnoma o concertada. Cada sistema de M&E definir cules son el balance y la combinacin ms adecuados de las distintas tcnicas para medir los indicadores seleccionados. La periodicidad de la recoleccin de la informacin depende de la forma de operacin del programa y de sus proyectos:
XX Para los informes de monitoreo se recomienda trabajar en forma trimes-
tral, semestral y anual, y recolectar informacin de distinto tipo y nivel de agregacin. Sin embargo, la periodicidad sugerida deber adecuarse a la situacin sobre la que se pretende intervenir y a las caractersticas de la intervencin. XX Los informes de evaluacin de impacto dependen de las especificidades tcnicas de las 3 P. El resultado sobre la poblacin objetivo se obtiene en distintos tiempos segn el problema enfrentado y las alternativas de solucin implementadas, por lo que los plazos se deben estimar en cada caso (Cohen y Franco, 2005).
52
DevInfo Jujuy: sistema de informacin y seguimiento de indicadores de desarrollo humano de la niez y adolescencia UNICEF cuenta con un sistema de manejo de bases de datos que permite monitorear el avance de los compromisos asumidos en relacin con el desarrollo humano. En este marco se realizan, por ejemplo, mediciones de la inversin social dirigida a la infancia. Este monitoreo se organiza a travs de la base de datos DevInfo (http://www.devinfo.org) que permite organizar, almacenar y presentar datos de forma uniforme para facilitar la transferencia de informacin. Con el apoyo de UNICEF Argentina, el Programa se implement en las provincias de Jujuy y Misiones. DevInfo admite, tambin, la compilacin y anlisis de indicadores agrupados segn distintas clasificaciones temticas (por ejemplo, temas de violencia o pobreza) fuentes de informacin y otros criterios, y construir herramientas visuales como cuadros, grficos o mapas. Estas herramientas visuales facilitan a los/as funcionarios/as locales realizar el seguimiento de las polticas pblicas, programas y proyectos. En la provincia de Jujuy, por ejemplo, el DevInfo se utiliza para9: Hacer visibles los problemas de los nios, las nias y adolescentes. Facilitar la comparacin de las cifras jujeas con las de otras provincias y entre regiones. Generar informacin sobre desigualdades socioeconmicas. Informar a funcionarios/as y periodistas sobre la situacin de los/as nios/as, los avances (y retrocesos) en el cumplimiento de sus derechos. Difundir todos los indicadores sociales disponibles sobre la niez y la adolescencia, con el objetivo de mejorar sus condiciones de vida y desarrollo. Este sistema de informacin facilita el monitoreo de los proyectos y la rendicin de cuentas y brinda legitimidad a las polticas y programas sociales; adems, promueve una cultura de aprendizaje a partir de la informacin producida.
Esta informacin est disponible en un portal web y puede ser consultada por cualquier individuo: http://www.infojujuy-dippec.gov.ar.
Fuente: http://www.unicef.org/argentina/spanish/media_20230.htm
53
El tablero de gestin es una de las herramientas que se utiliza para monitorear. Se trata de un instrumento organizacional informtico, destinado a facilitar y mejorar la toma de decisiones en la gestin de las 3 P. Para mayor informacin sobre los tableros de gestin, consultar la seccin 3.5 del manual de Planificacin.
El monitoreo es un insumo fundamental del proceso de gestin de las 3 P. Obtener informacin en forma peridica permite gestionar de manera informada las acciones a seguir. Adems, el monitoreo genera informacin estratgica para la realizacin de una evaluacin ex post. Para eso, toda la informacin del monitoreo debe permanecer organizada y documentada, para su posterior recuperacin.
El monitoreo se focaliza fundamentalmente en los procesos y productos de un programa. La evaluacin puede estar orientada al diseo (ex ante), a los procesos (concurrente) o a los productos, impacto y efectos (ex post).
La evaluacin del diseo comprende la valoracin de los insumos (recursos humanos, materiales, temporales y financieros) que una determinada poltica, programa o proyecto prev movilizar para dar respuesta a un determinado problema social. En general, la evaluacin de insumos se realiza antes de la ejecucin de las 3 P y forma parte de la evaluacin ex ante. Esta evaluacin valora la propuesta de intervencin en s misma ya que se pregunta por la coherencia entre el diseo o estructura de las 3 P y los objetivos y metas que se esperan alcanzar. Estos componentes tienden a ser evaluados ex ante, aun cuando tambin se los considere en la evaluacin concurrente y en la ex post. Ya veremos por qu y cmo... La evaluacin de procesos se focaliza en los medios que se utilizan para alcanzar los objetivos de las 3 P. Los procesos son el objeto por excelencia de la evaluacin concurrente, aunque la evaluacin ex post tambin puede considerarlos. La evaluacin de productos se concentra en el grado de logro de las metas propuestas y es objeto de las evaluaciones ex post. Tambin lo es la evaluacin de efectos o impacto que considera, particularmente, los productos desarrollados a mediano y largo plazo.
Para mayor informacin sobre los tipos de evaluacin, consultar la seccin 3.3 de este manual.
54
Tabla 2.2 La evaluacin y el monitoreo en la gestin de polticas, programas y proyectos sociales
Momento del programa
Herramientas de evaluacin Evaluacin ex ante Lnea de base
Objetivos Evaluar la viabilidad del programa en trminos financieros, polticos e institucionales. Priorizar/ seleccionar las acciones que racionalicen la inversin. Es informacin referida a los valores iniciales de los indicadores del problema que dio origen al programa, que se construyen durante su delimitacin. Constituye un parmetro indispensable para evaluar los impactos de la intervencin porque permite comparar las situaciones antes, durante y despus de su ejecucin. Programar las actividades, sus metas y productos de manera anualizada. Constituye la base para el monitoreo. Indagar y analizar permanentemente el grado en que las actividades realizadas y los resultados obtenidos cumplen con lo planificado, para detectar oportunamente las eventuales deficiencias, obstculos y necesidades de ajuste en la ejecucin. Evaluar con profundidad desde la perspectiva institucional y en un momento determinado, el desempeo del programa en todos sus niveles. Evaluar el grado de cumplimiento de los objetivos especficos del programa.
Cundo utilizarla Desde la identificacin de las acciones hasta la finalizacin de la planificacin del programa. Finalizado el proceso de planificacin.
Cap.
UNICEF - CIPPEC
Planificacin del programa
Plan operativo anual Monitoreo Ejecucin del programa Evaluacin concurrente Evaluacin de resultados Finalizacin del programa Evaluacin de impacto
Dos meses antes de iniciarse cada ao, con un ajuste semestral, a la luz de los resultados del monitoreo. Durante toda la ejecucin del programa.
Durante la ejecucin del programa, cuando existe la necesidad de profundizar el conocimiento sobre su desempeo. Inmediatamente despus de finalizada la ejecucin del programa. Tambin puede realizarse antes de la finalizacin del programa o despus de un perodo de tiempo pertinente de ejecucin. Un tiempo despus de finalizada la ejecucin del programa.
Identificar y explicar cmo se modific la situacin inicial en funcin del objetivo original del programa.
Fuente: CIPPEC, sobre la base de Kliksberg y Rivera (2007).
55
2.4 Qu ventajas genera aplicar herramientas de monitoreo y evaluacin desde el nivel municipal?
Como mencionamos, un sistema de M&E permite retroalimentar el proce so de gestin al proporcionar informacin para la toma de decisiones con respecto a:
XX La consistencia del diseo, especialmente, sobre las relaciones que
subyacen entre la descripcin y explicacin del problema, la visin construida (escenario futuro) sobre la base de dichas instancias, los objetivos propuestos, las acciones a travs de las cuales plantea alcanzarlos y los recursos con los cuales piensa hacerlo. XX La viabilidad y la sustentabilidad de los objetivos y acciones de la intervencin. XX Los procedimientos y rutinas involucrados en la gestin operativa. XX El cumplimiento de las acciones y resultados de las 3 P, segn dife rentes criterios (vinculados a los parmetros establecidos en la formulacin. Por ejemplo, parmetros econmicos o financieros). XX La perspectiva de los titulares y de la institucin ejecutante sobre la intervencin propiamente dicha: acciones, servicios o bienes que brinda y resultados. XX La eficacia, la eficiencia y la calidad de los resultados e impactos que genera la poltica, el programa o proyecto. XX La cobertura de la intervencin y, si corresponde, la necesidad de producir adecuaciones en la definicin de la poblacin objetivo. XX Las relaciones entre lo planificado y lo ejecutado y, si corresponde, la necesidad de producir adecuaciones para acercar los trminos de dicha relacin.
Fuente: SIEMPRO y UNESCO (1999).
Los espacios locales de gestin definen procesos complejos a travs de los cuales (por medio de diferentes estrategias) se desarrollan las capacidades de los actores para reorientar recursos (entre ellos los que corresponden a las 3 P). En trminos muy generales, las decisiones (poltico institucionales), las tcnicas particulares y la accin sobre el terreno son las tres gran des dimensiones que alimentan los procesos de M&E en los espacios locales de gestin (Chiara y Di Virgilio, 2006).
56
Monitoreo y evaluacin son medios esencia les para el aprendizaje. La informacin que producen debe volcarse a las 3 P para precipitar un proceso de reflexin y cambio estimulado desde el interior de la organizacin. En este sentido, constituyen medios para potenciar los recursos materiales, tcnicos y de poder (Martnez Nogueira, 2004).
La puesta en marcha de un plan de M&E contribuye a fortalecer las capacidades estatales, otorga transparencia, aumenta la legitimidad de la accin pblica local y es fuente de aprendizaje y mejora permanente.
2.5 Quin monitorea? Quin evala?

El monitoreo y la evaluacin pueden ser realizados por distintos actores. Segn quines los realicen, podemos identificar distintos tipos, cada uno con ventajas y desventajas. En tanto proceso de evaluacin interna, el monitoreo suele estar a cargo de los miembros de la organizacin que implementa la poltica a evaluar. Esta evaluacin puede ser realizada por actores no directamente vinculados a su ejecucin o por actores directamente vinculados. En este ltimo caso, los/as evaluadores/as sern tambin evaluados, por lo que la evaluacin interna es tambin una autoevaluacin.
XX Al ser interna, este tipo de evaluacin minimiza la reactividad de los
Autoevaluacin
actores de la organizacin y es menos costosa en trminos econmicos y de recursos humanos. Algunos autores sostienen que este tipo de evaluacin facilita que sus resultados tengan mayor influencia en la intervencin. XX En relacin con las desventajas, la ms destacable es que la evaluacin interna pone en riesgo la objetividad del proceso de evaluacin y de sus resultados y, en consecuencia, afecta directamente la credibilidad social de la evaluacin. En relacin con la evaluacin externa, en general, la interna no utiliza estndares o alta tecnologa para su diseo. Algunos autores sealan que no necesariamente por ser interna, este tipo de evaluacin elimina el choque de intereses entre los diferentes actores involucrados.
57
Evaluacin externa
La evaluacin externa es llevada a cabo por actores ajenos a la organizacin que implementa la poltica a evaluar. En general, se recurre a investigadores/as, consultores/as independientes, departamentos universitarios o expertos/as internacionales para que realicen estas evaluaciones. Cabe aclarar que la evaluacin externa no es siempre deseada por los actores de la organizacin ejecutora, muchas veces parte de los requisitos de las agencias financiadoras.
XX Entre las ventajas que posee este tipo de evaluacin se encuentra la su-
puesta objetividad, porque los/as evaluadores/as no pertenecen a la organizacin ejecutora y, en consecuencia, maximizan la credibilidad social de la evaluacin realizada. XX Entre las desventajas, se seala que este tipo de evaluacin minimiza las posibilidades de mejorar el programa (ya que los/as evaluadores/as no estn directa o indirectamente vinculados en la ejecucin del proyecto) y, en relacin con lo anterior, podra maximizar tambin la reactivi dad de los actores internos, que quedan afuera del proceso evaluativo. Adems, este tipo de evaluacin tiende a resultar ms costosa, tanto en trminos financieros como humanos. La evaluacin mixta trata de combinar ambas perspectivas bajo el supuesto de que su conjuncin potencia los aspectos positivos de cada una (Neirotti y Poggi, 2004). Este proceso permite incluir distintas posiciones desde el punto de vista de los actores involucrados. No obstante, para implementarla es necesario lograr un trabajo conjunto y acompasado entre los actores internos y externos. Y esto alarga los tiempos de la evaluacin. Finalmente, la evaluacin participativa incorpora a los titulares del programa evaluado; adems, considera que todos los que, de un modo u otro, se vinculan con el tema evaluado porque tienen intereses involucrados o pueden verse afectados por l, deberan tener protagonismo durante el proceso (Nirenberg, 2009). En general, esta estrategia se utiliza en polticas, programas y proyectos ya diseados de manera participativa, donde los titulares ya estn involucrados en el diseo de la intervencin y siguen participando durante su implementacin.
Evaluacin mixta
Evaluacin participativa
Para conocer ms sobre otras instancias de coordinacin con la sociedad civil, consultar la seccin 3.2 del manual de Coordinacin.
58
Las ventajas de esta opcin radican en que minimiza la distancia en tre el/la evaluador/a y los/as titulares y que suele ser ms exitosa en la deteccin de los efectos no previstos. No obstante, es el tipo de evaluacin ms larga y costosa de todas las presentadas ya que implica trabajar con un mayor nmero de actores y, por lo tanto, con un volumen mayor de informacin.
Ms informacin sobre los actores involucrados en la seccin 3.2 de este manual y en la seccin 3.2 del manual de Planificacin.
Tabla 2.3 Actores involucrados, ventajas y desventajas, por tipo de evaluacin (interna, externa, mixta, participativa)
Quines evalan? Evaluacin interna Actores internos a la organizacin que implementa el programa.
Qu ventajas tiene? -Minimiza la reactividad de los actores. -Menos costosa econmicamente y a nivel de recursos humanos. -Mayor influencia sobre el programa.
Qu desventajas tiene? -Minimiza la objetividad. -Minimiza la credibilidad social de la evaluacin. -Minimiza la utilizacin de estndares y tecnologa dura. -No necesariamente elimina el choque de intereses entre los diferentes actores. -Maximiza la reactividad de los sujetos. -Ms costosa econmicamente y en trminos de recursos humanos. -Menor influencia sobre el programa.
Evaluacin externa
Actores externos a la organizacin que implementa el programa.
-Maximiza la objetividad. -Maximiza la utilizacin de instrumentos metodolgicos adecuados. -Maximiza la credibilidad social de la evaluacin. -Maximiza la utilizacin de estndares. -Minimiza la reactividad de los actores internos. -Maximiza la credibilidad social de la evaluacin. -Maximiza la utilizacin de instrumentos metodolgicos adecuados. -Maximiza la influencia sobre el programa. -Minimiza la distancia que existe entre el/a evaluador/a y los/as titulares -Permite detectar efectos no esperados.
Evaluacin mixta
Actores internos y externos.
-Requiere un trabajo conjunto entre actores internos y externos. -Proceso ms largo que la evaluacin interna o externa.
Evaluacin participativa
Actores internos, externos y titulares del programa.
-Requiere un lapso de tiempo ms largo que todas las anteriores. -Tiene un costo ms alto que todas las anteriores.
Fuente: Fernndez Ballesteros (1995).
59
2.6 Vinculando el monitoreo y la evaluacin con el ciclo de vida de las polticas, los programas y los proyectos
Tal como hemos visto hasta aqu, la evaluacin puede entrar en escena y dialogar con los distintos momentos del ciclo de vida de una poltica, programa o proyecto social.
Figura 2.4 Ciclo de vida de una poltica o programa social y los tipos de evaluacin
Identificacin del problema Evaluacin ex ante o diagnstico (1)
Toma de decisiones sobre la poltica
Decisin
Evaluacin ex post (3)
Implementacin de la poltica Monitoreo o evaluacin concurrente (2)
Diseo y configuracin de la poltica
Fuente: CIPPEC.
Distintos tipos de monitoreo y evaluacin sern analizados en detalle en la seccin 3.3 de este manual. Sin embargo, adelantaremos algunos de sus rasgos para comprender el proceso en forma general.
XX Si evaluamos antes de comenzar la ejecucin, realizamos una evaluacin
ex ante (1). XX Si evaluamos durante la ejecucin, implementamos un proceso de mo nitoreo o una evaluacin concurrente (2). XX Si evaluamos una vez finalizada la ejecucin, llevamos adelante una eva luacin ex post (3).
60
Estas diferencias de temporalidad (ex ante, concurrente, ex post) responden a distintos objetivos. Adems, como se implementan en distintas etapas de las 3 P, cada una permite obtener informacin diferente. La evaluacin ex ante (1) es la que se realiza antes de poner en ejecucin el programa a evaluar. Su objetivo es determinar las posibilidades reales de que las decisiones que se pretenden poner en prctica generen el mayor impacto social posible (Pichardo Muiz, 1989). Tal como lo planteamos en la Figura 2.1, constituye un insumo fundamental para el diseo de las 3 P. La evaluacin ex ante permite determinar:
XX La viabilidad de la intervencin, es decir, la posibilidad real de que pueda
Evaluacin ex ante
ser implementada con xito.

XX La trascendencia social de la poltica, programa o proyecto, esto es, su
idoneidad y pertinencia para generar impacto social. Para determinar la viabilidad de una intervencin, la evaluacin ex ante pone el foco en la capacidad para movilizar recursos (ya sean estos de poder, humanos, materiales, de tiempo, etc.), en las capacidades organizacionales de la institucin que la implementar y en la disposicin actitudinal de los actores involucrados directa o indirectamente en la implementacin. Este es el momento indicado para intuir posibles logros a partir de las fortalezas y oportunidades, y potenciales problemas sobre la base de debilidades y amenazas (Pichardo Muiz, 1989). El otro componente de la evaluacin ex ante es el anlisis de la trascen dencia social. Si la viabilidad se enfoca en la capacidad de la institucin encargada de la intervencin y en la de la intervencin misma para llegar a ejecutarse, la trascendencia social es la constatacin de que ella puede producir, una vez ejecutada, el impacto social buscado. Por eso se analizan los siguientes componentes:
XX Coherencia interna: implica evaluar la consistencia entre metas, objetiEn el manual de Planificacin usted encontrar una gua para la aplicacin de la tcnica de Anlisis FODAfortalezas, oportunidades, debilidades y amenazas. Para ello, consultar la seccin 3.2 .
vos y acciones a realizar. XX Pertinencia: se trata de analizar si la solucin propuesta a travs del programa responde al problema concreto que se pretende solucionar.
61
Evaluacin concurrente
La evaluacin concurrente (2) es la que se realiza durante la ejecucin de una poltica, programa o proyecto. En aquellos de corta duracin, la evaluacin concurrente puede realizarse una nica vez; sin embargo, en las 3 P de mayor duracin se pueden realizar varias. Cuando nos encontramos en esta instancia, la evaluacin nos permite indagar sobre:
XX Eficacia: la probabilidad de que las 3 P alcancen sus objetivos, de acuer-
Ms informacin sobre caractersticas del monitoreo en general y las diferencias y similitudes entre actividades de monitoreo y evaluacin, en la seccin 2.1 y 2.2 de este manual.
do con el ritmo de su ejecucin.

XX Eficiencia: analiza la racionalidad en el uso de los recursos (entendidos
de manera amplia).
XX Productividad: se ocupa de la relacin entre recursos invertidos y resul-
tados alcanzados.
La evaluacin concurrente es un insumo para corregir los cursos de accin. Permite ajustar los componentes necesarios para alcanzar los objetivos propuestos.
Evaluacin ex post
La evaluacin ex post (3) se realiza al finalizar la ejecucin de una intervencin y examina, a partir de la situacin inicial, los cambios que se generaron a lo largo de su implementacin. Por eso, podemos decir que con ella se pone a prueba la poltica, programa o proyecto en su totalidad. Este tipo de evaluacin se nutre de todas las evaluaciones que se hayan realizado previamente y de los insumos que genera el proceso de monitoreo. A la hora de replicar una poltica, programa o proyecto, o de implementar segundas instancias de intervencin, la evaluacin ex post se convierte en un insumo fundamental para superar los problemas y obstculos encontrados o fortalecer los aspectos positivos detectados. En ella se tienen en cuenta:
XX Productos o resultados: los productos son los resultados concretos de
la implementacin de una de las 3 P. Se obtienen al comparar los objetivos, metas, actividades e insumos planificados, con los alcanzados. En trminos de productos, se analiza tanto la cantidad como la calidad. En general, los productos ya estn expresados en la formulacin de las 3 P.
62
XX Efectos: los efectos esperados son los cambios previstos que se desean
generar a travs de las 3 P. Son cambios positivos, con respecto a la situacin inicial, y se producen como consecuencia de los productos logrados. Los efectos no previstos son aquellos (positivos o negativos) que no fueron contemplados a la hora de planificar, pero que la evaluacin permite visualizar. XX Impacto: el impacto remite a un mayor nivel de profundidad ya que toma en cuenta el desarrollo de los efectos. En este sentido, pueden considerarse tambin los resultados a largo plazo.
Para mayor informacin, consultar la seccin 2.1 del manual de Planificacin.
Tabla 2.4 Evaluacin ex ante, concurrente, ex post
Qu debemos evaluar? Evaluacin ex ante Viabilidad: - Poltica. - Institucional. - Tcnica. - Jurdica. - Sociocultural. - Econmico financiera. Impacto social: - Coherencia interna. - Pertinencia. Evaluacin concurrente Evaluacin ex post Diseo. Ejecucin. Efectos. Productos. Efectos. Impacto.
Qu queremos responder? Es viable? Tiene impacto?
En qu momento de la vida de la poltica, programa o proyecto se aplica? Formulacin y diseo.
Es eficiente? Es eficaz? Es productivo? Qu resultados tuvimos en trminos de productos, efectos e impacto?
Ejecucin.
Ejecucin (si se desea evaluar resultados parciales). Finalizacin del Programa.
Fuente: CIPPEC, sobre la base de Pichardo Muiz (1989).
63
Adems de los beneficios especficos y de corto plazo, tanto el monitoreo como la evaluacin de polticas, programas y proyectos sociales son instru mentos que permiten aprender sobre la manera de disear e implemen tar polticas pblicas. Los datos que se obtienen a travs de ellos hablan sobre los titulares y su vnculo con la problemtica, y tambin sobre los tiempos de implementacin y las estrategias ms o menos efectivas a la hora de ejecutar una intervencin, entre otros.
64
Captulo 3 Mtodos, tcnicas y herramientas para monitoreo y evaluacin
3.1 3.2 3.3 3.3.1 3.3.2 3.3.3 3.3.4 3.4 3.4.1 3.4.2
Insumos necesarios para llevar adelante el proceso de monitoreo y evaluacin: la construccin de una lnea de base El proceso de monitoreo y evaluacin. Componentes Tipos de monitoreo y evaluacin Evaluacin para la puesta en marcha de polticas, programas y proyectos Monitoreo y evaluacin durante el proceso de implementacin de las polticas, programas y proyectos Evaluacin ex post de polticas, programas y proyectos sociales El monitoreo y la evaluacin como proceso de aprendizaje Herramientas para el monitoreo y la evaluacin Instrumentos y tcnicas para construir evidencia emprica Cmo utilizar la informacin? Instrumentos para la difusin y comunicacin de los resultados
67 71 84 84 88 94 98 100 100 115
UNICEF - CIPPEC
El objetivo de este captulo es describir, explicar y desarrollar tcnicas y herramientas de monitoreo y evaluacin (en adelante M&E), a partir de un enfoque temporal que las clasifica segn se las utilice antes, durante o despus de la im plementacin de una poltica, programa o proyecto social (en adelante, las 3 P). A lo largo de este captulo desarrollaremos: XX Una descripcin de los componentes del proceso de monitoreo y evaluacin. XX Una referencia a los insumos necesarios para llevar adelante ese proceso. XX La caracterizacin detallada de cada uno de los tipos de monitoreo y evaluacin, desde un enfoque temporal. XX Las fichas que corresponden a cada herramienta de M&E mencionada.
Cap.
3.1 Insumos necesarios para llevar adelante el proceso de monitoreo y evaluacin: la construccin de una lnea de base
Tal como sealamos en el captulo 2, para avanzar en un proceso de evaluacin es conveniente contar con una lnea de base (o patrn de referencia) establecida durante la etapa de diseo de las 3 P. Esta herramienta ser muy til para anticiparse a los problemas que pueden surgir en un determinado campo de accin o para elaborar las estrategias de intervencin orientadas a su resolucin. Adems, una vez que se implementa la intervencin, este punto de referencia resultar indispensable para evaluar su eficiencia (ver figura 3.1).
67
Figura 3.1 La lnea de base en el ciclo de vida de una poltica, programa o proyecto
Identificacin de problemas y necesidades
Lnea de base Punto de referencia
Evaluacin ex ante o diagnstico (1)
Toma de decisiones sobre la poltica
Decisin
Evaluacin ex post (3)
Implementacin de la poltica Monitoreo o evaluacin concurrente (2)
Diseo y configuracin de la poltica
Fuente: CIPPEC.
Lnea de base
La lnea de base es el punto de partida de una evaluacin, es decir, la situacin que se encuentra antes de que comience la intervencin. Esta herramienta sirve para caracterizar el problema y provee informacin valiosa tanto para la evaluacin como para el monitoreo: brinda datos tiles para disear la intervencin, implementarla y para medir su grado de xito. La lnea de base debe caracterizar la situacin de la poblacin objetivo antes de que se ponga en marcha un programa/proyecto o se lance una poltica (Cohen y Martnez, 2004). Para construirla, es necesario recopilar informacin sobre los problemas que afectan a la poblacin objetivo. Esto puede hacerse a travs de la bsqueda de informacin primaria (producida ad hoc para la evaluacin) o de informacin que provenga de fuentes secundarias.
68
A partir de la informacin compilada, ser necesario seleccionar in dicadores que permitan caracterizar las distintas dimensiones del problema focal. Para cada una de sus dimensiones ser necesario seleccionar uno o varios indicadores, a travs de los cuales se las podr valorar y evaluar. Una vez seleccionados los indicadores, ser necesario recolectar los datos para medirlos. Para la estimacin de la lnea de base se pueden utilizar las siguientes herramientas:
Los
indicadores
deben
definirse en funcin del contexto y de la especificidad de los objetivos planteados en el marco del proyecto a evaluar.
XX Encuestas. XX Entrevistas individuales. XX Grupos focales. XX Datos secundarios.
Cada una de estas tcnicas est desarrollada en fichas descriptivas que se encuentran al final de este captulo. Las fichas servirn como gua al momento de la aplicacin de FICHA las herramientas mencionadas. (Consultar fichas 1 a 4).
69
Encuesta de Actividades de Nios, Nias y Adolescentes: una herramienta pionera para medir y dimensionar la difusin del trabajo infantil y adolescente A inicios de la dcada de 2000, el Ministerio de Trabajo, Empleo y Seguridad Social (en adelante MTEySS) desarroll la primera herramienta disponible en la Argentina para dimensionar el trabajo infantil y adolescente. Las iniciativas del Estado argentino en pos de regular este tipo de prctica son de larga data: en 1907 se sancion la Ley 5291, que reglament el trabajo de los menores y las mujeres. Sin embargo, no fue hasta casi un siglo despus cuando apareci una herramienta que permiti dar cuenta, de manera cabal, del carcter, la naturaleza y la magnitud del trabajo infantil y adolescente, es decir, del trabajo en la poblacin de 5 a 17 aos. Ese instrumento es la Encuesta de Actividades de Nios, Nias y Adolescentes (EANNA). Con el objetivo de contar con informacin ms precisa en torno a las caractersticas principales de las actividades que desarrollan los nios, nias y adolescentes, se desarroll una metodologa especfica que pudiera abordar los problemas habitualmente sealados por la literatura sobre el trabajo infantil para luego avanzar sobre ellos (Waisgrais, 2007:101). La EANNA fue desarrollada en forma conjunta por el MTEySS y el Instituto Nacional de Estadsticas y Censos (INDEC) en el marco del Programa Encuesta y Observatorio de Trabajo Infantil y cont con la asistencia tcnica de la Organizacin Internacional del Trabajo (OIT) y del Programa de Informacin Estadstica y de Seguimiento en Materia del Trabajo Infantil (SIMPOC). La encuesta se propuso producir informacin estadstica sobre personas de entre 5 y 17 aos involucradas en actividades econmicas y no econmicas, y especificar sus caractersticas demogrficas, educativas y socioeconmicas generales, junto con las de sus hogares de pertenencia. Adems, busc obtener datos sobre las condiciones de trabajo y las causas por las cuales esos nios, nias y adolescentes tenan que trabajar. La encuesta recopil informacin sobre el trabajo infantil de dos grupos etarios particulares: personas de 5 a 13 y de 14 a 17 aos. Adems, revel mltiples aspectos como educacin y rendimiento escolar; actividades recreativas; actividades domsticas (tipo, intensidad, presencia de adultos, motivos y evaluacin); actividades econmicas (en la semana y el ao previo); tipo de trabajo; intensidad (horas semanales, trabajo nocturno, por temporadas); condiciones de trabajo; elementos de proteccin; percepcin de ingresos; accidentes laborales y su atencin; actitudes y valoracin del trabajo que realizan. Se aplic en el Gran Buenos Aires, Mendoza y en las subregiones del Noroeste (integradas por tres provincias: Jujuy, Salta y Tucumn) y Noreste (que abarca las provincias de Formosa y Chaco), donde se encuest tanto a la poblacin urbana como a la rural. Esto signific utilizar, por primera vez, el marco de muestreo urbano rural diseado por el INDEC para encuestas a hogares. Los datos elaborados a partir de la EANNA constituyen un punto de referencia obligado para el monitoreo y la evaluacin de las acciones que el MTEySS desarrolla para erradicar el trabajo infantil. La EANNA ya se implement en otras jurisdicciones como la provincia de Crdoba; sin embargo, solo su realizacin peridica, bajo las mismas condiciones y en los mismos lugares en los que se aplic en 2004, permitir dar cuenta de las variaciones efectivas ocurridas en el carcter, la naturaleza y la magnitud del trabajo infantil y adolescente en la Argentina.
Fuente: Ministerio de Trabajo, Empleo y Seguridad Social (2007).
70
3.2 El proceso de monitoreo y evaluacin. Componentes

Algunos componentes o pasos bsicos de todo trayecto evaluativo son indispensables para disear y poner en marcha un monitoreo o evaluacin de polticas, programas o proyectos. A partir de ellos, cada equipo evaluador desarrollar distintas acciones. En las siguientes pginas desplegaremos en forma breve cada uno de los 7 componentes que consideramos indispensables para orientar el diseo de una evaluacin10.
Figura 3.2 Componentes del proceso de evaluacin
1 2 3 4 5 6 7
Descripcin de la poltica, programa o proyecto Identificacin de los actores involucrados Identificacin, definicin y descripcin del problema Objetivos y preguntas en el marco de la investigacin evaluativa Construccin de la evidencia emprica Procesamiento y anlisis de los datos Socializacin de los resultados
10 Desarrollamos este punto a partir de lo propuesto en la Gua para la evaluacin del programas en educacin (Pascual y Chiara, 2008).
71
Componente 1: descripcin de la poltica, programa o proyecto

En el captulo 1 definimos y caracterizamos las diferencias entre polticas, programas y proyectos (las 3 P). Para iniciar una evaluacin, la primera cla ve es describir la intervencin a evaluar, es decir, el objeto de nuestra tarea. Como ya sealamos, las 3 P no se mantienen en estado puro, sino que se reformulan en la prctica. Por eso, si la evaluacin toma como objeto un programa en marcha o finalizado, el equipo evaluador deber re construir y describir el recorrido de transformaciones que atraves dicha intervencin.
Cmo describir una poltica, un programa o un proyecto? Algunos puntos clave:

XX Problema nodal: cul es el problema al que la intervencin busca dar
solucin?
XX Diagnstico: cules son los factores identificados que inciden sobre
este problema?, qu elementos del problema permiten afirmar que la intervencin es necesaria y suficiente? XX Objetivos: qu objetivos se propone alcanzar la intervencin? XX Poblacin objetivo: quines son sus destinatarios? XX Acciones y actividades: qu acciones y actividades prev? XX Recursos: con qu recursos (financieros, materiales, humanos, comunicativos, tcnicos) cuenta? XX Cobertura: cul es la inscripcin territorial de la intervencin: local, municipal, provincial, nacional? XX Resultados, efectos e impacto: qu resultados, efectos e impactos obtuvo o espera obtener? XX Tiempos: cul es el lapso de tiempo en el que la intervencin ser implementada? Es importante recordar que para describir cada elemento es necesario considerar los cambios ocurridos a lo largo de la implementacin de la poltica, programa o proyecto.
72
Componente 2: identificacin de los actores involucrados

La descripcin del componente 1 se completa entonces con una clara identificacin de los actores involucrados. Estos pueden ser organizaciones o individuos con algn tipo de incidencia. La nocin de actor remite a aquellos individuos o colectivos con ca pacidad para incidir (en forma positiva o negativa) en el proceso de implementacin de las polticas pblicas. Esta capacidad variar segn su peso relativo y dotacin de recursos de poder (Chiara y Di Virgilio, 2009). En cada uno de los niveles de gobierno en los que se implementan las 3 P, hay distintos actores vinculados de manera directa o indirecta. Por ejemplo, en un Programa de Proteccin de Derechos de Nias, Nios y Adolescentes, los actores que identificaremos podrn diferenciarse segn su nivel de im plementacin. Especficamente en el sector sanitario, el hospital pblico de Las Lomitas (Formosa) es un actor local relevante para el municipio ho mnimo, pero en el nivel nacional este lugar lo ocupan el Ministerio de Salud de la Nacin o un actor internacional como la Organizacin Panamericana de la Salud. Por su parte, los actores locales que inciden pueden variar segn las problemticas particulares de cada municipio. En Las Lomitas (Formosa), la mayor parte de la poblacin reside en el mbito rural; esto configura un entramado de actores diferente al del municipio de Avellaneda (Buenos Aires), donde la totalidad de la poblacin es urbana. En principio, es posible identificar diferentes actores potenciales en los procesos de implementacin. Por ejemplo, los organismos gubernamentales de los diversos niveles (local, provincial o nacional), las ONG, las organizaciones sociales de base, los sindicatos o los organismos internacionales. Sin embargo, solo el anlisis del proceso poltico nos permitir constatar si pueden ser considerados, efectivamente, como actores. Esta definicin es siempre dinmica y cambiante, por lo cual puede variar a lo largo del proceso de implementacin.
En la seccin 3.2 del manual de Planificacin se encuentran herramientas para avanzar en la construccin de un mapa de actores. Este instrumento ayuda a identificar a los actores involucrados, directa o indirectamente, en la implementacin de la poltica, programa o proyecto objeto de la evaluacin.
73
El proceso de identificacin de los actores involucrados en un programa requiere responder a las siguientes preguntas: Qu actores se encuentran involucrados directa e indirectamente? Qu intereses, valores, creencias y actitudes tienen estos actores? Cmo es la relacin de estos actores con la poltica, programa o proyecto?
Componente 3: identificacin, definicin y descripcin del problema

Los primeros dos componentes ayudan a esclarecer el campo de juego sobre el cual se sita la evaluacin. El tercero busca determinar cul es el nudo sobre el cual se pretende intervenir. Pero, cmo identificamos el problema? La definicin de una dificultad en el campo de las polticas pblicas no surge en el vaco. Es probable que muchos de los actores involucrados tengan ideas ms o menos precisas sobre cules pueden ser los inconvenientes que requieren la intervencin evaluativa. La definicin del problema es, entonces, el resultado de la identificacin de una vacancia a partir de las visiones y marcos conceptuales (muchas veces contrapuestos) y de los recursos y capacidades disponibles que surgen tanto de la opinin de los actores vinculados con el proyecto como de la mirada atenta del/la evaluador/a. A esta forma de trabajo se la denomina el modelo explicativo. Veamos un ejemplo:
Cmo identificamos el problema?
74
El diagnstico participativo y los talleres como herramientas de evaluacin para seleccionar la alternativa. El caso del Consejo de Niez y Adolescencia de Jess Mara El Consejo de Niez y Adolescencia de Jess Mara se conform en 2009, bajo la promocin del Programa de Atencin de Violencia Familiar de la municipalidad de Jess Mara, provincia de Crdoba. En este lugar, elPrograma convoc a todas las instituciones involucradas en la promocin de los derechos de nias, nios y adolescentes para conformar un espacio intersectorial. Con este fin, en 2009 se implementaron dos herramientas (un taller de diagnstico participativo y el taller de diseo de alternativas de abordaje) para evaluar la situacin, describir las principales problemticas de esta franja etaria en el municipio y, de este modo, orientar la decisin en trminos de poltica pblica. Para llevar adelante estas actividades, el Consejo de Niez (que contaba con alrededor de 15 miembros con participacin activa) realiz una convocatoria masiva y logr reunir a 50 personas para realizar el diagnstico y a cerca de 30 para el taller. En octubre de 2009 se realiz el Taller de diagnstico participativo de problemas y causas. El Consejo convoc a la comunidad para trabajar primero en la identificacin de las diversas problemticas que afectan localmente a los nios, nias y adolescentes y, luego, para determinar y analizar sus respectivas causas. Al concluir el diagnstico participativo, los miembros del Consejo se reunieron para sistematizar la informacin y jerarquizar los problemas ms urgentes y de mayor incidencia. Luego seleccionaron los tres ms relevantes para abordarlos durante el taller de alternativas. Los criterios contemplados para jerarquizar los problemas fueron: gravedad (en el tiempo y espacio), urgencia (en la percepcin del sector pblico, los sectores privados y el sector ciudadano), factibilidad (social y legal) e incidencia (cunto incide la solucin de cada problema sobre la resolucin de cada uno de los dems?). Como resultado de este trabajo de priorizacin, el Consejo determin que las prioridades ms urgentes eran: 1. El aumento de la violencia, ya sea a nivel familiar, institucional y social. 2. El aumento de la desercin escolar en el nivel medio. 3. El mayor consumo de sustancias adictivas a edades muy tempranas. El Consejo convoc nuevamente a la comunidad local para llevar a cabo el Taller de diseo de alternativas de abordaje e idear acciones o gestiones alternativas o ampliatorias de las existentes. Con toda la informacin recogida, organizada y analizada, se elabor un informe para el Poder Ejecutivo Municipal.
Fuente: Informe de presentacin de alternativas para el abordaje de problemticas de niez y adolescencia de Jess Mara; Consejo local de niez, adolescencia y familia de Jess Mara (2010).
75
El modelo explicativo
El modelo explicativo permite avanzar hacia la identificacin, defi nicin y descripcin de un problema focal: contribuye a describirlo a travs de algunas de sus caractersticas relevantes; explicita las rela ciones entre estos aspectos del problema y formula hiptesis sobre su naturaleza (Cohen y Franco, 1988). En el proceso de descripcin del problema, es necesario distinguir las variables que operan como parmetro del proyecto (sobre las que el proyecto no va a intervenir) y las variables instrumentales, es decir, aquellas que constituyen los elementos a ser transformados. Las primeras, aunque sean relevantes para la descripcin y explicacin del problema, no se modificarn con la intervencin.
Figura 3.3 Preguntas para la elaboracin de un modelo explicativo de un problema focal
Problema focal
Cul es su alcance (tiempo, espacio, actores a los que afecta)?
Cules son sus causas?
Cules son sus consecuencias?
Cules son las relaciones entre las causas y consecuencias identificadas?
Fuente: CIPPEC.
La construccin del modelo explicativo nos ayuda a realizar el proceso de traduccin que necesitamos para hacer de nuestro problema nodal un objeto evaluable. Esta traduccin se denomina operacionalizacin del problema e implica descomponerlo en diferentes dimensiones para poder caracterizarlo y medirlo. Las dimensiones son conceptos claves que pueden contrastarse empricamente, es decir que es posible medirlos una vez que se recolec taron los datos.
76
Estas dimensiones, a su vez, se vuelven a descomponer en un con junto de indicadores, es decir, en dimensiones ms pequeas que pueden ser medidas. Para la operacionalizacin, pueden seguirse los siguientes pasos11: 1. Enunciar el problema. 2. Enumerar las caractersticas que dan cuenta de la existencia del problema. 3. Enumerar los factores que inciden sobre el problema. 4. Agrupar las caractersticas y factores similares en aspectos clave o dimensiones. 5. Cotejar que las dimensiones identificadas sean excluyentes entre s y suficientes para caracterizar el problema. 6. Expresar, para cada dimensin, un conjunto de indicadores que se excluyan entre s, sean suficientes para describir cada dimensin y puedan ser contrastables empricamente. En la pgina siguiente, presentamos un ejemplo de operacionalizacin:
Operacionalizacin del problema
11 Elaborado a partir de la enumeracin de Pichardo Muiz (1989).
77
Ejemplo de operacionalizacin de un concepto: la erradicacin de la violencia a nios y nias Como su nombre lo indica, el programa Promocin del Buen Trato y Erradicacin de la Violencia de la organizacin Save the Children trabaja para erradicar todo tipo de violencia y promover el buen trato hacia los nios y nias. Este programa incluye la supresin del castigo fsico y psicolgico en la crianza, del abuso, de la explotacin sexual y de la trata de menores. Tambin involucra la atencin a nios y nias hijos/as de mujeres que son vctimas de violencia de gnero. Adems, busca que los Estados los y las reconozcan como vctimas directas de estas situaciones. En el marco de esta ltima lnea de accin, el programa podra solicitar una evaluacin externa para conocer sus resultados e impactos en materia de erradicacin de la violencia. A partir de esta demanda, sera necesario preguntarse por la definicin que se da a erradicar la violencia, para identificar luego la forma de medir su aumento o reduccin. Operacionalicemos el concepto segn la definicin del programa:
CONCEPTO Erradicacin de violencia de gnero Erradicacin de la violencia a nios y nias Erradicacin del castigo fsico a nios y nias Erradicacin del castigo psicolgico a nios y nias Erradicacin del abuso sexual infantil Erradicacin de la explotacin sexual infantil Erradicacin de trata de nios y nias
DIMENSIONES
Luego, tenemos que transformar o recodificar cada una de estas dimensiones en un conjunto de indicadores que permitan medir (a travs de distintas herramientas) su magnitud y caractersticas. Tomaremos solamente una de las dimensiones para ejemplificar el proceso: erradicacin del castigo fsico a nios y nias.
CONCEPTO Reduccin de la cantidad de casos reportados de castigo fsico en escuelas detectados por las familias Erradicacin del Castigo Fsico a nios y nias Reduccin de la cantidad de nios y nias con seales de castigo fsico detectados en escuelas y hospitales Reduccin de la cantidad de casos reportados de castigo fsico a nios y nias Reduccin del grado de aprobacin de padres y maestros acerca de la disciplina a travs del castigo fsico a nios y nias
DIMENSIONES
Estos indicadores pueden ser medidos, por ejemplo, en los municipios donde se instrumenta el Programa y en los cuales solo se realizaron acciones especficas para incidir sobre este problema.
78
Componente 4: objetivos y preguntas en el marco de la investigacin evaluativa

Una vez delimitadas las fronteras del problema focal, es necesario establecer el para qu de la evaluacin:
XX Qu preguntas se desean responder a partir de este proceso? XX Cules sern los objetivos de la evaluacin?
Los objetivos y las preguntas de la evaluacin se derivan del proble ma delimitado. Se trata de establecer un conjunto de interrogantes en torno al problema. Las preguntas deben ser pertinentes, relevantes para la toma de decisiones posterior a la evaluacin y susceptibles de ser respondidas empricamente con los recursos disponibles. El objetivo general de la evaluacin enuncia de manera precisa lo que se espera lograr a partir del proceso evaluativo, y debe corresponderse con las preguntas formuladas en torno al problema construido. Los objetivos especficos de la evaluacin deben referirse a las dimensiones del problema definidas anteriormente. Estos objetivos funcionan tambin como punto de foco, al que se puede volver en distintos momentos del proceso evaluativo. A partir de los objetivos de la evaluacin, es necesario definir el di seo evaluativo, es decir, el esquema general que permite detectar cul es el mejor modo de alcanzar los objetivos postulados. Ms adelante nos abocaremos a esta cuestin.
En la seccin 3.3 de este manual, ms informacin sobre los tipos de monitoreo y evaluacin.
Componente 5: la construccin de la evidencia emprica

En esta instancia, la evaluacin se acerca al terreno. Para construir la evidencia es necesario recolectar informacin que permita responder a las preguntas y cumplir los objetivos que nos planteamos en el componente 4. En esta etapa, el/la evaluador/a tiene que seleccionar los instrumentos que utilizar.
79
Cmo se selecciona el instrumento?
Cmo se selecciona un instrumento? Para saber cul de ellos se adeca mejor a una evaluacin determinada, se deben tener en cuenta los objetivos de la evaluacin, los recursos disponibles y los tiempos establecidos. Entramos aqu en una etapa diferenciada de las anteriores, la implementa cin de la evaluacin.
Es necesario planificar cuidadosamente, a travs de un crono-
Para mayor informacin, consultar la seccin 2.1 del manual de Planificacin.
grama, los tiempos y espacios de cada etapa. Hay que prever anticipadamente los medios adecuados para documentar todo el proceso de recoleccin de informacin (grabadores de audio, fotocopias de documentos, entre otros).
Para la eleccin de los instrumentos y herramientas, es necesario preguntarse:

XX Cul es el mejor instrumento de recoleccin para cada indicador? XX Cules de esos instrumentos son factibles de ser aplicados en esta
evaluacin particular?
Figura 3.4 Instrumentos y tcnicas para construir evidencia emprica
Observacin participante
Listas de control con preguntas Anlisis de las partes interesadas
Datos secundarios
Grupos focales
Tcnica Delphi
Entrevistas individuales Instrumentos y tcnicas para construir la base emprica
Clculo de los costos reales Clculo de la relacin costo impacto
Encuestas
80
La relacin entre cada una de estas tcnicas y cada tipo de evaluacin ser desarrollada al final de este captulo. Primero, caracterizaremos a cada instrumento y tcnica para construir evidencia.
Componente 6: procesamiento y anlisis de los datos

Con la informacin recolectada, comienza uno de los principales desafos: su procesamiento y anlisis. Los resultados de este trabajo permiten extraer conclusiones y recomendaciones. El mejor modo de orientar esta etapa es volver a las preguntas formuladas, ya que el fin de la recoleccin de la informacin es responderlas. A partir de esos interrogantes, es til elaborar una matriz de da tos que permita volcar la informacin obtenida y, de este modo, responder a cada una de las cuestiones. Una matriz de datos es una tabla donde se carga la informacin relacionada con las distintas dimensiones del problema evaluado.
Al final del captulo encontrarn fichas descriptivas que les servirn como guas al momento de la aplicacin (consultar fichas 1 a 10).
FICHA
Una matriz de datos es una tabla donde se carga la informacin relacionada con las distintas dimensiones del problema evaluado.
Cap.
UNICEF - CIPPEC
En el anlisis, es importante recordar que los datos recolectados hablan de cuestiones diversas, y tener en cuenta las limitaciones de cada instrumento. Por ejemplo, las entrevistas en profundidad brindan una posible interpretacin de ciertos hechos, pero estas miradas pueden diferir entre distintos actores. Esto no necesariamente descalifica a los/as informantes, sino que manifiesta la ausencia de consenso en la interpretacin de ese hecho, o que existen conflictos de intereses entre los actores que lo interpretan. Una vez procesada la informacin, se procede a la realizacin de un primer anlisis de los datos, para identificar los nudos crticos. Este anlisis suele ser descriptivo, aunque no por ello pierde calidad informativa. Luego, se profundizan los nudos crticos para completar esta fase de anlisis. El segundo anlisis permite realizar inferencias o extraer conclusiones ms generales.
81
Los pasos a seguir durante el procesamiento y anlisis de datos se resumen en:

XX Organizar y sistematizar la informacin sobre la base de las preguntas de
la evaluacin.
XX Realizar un primer anlisis descriptivo de la informacin sistematizada. XX Identificar los nudos crticos. XX Si es posible, realizar un segundo anlisis inferencial12 de la informacin
sistematizada.
XX Extraer conclusiones y recomendaciones del anlisis.
Componente 7: socializacin de los resultados

La comunicacin de los resultados puede realizarse de distintos modos segn los recursos disponibles, los/as destinatarios/as de la informacin y los objetivos del proceso evaluativo. En general, se produce algn tipo de documento escrito que sintetiza los principales hallazgos y condensa las conclusiones y recomendaciones que de l se desprenden. Entonces, en este ltimo paso se elabora algn tipo de producto como resultado del proceso evaluativo, orientado a comunicar los resultados a los actores pertinentes. Muchas veces, se desarrollan distintos tipos de comunicaciones para llegar a los distintos actores, segn sea su relacin con las 3 P. En todos los casos, es recomendable apelar a la capacidad de sntesis y redaccin o expresin fluida y directa.
Con el objetivo de caracterizar cada una de las tcnicas para socializar los resultados, se incluyen al final de este captulo fichas descriptivas que tambin servirn como gua al momento de la aplicacin de estas herramientas (consultar FICHA fichas 11 a 15)
Cualquier tipo de comunicacin de resultados contiene, por lo menos, los siguientes elementos:
XX Hallazgos o hechos ms relevantes. Hechos sociales de inters, im-
pactos deseados y no deseados, balance entre ambos, factores clave que incidirn en el logro de los resultados.
12 El anlisis inferencial refiere al uso de tcnicas y procedimientos estadsticos que permiten generar modelos, inferencias y predicciones asociadas a los fenmenos. Se usa para encontrar patrones en los datos y hacer deducciones acerca de la poblacin bajo estudio. Las inferencias que se realizan a partir de datos de una muestra se denominan inferencias estadsticas y pueden tomar la forma de respuestas a preguntas si/no (prueba de hiptesis), estimaciones de caractersticas numricas (estimacin), pronsticos de futuras observaciones, descripciones de asociacin (correlacin) o establecer (modelar) relaciones entre variables (anlisis de regresin).
82
XX Conclusiones extradas. Elaboradas a partir de los principales hallazgos
de la investigacin. Sintetizan sus principales aprendizajes y lecciones.

XX Recomendaciones o propuestas de accin. Pueden orientarse a dis-
tintos niveles: gestores de la intervencin, organismos financieros que sostienen o auspician la intervencin, responsables de alta jerarqua, destinatarios de la accin. Veamos un ejemplo sobre socializacin de resultados.
El caso del Censo Social Quilmes 2010, el primer censo social en el Conurbano Durante 2010, el municipio de Quilmes realiz el primer Censo Social en el Conurbano Bonaerense. El trabajo de campo se realiz en los barrios que se encuentran en mayor situacin de vulnerabilidad social. Su ejecucin no fue una tarea sencilla e involucr a numerosos actores de diferentes mbitos. El Censo se realiz con el fin de identificar a los hogares en situacin de vulnerabilidad social y de recabar informacin estratgica para elaborar un Plan de Inversin Plurianual, enfocado en solucionar los principales problemas sociales de la localidad, mejorar las decisiones de polticas pblicas y aumentar la eficiencia y la inversin social en cada barrio. El relevamiento puede ser considerado como una lnea de base para que el gobierno local disee futuras intervenciones. Adems de recabar informacin para determinar caractersticas demogrficas de la poblacin, de los hogares y de las viviendas, el Censo recuper datos sobre el mercado de trabajo, los niveles de ingresos, el acceso a la salud y la presencia de personas con discapacidad. Tambin incluy un apartado sobre la situacin de la niez y adolescencia, en particular sobre educacin y maternidad adolescente. El Censo se realiz, a su vez, con un enfoque educativo. Por eso, sus resultados fueron difundidos a travs de una amplia campaa que incluy la publicacin de la informacin obtenida en seis cuadernillos con los siguientes ttulos: 1. Las polticas pblicas, la participacin y la informacin social. 2. Caractersticas de los hogares. 3. Caractersticas de las viviendas. 4. Infancias, adolescencias y educacin. 5. Salud y discapacidad. 6. Poblacin migrante. El Censo Social Quilmes 2010 permiti mejorar el diagnstico social de cada uno de los barrios en situacin de vulnerabilidad social de esta localidad.
Fuente: El Censo Social como herramienta de organizacin comunitaria y participacin social. Cuadernillo N 1-6. Secretara de Desarrollo Social, municipio de Quilmes.
83
Socializar los resultados de la evaluacin es un componente estratgico del proceso de gestin de las 3 P, ya que colabora con la consolidacin de una concepcin de la evaluacin como proceso (y no como medida de control), que facilita el logro progresivo de los objetivos y metas a alcanzar en el desarrollo de una intervencin.
3.3 Tipos de monitoreo y evaluacin

3.3.1 Evaluacin para la puesta en marcha de polticas, programas y proyectos Evaluacin ex ante
La evaluacin ex ante es la que se realiza antes de la ejecucin de una poltica, programa o proyecto. Por eso, no resulta sencillo definir un diseo para aplicarla ya que, en algn sentido, se trata de evaluar algo abstracto. Esta evaluacin se realiza para contar con criterios racionales que permitan responder a la siguiente pregunta: la iniciativa debe implementarse? (Cohen y Franco, 1988). En este procedimiento, la determinacin del grado de viabilidad es el que permitir tomar la decisin clave: si la intervencin debe o no im plementarse. Para responder a esta pregunta ser necesario considerar las siguientes subpreguntas (Pichardo Muiz, 1989): Es polticamente viable? Es institucionalmente viable? Es tcnicamente viable? Es financiera y econmicamente viable? Es jurdicamente viable? Es socioculturalmente viable?
La poltica, el programa o el proyecto:
Consultar en el manual de Planificacin la gua para la aplicacin de la tcnica de Anlisis FODAfortalezas, oportunidades, debilidades y amenazas. Para ello, consulte la seccin 3.2 .
A partir del anlisis de estos aspectos, se espera que la evaluacin ex ante permita advertir potenciales fortalezas, oportunidades, debilida des y amenazas en cada una de estas dimensiones. Ahora bien, cmo evaluamos las distintas dimensiones? A continuacin, presentamos un esquema til para formular preguntas sobre la viabilidad de cada dimensin.
84
A. Viabilidad poltica
Aunque el anlisis de la dimensin poltica atraviese a las dems dimensiones, el centro de inters est puesto en confrontar los programas con los intereses y expectativas de los actores vinculados a ellos de manera di recta. Sus intereses y expectativas son relevantes porque pueden incidir en el logro de los resultados buscados. En este sentido, los recursos de poder de cada actor repercuten en la viabilidad poltica de nuestro programa o poltica. Por eso, es necesario evaluar en qu medida el programa (y las ac ciones que propone) significa un costo o un beneficio para los distintos actores involucrados, y de qu tipo de costo o beneficio se trata. Por ejemplo, las acciones involucran la legitimidad y el prestigio de algn actor?, brindan un excedente, ingreso o posibilidades de acceso a nuevos bienes y servicios?, permiten que algn grupo acceda a poder institucional o poltico?, afectan las relaciones intergubernamentales?, en qu medida? El costo o beneficio puede medirse a partir de las reacciones de los actores, que pueden subdividirse en tres grandes grupos: apoyo, rechazo o indiferencia. B. Viabilidad institucional Esta dimensin se vincula con la capacidad organizacional de la institucin que implementar la poltica, programa o proyecto. Se traduce en el anlisis de los niveles de institucionalidad, tanto formales como informales, con los que cuenta la organizacin.
Es importante evaluar la viabilidad en cinco planos: Poltica Institucional
Financiera y econmica Para evaluarlo, podemos hacernos las siguientes preguntas: Jurdica en qu medida los objetivos generales y los especficos de las Sociocultural organizaciones ejecutoras se adecan a los objetivos de la iniciativa a implementar?, de qu modo las lneas de trabajo de la organizacin ejecutora favorecen u obstaculizan la consecucin de sus objetivos?, su organizacin interna beneficia a la implementacin del programa?, existen experiencias previas de realizacin de acciones similares?, la dinmica del funcionamiento cotidiano institucional favorece el logro del impacto social deseado?, sus recursos humanos estn adecuadamente capacitados para implementarlo?, la institucin posee la legitimidad necesaria para intervenir?, etc.
85
C. Viabilidad financiera y econmica La dimensin financiera es, seguramente, la ms visible y la que ms merece una atencin especial porque, sobre todo en los programas sociales, el presupuesto tiende a ser ajustado. Por eso, la viabilidad financiera considera en qu medida se cuenta con los recursos financieros para que la po ltica, programa o proyecto a implementar pueda ejecutarse y generar impacto social. Podemos analizarla a partir de las siguientes preguntas: cuntos y cules son los recursos financieros necesarios para que el programa genere impacto social?, y segn la respuesta anterior, cul es el plan de financiamiento requerido? Finalmente, cul es la dinmica de flujos financieros requerida?, desencadena la intervencin sinergias en trminos presupuestarios? D. Viabilidad jurdica El aspecto jurdico es relevante para las 3 P, en particular para aquellas orientadas a niez y adolescencia, ya que se trabaja con una poblacin objetivo que es menor de edad. Para garantizar su viabilidad, ser necesario con siderar que se ajuste a las leyes nacionales y provinciales y a la base legal institucional de la organizacin ejecutora. E. Viabilidad sociocultural Esta dimensin se pregunta si la iniciativa es viable en relacin con los valores, normas, creencias, tradiciones, costumbres, actitudes y men talidades de los grupos de beneficiarios. La pregunta a responder sera entonces: cul es el grado de correspondencia entre las medidas propuestas y las relaciones culturales arraigadas en los grupos sociales beneficiarios?
86
Un ejemplo de evaluacin ex ante: el caso de la extensin de la educacin obligatoria en la Ciudad Autnoma de Buenos Aires
La Constitucin de la Ciudad de Buenos Aires, sancionada en 1996, establece en su artculo 24 que la educacin obligatoria se prolongue de los siete aos tradicionales a diez. Para hacer operativo este mandato, el Gobierno de la Ciudad sancion, en el ao 2002, la Ley 898/2002. En ese marco, la entonces Direccin de Programacin Educativa implement una evaluacin ex ante con el fin de obtener los insumos necesarios para la puesta en marcha de la iniciativa. La implementacin de la obligatoriedad se revelaba como una intervencin compleja e integral para el nivel secundario, que pona el foco en las escuelas como espacio de gestin estratgica para asegurar la captacin de los/as jvenes que haban abandonado la escolaridad media o que nunca haban ingresado, y su permanencia en el sistema. En ese contexto, a travs de la evaluacin se busc responder a las siguientes preguntas: bajo qu condiciones se implementaba la propuesta de obligatoriedad de la educacin media en la Ciudad de Buenos Aires?, en qu medida estas condiciones respondan (o no) a los requerimientos de la Ley?, qu requerimientos no estaban siendo atendidos? y por qu? A partir de estos interrogantes, el equipo evaluador formul el objetivo general del estudio: evaluar las condiciones en las cuales se implementaba la propuesta de obligatoriedad de la educacin media en la Ciudad de Buenos Aires e identificar el ncleo de potenciales problemas relacionados con la intervencin. Adems, y a los fines de la evaluacin, se definieron y clasificaron los principales obstculos a los que se enfrentaba la aplicacin de la ley, segn los distintos niveles de intervencin de la iniciativa: Procesos vinculados al nivel socioeconmico y educativo de las familias con las que conviven los/as jvenes. Procesos vinculados al nivel macroinstitucional, en particular, al de la Secretara de Educacin y de los
organismos encargados de la gestin de las polticas sociales en el nivel local. Procesos vinculados a las caractersticas del puesto de trabajo docente. Procesos institucionales (nivel de las escuelas). Procesos a nivel de la clase. Con respecto a su viabilidad poltica, la iniciativa contaba como principal ventaja con la aceptacin y voluntad poltica para su implementacin. Adems, tanto su posibilidad jurdica como la financiera estaban aseguradas a travs de la Ley que prevea, incluso, una partida presupuestaria especfica. Cap. En un contexto en el cual algunas de las dimensiones de la viabilidad estaban aseguradas, las dimensiones institucional y sociocultural tomaron especial relevancia. La construccin de la evidencia emprica para caracterizar estos procesos se realiz a travs de herramientas de abordaje cuantitativo y cualitativo. En el primer caso se utiliz la tcnica del anlisis de datos secundarios: a partir del anlisis de datos del sistema educativo se reconstruy el trayecto educativo desde 1998 a 2001. Por su parte, la estrategia cualitativa const de entrevistas personales para construir la perspectiva de los actores involucrados sobre los dficits para captar y retener a esa poblacin Al final de este captulo se incluyen fichas descriptivas percibidos desde las escuelas. que tambin servirn como gua El siguiente paso fue sistematizar al momento de la aplicacin de la informacin recolectada a estas herramientas (consultar fichas 2 y 4). travs de las entrevistas y los datos secundarios. Finalmente, a partir de la informacin obtenida, se elabor un informe de resultados que fue socializado con los actores de la entonces Direccin de Programacin Educativa del Ministerio de Educacin de la Ciudad de Buenos Aires. Para la estructuracin del informe se tuvieron en cuenta las dimensiones del problema focal y las preguntas de investigacin.
Fuente: Secretara de Educacin del Gobierno de la Ciudad de Buenos Aires (2002).
UNICEF - CIPPEC
87
3.3.2 Monitoro y evaluacin durante el proceso de implementacin de las polticas, programas y proyectos Monitoreo y evaluacin durante la implementacin
El monitoreo y la evaluacin concurrente permiten extraer informacin relevante sobre la ejecucin de las 3 P, que puede ser utilizada como base para su ajuste, reorientacin o planificacin de la programa cin. Sin estos elementos sera imposible juzgar si estamos yendo a donde queremos ir, reivindicar progresos y xitos o saber cmo mejorar nuestros esfuerzos. Como mencionamos en el captulo 2, la evaluacin concurrente es la que se realiza durante la ejecucin de una intervencin. Su finalidad es facilitar la toma de decisiones de tipo correctivo o de mejoramiento. Como toda evaluacin, es un proceso con un principio y un fin: busca mejorar la eficiencia operativa (no le preocupa determinar los impactos). Consiste en la elaboracin de un diagnstico sobre el estado de la poltica, programa o proyecto, trata de identificar aquellos factores que limitan la posibilidad de alcanzar los objetivos y plantea soluciones tendientes a superar esas restricciones. A diferencia del monitoreo que supone una continua comprobacin de la programacin, ejecucin y primeros impactos de las 3 P a travs de un proceso permanente de recoleccin y anlisis de los datos, de elaboracin de informes y del uso de la informacin (Comitato Internazionale, 2004), la evaluacin concurrente es un estudio transversal que se realiza en un momento especfico del proceso de implementacin. Permite comparar la situacin con proyecto con la situacin inicial sin proyecto. Adems, facilita el conocimiento de las variaciones (positivas o negativas) que ocurrieron desde la situacin hasta ese momento de la ejecucin13. A travs del diseo de la evaluacin concurrente, se busca realizar un balance para determinar en qu medida la situacin resultante (luego de un tiempo de transcurrida la ejecucin de la poltica, programa o proyecto)
Diferencias entre monitoreo y evaluacin concurrente
13 Usualmente, se afirma que el monitoreo surge de la comparacin entre lo programado y lo realizado; sin embargo, es importante aclarar que esta comparacin es solamente cierta si la formulacin de lo programado es idnea y realista. Si esta programacin es arbitraria, monitorear no tiene sentido, es decir que formulacin, programacin y monitoreo estn estrechamente relacionados (Cohen y Martnez, 2004).
88
supera a la situacin inicial (determinada por la lnea de base) y se acerca a la situacin deseada (definida por las metas y objetivos). Por eso, en la evaluacin concurrente se evala el diseo de la intervencin, la ejecucin y sus efectos. Su utilidad radica en que permite la retroa limentacin para la toma de decisiones en relacin con lo programado inicialmente. Colabora, adems, en la seleccin de alternativas de accin para corregir limitaciones que se generaron durante la implementacin y en la identificacin de aquellas buenas prcticas que ya se estn desarrollando. Se retroalimenta as el proceso de implementacin con los recursos y aprendizajes adquiridos. Proponemos aqu un esquema que permite visualizar la utilidad de la evaluacin concurrente:
Figura 3.5 La utilidad de la evaluacin concurrente
Qu debemos evaluar?
EL DISEO LA EJECUCIN LOS EFECTOS
Hay variaciones entre lo programado y ejecutado? NO Contina la ejecucin de acuerdo con la programacin inicial
Introducir ajustes (medidas preventivas o correctivas)
Fuente: Pichardo Muiz (1989).
89
Podemos dividir a la evaluacin concurrente en14:

XX Evaluacin del diseo: busca evaluar la pertinencia y vigencia del diseo
de la iniciativa, a partir de la forma en la que fue inicialmente concebida y de las acciones que finalmente se realizaron. La pregunta que gua esta evaluacin es: el diseo es coherente con las acciones desarrolladas en el marco de la intervencin y con las metas que se propone alcanzar?
XX Evaluacin de la programacin y la ejecucin: para evaluar la progra-
macin y la ejecucin se utilizan, como insumos bsicos, los producidos por el sistema de monitoreo. A partir de dichos insumos, sumados a otros que puedan obtenerse ad hoc, la evaluacin de esta dimensin se centra en comparar: - Objetivos alcanzados y objetivos programados. - Metas alcanzadas y metas programadas. - Actividades realizadas y actividades programadas. - Insumos utilizados e insumos programados. - Tiempos de ejecucin efectivos y tiempos de ejecucin programados.
XX Evaluar los efectos: as como es importante tener en cuenta los proble-
mas que surgen durante la implementacin, en la evaluacin concurrente es fundamental realizar una primera aproximacin a los logros de la poltica, programa o proyecto implementado, as como a los efectos no deseados de la ejecucin. Para evaluar los logros alcanzados durante la evaluacin concurrente, se propone utilizar la matriz para el anlisis de logros alcanzados en la ejecucin porque permite sistematizar la informacin y presentarla a otros actores involucrados de manera clara.
14 Nos Interesa destacar aqu que la evaluacin del diseo, programacin, ejecucin y efectos tiene que enmarcarse en una reflexin amplia acerca de si hubo o no cambios contextuales que contribuyeron a la redefinicin del problema sobre el que se pretenda intervenir.
90
Tabla 3.1 Matriz para el anlisis de logros alcanzados en la ejecucin
LOGROS IDENTIFICADOS Reduccin de la mortalidad infantil
INDICADORES DE XITO -Tasa de mortalidad de menores de cinco aos. -Tasa de mortalidad infantil. -Porcentaje de nios/as de 1 ao vacunados/as contra el sarampin. - ndice mundial de paridad entre los gneros. -Tasa neta total de matriculacin/ asistencia en la escuela primaria.
FACTORES QUE HAN CONTRIBUIDO - Inclusin de vitamina A en vacunas. - Programa para aumentar lactancia materna exclusiva. - Programa integral de salud a mujeres embarazadas. -Creacin de escuelas acogedoras. -Introduccin de cursos de educacin con sensibilidad en materia de gnero. - Formacin de maestros/as en materia de gnero.
FORMAS DE CONSOLIDACIN Promocin de cuidados de salud y acompaamiento a mujeres embarazadas y purperas. Programa para la matriculacin de nias en entornos educativos de calidad.
Reduccin de la disparidad entre gneros en enseanza primaria
Este proceso de identificacin de logros permite, a su vez, conocer cules son los problemas que aparecieron durante la ejecucin. Para analizar sus causas y tomar las decisiones correctivas necesarias, resulta apropiado utilizar la matriz para el anlisis de problemas que pueden encontrarse durante la ejecucin.
Tabla 3.2 Matriz para el anlisis de problemas que pueden encontrarse durante la ejecucin
PROBLEMAS Dificultades de comunicacin
CAUSAS Objetivos poco claros o confusos. Inexistencia de un mecanismo institucional de transmisin de informacin. Conflicto de intereses. - Ausencia de herramientas para abordar el problema. - Falta de inters de las autoridades para avanzar en la direccin propuesta.
ACTORES INVOLUCRADOS - Agencia financiera. - Institucin ejecutora. - Grupo destinatario.
POSIBLES ESTRATEGIAS PARA ENFRENTARLOS - Elaboracin participativa del rbol de problemas. - Planificacin colectiva de las posibles modificaciones al programa. - Capacitaciones y talleres de formacin.
Falta de recursos humanos e infraestructura adecuada
- Directivos. - Maestros/as y formadores. -Grupo destinatario.
91
Un ejemplo de evaluacin concurrente: el caso del PROAME (Programa de Atencin a Menores en Riesgo) El PROAME fue un programa nacional del Consejo Nacional de Niez, Adolescencia y Familia (Ministerio de Desarrollo Social de la Nacin, iniciado en 1996). Surgi con el objetivo de crear y desarrollar una red interinstitucional, con participacin del sector pblico y de organizaciones de la sociedad civil (OSC), que proveyera servicios preventivos y atencin integral para mejorar la insercin y adaptabilidad social de los/as titulares del Programa. En su primera etapa (1996 a 2000), el PROAME financi proyectos presentados por OSC, que se enfocaban en la reinsercin de los/as titulares en los mbitos familiares escolares y comunitarios. En su segunda etapa (PROAME II), incorpor un componente destinado a fortalecer las reas de niez y adolescencia de las jurisdicciones provinciales para conformar un proceso de gestin asociada con las organizaciones de la sociedad civil. Especficamente, se dirigi a apoyar a los gobiernos provinciales en: (i) la mejora y ampliacin de la calidad y cobertura de prestaciones sociales destinadas a nios, nias y adolescentes en situacin de riesgo social y (ii) el diseo e implementacin de estrategias efectivas para enfrentar la problemtica de niez y adolescencia en situacin de riesgo social. En este contexto, los actores involucrados eran todos los que estaban relacionados o tenan intereses puestos en el PROAME II: - Equipo del PROAME II, en particular los/as encargados/as de evaluacin y monitoreo. - OSC beneficiarias del PROAME II. - Consejo Nacional de Niez, Adolescencia y Familia del Ministerio de Desarrollo Social de la Nacin. El equipo del Programa buscaba evaluar la ejecucin y los efectos del Programa. Pero, cules eran los problemas en su implementacin y cules eran sus efectos? En 2006, PROAME II solicit una evaluacin concurrente al SIEMPRO (Sistema de Informacin, Monitoreo y Evaluacin de Programas Sociales). Sus objetivos eran: (1) Evaluar la efectividad de las acciones desarrolladas para mejorar el desempeo de las reas de niez y adolescencia de los gobiernos provinciales. (2) Conocer la efectividad de los servicios de los Proyectos en los titulares directos del Programa. Evaluar la calidad de los servicios y la conformidad por parte de los titulares, as como tambin algunos aspectos vinculados a la gestin de los Proyectos. (3) Evaluar el desempeo del Programa a nivel de la Unidad Ejecutora Central (UEC) y de las Unidades Coordinadoras Provinciales (UCP). (Agoff y otros, 2006). Se buscaba evaluar la ejecucin y los efectos del Programa. A partir de ello, se podra determinar el grado de cercana o lejana con el diseo. En el marco del objetivo 1, se exploraron la efectividad de las acciones, su articulacin y su sustentabilidad. Sobre el objetivo 2 se evalu el proceso de admisin de las OSC al Programa, cmo valoraban las OSC al PROAME II, la perspectiva de los/as titulares y padres/madres de los/as titulares sobre las actividades, los resultados de los proyectos, el costo de los servicios del Programa, la infraestructura, los equipos de trabajo y las capacitaciones de las OSC. Finalmente, el objetivo 3 se desagreg en las siguientes dimensiones analticas: adecuacin de la organizacin de la Unidad Ejecutora del Programa (UEP) y de las Unidades Coordinadoras Provinciales (UCP);
92
ajuste entre la planificacin y la ejecucin del Programa; articulacin entre el nivel central del Programa y las provincias; asignacin de recursos; desempeo de las UCP; sistema de monitoreo, control y evaluacin; registro de titulares y la estructura del gasto del Programa. Cmo se abord este proceso? En primer lugar, se seleccion una muestra de 17 proyectos entre todos los incluidos en PROAME II. Para la recoleccin Para mayor de datos cuantitativos, se realizaron informacin encuestas a 1208 titulares de 12 a 18 aos consultar la y a padres de titulares de 0 a 11 aos. Se ficha 1. utiliz un cuestionario semiestructurado, con preguntas cerradas y abiertas. Las encuestas a los titulares directos permitieron dimensionar los cambios percibidos por los titulares respecto a su situacin social y conocer el nivel de conformidad con las prestaciones de los Proyectos. Para complementar esta informacin se realiz un trabajo cualitativo en 11 de los 17 proyectos seleccionados. Para ello, se utiliz la tcnica de las entrevistas Para mayor personales y grupos focales. Se informacin realizaron 76 entrevistas en profundidad consultar las y 2 grupos focales. Las entrevistas a fichas 2 y 3. informantes clave apuntaron a la exploracin entre los tcnicos en condiciones de proveer testimonios relevantes acerca de los proyectos implementados por las
OSC y sus actividades, sus dificultades y oportunidades, y los aspectos que mantendran y modificaran, entre otros. A partir de los grupos focales fue posible recabar tambin la opinin de los/as representantes de las OSC ejecutoras acerca de diversos aspectos vinculados a su ejecucin, desempeo e impacto en los titulares directos. Esto permiti contar con elementos para identificar posibles reas de mejora y las principales fortalezas y debilidades, y contraponer las distintas experiencias y realidades entre proyectos y provincias. Luego, el trabajo de evaluacin se complement con anlisis de fuentes secundarias (documentos del Programa). Esta instancia permiti contar con Para mayor informacin sobre los aspectos vinculados informacin a la gestin del Programa, tanto en el nivel consultar la central como en los niveles provinciales de ficha 4. ejecucin. Las tcnicas expuestas permitieron recolectar tambin informacin que fue procesada por especialistas en tcnicas cuantitativas y cualitativas. Luego, se revisaron los objetivos del estudio y se realizaron las inferencias analticas. Como resultado de la evaluacin, se elabor un informe escrito. Los resultados fueron socializados entre el equipo del PROAME.
93
3.3.3 Evaluacin ex post de polticas, programas y proyectos sociales Evaluacin ex post

La evaluacin ex post se realiza cuando la poltica, programa o proyecto termin, o cuando finaliz una de sus etapas o ciclos, ya que se aplica so bre la base de la informacin derivada de la implementacin. Permite evaluar lo realizado: sus resultados, efectos e impactos. A partir de ella, puede decidirse por ejemplo la continuidad de un programa, su replicacin o la construccin de una experiencia superadora. Se utiliza tambin para rendir cuentas a actores involucrados con el proyecto, como agencias financiadoras o la ciudadana misma.
Para mayor informacin sobre la lnea de base consultar la seccin 3.1 de este manual.
La evaluacin ex post compara el estado inicial de la poblacin objetivo (lnea de base) con la situacin existente transcurrido un tiempo de operacin del proyecto (lnea de comparacin), para eliminar (o al menos minimizar) la incidencia de factores externos. La evaluacin ex post se concentra en el impacto social y busca responder a las siguientes preguntas:
XX En qu medida se alcanzaron los objetivos? XX Cules fueron estos resultados? XX Cules son sus efectos (esperados y no esperados)? XX Cul es el impacto de la intervencin?
Para medir el impacto contamos con los siguientes modelos: a. Modelo experimental clsico (Cohen y Franco, 1988; Cohen y Martnez, 2004) Implica la conformacin de dos muestras: un grupo con proyecto o poblacin beneficiaria (grupo experimental) que recibe el estmulo (en este caso, las acciones del proyecto en cuestin) y un grupo sin proyecto (grupo de control). Estas submuestras se seleccionan antes de iniciarse las operaciones de la intervencin (en la situacin de lnea de base) y deben diferir solo en que la primera recibe los bienes o servicios de las 3 P y la segunda no. Las diferencias iniciales entre estos grupos deberan ser mnimas; si fueran estadsticamente significativas, sera necesario realizar una nueva seleccin. De lo contrario, no es posible medir el impacto.
Procedimientos para implementar una evaluacin ex post
94
El modelo compara la situacin en que se encontraban los dos grupos en la lnea de base, con una situacin en la lnea de comparacin. A partir de ello, se verifican los cambios generados por el proyecto. Se debe analizar nicamente una variable a la vez y mantener las otras constantes. Limitaciones: su aplicacin se dificulta porque requiere la seleccin aleatoria de los integrantes de cada uno de los grupos. Otra complejidad reside en la dificultad de constituir dos poblaciones idnticas, por lo menos en los aspectos relevantes (los que contribuyen al efecto que se estudia). Este mtodo conlleva adems dificultades ticas que derivan de aplicar proyectos solo a una parte de la poblacin objetivo (el grupo experimental) para poder medir su impacto, excluyendo a otros que legtimamente requieren la misma atencin o servicio. b. Modelo cuasi experimental (Cohen y Franco,1988; Cohen y Martnez, 2004) En este tipo de diseos, los miembros de los grupos con y sin proyecto no se seleccionan aleatoriamente, sino en funcin de las variables de mayor relevancia para el objetivo de impacto perseguido. Por eso, es posible que se presenten diferencias entre los grupos. La lgica de este modelo es idntica a la del experimental clsico. Se efectan mediciones en las lneas de base y de comparacin, y luego se comparan las diferencias. Esta tcnica resulta til cuando se desea evaluar un proyecto durante su operacin o cuando ya se eligieron tanto los titulares como los no titulares. Limitaciones: en trminos estrictos, con este modelo no es posible aislar los efectos legtimamente atribuibles a una poltica, programa o proyecto. c. Modelo antes-despus (sin grupo de comparacin) Se trabaja solo con el grupo constituido por la poblacin objetivo de la poltica, programa o proyecto. Se efecta una medicin antes de que la intervencin sea implementada y se comparan los valores obtenidos con los resultados derivados de levantar una lnea de comparacin durante la operacin, o despus de que la iniciativa haya concluido. Es posible aumentar la confiabilidad de la estimacin a travs de la incorporacin de variables de control. Limitaciones: este diseo no permite eliminar el efecto del contexto y, por lo tanto, tampoco es posible determinar en qu medida los cambios registrados son imputables a la intervencin.
95
d. Modelo solo despus con grupo de comparacin Este modelo contrasta los resultados obtenidos en el grupo beneficiario de las 3 P con los de un grupo de comparacin que opera como testigo. As sucede cuando se decide evaluar los impactos con la intervencin en marcha. Si bien los resultados obtenidos no tienen la solidez del diseo experimental, pueden proporcionar aproximaciones razonables. e. Modelo solo despus Es el ms dbil de los diseos presentados. Considera a un solo grupo (la poblacin objetivo de la poltica, programa o proyecto) y la medicin solo puede efectuarse una vez finalizada la implementacin. Efectuada la medicin, hay que reconstruir cmo era la situacin antes de comenzar la intervencin, sobre la base de la informacin disponible. La comparacin entre los datos de la medicin y los obtenidos mediante la reconstruccin de la situacin inicial permitir emitir un juicio sobre el impacto. Para superar esta restriccin, es posible identificar variables de control dentro del mismo grupo experimental que indiquen los impactos imputables al curso de accin. Por otra parte, en la evaluacin ex post pueden utilizarse una gran va riedad de tcnicas de recoleccin de informacin: encuestas, entrevistas individuales, grupos focales, mtodo Delphi, observacin participante, indicadores sociales, clculo de los costos reales del proyecto, etc.
Encontrarn fichas descriptivas de cada una de estas tcnicas al final de este captulo.
FICHA
96
Un ejemplo de evaluacin ex post: el caso del Plan Nacional de Seguridad Alimentaria En el 2002, en un contexto de crisis sociopoltica y econmica, se declar la emergencia alimentaria en toda la Argentina. En este contexto se cre el Plan Nacional de Seguridad Alimentaria (PNSA). Sus objetivos eran brindar asistencia alimentaria, adecuada y acorde a las particularidades y costumbres de cada regin del pas; facilitar la autoproduccin de alimentos a las familias y redes prestacionales, fortalecer la gestin descentralizando fondos; impulsar la integracin de recursos nacionales, provinciales y municipales; realizar acciones en materia de educacin alimentaria y nutricional y desarrollar acciones dirigidas a grupos de riesgo focalizados. El plan estaba dirigido a dos tipos de titulares: (I) Titulares directos: personas que asistan a los comedores, en su gran mayora (91 %) nios/as de 2 a 14 aos; (II) Titulares indirectos: las organizaciones y sus comedores, como agencias de implementacin localizadas en reas de pobreza. Los titulares indirectos reciban, a travs del Plan, apoyo y acompaamiento, financiamiento y distintos tipos de beneficios.Los actores involucrados en el Programa eran muchos y diversos: Programas/dependencias del Ministerio de Desarrollo Social de la Nacin. Programas/dependencias de otros ministerios nacionales. Programas/dependencias de ministerios provinciales de desarrollo social. Programa/dependencias de otros ministerios provinciales. Programas/dependencias de municipios. Organizaciones sociales comunitarias. ONG. Familias. Aos despus, cuando el proyecto estaba cerca de terminar, se propuso como estrategia de salida la creacin de una nueva Unidad de Gestin integrada a la estructura del Ministerio de Desarrollo Social. En este marco, se solicit a una consultora privada la realizacin de una evaluacin ex post. En el primer momento, los/as evaluadores/as buscaron reconstruir el problema focal y el contexto de formulacin del proyecto, a travs de los/as informantes clave y de los documentos disponibles. Para eso, trabajaron Para mayor sobre datos secundarios: documentacin informacin consultar la disponible en el nivel central, documentos ficha 4. que produjo el proyecto para circulacin interna y externa, evaluaciones ex ante, Para mayor estudios de factibilidad, y fuentes primarias, informacin en particular, entrevistas en profundidad a consultar la responsables del proyecto. Las entrevistas y ficha 2 . el anlisis de datos secundarios se enfocaron en las siguientes dimensiones: El problema, los objetivos y las lneas de intervencin. Los recursos que brinda el Proyecto. La relacin que se establece entre Nacin, provincias y municipios. La cobertura y seleccin de los titulares directos e indirectos. La estructura organizacional de la implementacin y el proceso de implementacin. El alcance de las intervenciones sobre las organizaciones. Los/as evaluadores/as se propusieron el siguiente objetivo: analizar los aspectos crticos (estratgicos, metodolgicos y operativos) del Proyecto tendiente a fortalecer el proceso de transformacin en las organizaciones prestadoras de
97
servicios sociales comunitarios y las condiciones que se presentan como las ms adecuadas para fortalecer los procesos de transformacin de los comedores comunitarios en instituciones que brinden servicios sociales integrales, a travs de la diversificacin de la asistencia que brindan a la comunidad. (IPSOS, 2009). Es decir que el universo de la evaluacin estaba comprendido por las organizaciones y sus comedores en tanto agencias prestadoras de servicios sociales integrales. Para llevar adelante estos objetivos, se propuso un diseo que aborda tres mbitos del desarrollo del proyecto: diseo, implementacin y resultados. As, se programaron tres momentos en la evaluacin que se corresponden con cada uno de esos mbitos: Momento 1: la puesta en marcha e implementacin del proyecto y su contexto. Momento 2: anlisis de la apropiacin jurisdiccional del proyecto y de la conformacin y dinmica de trabajo de efectores (organizaciones) en el nivel municipal.
Momento 3: el alcance de las acciones del proyecto en las organizaciones, desde la perspectiva de los actores institucionales. En funcin del momento evaluado, se utilizaron variadas tcnicas de recoleccin de informacin. Para el primer y segundo momento, se utilizaron entrevistas personales a los/as principales ejecutores/as del programa y anlisis de fuentes secundarias. Los datos secundarios examinados fueron: documentos del programa y estadsticas producidas sobre la problemtica de la alimentacin. En el tercer momento, las entrevistas personales fueron orientadas a las organizaciones beneficiarias y, nuevamente, se realiz un anlisis de fuentes secundarias. Luego, se efectu la sistematizacin de la informacin recolectada y las inferencias analticas. Los/as evaluadores/as redactaron, finalmente, un informe escrito para socializar los resultados de la evaluacin que cont con un captulo de balance basado en toda la informacin vertida en los diferentes captulos.
3.3.4 El monitoreo y la evaluacin como proceso de aprendizaje

Ya hemos establecido que un sistema de monitoreo y evaluacin tiene costos pero, cul es su principal beneficio?, vale la pena involucrar a las 3 P en un sistema de M&E? Consideramos que su principal beneficio radica en el aprendizaje y mejora continua de la poltica, programa o proyecto.
El xito de una evaluacin reside en el aprendizaje que los actores participantes pueden obtener acerca de lo que funcion y lo que no, para mejorar el proceso y lograr mejores resultados en las intervenciones actuales y futuras.
98
Definimos al aprendizaje como un proceso continuo y dinmico de in vestigacin, cuyos elementos clave son la experiencia, el conocimien to, el acceso y la relevancia. Por eso, resulta ms fcil de conseguir cuando se brinda a los/as involucrados/as la posibilidad de observar, comprometerse e inventar o descubrir estrategias para afrontar cierto tipo de problema15. Principios clave del aprendizaje:
XX Ayudar a otros/as a interpretar activamente (y no solo a registrar) la informacin,
La evaluacin y el aprendizaje
para que puedan extraer nuevos conocimientos por s mismos/as.

XX Utilizar estrategias eficaces, innovadoras y oportunas de gestin de la
informacin.
XX Elaborar normas de desempeo y aprender de las diversas unidades,
circunscripciones y comunidades de prcticas con las cuales mantienen vnculos. XX Situar tareas abstractas en contextos reales para que se destaque su relevancia y otros/as puedan adquirir nuevos conocimientos. XX Dar a otros/as la posibilidad de participar en la solucin de problemas, al compartir conocimientos tcnicos y experiencias. XX Derivar conocimientos generales de contextos nicos, especficos, con el fin de potenciar la transferencia de conocimientos. XX Permitir que otros/as reconozcan y respeten su acervo, as como los conocimientos que existen dentro de su comunidad. XX Proveer a otros/as ejemplos de un nuevo concepto y de una explicacin sobre cmo las caractersticas principales se reflejan en una gama de situaciones. XX Reforzar la capacidad de raciocinio propia y ajena acerca de cundo corresponde aplicar nuevos conocimientos.
15 Programa de las Naciones Unidas para el Desarrollo. (2002). Manual de seguimiento y evaluacin de resultados. Estados Unidos: PNUD, Oficina de Evaluacin.
99
3.4 Herramientas para el monitoreo y la evaluacin

3.4.1 Instrumentos y tcnicas para construir evidencia emprica
Como mencionamos previamente, la construccin de la evidencia emprica supone recolectar informacin que nos permita responder las pre guntas de la evaluacin y cumplir con los objetivos de la investigacin evaluativa. Para eso, el/la evaluador/a tiene que seleccionar y disear los instrumentos que utilizar para recolectar informacin sobre su objeto. En esta instancia, existe un amplio abanico de instrumentos y tcnicas a disposicin del/de la evaluador/a. Una de la claves es reconocer cul es la ms apropiada.
Para la eleccin de los instrumentos y herramientas deben tenerse en cuenta los objetivos de la evaluacin, los recursos disponibles y los tiempos establecidos para su desarrollo. En este sentido resulta til preguntarse: Cul es el mejor instrumento de recoleccin para cada indicador? Cules de esos instrumentos son factibles de ser aplicados en esta evaluacin particular?
FICHA
A continuacin, se presenta una ficha que describe cada uno de los siguientes formatos: (1) encuestas; (2) entrevistas individuales; (3) grupos focales; (4) datos secundarios; (5) observacin participante; (6) lista de control con preguntas; (7) anlisis de las partes interesadas; (8) tcnica Delphi/panel de expertos/as; (9) clculo de los costos reales del pro grama; (10) clculo de la relacin Costo-Impacto (va ACE).
100
Ficha 1. Encuestas
Qu son y para qu se utilizan?
Las encuestas son un instrumento para a recolectar informacin. Puede aplicarse co, Fran y en (Coh acin evalu de cualquier tipo y vos titati cuan s dato na orcio 1988). Prop ta la permite su comparacin. Adems, facili nada orcio prop n maci infor la de n sistematizaci , caso este En res. acto de ero nm por un gran de el cuestionario cuenta con un nmero fijo as uest resp las s, vece has muc y, preguntas de deben ajustarse a una cantidad prefijada de in nizac orga la ta facili r facto Este opciones. rar que la informacin, pero tambin puede gene les. se pierdan de vista otras repuestas posib
acuerdo/ obtener informacin factual, valorar el o desacuerdo respecto de una propuesta o/a estad encu la e del/d ura post la conocer respecto de un determinado juicio. es 4) Aplicar el cuestionario. Para aplicarlo cio necesario contar con un tiempo y un espa s apropiado para que los/as encuestados/a puedan responderlo. Adems, se necesita tionario un/a aplicador/a que distribuya el cues tionarios entre los/las encuestados/as. Los cues s de pueden realizarse tambin en lnea, a trav aplicaciones gratuitas. te, 5) Sistematizar los resultados. Finalmen el/la evaluador/a deber sistematizar los n. resultados para poder utilizar la informaci hacer Las herramientas en lnea que permiten des encuestas suelen incluir tambin modalida de n para sistematizar la informacin y la opci sistematizar y descargar los resultados.
Pasos para disear e implementar una encuesta:
Qu recursos se necesitan?
ra 1) Esclarecer qu informacin se espe obtener. 2) Determinar quines sern los/as encuestados/as. Para eso, es necesario El definir tanto el universo como la muestra. res acto universo es el conjunto de todos los stra es el que son objetivo de la encuesta; la mue decide /a pequeo grupo al que el/la evaluador stra y mue encuestar. En un grupo pequeo, la des gran os el universo son iguales. Pero en grup rios crite puede ser necesario elegir a partir de rso que garanticen que la totalidad del unive estar representado. r 3) Redactar el cuestionario. Puede tene untas preg preguntas abier tas y/o cerradas. Las rrollar desa abier tas permiten al/la encuestado/a una sus opiniones; las cerradas habilitan Una cantidad limitada de respuestas posibles. para plo, pregunta cerrada se utiliza, por ejem
(European Comission, 2005) Humanos eso, En caso de aplicar el cuestionario impr /a ador aplic un/a ser necesario contar con entre rio que distribuya el cuestiona ar el los/as encuestados/as. En caso de realiz web, a form plata una cuestionario a travs de de lista la pilar simplemente se debe reco do. correos electrnicos a los que ser envia un iere requ rio tiona La preparacin del cues e la del/d po tiem ir insum trabajo minucioso que es idad cular parti ir exist evaluador/a. En caso de sario nece ser culturales o de dialecto, ar el incorporar personal adecuado para aplic cuestionario. Tecnolgicos ar Existen aplicaciones que permiten realiz de do limita ero cuestionarios con un nm preguntas. Por ejemplo, Survey Monkey solo (www.surveymonkey.com). Para utilizarla,
101
inar un hay que crear una cuenta gratuita y dest brinda que nes opcio las cer tiempo mnimo a cono la herramienta. Presupuestarios asiada En principio, la encuesta no requiere dem el si , ante obst No . inversin presupuestaria cuestionario a aplicar se compone de un de nmero grande de preguntas o el nmero contar sario nece ser de, encuestados/as es gran que es/as ador aplic ratar con recursos para cont usar para r paga o stra, se ocupen de toda la mue que lnea en as form plata las herramientas de las a aplic se no rio tiona cues no eran gratuitas. Si el ticos logs s costo los rse en lnea, deben considera de traslado de los/as aplicadores/as.
se ms entrevistas, y el proceso puede extender de lo previsto.
Preguntas tiles para revisar un cuestionario
Encuestas o entrevistas?
n lo Una vez terminado el cuestionario, quie construya debe preguntarse: la Las preguntas permitirn generar toda informacin buscada? Son necesarias todas las preguntas del cuestionario? dern Todos/as los/as encuestados/as compren cada una de las preguntas? macin Los/as encuestados/as apor tarn infor exacta? uada para La extensin del cuestionario es adec los/as encuestados/as? ar el Sugerimos hacer una prueba piloto: aplic r a los cuestionario a actores con un perfil simila es ncial de nuestra muestra para detectar pote obstculos o errores en su construccin. Esta herramienta es til en todos los arse momentos de evaluacin y podra aplic tambin durante el monitoreo.
Para redactar un cuestionario es necesario ser conocer, al menos, el contexto en el cual sobre tesis hip las de nas implementado y algu ner. obte a dese se que n la potencial informaci ios rator explo s exto En este sentido, en cont de se recomienda optar por la realizacin y in ificac plan La res. entrevistas a los acto en e, insum esta encu organizacin de una las general, mayor cantidad de tiempo que
102
Ficha 2. Entrevistas individuales
dor/a. puntuales, predefinidas por el/la entrevista ta cuen , parte su por , La evaluacin semidirigida este pero , vista entre tambin con una gua de to de guin es flexible y est abier to al surgimien gua Esta s. parte as temas imprevistos en amb untas ? zan utili se qu a par puede complementarse tambin con preg y son Qu s que tema los de entro s encu aclaratorias o profundizadora La entrevista es una forma especial de es. rtant impo ms idere el/la entrevistador/a cons cara a cara entre el/la evaluador/a y el/la r mayo iere requ tan La entrevista semidirigida entrevistado/a. Es una herramienta no dor/a, os. erad mod rsos recu iere requ experiencia por parte del/de la entrevista que , pleja com tras mien do/a vista n entre ya que debe guiar al/a la Sin embargo, para obtener la informaci r, ndiza profu en s pued ante reconoce los temas que se pretendida, es necesario interiorizarse El . vista entre la de . todo eso sin perder el foco sobre el tema y planificar el encuentro todos bar reca le posib es s vista entre listado de preguntas est compuesto por las de s A trav dar abor an dese se que los temas y las preguntas informacin cualitativa que recupere la tipos tos durante la entrevista. perspectiva de los actores sobre distin realizar esos, proc s, cfico espe os hech 4) Aplicar las entrevistas. A la hora de rios: tiona de cues er prim un e eras inars una entrevista, debe dest anlisis, propuestas, reacciones a las prim entre otras. entre es, ador evalu as momento a la generacin de confianza los/l de tesis hip All, . que do/a ya entrevistador/a y entrevista La entrevista es un instrumento flexible, con su e varias sobr gar inda e pued dor/a el/la entrevistador/a puede compartir vista entre el/la y el vista entre de la de cin interlocutor/a los objetivos reas problemticas a travs de la selec a dese se Si que cin. sas, tiempo aproximado de dura informantes y mediante preguntas diver iso perm r pedi cial s esen ipale grabar la conversacin, es se muevan de lo planificado. Las princ el/la o, ro Lueg . pelig el ador antes de encender el grab limitaciones de este mtodo radican en con que tes, man infor de ada sesg entrevistador/a comienza a preguntar, in elecc de una n si se seg , ilidad s. flexib mayor o menor nivel de atente contra la validez de los resultado ida. dirig o ida dirig plane una entrevista semi al/ iento decim agra un La entrevista finaliza con Pasos para el diseo e las o acin grab la de la interlocutor/a. Adems implementacin de una entrevista puede notas de la entrevista, el/la entrevistador/a ra 1) Esclarecer qu informacin se espe la de cin situa la e recolectar informacin sobr obtener. or/a locut inter la e entrevista, reacciones del/d que 2) Definir quines son los actores clave , etc. no identificables a travs de la grabacin brindarn la informacin que se necesita. entrevista 3) Construir la gua de entrevista. La primer Qu recursos son necesarios? puede ser dirigida o semidirigida. En el era man (European Comission, 2005) caso, se aplica la gua de entrevista de untas preg las hace /a ador evalu El/la Humanos cta. estri tiempo de una oner prop en pued se no y otra preparacin de una entrevista requiere La tras una . dor/a de vista tipo y previsin por parte del/de la entre u otra parte temas imprevistos. Este e y pued s po tiem dato Adems, la sistematizacin de los entrevista permite optimizar el uso del tiones cues en as dos/ vista entre s los/a a lizar foca
103
que tener demandar una dedicacin mayor. Hay s que un/a vista en cuenta que el nmero de entre da jorna una entrevistador/a puede realizar en que e rtant de trabajo es limitado y que es impo cha escu de d domine algunas tcnicas (capacida , vista entre la de y empata, control del desarrollo es do cun r capacidad de atencin para sabe vista). necesario flexibilizar el guin de la entre Tecnolgicos * contar Para registrar las entrevistas es necesario s de con un grabador o celular con funcione grabacin. Presupuestarios rdo Los gastos de la entrevista varan de acue es ador evalu s con el tiempo insumido por los/a rse idera cons n en su realizacin. Adems, debe de las los costos del material para la grabacin para os gast entrevistas y, de ser pertinente, traslados y desgrabacin.
Encuestas, entrevistas o grupos focales?
s A diferencia de la encuesta, las entrevista res acto los de iva pect pers la permiten indagar . vista de os punt de sidad y recuperar la diver si uada adec ms n opci la en Adems, constituy e sobr nto cimie cono poco tiene el/la evaluador/a les, foca os grup los con raste el contexto. En cont do, la entrevista es personal y, en este senti o menos s ictiva confl s tione permite abordar cues s, se ve caso nos algu En al. explcitas a nivel grup e la del/d esin expr de cidad limitada por la capa entrevistado/a. momentos Esta herramienta es til en todos los in tamb arse aplic e pued de evaluacin y o. durante el monitore
104
Ficha 3. Grupos focales
over Las preguntas deben ser abier tas, prom n de caci justifi la la diversidad de opiniones y se in Tamb posturas para abrir la discusin. var moti para s pueden utilizar otros elemento s ento fragm , enes el debate como videos, img ? zan utili das se crea ias qu a fictic s Qu son y par de documentos o situacione que se er Es un tipo de entrevista particular en la ad hoc. Para la gua, se recomienda prev niza orga Se o. ltne los que en simu s en o lapso , trabaja con un grup momentos reactivos, es decir ado rmin dete n nto cione conju reac un tes la interaccin entre se espera que los/as participan de cfico espe tema el/la un e por s de personas y sobr frente a estmulos propuesto sin es cuales inters para el/la evaluador/a. Esta discu moderador/a, y otros proactivos, en los a busc se que ya , ueven un dor/a prom vista nes entre guiada por el/la los/as participantes sern quie la nte dura a ucid debe prod gua n la do, maci recolectar la infor tema o discusin. En este senti ivas pect pers de pre s siem s, adem te, ento deba interaccin y el ser flexible y permitir estos mom a pa agru se do Cuan s. ales. ante y experiencias grup que sean pertinentes y relev lita la la actores con posturas diferentes, se habi 4) Implementar el grupo focal. Durante tos distin los car expli er de prim un ilidad er expresin y la posib implementacin se debe prev cin de idad puntos de vista, y tambin la profundiza momento destinado a presentarles la activ trada regis es al mica grup din mica su s din carle sus opiniones. Esta a los/las participantes y expli o grup El sis. ar anli realiz su para para ento zada y luego sistemati y objetivos; un segundo mom para sirve las que para ta final mien ento herra focal es la nica la discusin guiada y un mom varios analizar y confrontar la informacin con conclusiones y reflexiones finales. l. o. ltne simu actores clave en 5) Sistematizar la sesin de grupo foca
Pasos para el diseo e implementacin de un grupo focal
(European Comission, 2005) que 1) Seleccionar el tema y los subtemas l. foca o grup el iniciarn y guiarn que 2) Seleccionar y convocar a los actores cin aten cial espe tar pres debe participarn. Se e dabl men reco es bien si que, a este punto ya en eo ogn hom sea tes cipan parti que el grupo de socio gora cate y rales cultu gos trminos de cdi riencias profesional, no es til tener muchas expe l se foca o grup el que da mien parecidas. Se reco de mo mxi un y ocho de o mnim organice con un an pued s/as todo que para tes, quince participan participar. 3) Realizar una gua que oriente las intervenciones del/la moderador/a. Esta s gua es un listado de interrogantes o tema sin. discu la nte dura dos trata ser a problemticos
Qu recursos son necesarios para utilizarlas?

Humanos * Los grupos focales son guiados por un/a ina, a la moderador/a que gua al grupo y dom . Si no acin evalu la de tivos obje y s vez, los tema incorporar cuenta con estas calificaciones, puede o. Las a un actor local para que anime al grup en pued l foca o grup un r guia tcnicas para ): 1999 IM, (APE o mod ente sigui del resumirse de gua la de s tema los s todo a) Cubrir de discusin, desplazndose de uno a otro ral. manera natu de las b) Profundizar y certificar la veracidad s. opinione y la c) Alentar la participacin, el intercambio discusin.
105
d) Manejar con sutileza los problemas que puedan surgir en el curso de un grupo r herir (apata, desorden, pudor u otros). Evita nes, iccio conv , iosas sentimientos, ideas relig . rales cultu actitudes o creencias verbal e) Analizar sobre la marcha el lenguaje r parti a y, tes cipan parti y no verbal de los/as s. unta preg y tesis hip as de ello, generar nuev os. biert encu o s lnea e Captar mensajes entr sin f) Flexibilizar y enriquecer la gua de discu s tema os nuev ir surg de grupo a grupo en caso dio. estu el para es o inquietudes pertinent enciar g) Mantener la objetividad y evitar influ con tes cipan parti s las respuestas de los/a preguntas demasiado directas. Tecnolgicos erse Para registrar el intercambio debe prev ar realiz ita perm que un grabador o celular grabaciones de audio. Presupuestarios ser En caso de contratar un/a moderador/a, es in Tamb s. rario preciso abonar sus hono tica necesario considerar los costos de logs ser de o, audi de ador o la compra de un grab ta el cuen en r tene que necesario. Adems, hay para erio refrig y caf costo de un servicio de los/as participantes.
Grupos focales o entrevistas?
sy La principal diferencia entre las entrevista onas pers de idad los grupos focales es la cant l no involucradas. No obstante, el grupo foca que sino les, idua indiv s es la suma de entrevista cual del r parti a , se centra en un tema nico car se busca profundizar, confrontar y justifi ideas. as nuev ular posiciones, adems de estim to pues est En esta herramienta, el foco ecto en la interaccin y el debate. Con resp da mien reco se a los actores principales, hora entrevistarlos en forma individual. A la s lema prob e sobr de confrontar hiptesis ar brind en pued les relevantes, los grupos foca esta , argo emb Sin . informacin muy relevante ejemplo, tcnica tiene algunas desventajas: por sociales as norm jar refle las discusiones pueden ente isam prec s, reale ms que comportamientos endo ondi resp estn porque los participantes en pblico. Esta herramienta es til en todos los momentos de evaluacin.
106
Ficha 4. Datos secundarios
2) Detectar el objetivo para el cual fue tener producida la informacin. Esto permite de lo entra encu se lejos o a cerc en cuenta cun que se busca. er 3) Recolectar y, de ser necesario, volv el ? para s zan nido utili obte se s dato qu a los a sistematizar Qu son y par ms te fuen la a. son busc ios objetivo que se Los datos secundar d de los En este Se sugiere tener en cuenta la antigeda econmica para conseguir informacin. los datos si , por a decir truid Es cons sis. n anli maci del datos y la escala caso, se utiliza la infor nal, regio tivo nal, obje nacio el nivel para el en ados os fueron producid otros. Al no estar dise n aleja o tar can resul acer en se to pued s cun y , dato provincial o local de la evaluacin, los rama prog , el argo ntar emb eme sin impl dos; se e ecua de la escala dond insuficientes o inad acercarse a evaluar. muchas veces es la mejor opcin para ral, las Particularmente para el caso argentino a un tema con pocos recursos. En gene vos, titati cuan s dato son (existen instrumentos equivalentes en otros fuentes secundarias una s dato de rse trata e pases latinoamericanos), contamos con pero tambin pued ser esta en Encu pued la ias ce: ndar alcan secu lio tes amp herramienta de cualitativos. Las fuen Permanente de Hogares (EPH). Es un de tres tipos: mtica y n est no que pero programa nacional de produccin siste Datos que existen, ado realiz les, dos socia es lecta ador reco son indic permanente de publicados. Muchos os ad Cens y a otros y dstic icos Esta pbl de os onal nism Naci por el Instituto regularmente por orga s . stica cter cfica cara espe las in cer tigac cono inves ite o (INDEC), que perm hoc para un programa la por de as dos mic lecta econ reco s socio dato y ser sociodemogrficas Por ejemplo, pueden a unitarios poblacin. La encuesta se realiza en form centros de salud, escuelas, centros com les incia Prov s . cione otros Direc Para mayor conjunta con las o antroplogos, entre informacin de Estadstica (DPE). Su objetivo central Informes publicados por agencias del consultar la es caracterizar la situacin social de gobierno, organismos internacionales, de ficha 1. los individuos y familias de acuerdo universidades , organizaciones sin fines la en cin inser de des con sus modalida lucro o empresas. a estructura socioeconmica. Proporciona Informes previos del propio programa in tamb pero , ecto proy las tasas oficiales de actividad, empleo, evaluar: informes del adores de s acta ulos, artc o (com desocupacin y subocupacin, los indic otros documentos s la de tado in resul revis la otros y de , sito encia prop de pobreza e indig reuniones, etc.). El ria as histo mic la r econ mejo socio der s pren stica com sobre las caracter documentacin es por de la poblacin. La EPH es una encuesta y la evolucin del proyecto. sas diver las cer cono para que muestreo, es decir se res hoga los de os total dat del de caractersticas Pasos para el correcto uso ativa encuesta una pequea fraccin represent secundarios n enta pres stras mue las s Toda tipo de los mismos. 1) Es necesario detectar, primero, qu ue porq ucen prod se que es error , limitaciones o de datos estn disponibles y, entre ellos la toda a de r luga en rtes la se observan reco seleccionar los que ms se acercan a . pilar reco a busc informacin que se
107
el sitio poblacin. La EPH puede consultarse en v.ar. web del INDEC: www.indec.go e infancia Otros datos secundarios de inters sobr sitios los en se ntrar y adolescencia pueden enco la de cana meri web de la Organizacin Pana al Salud y del Observatorio de la Deuda Soci Argentina.
para programa de estadstica y conocimientos procesarlos. Presupuestarios mica. Como se mencion, es una estrategia econ en caso Pueden considerarse costos de logstica, de ser necesario.
Qu recursos son necesarios para utilizarlos?

Humanos * de Esta herramienta requiere una inversin erta por tiempo moderada, que puede ser cubi el/la mismo/a evaluador/a. Tecnolgicos cular, No se requiere ningn recurso en parti con jo traba de excepto en el caso especfico con un ar cont sario bases de datos. Ah, ser nece
Datos secundarios o datos primarios?
cuando Los datos secundarios resultan ptimos sos. esca rsos recu se trabaja en situaciones de y el os mic econ Si se cuenta con los recursos s dato ner obte tiempo necesario, es ms til tivos obje los a r mejo primarios porque se ajustan de la evaluacin. Para mayor informacin Esta herramienta es til para consultar las la estimacin de la lnea de secciones 3.1 . base y la evaluacin ex ante y 3.3.1 de este manual.
108
Ficha 5. Observacin participante

modos La observacin es uno de los primeros Su tin. de conocer y acercarse a una cues lo que las e sobr propsito es obtener informacin untas, preg as personas hacen, formularse nuev sy dato car plantear hiptesis explicativas, verifi o lueg ser an priorizar cuestiones clave que pued s vista entre de s profundizadas, por ejemplo, a trav de acin evalu la o grupos focales. En las 3 P, la observacin participante se Para mayor enfoca en la implementacin de una informacin poltica, programa o proyecto dentro consultar las de su contexto de aplicacin. fichas 2 y 3. Aunque uno de los beneficios ilidad de principales de la observacin es la posib (y no a ta direc acceder a los hechos de manera o ciert es res), travs del discurso de otros acto pre siem o que la presencia de un agente extra nes y los altera, en alguna medida, las interaccio os. rvad obse comportamientos de los actores
Qu es y para qu se utiliza?
cidades embargo, no se precisan demasiadas capa . tcnicas para su desarrollo Tecnolgicos cular, excepto No se requiere ningn recurso en parti ador de (grab s dato de los medios para el registro audio o cmara de video). Presupuestarios iderarse Es una estrategia econmica. Pueden cons . sario nece ser de costos de logstica, en caso
iere menos La observacin es una tcnica que requ otros tiempo y capacidades especficas que uier/a cualq por ada utiliz ser e Pued . ntos instrume ajas es que evaluador/a. Una de las principales vent ientemente se puede obtener informacin independ cidad y del deseo de proporcionarla y de la capa el grupo o veracidad de las personas que integran se evitan comunidad a estudiar. De esta manera, edimiento posibles distorsiones. Se trata de un proc de una que permite estudiar los hechos dentro situacin contextual. una Como contraparte, quien observa no es asptica y ra, neut era man de tra regis que mquina su mirada. desapasionada todo lo que se pone bajo cidad Es necesario, entonces, adquirir la capa n os y su aci rvad ent obse os lem hech imp los e o entre dise guir el para distin Pasos para de esta interpretacin. Otra de las dificultades de una observacin directa observa o el tcnica es la posible influencia de quien 1) Definir el objeto a observar, as com tigacin. rvacin. sobre la situacin que es motivo de inves momento propicio para realizar la obse que funcione Se recomienda que las observaciones sean 2) Desarrollar una gua de observacin de iperm que na colum complementadas con otros instrumentos a modo de checklist e incluya una hiptesis s relevantes. recoleccin, tanto para corroborar las ta realizar comentarios y desarrollar tema epciones de tiempos realizadas como para contraponer perc 3) Pactar con los actores a observar los los actores a los hechos observados. de la observacin. in. 4) Realizar la sesin de observac momentos y Esta herramienta es til en todos los 5) Sistematizar la informacin recabada in durante de evaluacin y podra utilizarse tamb elaborar conclusiones. el monitoreo.
Observaciones u otros instrumentos?
Humanos * a inversin Esta herramienta requiere una moderad /a. Sin de tiempo por parte del/de la evaluador
109
Ficha 6. Lista de control con preguntas

Pasos para la realizacin de una lista de control

ados. 1) Detallar los tems que sern monitore ser an pued que s 2) Redactar pregunta de respondidas con s o no para cada uno los tems. con 3) Consensuar los tems seleccionados de lista la de uso n har todos los actores que
Una lista de control (por lo general, con puede control. preguntas) es un instrumento sencillo que ticas prc ser utilizado para apoyar la difusin de . adas Qu recursos se necesitan? de monitoreo estructuradas y estandariz das para com y adas utiliz ser en pued listas as Humanos Dich a un an sent repre y s ente difer s ento Esta herramienta requiere una moderad en mom a ador/a. po inversin de tiempo por parte del/la evalu instrumento prctico para ayudar al equi por y, as Sin embargo, no se necesitan demasiad familiarizarse con los temas del proyecto . tivo. efec y o rpid ms rse volve a , capacidades tcnicas para su desarrollo lo tanto n Tecnolgicos Estas listas suelen ser diseadas seg cular. en ser pued ue aunq s, cfica espe es sidad No se requiere ningn recurso en parti nece s ente Presupuestarios adaptadas y usadas para proyectos difer n debe , caso todo En ares. simil s exto Es una estrategia econmica. en cont ndo profu un con onas pers por as arad prep ser El equipo conocimiento de los temas especficos. Por qu utilizar una lista de control? gua una o com arlas utiliz e pued ecto es proy del La principal ventaja de esta herramienta males infor s ione ersac conv o s vista ar. entre las utiliz para su sencillez. Es fcil de confeccionar y n para icci restr de tipo n ning r tos tene distin debe y no Adems, si el monitoreo es realizado por desde el idos inclu no s tema tear plan y o n tigar inves actores, permite estandarizar la informaci en prever principio. Las listas de preguntas pued procesarla con mayor facilidad. oa respuestas a preguntas cerradas (s/no) preguntas con respuestas abier tas. Esta herramienta es Para mayor especfica para el monitoreo. informacin consultar la seccin 3.3.2 de este manual.
* *
110
Ficha 7. Anlisis de las partes interesadas

e ser El anlisis de las partes interesadas pued llos aque a r tifica iden fundamental a la hora de de eso proc el en r ucra actores que se deban invol r aliza form de era man r M&E o para definir la mejo a in tamb ar ayud e la informacin relevada. Pued curso y identificar los conflictos potenciales o en utilizar suele Se os. ntarl evidenciar las vas para enfre ite perm que ya ante ex en procesos de evaluacin tarn ejecu se que el en conocer el juego de actores pueden las 3 P. Hay varias partes interesadas que de M&E, icio ejerc un en e tener un papel important res titula s los/a , ecto entre ellas: el equipo del proy , ecto proy del meta os o grup los de idos exclu os grup los Pueden encontrar beneficios del proyecto, otras herramientas los/as informantes clave, que colaboran con los/as donantes, los/as la identificacin y funcionarios/as del gobierno caracterizacin de los que operan en el rea, lderes actores en el manual locales y las elites locales de Planificacin, interesadas en las actividades seccin 3.2 . del proyecto.
Qu es y cmo se utiliza?
del actor columna implica destacar la capacidad proyecto del para obstaculizar o vetar la ejecucin (Estvez, 1999). isis de 3) Realizar inferencias a partir del anl l en socia cio la matriz: cun complejo es el espa o rama prog el que se implementar la poltica, poner los proyecto?, qu dificultades podran inter tiones cues actores para su implementacin?, qu las con plir deben tenerse en cuenta para cum s? expectativas de los actores ms relevante
Humanos * a inversin Esta herramienta requiere una moderad
No se de tiempo por parte del/la evaluador/a. icas para su tcn es cidad capa as requieren demasiad desarrollo. Tecnolgicos cular. No se requiere ningn recurso en parti Presupuestarios Es una estrategia econmica.
* *
Por qu realizar un anlisis de las partes interesadas?
Pasos para realizar el anlisis de las partes interesadas
para 1) Utilizar las herramientas necesarias vinculados res acto los e obtener informacin sobr sobre la vas ctati expe y al proyecto, y sus intereses pueden se eso, Para . ecto poltica, programa o proy vistas a entre in, venc inter utilizar documentos de la tes. cipan parti s ione rvac actores relevantes u obse s todo yan inclu se e 2) Realizar una matriz dond P, 3 las con n laci vincu su los actores detectados, ) citas impl o s lcita (exp vas sus intereses y expectati a ltim Esta r. pode y una jerarquizacin de su
instituciones En toda decisin pblica hay grupos e polticas es cidad capa y , eses con demandas, inter del tema el n Seg das. encia y econmicas difer o cm y an dirim se que eses que se trate, los inter os, esad inter os grup los n ione se organicen y relac vez, 1999). se producirn alianzas o conflictos (Est ta resul ante ex acin evalu la Por eso, durante os. esad inter res acto los de sis fundamental el anli e pued in, tizac ema esqu toda o Sin embargo, com se do cuan eso, Por s. cione tener sesgos y limita triangular la utiliza esta herramienta es importante de actores s voce las s ente pres r informacin: hace eses inter e nes lacio vincu tas diversos, con distin . ecto proy o rama prog ica, respecto de la polt momentos de Esta herramienta es til en todos los durante el in tamb arse utiliz a evaluacin y podr monitoreo.
111
Ficha 8. Tcnica Delphi/Panel de expertos/as

as La tcnica Delphi o panel de expertos/ tiones cues a adas ensu busca respuestas cons racin gene la ncia pote que especficas, es decir . ades tivid subje sas de acuerdos entre diver en as rtos/ expe ser n Los/as informantes debe s, stero Balle z nde (Fern los temas a indagar para 1995). Por eso, la condicin sine qua non ad calid la es eso proc este que se pueda realizar se que les siona profe s y pertinencia de los/a convoca.
tos) evaluaciones cuantitativas e informes escri s los/a a se provee, como retroalimentacin, sus mismos/as expertos/as, quienes revalan n. maci infor opiniones a la luz de esta nueva de enso cons En ese marco, tiende a emerger un grupo.
o se mencion,
Humanos: com * los/as expertos/as del panel debern ser
Pasos para la realizacin de un panel de expertos/as
el 1) Seleccionar a los/as expertos/as. Es xito el a rmin dete ente paso que prcticam o el fracaso de la tcnica. Se sugiere que an los/as expertos/as convocados/as teng l, siona profe ia rienc expe una combinacin de va se que rama prog del ecto independencia resp El po. equi en jo traba de a evaluar y capacidad 10 y 30, nmero ideal de expertos/as oscila entre 5. con in tamb pero puede realizarse l. No 2) Pactar modelo de trabajo del pane ser e pued jo: traba de o existe un nico mod Lo ms ncia. dista a o l encia presencial, semipres jo sea traba de ga dolo meto importante es que la y tes cipan parti s los/a acordada con todos/as a. uno/ cada a cita expl era presentada de man los de en resum El s. 3) Construir consenso as de juicios de los/as expertos/as (en las form
sional independientes, tener experiencia profe y capacidad de trabajo en equipo. ncia, Tecnolgicos: si el panel se realiza a dista para icos habr que contar con medios tecnolg s o entre n acte cont se as rtos/ expe s que los/a enven los cuestionarios pertinentes. en Presupuestarios: los/as expertos/as pued r hace cobrar honorarios, pero tambin pueden s/as todo el trabajo pro bono. En caso de que no a, ser idiom o mism el en habl as rtos/ los/as expe ccin. necesario considerar los costos de tradu
Tcnica Delphi u otros instrumentos?
es La principal ventaja de esta herramienta iada asoc la credibilidad de las conclusiones, pero a la experiencia de los/as profesionales, al ecto tambin su independencia con resp ica tcn esta , programa evaluado. Sin embargo a y as ritari tiende a omitir las opiniones mino suavizar las conclusiones. Esta herramienta es til para todos los tipos de evaluacin, especialmente para la evaluacin ex ante.
Para mayor informacin consultar la seccin 3.3 de este manual.
112
Ficha 9. Clculo de los costos reales del programa

rama El clculo de los costos reales del prog eficio fue -ben permite evaluar si la relacin costo ados utiliz ms eficiente. Es uno de los insumos o rama prog en el informe final de una poltica, proyecto ya ejecutado.
s, se los 4) Una vez verificados los gastos reale nte la dura ados estim los con r rasta puede cont planificacin de las 3 P.
Humanos * realizar un Se requiere un/a profesional capaz de
de las flujo de costos. En general, en los equipos menos al entra encu organizaciones ejecutoras se ia. rienc un actor con este tipo de expe Tecnolgicos * sario Para realizar la matriz de costos ser nece illa de contar con una computadora con plan clculo. Presupuestarios mica. Es una estrategia moderadamente econ
Pasos para calcular los costos reales del programa (Cohen y Martnez, 2004).
flujo de 1) Confeccionar un flujo de costos. El os de gast los costos es una matriz que incluye datos los de r ejecucin de un programa. A parti cin, rama incluidos en la formulacin y prog se ajustan los valores de acuerdo con la a del informacin real y actualizada a la fech acin evalu anlisis (considerar la fecha de la como punto de referencia). El flujo debe consignar todos los costos relevantes. do de un 2) Transformar los costos para el pero ao (anualizarlos). s. 3) Construir la matriz de costos reale
Por qu evaluar los costos reales del programa?
rsos de La eficiencia de la utilizacin de los recu de las una es ecto una poltica, programa o proy idad cabil repli su caractersticas que permiten de los o escalabilidad. Adems, la estimacin tos distin por costos reales suele ser solicitada s lado vincu llos actores, en especial, por aque a. ntad eme impl in financieramente a la inter venc Esta estrategia es especfica de la evaluacin ex post.
Para mayor informacin consultar la seccin 3.3.3 de este manual.
113
Ficha 10. Clculo de la relacin Costo-Impacto (va ACE)

es til El anlisis de la relacin costo -impacto tos distin sus en P 3 las de acin para la evalu este , ante ex acin evalu una En s. momento lidad de instrumento permite acercarse a la viabi iderar las actividades de la inter vencin y cons aciones otras alternativas posibles. En las evalu para concurrente y ex post, puede utilizarse rada espe acto -imp costo in relac la r compara ce anali se que de caso el En tiva. con la efec y inclu ante ex acin evalu cuya un proyecto e pued se in tamb as, nativ alter diversas cto real comparar el costo por unidad de impa posible es era, man esta De as. nativ con las alter (con sus establecer si la alternativa seleccionada costos e impactos reales) es ptima.
y 5) En caso de comparar costos estimados r costos efectivos , ser necesario compara con el costo de cada actividad programada in el costo de su ejecucin. La inter venc de nes tacio pres ante si nte eficie sido habr les o igual calidad, los costos reales fueron igua menores a los programados.
Humanos * realizar un Se requiere un/a profesional capaz de
de las flujo de costos. En general, en los equipos menos al entra encu se organizaciones ejecutoras ia. rienc expe de un actor con este tipo Tecnolgicos dora con Ser necesario contar con una computa planilla de clculo. Presupuestarios Es una estrategia econmica.
Pasos para calcular la relacin costo-impacto (SIEMPRO y UNESCO, 1999)
Clculos costo-impacto u otros instrumentos?
ica, 1) Identificar las actividades de la polt programa o proyecto a evaluar. 2) Identificar los distintos costos de las cada una actividades identificadas; desagregar y ntes de las actividades segn sus compone costos respectivos. 3) Del costo total, extraer el costo por es. beneficiario de cada una de las actividad es idad activ 4) En caso de que existan varias alternativas, comparar el costo por idad beneficiario de cada una de ellas: la activ y costo or ms eficiente ser la que tenga men ad. calid r brinde una prestacin de igual o mejo
Una de las principales desventajas de esta nde herramienta es que su sensibilidad depe para /a ador evalu la e de la minuciosidad del/d in. venc inter la de s registrar todos los costo se Adems, su uso se dificulta cuando no y trado regis s costo de dispone de un sistema era man de a realiz se si , actualizado. No obstante ar evalu de hora la a til muy adecuada puede ser l, socia cto impa l igua con distintas alternativas ). pero distintos costos (Castao Yepes, 1997 Esta estrategia es adecuada para todo evaluacin. tipo de
114
3.4.2 Cmo utilizar la informacin? Instrumentos para la difusin y comunicacin de los resultados
Los resultados de una evaluacin o monitoreo son relevantes tanto para los actores involucrados en la poltica, programa o proyecto como para aquellos/as interesados/as o implicados/as de formas menos directas.
La principal utilidad que tiene realizar actividades de monitoreo y evaluacin es que la informacin que se produce puede ser utilizada para aprender.
Existen muchos canales posibles para presentar los resultados de M&E. Como en cualquier tipo de comunicacin, estos deben estar muy relacionados con las caractersticas de los/as destinatarios/as de la informacin. Por tanto, a la hora de elaborar un informe de evaluacin es importante definir:
XX A quin estar dirigido? Para algunas audiencias, un solo enfoque
puede ser suficiente. En otros casos, ser necesario elaborar distintos informes para asegurar que el mensaje llegue a toda la audiencia objetivo. XX Cul es el objetivo de esta comunicacin? Los objetivos pueden ser: informar, convencer, rendir cuentas o promover el aprendizaje y la discusin entre los actores. De acuerdo con el/los objetivo/s, se disear el mensaje para que cumpla con alguna o varias de estas funciones: funcin informativa; funcin preventiva y correctiva; funcin de autoevaluacin o funcin de intercambio. XX Con qu recursos se cuenta? Es necesario considerar los recursos disponibles: presupuesto, personas que pueden desempear la tarea y tiempo para hacerlo. La comunicacin puede ser desarrollada por el personal involucrado en la poltica, programa o proyecto o se puede hacer en colaboracin con expertos/as externos/as. A partir de las respuestas a estas preguntas, ser preciso disear la di fusin de los resultados de la investigacin.
Al momento de elaborar el informe de evaluacin es importante definir: - A quin est dirigido? - Cul es el objetivo de esta comunicacin? - Con qu recursos se cuenta?
115
FICHA
Los formatos ms utilizados para esta tarea son: (11) informes escritos; (12) hojas de informacin; (13) diapositivas; (14) gacetillas de prensa; (15) presentaciones orales (Adamchak y otros, 2001). A continuacin se presentan fichas para describir cada uno de estos formatos:
Ficha 11. Informe escrito

do como El informe escrito puede ser considera de eso proc del e rtant el resultado ms impo una ensa cond ral, gene evaluacin y, por lo se gran cantidad de informacin de la que les. ciona unica com s pieza desprendern otras claro rama pano un r enta Su objetivo es pres sobre el proyecto evaluado y brindar e elementos tiles para la planificacin s. ione venc inter as futur de implementacin
Claves para la redaccin de un informe escrito
* Utilizar un formato estndar. iso * El texto debe ser lo ms claro y conc en voz le simp y claro posible: usar un lenguaje activa. la * Debe ser breve y directo: incluir solo y las acin evalu la e informacin relevante sobr to imien rend el rar recomendaciones para mejo futuro. al * Se debe tener siempre en consideracin . acin evalu la pblico al cual va dirigida s, * Usar diseos atractivos e incluir ttulo co. subttulos y espacios en blan y negrita * Incluir cuadros, vietas, letra cursiva es. rtant impo para enfatizar los puntos caso * Utilizar citas , ancdotas y estudios de s stica estad las a para darle una cara humana se no que os punt los que se presentan; ilustrar vos. puedan encapsular en trminos cuantitati
Pasos para la redaccin de un informe escrito
estar las 1) Organizar un ndice que permita cont acin. evalu de iz matr la en preguntas definidas men resu un ir inclu , tado 2) En un primer apar ejecutivo que contenga las principales conclusiones y recomendaciones. nte la 3) Describir la metodologa usada dura objetivos los y tos men docu los fase de anlisis de datos. de sis anli y n lecci reco especficos de la s ione tatac cons las de as 4) Proveer evidenci s dato los de lidad fiabi la ar formuladas e indic usados. que 5) Presentar figuras, grficos y tablas texto. del po cuer el en do resuman lo presenta s encia refer las s toda de tes 6) Proveer las fuen me. incluidas en el infor incluya un 7) Presentar una estructura clara, que ipal, princ texto un tivo, ejecu ndice, un resumen os. anex los y nes dacio men conclusiones, reco
Distintos informes para distintos momentos
una - El informe que se produce a partir de ilidad. viab de me infor evaluacin ex ante es un ite perm que n All se condensa la informaci programa determinar el grado de factibilidad del
a implementar. , - La evaluacin concurrente, por su parte ce. avan o nto imie genera informes de segu - La evaluacin ex post da lugar Para mayor a informes de conclusin o informacin cierre. consultar la seccin 3.3 de este manual.
116
Ficha 12. Hojas de informacin

ingls) Las hojas de informacin (fact sheets, en e brev , claro son un comunicado consolidado, s los/a a in y efectivo para presentar informac otras a o icas encargados/as de formular polt macin personas con poco tiempo para leer infor in para tamb extensa. Este formato se puede usar os/as en esad inter s enviar por correo a todos/as los/a la poltica, programa o proyecto.
Pasos para elaborar una hoja de informacin
re comunicar. 1) Resumir el contenido de lo que se quie el contenido. Incluir subttulos que permitan organizar formato visual 2) Disear el contenido para lograr un y claro.
Ventajas y desventajas de la hoja de informacin
plo, va + Su distribucin es econmica (por ejem correo electrnico). socializar + No requiere una reunin especfica para los resultados de la evaluacin. herramientas - Requiere diseo, es necesario manejar informticas.
Ficha 13. Diapositivas

Las presentaciones con diapositivas permiten enfatizar los ejes esenciales, de manera visual y dinmica. La propuesta radica en una combinacin atractiva de texto e imagen. Por lo general, se Para mayor utilizan como complemento de las informacin presentaciones orales. consultar la ficha 15.
No usar ms de dos tipos diferentes de letras. * Usar un cuerpo (tamao) de letra grande para * que se vea cuando se proyecta (mnimo, 24
Claves para realizar una presentacin en diapositivas
1) Organizar los ttulos principales sobre la base de los ejes centrales de la evaluacin. 2) Desarrollar cada eje en hasta tres diapositivas.
Pasos para realizar una presentacin en diapositivas
* * * * * *
puntos). Separar los grupos de ideas con espacios en blanco. Tener un mximo de siete palabras por lnea. Usar frases (no oraciones completas). No incluir ms de seis o siete lneas por diapositiva. Usar arte y grficos que dirijan la mirada hacia adentro, es decir, hacia el contenido de la diapositiva y no hacia los bordes de la diapositiva. Usar cuadros y grficos para realzar la interpretacin de los datos.
+ Permiten alcanzar un gran impacto visual. + Al incluir poco texto, logran transmitir un mensaje claro. - Su extensin no permite profundizar en todos los puntos.
Ventajas y desventajas de la diapositiva
117
Ficha 14. Gacetilla de prensa

do con Una gacetilla de prensa es un comunica ral, a gene lo por , tado orien formato periodstico cin. los medios de comunica
ttulo, 2) Incluir membrete de la organizacin, acto cont de copete16 , ciudad, fecha y los datos la liar amp de una o dos personas que puedan informacin.
Ventajas y desventajas de la gacetilla

+ Es una buena forma de compartir los cin. resultados con los medios de comunica ea, pequ de ios med en cto impa r Puede tene la. esca gran o mediana s. Con +/- Se requiere una buena base de dato . Con buenos contactos la gacetilla funciona se encia incid la s, acto cont s malo pocos o dificulta. - Genera requerimientos que es necesario dos de atender (por ejemplo, consultas o pedi mayor informacin).
Pasos para realizar una gacetilla de prensa (Secretara Nacional de la Niez y la
Adolescencia de Paraguay, 2009) 1) Organizar un texto breve, que sea claro os a y conciso, es decir que se dirija sin rode dir. difun an dese se que los ejes importantes dos las re supe no texto el Se recomienda que s en ipale princ s epto conc pginas y resaltar los las a r onde resp debe o bastardilla. El contenid o?, cm n?, qui ?, qu s: siguientes pregunta qu? por cundo?, dnde?,
ampliac 16 El copete es un prrafo breve que funciona como a. gacetill la de como sntesis
in del ttulo o
Ficha 15. Presentacin oral

La presentacin oral es, junto con el informe escrito, el modo ms habitual de presentar resultados de una evaluacin. Es una estrategia directa que debe organizarse previamente y que se desarrolla en el marco de una reunin presencial con los/as destinatarios/as de la informacin. En general, luego de la presentacin se abre un espacio de intercambio Para mayor y preguntas. La presentacin informacin oral puede apoyarse en el uso de consultar la diapositivas. ficha 13.
1) Organizar el primer momento de la argumentacin: presentacin del objetivo de la evaluacin y resumen del contenido de la presentacin. 2) Resumir y ordenar los ejes argumentativos de la presentacin: deben ser claros, concisos y seguir un orden lgico. 3) Cerrar la presentacin oral resaltando los puntos ms fuertes de la argumentacin y abrir un espacio de preguntas al pblico interesado.
Pasos para realizar una presentacin oral
+ Admite preguntas; da lugar al intercambio. - Requiere un adecuado manejo de la oratoria y de los tiempos de la exposicin para que sea amena e interesante.
Ventajas y desventajas de la presentacin oral
118
Bibliografa
Acua, C. y Repetto, F. (2009). Un aporte metodolgico para comprender (y mejorar) la lgica poltico-institucional del combate a la pobreza en Amrica Latina. En F. Mariez Navarro y V. Garza Cant (Coords.), Poltica Pblica y Democracia en Amrica Latina. Del Anlisis a la Implementacin. Mxico D.F.: EGAP y CERALE. Adamchak, S. y otros. (2001). Manual de Monitoreo y Evaluacin. [s.l.]: Organizacin Panamericana de la Salud. Agoff, S. y otros. (2006). Evaluacin final del programa Atencin a nios y adolescentes en riesgo PROAME II. Buenos Aires: Universidad Nacional General Sarmiento. Aguilar Villanueva, L. F. (1992). El estudio de las polticas pblicas. Mxico D.F.: Miguel ngel Porra. Aparicio, S. y otros. (2007).El trabajo infantil en la Argentina: Anlisis y desafos para la poltica pblica. Buenos Aires: OIT. APEIM. (1991). La investigacin cualitativa mediante la tcnica de focus groups. Consultado el 30 de marzo de 2012, disponible en la web de la Asociacin Peruana de Empresas de Investigacin de Mercados: http:// www.apeim.com.pe/images/Manual_invest_cualitativa.pdf Ballart, X. (1992). Cmo evaluar programas y servicios pblicos?: Aproximacin sistemtica y estudios de caso. Madrid: Ministerio para las Administraciones Pblicas. Banco Internacional de Reconstruccin y Fomento Banco Mundial. (2004). Seguimiento, evaluacin: instrumentos, mtodos y enfoques. [s.l.]: Banco Mundial. Camou, A. y Di Virgilio, M. M. (2008). Participacin ciudadana, gestin social y gobernabilidad: las especificidades del nivel local en el Conurbano bonaerense (Argentina). En M. Tanaka, Dilemas de la descentralizacin y de la participacin en Amrica Latina. Lima, Per: IEP (En prensa). Castao Yepes, R. (1997). Anlisis de costo-efectividad. Una herramienta para la toma de decisiones de poltica en el sector salud. CES med, vol. 11, N 2. Cerezo, L. y Fernndez Prieto, A. (2011). Manual de planificacin, monitoreo y evaluacin. Programa Remediar. Buenos Aires: Ministerio de Salud de
UNICEF - CIPPEC 119
la Nacin. Consultado el 14 de julio de 2012. Disponible en la Web de Programa Remediar: http://remediar.gov.ar.pampa.avnam.net/files/manual%20Monitoreo.pdf Cohen, E. y Franco, R. (1988). Evaluacin de proyectos sociales. Mxico: Siglo Veintiuno. Cohen, E. y Franco, R. (2005). Gestin Social. Cmo lograr eficiencia e impacto en las polticas sociales. Mxico: CEPAL y Siglo Veintiuno. Cohen, E. y Martnez, R. (2004). Manual de formulacin, evaluacin y monitoreo de proyectos sociales. Buenos Aires: CEPAL. Comitato Internazionale per lo Sviluppo dei Popoli. (2004). Manual de Monitoreo y Evaluacin de las ONGs de Forum Solint. Roma. Comunicado de UNICEF (7 de abril de 2011). Consultado el 14 de julio de 2012, disponible en Web de UNICEF Argentina: http://www.unicef.org/argentina/spanish/media_20230.htm Chiara, M. y Di Virgilio, M. M. (2006). La Poltica social orientada al desarrollo: debates sobre su institucionalidad. Perfiles Latinoamericanos, N 28, (213-230). Mxico D.F.: Facultad de Ciencias Sociales. Chiara, M. y Di Virgilio, M. M. (2009). Gestin de la poltica social: conceptos y herramientas. Buenos Aires: Prometeo Libros. Chiara, M. y Di Virgilio, M.M. (2005). Gestin social y municipios: De los escritorios del Banco Mundial a los barrios del Gran Buenos Aires. Los Polvorines: Universidad Nacional de General Sarmiento. Defensor del Pueblo de la Nacin (2011). Estudio sobre la Implementacin del Sistema de Promocin y Proteccin de los Derechos de Nios, Nias y Adolescentes en la Repblica Argentina. Informe final. Consultado el 18 de octubre de 2012, disponible en Web del Defensor del Pueblo de la Nacin: www.dpn.gob.ar Di Virgilio, M. M. (2009). Estrategias para el anlisis de las condiciones im plementacin de las polticas educativas: el caso del programa escue las plurilinges. Documento de trabajo N 31. Buenos Aires: Escuela de Educacin, Universidad de San Andrs. Consultado el 13 de abril de 2012. Disponible en la Web de la Universidad de San Andrs: http://www. udesa.edu.ar/files/ESCEDU/DT/DT31-DIVIRGILIO.PDF. Diaz Daz, N. (2008). Material del Curso de Anlisis Institucional. Buenos Aires: Maestra de Ciencia Poltica, Universidad de los Andes. Diguez, A. J. y Reyes, M. C. (2002). Diseo y evaluacin de proyectos de intervencin socioeducativa y trabajo social comunitario. Buenos Aires: Espacio Editorial.
120
Estvez, A. (1999). Construccin de una matriz de actores para polticas pblicas y proyectos dentro de un contexto de reforma del Estado. Facultad de Ciencias Sociales. Universidad de Buenos Aires. Consultado el 30 de marzo de 2012. Disponible en la Web de Polticas Pblicas Participativas para el Mejoramiento de la Calidad Democrtica: http://www.polipub.org/documentos/matriz%20de%20actores.PDF European Commission. (2005). Mtodos de Evaluacin. Europeaid, Cooperation Office. Consultado el 30 de marzo de 2012. Disponible en la Web de European Commission: http://ec.europa.eu/europeaid/evaluation/ methodology/ Fernndez Ballesteros, R. (Ed.) (1995). Evaluacin de programas: Una gua prctica en mbitos sociales, educativos y de salud. Madrid: Sntesis. Gasc Hernndez, M. (2002). Hacia una sistematizacin de la evaluacin de programas y polticas pblicas. Gestin y anlisis de polticas pblicas, N 23, (55-65). Hintze, S. y Coraggio, J. L. (1996). Polticas sociales: Contribucin al debate teorico-metodologico. Buenos Aires: Programa Especial de Investigacin Estado y Polticas Pblicas, Secretara de Ciencia y Tcnica de la Universidad de Buenos Aires. Instituto Nacional de Administracin Pblica. (1998). Evaluacin de la Asistencia al Desarrollo: Manual para Evaluadores y Conductores de proyectos segn el Enfoque de Marco Lgico (EML). Buenos Aires: Instituto Nacional de la administracin pblica. Instituto Nacional De Estadsticas y Censos de la Repblica Argentina. (2010). Niveles de Gobierno: Gobiernos locales por categoras segn provincias. Total del pas. Disponible en la Web del INDEC, http://www.indec.mecon.ar. Isuani, F. (Coord.) (1997). Atencin a nios y adolescentes en riesgo. Proame II. Buenos Aires: Universidad General Sarmiento y SIEMPRO. Kliksberg, B. y Rivera, Q. M. (2007).El capital social movilizado contra la pobreza: La experiencia del proyecto de comunidades especiales en Puerto Rico. Buenos Aires: CLACSO. Ley 898 de Obligatoriedad de la educacin hasta la finalizacin del nivel medio. Maceira, D. y otros. (2010). El papel de los municipios en la inversin pblica social en infancia y adolescencia. Resultados de una encuesta nacional a municipios argentinos. Buenos Aires: CIPPEC y UNICEF. Martnez Nogueira, R. (2004). La evaluacin para el anlisis y planificacin de las organizaciones. Documento de Trabajo N 31: FORGES (Fortalecimiento de la Organizacin y Gestin Econmica y Social). Consultado el 14 de julio de 2012. Disponible en la Web de la Facultad de Ciencias Econmicas
UNICEF - CIPPEC 121
de la Universidad de Buenos Aires: http://www.econ.uba.ar/www/institutos/admin/ceo/simposio99/mnogueira.htm. Mokate, K. (2001).Eficacia, eficiencia, equidad y sostenibilidad: Que queremos decir? Washington D.C.: Departamento de Integracin y Programas Regionales, Instituto Interamericano para el Desarrollo Social, Banco Interamericano de Desarrollo. Navarro, H. (2005). Manual para la evaluacin de impacto de proyectos y programas de lucha contra la pobreza. Santiago de Chile: rea de proyectos y programacin de inversiones, Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social. Neirotti, N. y Poggi, M. (2004). Alianzas e innovaciones en proyectos de desarrollo educativo local. Buenos Aires: IIPE y UNESCO. Nirenberg, O. (2009). Evaluacin y participacin: orientaciones conceptuales para una mejora de la gestin. En: M. Chiara, M.M. Di Virgilio e I. Arriagada, Gestin de la poltica social: conceptos y herramientas. Buenos Aires: Prometeo Libros. Nirenberg, O., Brawerman, J. y Ruiz, V. (2000). Evaluar para la transformacin: Innovaciones en la evaluacin de programas y proyectos sociales. Buenos Aires: Paidos. Olaviaga, S. y Marazzi, V. (2010). Inversin pblica social en infancia y adolescencia. Un anlisis institucional y presupuestario para el municipio de Morn. Buenos Aires: CIPPEC y UNICEF. Organizacin Panamericana de la Salud. (1990). Evaluacin de un programa de alimentacin escolar: El caso argentino. Washington D.C.: Organizacin Panamericana de la Salud. Ortegn, E., Pacheco, J. F. y Prieto, A. (2005). Metodologa del Marco Lgico para la planificacin, el seguimiento, la evaluacin de proyectos y programas. Santiago de Chile: rea de proyectos y programacin de inversiones/ Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social. Oszlak, O. y ODonnell, G. A. (1976).Estado y polticas estatales en Amrica Latina: Hacia una estrategia de investigacin. Buenos Aires: CEDES. Padrn, J. (2006). Bases del concepto de Investigacin Aplicada (o investigacin aplicativa o aplicaciones). Consultado el 13 de abril de 2012. Disponible en la Web de Jos Padrn: http://padron.entretemas.com/ InvAplicada/index.htm. Padrn, J. y Chacn M. (1996). Investigacin-Docencia, Temas para Seminario. Caracas: Publicaciones del Decanato de Posgrado de la Universidad Nacional Experimental Simn Rodrguez.
122
Pascual, L. y Chiara, M. (2008). Gua para evaluacin de programas en educacin. Buenos Aires: DiNIECE, Ministerio de Educacin de la Nacin. Pichardo Muiz, A. (1989). Evaluacin del impacto social: Una metodologa alternativa para la evaluacin de proyectos. Costa Rica: Universidad de Costa Rica. Programa de las Naciones Unidas para el Desarrollo. (2002). Manual de seguimiento y evaluacin de resultados. Nueva York: Colonial Communications Corp. Real Academia Espaola. (2001). Diccionario de la lengua espaola. Madrid: Espasa Calpe. Repetto, F. (2004). Capacidad estatal: requisito necesario para una mejor poltica social en Amrica Latina. Documento de Trabajo N I-52. Washington D.C.: Instituto Interamericano para el Desarrollo Social (INDES). Secretara Nacional de la Niez y la Adolescencia de Paraguay. (2009). Cmo hacer una gacetilla de prensa. Asesoramiento en comunicacin para el proyecto de atencin Integral a la niez y a la adolescencia en sus comunidades. Asuncin: Secretara Nacional de la Niez y la Adolescencia de Paraguay. SIEMPRO y UNESCO. (1999).Gestin integral de programas sociales orientada a resultados: Manual metodolgico para la planificacin y evaluacin de programas sociales. Buenos Aires: Fondo de Cultura Econmica. Sitio Web de DevInfo. Consultado el 14 de julio de 2012. Disponible en: http://www.devinfo.org. Sitio Web de la Direccin Provincial de Planeamiento, Estadsticas y Censos de Jujuy. Consultado el 14 de julio de 2012. Disponible en: http://www. infojujuy-dippec.gov.ar. Sitio Web de Save the Children. Programa Promocin del Buen Trato y Erradicacin de la Violencia. Consultado el 3 de mayo de 2012. Disponible en: http://www.savethechildren.es/tema_trabajo.php?idtema=6. Sitio Web de Secretara de Poltica Econmica y Planificacin del Desarrollo, Ministerio de Economa de la Nacin. Consultado el 27 de septiembre de 2012. Disponible en http://www.mecon.gov.ar/ desarrollo/?page_id=81&preview=true. Sitio web Ministerio de Desarrollo Social de la Nacin. Consultado el 14 de julio de 2012. Disponible en: www.desarrollosocial.gov.ar/planes/pa/default.asp. Sotelo Maciel, A. J. (1997). Anlisis PROBES. Un mtodo para el anlisis situacional y la formulacin de estrategias. La Plata: Escuela Superior de Trabajo Social, Universidad de La Plata.
UNICEF - CIPPEC 123
Subirats, J. (1995). Los instrumentos de las polticas, del debate pblico y el proceso de evaluacin. Gestin y Poltica Pblica. IV, 1, (5-23). Mxico: Divisin de Administracin Pblica, Centro de Investigacin y Docencia Econmica (CIDE). Tamayo Sez, M. (1997). El anlisis de las polticas pblicas. En R. Ban y E. Carrillo (Comp.), La nueva administracin pblica. Madrid: Alianza Universidad. UNICEF. (2010). Gasto Pblico Social dirigido a la niez en la Argentina. Buenos Aires: UNICEF. Waisgrais, S. (2007). El trabajo de nias, nios y adolescentes: conceptos, metodologa y resultados. En: S. Aparicio y otros, El trabajo infantil en la Argentina: Anlisis y desafos para la poltica pblica. Buenos Aires: OIT.
124
Acerca de las autoras

Mara Mercedes Di Virgilio
Sociloga. Doctora en Ciencias Sociales (UBA). Investigadora Adjunta CONICET. Obtuvo una beca posdoctoral externa del CONICET para investigar en la Universidad de Texas. Coordin el rea de Estudios Urbanos del Instituto Gino Germani (UBA). Es profesora adjunta regular de la Facultad de Ciencias Sociales (UBA). Se desempe como investigadora docente de la Carrera de Polticas Sociales (Instituto del Conurbano, Universidad Nacional de General Sarmiento). Cuenta con numerosas publicaciones sobre polticas pblicas y la cuestin urbana en la Argentina y particip en diversos proyectos de investigacin y programas de asistencia tcnica.
Romina Solano
Coordinadora de Proyectos del Programa de Salud de CIPPEC. Candidata a Magister en Administracin y Polticas Pblicas (Universidad de San Andrs). Licenciada en Ciencia Poltica (Universidad de Buenos Aires). Especialista en Gestin Cultural (Universidad de San Martn). Previamente, se desempe como analista de Desarrollo Institucional de CIPPEC.
La opinin de las autoras no refleja necesariamente la posicin de todos los miembros de CIPPEC o UNICEF sobre el tema analizado. Las publicaciones de CIPPEC son gratuitas y se pueden descargar desde www.cippec.org. CIPPEC alienta el uso y divulgacin de sus producciones sin fines comerciales. 125
UNICEF - CIPPEC
Queda hecho el depsito que menciona la Ley 11.723. Esta edicin de 300 ejemplares se termin de imprimir en noviembre de 2012, en VERLAP S.A., Calle Comandante Spurr 653, Avellaneda, Provincia de Buenos Aires.
MONITOREO Y EVALUACIN DE POLTICAS, PROGRAMAS Y PROYECTOS SOCIALES Durante las ltimas dcadas, los gobiernos locales asumieron un rol protagnico en el diseo, implementacin y evaluacin de las polticas pblicas. Con el objetivo de fortalecer sus capacidades para gestionar polticas sociales, en particular las destinadas a niez y adolescencia, CIPPEC y Unicef desarrollaron los siguientes manuales: Planificacin de polticas, programas y proyectos sociales. Monitoreo y evaluacin de polticas, programas y proyectos sociales. Coordinacin de polticas, programas y proyectos sociales. Los tres manuales, en conjunto y por separado, constituyen un instrumento de apoyo para quienes trabajan en el territorio: el abordaje de los conceptos y la forma de sistematizar las herramientas fueron especficamente diseados para ayudar a los actores locales a enfrentar los problemas diarios de la gestin social. El manual de monitoreo y evaluacin de polticas, programas y proyectos sociales presenta metodologas y recursos tiles para facilitar la elaboracin y ejecucin de herramientas de monitoreo y evaluacin, difunde los beneficios y las oportunidades que se abren al incorporar este tipo de instrumentos en la gestin local y comparte experiencias locales que surgieron de su implementacin. Adems, incluye fichas descriptivas que servirn como gua al momento de poner en prctica el monitoreo y la evaluacin en el mbito local.
CIPPEC (Centro de Implementacin de Polticas Pblicas para la Equidad y el Crecimiento) es una organizacin independiente, apartidaria y sin fines de lucro que trabaja por un Estado justo, democrtico y eficiente que mejore la vida de las personas. Para ello concentra sus esfuerzos en analizar y promover polticas pblicas que fomenten la equidad y el crecimiento en la Argentina. Su desafo es traducir en acciones concretas las mejores ideas que surjan en las reas de Desarrollo Social, Desarrollo Econmico e Instituciones y Gestin Pblica, a travs de los programas de Educacin; Salud; Proteccin Social; Poltica Fiscal; Integracin Global; Justicia; Transparencia; Poltica y Gestin de Gobierno; Incidencia, Monitoreo y Evaluacin; y Desarrollo Local.

Cippec Uni Monitoreo Evaluacion

Hochgeladen von

Dokumentinformationen

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Cippec Uni Monitoreo Evaluacion

Hochgeladen von

Copyright:

Verfügbare Formate

Monitoreo y evaluacin de polticas, programas y proyectos sociales

Monitoreo y evaluacin de polticas, programas y proyectos sociales

Monitoreo y evaluacin de polticas, programas y proyectos sociales

Una herramienta para funcionarios/as y legisladores/as locales

cionales (provincias y municipios). XX Un cambio en el abordaje de las polticas de niez y adolescencia.

XX Utilizar instrumentos de gestin de polticas sociales, especialmente en

aquellas destinadas a nios, nias y adolescentes.

tivas y con criterios de equidad.

Acerca de este manual: monitoreo y evaluacin de polticas, programas y proyectos sociales

Monitoreo y evaluacin de polticas, programas y proyectos sociales

Sus objetivos son:

ejecucin de herramientas de M&E.

Cmo recorrer este manual?

Si bien invitamos a cada lector a delinear su propio recorrido, sugerimos algunos:

1.1 1.2 1.3

1.1 Polticas, Programas y Proyectos (las 3 P)

UNICEF - CIPPEC Cap.

Monitoreo y evaluacin de polticas, programas y proyectos sociales

Tabla 1.1 Poltica, programa y proyecto: algunas diferencias

UNICEF - CIPPEC Cap.

Supuestos acerca de la accin Los actores

Fuente: CIPPEC, sobre la base de Chiara y Di Virgilio (2009).

Monitoreo y evaluacin de polticas, programas y proyectos sociales

1.2 El ciclo de vida de las polticas, programas y proyectos

con el correspondiente planteo de objetivos y metas. XX La implementacin. XX La evaluacin.

1.3 Breve resea sobre el proceso de descentralizacin

UNICEF - CIPPEC Cap.

Monitoreo y evaluacin de polticas, programas y proyectos sociales

UNICEF - CIPPEC Cap.

Grandes hitos de la descentralizacin en la Argentina

Complejidades y ventajas de la descentralizacin

Monitoreo y evaluacin de polticas, programas y proyectos sociales

tinta escala territorial.

La descentralizacin ofrece ciertas ventajas que vale la pena destacar:

UNICEF - CIPPEC Cap.

El impacto de la descentralizacin en el gasto pblico social

Monitoreo y evaluacin de polticas, programas y proyectos sociales

Variacin de la composicin de gasto pblico social

Participacin de los gobiernos subnacionales en el gasto pblico social

UNICEF - CIPPEC Cap.

Monitoreo y evaluacin de polticas, programas y proyectos sociales

4 3,5 3 2,5 2 1,5 1 0,5

UNICEF - CIPPEC Cap.

Monitoreo y evaluacin de polticas, programas y proyectos sociales

UNICEF - CIPPEC Cap.

1.4 Nuevo paradigma en polticas sociales destinadas a infancia y adolescencia3

Monitoreo y evaluacin de polticas, programas y proyectos sociales

Derogacin del antiguo rgimen de patronato de menores

UNICEF - CIPPEC Cap.

Monitoreo y evaluacin de polticas, programas y proyectos sociales

Misiones Entre Ros

Tucuman Catamarca Santiago de Estero

CABA Tierra del Fuego Santa Cruz Buenos Aires

Cordoba Entre Rios San Luis

Buenos Aires La Pampa

Santa Fe La Rioja Ro Negro Salta Tucumn

Tierra del Fuego

UNICEF - CIPPEC Cap.

Creacin de la Secretara Nacional de Niez, Adolescencia y Familia

Consejo Federal de Niez, Adolescencia y Familia

Monitoreo y evaluacin de polticas, programas y proyectos sociales

Defensor de los derechos de los nios, nias y adolescentes

Registro de Proteccin Integral de la Niez y la Adolescencia

UNICEF - CIPPEC Cap.