Beruflich Dokumente
Kultur Dokumente
Informe final
CONTENIDO
3. Conclusiones y recomendaciones
BIBLIOGRAFÍA
Instituto APOYO 2
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
La evaluación, por su par te, es el análisis del impacto del proyecto sobre los
beneficiarios o el entorno. Busca establecer el nivel de logro en relación al
cumplimiento de los objetivos que dieron origen al proyecto, y los determinantes de
ello. Esta se realiza en determinados mo mentos en el tiempo y se concentra en los
indicadores de resultado y de impacto, con el fin de evaluar el cumplimiento de los
objetivos del proyecto. Las evaluaciones se pueden desarrollar antes de iniciarse el
proyecto, sobre la base de supuestos, en cuyo caso son evaluaciones de pre-
inversión; a la mitad del proyecto, evaluaciones de medio término; al momento en que
se ha concluido –evaluaciones expost- o varios años después de finalizado el proyecto
-evaluaciones de sostenibilidad-. Las evaluaciones de pre-inversión se realizan sobre
la base de resultados e impactos proyectados, con el fin de evaluar la factibilidad del
proyecto. Las evaluaciones de medio término se realizan con el fin de evaluar el
proyecto durante su implementación, ya que proveen señal es de alerta que permiten
realizar correcciones “sobre la marcha”. Estas se utilizan comúnmente para evaluar las
diferentes fases que puedan tener algunos proyectos.
Las evaluaciones post proyecto se realizan al final del mismo o también pueden
realizarse varios años después de finalizado. Las evaluaciones que se realizan cuando
finalizan los proyectos permiten obtener una visión integral del impacto de los mismos,
desde su inicio hasta su fin; las evaluaciones después de varios años de que haya
finalizado el proyecto, por su parte, buscan medir la sostenibilidad del mismo, con el fin
de determinar si el impacto se mantiene a pesar de haber culminado la asistencia del
proyecto. La principal desventaja de las evaluaciones expost es el hecho de que los
hallazgos ya no pueden ser incorporados al proyecto, porque este ya finalizó. Sin
embargo, estos sirven para evaluar la situación de otros proyectos similares.
1
La reseña referida al marco conceptual sobre M&E se ha elaborado a partir de la bibliografía que se
anexa a la investigación.
Instituto APOYO 3
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
definición de los indicadores más adecuados para medir el impacto del programa
obliga a los evaluadores a cuestionar los objetivos planteados y a validar las
relaciones causales asumidas en el marco lógico de la intervención. Asimismo, la
incorporación de sistemas de M&E en los programas públicos permiten la información
necesaria para que las decisiones de presupuesto sean más acertadas, las
autoridades e instituciones públicas puedan rendir cuentas a la ciudadanía, etc.
Asimismo, el estado actual de los sistemas de M&E tiene relación muy estrecha con
los demás problemas vinculados a este campo. Las instituciones que han sido creadas
o reformadas recientemente, como los órganos reguladores, la Sunat, la SBS, etc.
enfrentan una problemática muy distinta en este campo que la estructura pública
tradicional. Este estudio tiene mayor interés por analizar el estado de los sistemas de
M&E, y los factores que podrían explicar el grado desigual de avance entre uno y otro
programa o proyecto, en el ámbito de la administración pública tradicional.
Instituto APOYO 4
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
sistemas de M&E, pero sus resultados son conocidos sólo por las altas autoridades de
la institución. En el otro extremo, no existe interés por medir el desempeño, por lo que
no existen sistemas de M&E vigentes o en construcción. Este extremo puede deberse
a diversos motivos, desde apatía e ineficiencia, hasta problemas más serios como
manipulación política o corrupción. Sin embargo, no es necesario que exista una
situación de corrupción para que políticamente sea más conveniente no evaluar ni
monitorear. Se deben crear incentivos al interior de la administración pública que
induzcan hacia la creación y fortalecimiento de sistemas de M&E.
La falta de apoyo político se refleja, en última instancia, en una definición difusa y poco
clara del ámbito de M&E y de las responsabilidades de las unidades encargadas de
realizar estas tareas. No se definen las unidades a las cuales se debe reportar ni
tampoco los mecanismos de retroalimentación para que los hallazgos sean de utilidad
para los funcionarios que ejecutan los proyectos.
Instituto APOYO 5
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Sin embargo, la incorporación de estas prácticas deberá lidiar con las trabas o
problemas que comúnmente surgen al interior de la administración pública y que
frenan o atenúan el impacto de las mismas:
Los fondos para la lucha contra la pobreza en los países en desarrollo son sumamente
escasos. La población pobre que requiere algún tipo de asistencia es
significativamente superior a la que es posible atender con los recursos disponibles.
Por ello, es importante mejorar la eficiencia del gasto social, a través de la
implementación de sistemas de M&E que permitan hacer seguimiento y medir el
impacto que tienen los proyectos sociales en el bienestar de la población más pobre.
Mientras mayor sea la eficiencia por cada dólar de gasto social, entonces podrá
incrementarse la cobertura de los proyectos de asistencia social, atendiendo a un
mayor número de pobres.
Instituto APOYO 6
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
200
150
127,0 128,4
110,3 113,1 110,6
100 81,2
50
72,8 72,5 62,3 69,6
49,7 66,6
0
1991-95 1/ 1996 1997 1998 1999 2000 2/
1/ Promedio
Primera prioridad Resto
2/ Presupuestado. Fuente: MEF
De los dos componentes del gasto social, el que destaca es el de primera prioridad por
haber registrado un mayor crecimiento (pasó de un promedio de US$81 en el período
1991-95 a US$113 en 1999). Sin embargo, a pesar del significativo crecimiento del
gasto social en la década de los 90’s, existen serios cuestionamientos a la eficiencia
del mismo.
Por ello, la evidencia de estos indicadores sugiere que aún falta realizar importantes
reformas para lograr que el gasto destinado a la población más pobre tenga los niveles
de eficiencia deseables. Sin embargo, existen muy pocas investigaciones que
permitan saber de la eficiencia o eficacia de la mayoría de programas públicos que se
desarrollan para atender estas necesidades. Este estudio busca suplir esa deficiencia,
al identificar el estado de los sistemas de M&E del presupuesto social de múltiples
proyectos y programas sociales, y analizar en mayor profundidad cuatro casos. El
estudio también analiza los motivos del mayor o menor avance relativo de los sistemas
de M&E.
Instituto APOYO 7
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
En la década de los 90’s, la evolución del gasto público registró dos etapas claramente
diferenciadas. Al inicio, luego del programa de estabilización, se canalizó ayuda de
emergencia para amortiguar los efectos que tendría este programa de ajuste
económico tan drástico en la población. En esta etapa no existió mayor preocupación
por la eficiencia del gasto ni tampoco por realizar programas que evalúen el
cumplimiento de los objetivos del mismo. En la segunda etapa, cuando el periodo de
emergencia había finalizado, existió más preocupación por lograr una mayor eficiencia
del gasto social y evaluar el cumplimiento de los objetivos del mismo. Este interés
estuvo motivado principalmente por los organismos multilaterales, que canalizaron una
parte importante de los recursos de asistencia social, y ahora deseaban medir el
impacto de los mismos. Es así que comienzan a implementarse prácticas de M&E,
pero solamente en algunos casos aislados, principalmente en los programas o
proyectos sectorials que estaban financiados con fondos externos.
A partir del 2000, por su parte, se inició un nuevo intento por introducir prácticas de
M&E al interior de la administración pública, por el cual cada sector tiene la obligación
de elaborar planes estratégicos multianuales (PESEM), que incorporen la visión,
misión, objetivos y actividades que guiarán los gastos públicos.
Sin embargo, estos sistemas recién se están implementando y aún no hay un impacto
significativo. El PESEM está en una etapa inicial y se concentra principalmente a nivel
de sectores, lo que impide evaluar las prácticas de M&E en unidades más pequeñas,
como son los proyectos sociales. El SIAF es el único de los tres esquemas que ya está
prácticamente implementado en su totalidad. No obstante, este es un sistema que fue
creado con un objetivo claro, que fue el de controlar que la ejecución de los gastos
públicos se realice de acuerdo a lo programado, mas no buscó implementar un
sistema más integral de M&E.
Sin embargo, la nueva ley de inversiones sólo abarca a las unidades ejecutoras de
proyectos de inversión, mas no los programas y/o proyectos que realizan gastos
corrientes. Es decir, analiza solamente los proyectos de carácter eventual, con un
plazo de tiempo definido. En el grueso del gasto estatal, no existe un marco a través
del cual se controle la utilización de sistemas de M&E.
Instituto APOYO 8
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
En el Perú, una gran cantidad de los programas sociales tienen un diseño y una
estructura lógica débiles, porque surgieron sin un trabajo de pre-inversión con un
análisis adecuado que aseguren su viabilidad. Esto dificulta la implementación de
prácticas de M&E, pues no existen objetivos, actividades, relaciones causales, etc,
establecidos adecuadamente para cada proyecto. Por ello, en estos casos deberá
existir amplio margen de acción y flexibilidad para que, a la luz de los resultados del
M&E, sea posible realizar las correcciones requeridas, como reformular y modificar la
estructura lógica de los programas.
En el caso peruano, son pocos los programas sociales que cuentan con una línea de
base o con grupo de control. Por lo tanto, a veces será muy útil y necesario aplicar
técnicas intermedias de M&E, como estimaciones de las características de la
población objetivo al inicio del proyecto, comparaciones al interior del mismo grupo de
beneficiarios, series de tiempo, etc. La técnica de series de tiempo, por ejemplo, será
importante para medir la sostenibilidad de los programas, ya que definirá si es que la
tendencia es similar a la que registraba el indicador antes de la asistencia del
proyecto, si mejoró, si empeoró o si se mantuvo igual durante su desarrollo, etc. En
estos casos, puede ser importante complementar la información con data de cuentas
nacionales, cuando sea posible, para reconstruir las series de tiempo.
Asimismo, las técnicas cualitativas adquieren especial relevancia para el caso de los
programas sociales peruanos. La realidad peruana es compleja, debido a las
diferencias culturales entre los distintos grupos poblacionales. En muchos casos,
grupos distintos de beneficiarios pueden reaccionar de manera muy diferente a la
intervención de un proyecto similar. Además, comúnmente la realidad de los
evaluadores y/o los ejecutores de programas sociales es significativamente diferente a
la de la población beneficiaria. A menudo, estos factores impiden anticipar el
comportamiento que tendrá la población objetivo. Por ello, en estos casos será
importante utilizar técnicas de recolección de información cualitativas, ya que habrá
aspectos que no será posible indagar a través de técnicas cuantitativas. Por ejemplo,
las razones por las cuales la población beneficiaria no utiliza ciertos productos o
servicios que le fueron entregados, muchas veces son anecdóticas y no es posible
descubrirlas sin un estudio más cualitativo y exploratorio.
Para ello, se utilizarán tres técnicas de análisis. En primer lugar, para el análisis de las
experiencias del SIAF, ODI y PESEM, se realizarán entrevistas a los funcionarios
encargados de estas unidades y se revisará el marco legal vigente. Luego, con el fin
de analizar los métodos de M&E utilizados por los programas y proyectos sociales,
Instituto APOYO 9
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Instituto APOYO 10
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Por último, también se recogerá información relativa a productos de M&E más que a
insumos, como podrían ser la realización de evaluaciones, experiencias que
demuestren que haya habido correcciones a los programas, como consecuencia delos
hallazgos del M&E, etc.. Estos últimos aspectos analizados son más específicos, pero
la perspectiva de análisis sigue siendo la misma, pues no se evaluará la calidad de
estas herramientas, sino que sólo se preguntará si se utilizan o no.
Instituto APOYO 11
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Por medio de los estudios de casos se buscará realizar una indagación más
exhaustiva de los mismos aspectos contenidos en el cuestionario aplicado en las
entrevistas en profundidad, con énfasis en identificar factores de éxito o fracaso en el
marco de la aplicación de las prácticas de M&E para el caso de programas y/o
proyectos sociales, principalmente en lo referido al marco institucional, autonomía en
la toma de decisiones, y capacidad técnica del personal.
El perfil de los funcionarios entrevistados para los estudios de casos tendrán las
siguientes características:
En términos generales, el ámbito del estudio está constituido por los programas y/o
proyectos sociales públicos. Sin embargo, las definiciones en el ámbito de la
administración pública no necesariamente coinciden con las de este estudio de
investigación. De acuerdo a la normativa de la nueva ley de inversiones, un proyecto
es toda intervención limitada en el tiempo que implique la aplicación de recursos
públicos con el fin de ampliar, mejorar y modernizar la capacidad productora de bienes
o prestadora de servicios, cuyos beneficios son independientes de otros proyectos. En
este sentido, este marco sólo abarca a las intervenciones eventuales, con una vida útil
limitada en el tiempo.
Instituto APOYO 12
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Gobierno Central, pues concentran los principales programas y/o proyectos sociales.
Para efectos de las entrevistas en profundidad, se identificó a los funcionarios que
reunían las características del perfil definido anteriormente, quienes tenían el
conocimiento requerido, tanto del sector como de los proyectos del mismo, para que
se les pueda aplicar el cuestionario. Los proyectos analizados, por su parte, se
definieron en función a la importancia en el gasto público, así como también a la
disponibilidad de información de parte de los funcionarios entrevistados.
En cuanto a los criterios utilizados para escoger los proyectos que se analizarán en los
estudios de casos, se buscó que estos pertenezcan a diferentes sectores, que el
tamaño de los mismos sea diverso –incluyendo proyectos grandes y pequeños-, que
tengan niveles de desarrollo distintos de sus sistemas de M&E –de acuerdo al sondeo
previo que se realizó - y que tengan niveles de interacción más o menos intensivos con
los órganos “de línea” de los ministerios.
En primer lugar, para la fase exploratoria en que se analizarán los aspectos generales
a nivel de los sectores económicos, será relevante indagar acerca de las
características generales del marco en el cual se desenvuelve el proceso de M&E. En
este sentido, hay algunos aspectos que son necesarios, a nivel de los sectores, para
que tenga éxito la implementación de prácticas de M&E, como por ejemplo:
En estos casos, se buscó cuantificar las respuestas de los entrevistados, con el fin de
obtener calificaciones que faciliten el análisis posterior de la información. Para ello, se
les pidió a los entrevistados que califiquen en una escala del 1 al 7, donde “1” es peor
y “7” es mejor. Sin embargo, el puntaje más alto, “7”, no necesariamente significa lo
óptimo, sino más bien los aspectos más básicos con los que debería contar cada
sector para realizar M&E. Más aún, considerando que no se analiza la calidad de los
mismos. Entonces, el puntaje mayor se deberá interpretar como que las condiciones
Instituto APOYO 13
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
son las adecuadas para el inicio, a nivel sectorial, de un proceso que busque alcanzar
un sistema de M&E eficiente y de calidad.
Sin embargo, será necesario definir algunos aspectos que debe considerar todo
sistema de M&E de proyectos, como son las características más generales de los
sistemas de M&E, que no dependen tanto de la realidad específica del proyecto. Para
definir un modelo ideal de M&E, no pondremos tanto énfasis en las técnicas o los
instrumentos utilizados en cada caso, sino más bien en lo que busca medir el modelo
de M&E. Por ejemplo, nos importará que el modelo de M&E incluya algún tipo de
evaluación, sin necesidad de exigir que exista algún tipo de evaluación específica.
Igualmente incluimos en el cuestionario algunas preguntas específicas, referidas por
ejemplo a la existencia de línea de base o un grupo de control, pero cuya ponderación
en el índice definido no es tan importante.
Por lo tanto, los aspectos que se analizarán para la recolección de información relativa
a los sistemas de M&E de los proyectos, se pueden dividir en tres grupos:
Instituto APOYO 14
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Todas las características evaluadas, además de ser más o menos generales, deberán
ser contrastables también, con el fin de evitar que los entrevistados sobreestimen las
bondades de los sistemas de M&E de los proyectos analizados. Por tanto, habrá que
evitar el riesgo de respuestas sesgadas.
d.4) Cuestionario
Instituto APOYO 15
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
del ministerio? ¿Las personas destacadas a las OPI sectoriales, han sido
contratadas o existen altas probabilidades de que lo sean? Califique el liderazgo
(a) y margen de maniobra (b), en escalas donde 1 es nada y 7 es mucho. Califique
el tipo de rol que juega la OPI (c), donde 7 es más promocional y 1 es más pasivo.
Califique la posibilidad de contratación del personal destacado de la Odi a las OPIs
(d): 1 es nada probable y 7 muy probable.
El escaso desarrollo de las prácticas de M&E en el Perú impide que los conceptos que
se manejan tengan acepciones similares, principalmente para el entrevistador y el
entrevistado. No existe un consenso acerca de lo que se puede entender como una
evaluación de proyectos y puede ser que una evaluación sea adecuada para un
persona pero inadecuada para otra. En estos casos, existirá el riesgo de que, por
ejemplo, el entrevistado conteste afirmativamente ante la pregunta de si es que
realizan algún tipo de evaluación, pero que en realidad ésta sea tan simple que no
calce dentro de lo que el entrevistado entiende por una evaluación adecuada para los
efectos del estudio. Además, es difícil y prácticamente imposible realizar este trabajo
de campo si previamente a la aplicación del cuestionario habría que realizar
Instituto APOYO 16
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
definici ones de los conceptos para llegar a algunos consensos entre el entrevistador y
el entrevistado.
Sin embargo, es probable que no en todos los casos sea posible que el entrevistado
responda de manera uniforme par el caso de algunas preguntas. Por ejemplo, puede
ser que algunos de los subproyectos hayan realizado evaluaciones, mientras que otros
no lo hayan hecho. En estos casos, quizás la respuesta más adecuada y que tendría
menos error sería la que haya considerado qué tan diseminada está la práctica de las
evaluaciones al interior del proyecto. Es decir, si la mayoría de los subproyectos
realizan evaluaciones entonces la respuesta más adecuada sería afirmativa. Sin
embargo, igual existirá el riesgo de error en algunos casos, en los que, siguiendo con
el ejemplo, sólo unos pocos proyectos realicen evaluaciones y se conteste “Sí” o que
casi todos realicen y que se conteste “No”, lo que sería menos probable.
Considerando estas limitaciones, los hallazgos y conclusiones más sólidos del estudio
serán de carácter general, a nivel de todos los sectores y/o a nivel de todos los
proyectos analizados. En estos casos, es más probable que los errores que haya
habido en las respuestas se neutralicen unos con otros. Las conclusiones a nivel de
sectores específicos y/o proyectos específicos, por su parte, así como las
comparaciones de unos con otros en cada caso, serán menos sólidas.
A nivel sectorial:
o La importancia que se le otorga al planeamiento de las inversiones es baja.
o Las oficinas de planeamiento de las inversiones aún no tienen el respaldo que
requieren.
o El respaldo político para la aplicación de prácticas de M&E es sumamente bajo.
o La cultura de M&E es escasa.
Instituto APOYO 17
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Instituto APOYO 18
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
En la segunda mitad de los 90’s, se iniciaron tres esfuerzos por implementar sistemas
de M&E en la administración pública, impulsados por el Ministerio de Economía y
Finanzas (MEF). Sin embargo, estos esquemas se desarrollaron de manera integral
para la administración pública, lo que a veces impide controlar el cumplimiento de los
mismos. Además, al menos en el caso del SIAF y PESEM, no son esquemas de M&E
propiamente. El SIAF es un sistema de control presupuestal y de la ejecución de los
gastos pú blicos, mientras que el PESEM intenta introducir prácticas de planeamiento
estratégico, todavía sin enforcement requerido.
PESEM SIAF
Sectores Unidades
(Ministerios y Pliegos ejecutoras
otros sectores)
Gastos de
inversión
26 149 550
ODI
Gastos de
B) Resto del sector público inversión
Instituto APOYO 19
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
a.1.1) Antecedentes
En 1995, se creó la ODI, uni dad que asumió las funciones del desaparecido INP. Esta
analizó la utilización de las prácticas de M&E en el ámbito de los proyectos públicos de
inversión y, en 1998, elaboró un informe que resumía el estado de los mismos.
Durante el segundo gobierno del presidente Fujimori, entre 1995 y el 2000, la ODI
funcionó como una unidad rectora de las inversiones públicas, analizando las nuevas
propuestas de inversiones presentadas por los diferentes sectores y procurando que
éstas se formulen adecuadamente. De esta manera, funcionaba como un filtro que
intentó frenar proyectos que no tenían una formulación adecuada que, en la mayoría
de los casos, la intención de desarrollarlos respondía más a factores políticos que a
criterios de eficiencia.
Durante estos años, la ODI diseño el marco legal que debía regir para las inversiones
públicas y, en el 2000, publicó la nueva Ley de Inversiones, así como su reglamento y
directivas, que definen todas las etapas del ciclo de proyectos que deben ser
aprobadas para asegurar la viabilidad de los mismos. A partir del 2001, todos los
proyectos públicos deben adecuarse a estas nuevas normas.
a.1.2) Objetivos
El ámbito de influencia del nuevo marco legal es los proyectos de inversión de las
entidades y empresas del sector público no financiero, pero no incluye los gobiernos
locales y sus empresas. Entonces, su ámbito de influencia está definido por los
siguientes organismos:
■ Gobiernos regionales.
inversión.
Para efectos de este nuevo marco legal, los proyectos que deben cumplir con la nueva
normativa son todos aquellos que representan una intervención limitada en el tiempo,
que implique la aplicación de recursos públicos con el fin de ampliar, mejorar y
modernizar la capacidad productora de bienes o prestadora de servicios, y cuyos
beneficios son independientes de otros proyectos.
Instituto APOYO 20
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
a.1.4) Autoridades
Las autoridades que tienen algún tipo de injerencia en el contexto de esta nueva
normatividad son el Ministerio de Economía y Finanzas (MEF), principalmente a través
de la Oficina de Inversiones (ODI), los órganos resolutivos de los sectores y las
Oficinas de Planificación de Inversiones de los sectores (OPIs).
Órganos resolutivos: son los ministros o las máximas autoridades de los sectores.
Autorizan la elaboración de los expedientes técnicos y la ejecución de los proyectos de
inversión. Asimismo, deben velar por el cumplimiento de la normatividad.
Instituto APOYO 21
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Instituto APOYO 22
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Etapa de pre-inversión
Etapa de inversión
a.1.6) Limitaciones
Instituto APOYO 23
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Por otro lado, es necesario que este esquema de M&E planteado por la ODI
permita evaluar la sostenibilidad de los programas, luego de varios años de
haber finalizado. En la nueva normativa se establece que las unidades
ejecutoras de los proyectos serán las encargadas de hacer las evaluaciones ex
post. Sin embargo, lo más probable es que éstas se encuentren desactivadas
cuando culminen los proyectos, lo que impediría realizar evaluaciones de
sostenibilidad. Además, en muchos casos, luego de que culmina la ejecución
de un proyecto de carácter eventual, hay partes del mismo que se transfieren a
los órganos de línea del sector, porque se generan gastos corrientes futuros
como consecuencia del mismo, que también sería necesario monitorear y
evaluar.
a.2.1) Antecedentes
a.2.2) Objetivos
Instituto APOYO 24
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Las principales ventajas que tiene, desde el punto de vista del monitoreo, es
que permite hacer un seguimiento en tiempo real de los indicadores financieros
y un seguimiento trimestral de algunos pocos indicadores físicos de los gastos
corrientes y de inversión del sector público. De esta manera, es posible obtener
ratios de efectividad comparando ambas informaciones, como por ejemplo,
cuánto esta costando cada bien producido por el proyecto. Sin embargo, el
SIAF tiene serias limitaciones si es que se lo considera como un sistema
integral de M&E, ya que no fue creado con ese objetivo. Además, no permite
identificar las causas por las cuales se haya avanzado más o menos que lo
programado y la información procesada por el sistema no retroalimenta a los
organismos ejecutores, que son quienes realizan el seguimiento de sus
unidades y quienes deberían estar más interesados en conocer estos
resultados.
Instituto APOYO 25
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
a.3.1) Antecedentes
a.3.2) Objetivos
El ámbito de influencia de este nuevo marco legal son todos los sectores del
Gobierno Central, conformado por 16 ministerios y 10 sectores autónomos.
Estos deberán presentar sus PESEM a la DGAEF, que es la Dirección General
de Asuntos Económicos y Financieros. Considerando que los sectores realizan
sus gastos a través de pliegos que, a su vez, los ejecutan por medio de las
unidades ejecutoras, entonces los planes del sector deberán ser coordinados
en todos los niveles de la cadena funcional de los gastos públicos.
a.3.5) Autoridades
Instituto APOYO 26
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
En el año 2000, los sectores elaboraron y presentaron por primera vez los
PESEM, que contenían las metas para el 2001. Sin embargo, estos no fueron
evaluados, ya que se hizo necesario corregir ciertos errores y capacitar aún
más a los funcionarios o áreas que se encargarían de estas labores. En el
2001, por su parte, se presentarán los PESEM, con las metas para el 2002,
pero en esta oportunidad sí serán evaluados. Luego, la DGAEF, será la unidad
encargada de discutir con cada sector los criterios utilizados para la
elaboración de los PESEM, realizar las modificaciones que surjan de estas
coordinaciones y consolidar los PESEM en el plan estratégico multianual
(PEM). Finalmente, el PEM se someterá a la aprobación del Consejo de
Ministros para que luego sea tomado como referencia para la formulación del
presupuesto del 2002.
El proceso del PESEM todavía está en una etapa inicial. La presentación de los
PEM en el 2000 reflejó problemas de concepción de los mismos, que obligó a
realizar una mayor capacitación de los funcionarios involucrados con su
elaboración. En muchos casos no existe consistencia entre los objetivos
planteados y los indicadores definidos para medir su cumplimiento. Además,
aún no estaría funcionando como un sistema de planificación estratégico sino
más bien como un sistema de programación.
Instituto APOYO 27
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
a.4) Conclusiones
Instituto APOYO 28
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Por estas razones, se decidió utilizar una metodología diferente, que buscó
superar las limitaciones de la información obtenida en el PFP, que tenía varios
sesgos. Esta consistió en realizar entrevistas en profundidad a funcionarios
relacionados indirectamente con los programas y/o proyectos públicos.
Igualmente, esta nueva metodología incorpora ciertas limitaciones, como puede
ser la subjetividad del entrevistado, en cuanto a la mayor o menor rigurosidad
al responder las preguntas. Sin embargo, se cree que es más adecuada que la
anterior. Adicionalmente, se decidió realizar estudios de casos, para cuatro
proyectos, con el fin de ahondar más en los factores de éxito de los sistemas
de M&E de los proyectos públicos.
Gastos Estructura
ejecutados porcentual
(US$ millones)
Educación 752 9,4%
Salud 495 6,2%
Trabajo 14 0,2%
Agricultura 232 2,9%
Transportes 408 5,1%
Presidencia 1 754 22,0%
Promudeh 153 1,9%
Sub-total 3 808 47,7%
Otros 4 172 52,3%
Total 7 980 100,0%
Fuente: SIAF
Instituto APOYO 29
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Sin embargo, para tener una idea más clara del universo que representan estos
sectores para efectos de esta investigación, se debería considerar los gastos
que realizan pero solamente por concepto de programas y/o proyectos
sociales. Esto se debe a que los gastos presentados en el cuadro anterior
incluyen todos aquellos desembolsos ordinarios de los sectores,
correspondientes a sus órganos de línea que no se destinan a programas y/o
proyectos sociales. Sin embargo, la información pública no permite una mayor
desagregación de los gastos del Gobierno Central, que permita definir el
universo de los programas y proyectos del Estado, tanto de inversión como de
gasto corriente.
Gastos Estructura
ejecutados porcentual
(US$ millones)
Agraria 360 4,5%
Asistencia y previsión social 1 887 23,6%
Educación y cultura 1 537 19,3%
Salud y saneamiento 758 9,5%
Trabajo 13 0,2%
Transportes 396 5,0%
Vivienda y desarrollo urbano 42 0,5%
Sub-total 4 993 62,6%
Otros 2 987 37,4%
Total 7 980 100,0%
Fuente: SIAF
En segundo lugar, hubiese sido difícil clasificar a los programas y/o proyectos
por el tipo de función que atienden (educación, salud, etc.), porque en muchos
casos un solo proyecto tiene varios objetivos y, por lo tanto, atiende varias
funciones. Por ejemplo, como parte del proceso de redefinición de sus objetivos
y ordenamiento de los programas del sector, el Promudeh realizó un análisis de
Instituto APOYO 30
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
los mismos. Como consecuencia de ello, identificó una gran cantidad de cruces
entre las funciones o servicios atendidos por los mismos, los que se presentan
en el siguiente cuadro:
Instituto APOYO 31
Instituto APOYO
SERVICIOS SOCIALES GENERADOS POR EL PROMUDEH EN EL 2000
Fuente: Promudeh
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
32
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Por otro lado, se definieron ponderaciones para el caso de cada pregunta, con
el fin de priorizar los aspectos que son más importantes para realizar un
adecuado proceso de M&E. Las ponderaciones definidas para cada pregunta
fueron las siguientes:
Ponderación
Pregunta 1 10%
Pregunta 2 10%
Pregunta 3 10%
Pregunta 4 10%
Pregunta 5 20%
Pregunta 6 20%
Pregunta 7 20%
Pregunta 7 a 5%
Pregunta 7 b 5%
Pregunta 7 c 5%
Pregunta 7 d 5%
Total 100%
Instituto APOYO 33
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Luego de indagar acerca de los aspectos con los que debería cumplir cada
sector para realizar un adecuado M&E, se obtuvo que, en una escala del 1 al 7,
el puntaje de todos lo sectores analizados ascendería a alrededor de 3. Como
se menciona anteriormente, este resultado no debe ser comparado con 7 como
si este fuese el resultado máximo, ya que el puntaje más alto considerado en
esta escala refleja solamente el cumplimiento de las condiciones más básicas
para realizar adecuadamente operaciones de M&E. En cuanto al detalle de los
distintos aspectos analizados, los principales hallazgos se presentan a
continuación:
Agricultura 3,0 1,0 6,0 4,0 6,0 4,0 2,0 3,0 1,0 nd 3,3 3,7
Educación 3,0 3,0 5,5 3.5 2,5 3,5 4,0 4,5 6,0 1,5 3,7 3,2
Salud 3,0 3,0 5,0 4,0 1,0 2,0 2,0 5,0 4,0 n.d. 3,2 2,7
Promudeh 2,0 3,0 5,0 2,0 7,0 2,0 4,0 1,0 5,0 2,0 3,3 3,6
Mipre 2,0 1,0 4,0 2,5 1,5 3,0 2,0 2,5 2,5 1,0 2,2 2,3
Transportes 4,0 2,0 6,0 6,0 2,0 3,0 4,0 4,0 2,0 3,0 3,6 3,5
Promedio simple 2,8 2,2 5,3 3,7 3,3 2,9 3,0 3,3 3,4 1,9 3,2 3,2
REFERENCIAS
1 Apoyo político 6 Importancia inversiones
2 Cultura de M&E 7a Liderazgo OPIs
3 Diseño nueva ley 7b Margen OPIs
4 Aplicación nueva ley 7c Rol promotor OPIs
5 Margen de maniobra 7d Contratación OPIs
Instituto APOYO 34
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Instituto APOYO 35
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Gastos
ejecutados 1/
(US$)
1 INADE - Instituto nacional de desarrollo * 154 198 727
2 FONCODES - Fondo nacional de compensacion y desarrollo social * 138 278 650
3 PERT - Programa de rehabilitación y mejoramiento de carreteras * 95 681 179
4 PRONAA - Programa nacional de asistencia alimentaria 89 902 690
5 MECEP Birf - Mejoramiento de la calidad de la educación primaria * 62 423 046
6 Pronamachs - Programa nacional de manejo de cuencas hidrográficas * 52 926 701
y conservación de suelos
7 PCR - Programa de caminos rurales * 31 979 690
8 MECEP Bid - Mejoramiento de la calidad de la educación primaria * 27 501 323
(inicial 5 años), secundaria y educación para el trabajo
9 PSI - Proyecto subsectorial de irrigación * 22 059 097
10 PRONAP - Programa nacional de agua potable y alcantarillado * 18 106 688
11 INABIF - Instituto nacional de bienestar familiar 16 791 022
12 Educación básica para todos 9 744 640
13 PETT - Proyecto especial titulación de tierras y catastro rural * 9 641 238
14 PSNB - Proyecto de salud y nutrición básica * 9 231 444
15 Prodesa - Programa de desarrollo de sanidad agropecuaria * 7 745 495
16 Wawa Wasi - Programa nacional de Wawa Wasi * 6 864 700
17 Proyecto 2000 * 5 253 513
18 COOPOP - Cooperación popular 6 651 134
19 PATPAL - Patronato del parque de las leyendas 3 215 296
20 Proyecto de fortalecimiento de servicios de salud * 1 188 874
Total 769 385 147
* Proyectos de inversión
1/ Información del SIAF para el año 2000.
Instituto APOYO 36
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Ponderación
Pregunta 1 Antes del nuevo marco legal de inversiones: ¿Tenía un sistema de M&E? 8%
Pregunta 2 ¿Existe margen de maniobra para realizar correcciones en base al M&E? 4%
Pregunta 3 ¿Ha habido experiencias de correcciones de este tipo? 4%
Pregunta 4 ¿Existe una capacidad de M&E establecida? 8%
Pregunta 5 ¿Tienen manuales de M&E? 8%
Pregunta 6 ¿Tienen formatos de M&E? 8%
Pregunta 7 8%
Pregunta 7a ¿Realizan reportes de M&E? 4%
Pregunta 7b ¿Estos reportes retroalimentan el ciclo del proyecto? 4%
Pregunta 8 ¿Se ha diseñado el marco lógico del proyecto? 8%
Pregunta 9 ¿Han realizado el perfil del proyecto? 15%
Pregunta 10 ¿Se han realizado evaluaciones intermedias y/o expost? 15%
Pregunta 11 15%
Pregunta 11a ¿Tienen línea de base? 8%
Pregunta 11b ¿Tienen grupo de control y/o comparación? 8%
Total 100%
Instituto APOYO 37
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
sesgos en las respuestas, se tuvo que optar por realizar entrevistas a terceros
vinculados con los proyectos. Sin embargo, siempre existe cierto nivel de
subjetividad en las respuestas, ya que los criterios de rigurosidad delos
diferentes entrevistados pueden ser diferentes. A pesar de estas limitaciones,
se recogió la información por medio de las entrevistas, pues se considera que
es la herramienta más adecuada, considerando la poca disponibilidad de
información acerca de estos proyectos.
Por estas razones, la información se analiza a nivel global, para todos los
proyectos. De esta manera, se obtienen resultados globales para la muestra,
así como también resultados agregados para el caso de cada uno de los
aspectos analizados en las preguntas. Sin embargo, no se analizarán los
resultados específicos a nivel de cada proyecto, ni tampoco se realizarán
comparaciones entre los mismos. En su lugar, se analizarán los resultados por
grupos de productos, relacionados con las hipótesis planteadas al inicio del
trabajo. En este sentido, fue necesario desagregar los proyectos de la muestra
en los siguientes grupos:
Instituto APOYO 38
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Puntaje
(0 a 1)
-Promedio simple 0,50
Instituto APOYO 39
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Línea de base
Manuales M&E
Grupo de control
Marco lógico
Perfiles
Retroalimentación reportes
Reportes M&E
Evaluaciones
Tenía M&E
Margen maniobra
Formatos M&E
Capacidad M&E
0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90
Instituto APOYO 40
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Instituto APOYO 41
RESULTADOS DEL CUESTIONARIO DESAGREGADO POR PROYECTOS Y
POR PREGUNTAS
Instituto APOYO
Prom. Prom.
Proyectos 1 2 3 4 5 6 7 8 9 10 11 simple pond. 1/
a b a b (0 a 1) (0 a 1)
S/N S/N S/N S/N S/N S/N S/N S/N S/N S/N S/N S/N S/N
Proyecto 1 1 1 1 1 1 1 1 1 0 1 1 0 1 0,8 0,8
Proyecto 2 1 1 1 1 1 1 1 1 0 1 1 0 1 0,8 0,8
REFERENCIAS
Proyecto 3 1 1 1 1 1 1 0 0 1 1 1 0 0 0,7 0,8
Proyecto 4 1 1 0 1 0 1 1 1 0 1 1 0 0 0,6 0,7
1 Tenía M&E Proyecto 5 1 1 0 1 0 1 1 1 0 1 1 0 0 0,6 0,7
2 Margen maniobra Proyecto 6 1 0 1 1 0 1 1 1 1 0 1 0 0 0,6 0,6
3 Margen maniobra efectivo Proyecto 7 0 1 0 1 0 1 1 1 0 1 1 nd nd 0,6 0,6
4 Capacidad M&E Proyecto 8 1 0 1 1 0 1 1 1 1 0 0 0 0 0,5 0,4
Proyecto 9 0 1 0 1 0 1 1 1 0 1 0 nd nd 0,5 0,4
5 Manuales M&E
Proyecto 10 0 1 0 1 0 1 1 1 0 1 0 nd nd 0,5 0,4
6 Formatos M&E Proyecto 11 0 1 0 1 0 1 1 1 0 1 0 nd nd 0,5 0,4
7a Reportes M&E Proyecto 12 1 1 1 1 0 1 0 0 1 0 0 0 0 0,5 0,4
7b Retroalimentación reportes Proyecto 13 0 1 1 1 0 1 0 0 0 1 0 0 0 0,4 0,4
8 Marco lógico Proyecto 14 0 1 1 1 0 1 0 0 0 1 0 0 0 0,4 0,4
Proyecto 15 0 1 1 1 0 1 0 0 0 1 0 0 0 0,4 0,4
9 Perfiles
Proyecto 16 0 1 1 1 0 1 0 0 0 1 0 0 0 0,4 0,4
10 Evaluaciones
Proyecto 17 0 0 0 0 0 0 0 0 0 1 1 0 0 0,2 0,3
11a Línea de base Proyecto 18 0 1 0 1 0 1 1 1 0 0 0 0 0 0,4 0,3
11b Grupo de control Proyecto 19 0 0 nd 0 0 0 0 0 0 0 1 0 1 0,2 0,2
Proyecto 20 1 0 1 0 0 0 0 0 0 0 0 nd nd 0,2 0,1
Promedio simple 0,5 0,8 0,6 0,9 0,2 0,9 0,6 0,6 0,2 0,7 0,5 0,0 0,2 0,50 0,48
Promedio ponderado 3/ 0,5 0,6 0,6 0,8 0,0 0,8 0,4 0,4 0,4 0,4 0,4 0,0 0,2 0,43 0,42
1/ Ponderación de acuerdo a la importancia de cada pregunta.
2/ Según información del SIAF.
3/ Ponderación de acuerdo a la importancia de cada proyecto.
Fuente: entrevistas en profundidad con funcionarios sectoriales.
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
42
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Programas muy pequeños (menos de US$5 mlls.) 4 404 169 0,7 0,5
Promedio simple 0,50 0,48
Promedio ponderado 0,43 0,42
Si bien los proyectos más grandes tienen calificaciones más bajas que el
promedio, otros proyectos relativamente grandes tienen calificaciones más
altas que el promedio. Sin embargo, en estos cuatro últimos casos, más del
45% del presupuesto de los mismos para el 2000 fue financiamiento externo.
Esta podría ser la principal razón por la cual sus calificaciones son
relativamente altas. En cambio, en el caso de los proyectos más grandes,
prevalece el financiamiento interno.
Otra de las razones que explicaría la diferencia entre estos dos grupos de
proyectos se debería al destino de los gastos. En el caso de los más grandes,
la mayoría de los gastos se destinan a inversiones en infraestructura, que son
más susceptibles de ser utilizadas políticamente. Esa podría ser una de las
razones por las cuales se confirma la tendencia planteada.
Instituto APOYO 43
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Otra de las hipótesis planteada en la parte inicial del trabajo se refería al hecho
de que los proyectos sociales con financiamiento externo suelen tener los
sistemas de M&E más sólidos. De acuerdo con los resultados de las
entrevistas, los proyectos con mayor financiamiento externo tienen los puntajes
más altos. Sin embargo, esto se refleja a partir de la cuarta categoría (más del
50% del presupuesto es de fuentes externas) -que registro un promedio de
0,52-, pues las primeras tres categorías registraron resultados similares, de
alrededor de 0,38. La última categoría es poco representativa porque sólo hay
un proyecto que pertenece a la misma.
Uno de los aspectos claves del M&E es que los hallazgos de estos estudios
permitan realizar correcciones de política, lo que se debería reflejar en el
margen de maniobra para detener proyectos, aumentar o disminuir sus
presupuestos. De lo contrario, no se estaría cumpliendo el fin último que busca
el M&E. Al evaluar el margen de maniobra de los diferentes proyectos y
cruzarlo con el resultado de la variable de financiamiento, no se refleja una
tendencia definida.
Es decir, si bien los proyectos con mayor financiamiento externo suelen tener
mejores sistemas de M&E, esto no va acompañado de un mayor margen de
maniobra, respecto a los que tienen menor fondeo extranjero. En opinión de
algunos entrevistados, algunos proyectos con financiamiento extranjero tienden
a ser rígidos, ya que no es fácil variar los términos de referencia, reformular
objetivos, modificar actividades, etc. Es importante resaltar que uno de los
objetivos de la nueva ley de inversiones es justamente lograr que estos
proyectos también se adecuen al marco de la misma.
Instituto APOYO 44
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Instituto APOYO 45
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Los cursos de capacitación tienen como objetivo lograr que los jóvenes
participantes adquieran habilidades y competencias básicas para
desempeñarse en ocupaciones específicas al nivel de calificación inicial o
semi-calificación. La formación brindada comprende dos fases: una
denominada de formación técnica a desarrollarse en las entidades de
capacitación y otra de práctica laboral a realizarse en empresas. En la fase de
formación técnica, mediante una metodología esencialmente práctica, los
jóvenes adquieren habilidades y destrezas vinculadas a los aspectos técnicos
del oficio. Asimismo, se desarrollan actividades formativas mediante las cuales
se pretende reforzar valores y actitudes útiles para el trabajo, como la
capacidad de adaptación y la polivalencia. Esta fase tiene una duración
promedio de tres meses (300 horas como máximo) con una presencia diaria e
interdiaria.
Instituto APOYO 46
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
2
En un modelo cuasi experimental existe el problema de validez que se refiere a la no aletoriedad en la
selección del grupo de control. Cuando se hace una selección por origen aleatorio (modelo expermiental),
factores como la existencia de otros proyectos, la motivación personal, o la personalidad están
distribuidos de manera uniforme en ambos grupos. Dado que una selección aleatoria del grupo de control
plantea problemas de ética al implicar la negación del tratamiento (programa) a un grupo de solicitantes,
Projoven optó por la selección no aleatoria del grupo de control a través de una equivalencia “uno a uno”
según variables de educación, sexo, condición laboral previa, edad y nivel socioeconómico. Así, se busca
al joven equivalente (control) al joven beneficiario en su mismo contorno (barrio). A partir de las
sugerencias de Grade realizadas durante la 6ta convocatoria, actualmente se considera la selección de
tres jóvenes de control por joven beneficiario.
3
En un inicio, Projoven construía líneas de base en cada convocatoria. Posteriormente, se decidió hacerlo
dejando una convocatoria.
Instituto APOYO 47
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Los principales factores que han influenciado en el nivel de avance del sistema
de M&E de Projoven se detallan a continuación:
Respaldo institucional
4
Una de las modificaciones sugeridas por Grade fue la de variar el número de jóvenes de control respecto
al número de beneficiarios (de uno a uno, tres de control por un beneficiario).
5
Por cultura de M&E se entiende la percepción extendida tanto a nivel de la alta dirección del Sector
como del personal del mismo sobre la conveniencia y necesidad de desarrollar acciones de M&E para
elevar la efectividad y eficiencia en el uso de los recursos.
Instituto APOYO 48
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Los entrevistados consideran que un factor clave fue que Projoven inició sus
acciones en un contexto institucional al interior del Sector favorable para la
realización de acciones de monitoreo y evaluación. Así, si bien no existía en el
sector una cultura de promoción del M&E, la existencia de un consenso en la
necesidad de ejecutar acciones de evaluación que permitieran conocer el
impacto de las acciones tomadas y al eficiencia en el uso de fondos públicos
entre el equipo ejecutor de Projoven y la alta dirección del Ministerio de Trabajo
(ViceMinistro de Promoción Social y Ministro de Trabajo y Promoción Social)
fue determinante.
Restricciones presupuestales
2
“Fondoempleo es un fondo privado cuyos recursos provienen de los excedentes en la distribución de
utilidades de los trabajadores suscritos al régimen laboral privado, la ley establece un tope para que los
trabajadores puedan acceder a la participación de las utilidades no mas de 18 remuneraciones al año, lo
que se dijo fue que en las empresas donde se cubran esas 18 remuneraciones los excedentes deben de
ir a un fondo que deben de ser destinados a capacitación y generación de empleo, y estos fondos son
fondos concursables”.
Instituto APOYO 49
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
para mostrar resultados como para garantizar el uso eficiente de sus escasos
recursos.
Un hecho que ha facilitado las acciones de M&E, es que los procesos que
constituyen el Programa están estandarizados. El Programa cuenta con
instrumentos, plantillas y manuales estándar que aseguran entre otras cosas, la
construcción de líneas de base con la misma metodología en las diferentes
sedes del Programa. La estandarización de los procesos es percibida por el
actual y el anterior Coordinador Nacional como una fortaleza del Programa, en
tanto ha permitido que la totalidad de las cabezas del programa (desde el
coordinador nacional hasta los jefes de área) hayan cambiado al menos una
vez (algunas dos o tres veces) sin que ello haya afectado al Programa.
Instituto APOYO 50
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Al cierre de sus operaciones en junio del año 2000, el PSNB había intervenido
en 342 establecimientos de salud en el país organizándolos en redes y
microredes, ejecutando obras de infraestructura y dotación de equipos e
insumos, organizando sistemas de soporte a la gestión y a la prestación,
promoviendo el desarrollo de competencias de gestión de la calidad y de
mercadeo de los servicios y la promoción de prácticas saludables en la
población.
6
Ver cuadro xx de sección 2c.
Instituto APOYO 51
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Los indicadores de metas físicas por componente y actividad del PSNB, fueron
diseñados sobre la base del marco lógico y la línea de base elaborados al inicio
del PSNB, los que han venido siendo posteriormente ajustados según los
cambios introducidos en el mismo9.
Instituto APOYO 52
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
c.2.3) Factores que influenciaron el desarrollo del sistema de M&E del PSNB
Según la entrevista sostenida con el Jefe de la Oficina de P&M del PSNB, tanto
uno de los principales logros como una de las principales limitaciones del
Proyecto ha sido la relación establecida entre las oficinas de línea del Ministerio
(Direcciones Regionales de Salud) y el Proyecto (gerencias regionales).
Por otro lado, la relación entre los gerentes regionales y los directores
regionales de salud, en opinión del Jefe de la Oficina de P&M, ha sido positiva
lográndose articular un trabajo conjunto. Así, la coordinación entre los gerentes
regionales y los Directores Regionales fue clave para el avance en las acciones
de monitoreo así como para las consiguientes acciones correctivas basándose
en ellas. Sin embargo una de las lecciones aprendidas del Proyecto es la
importancia de involucrar a las Direcciones Regionales no sólo en la ejecución
Instituto APOYO 53
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Instituto APOYO 54
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Bajo este nuevo marco se define el Wawa Wasi como hogares familiares o
ambientes comunales a cargo de una madre de la comunidad, donde se brinda
atención integral a niñas y niños entre seis y tres años de edad11.
Sin embargo, el presente caso da cuenta, de cómo aún cuando existe el interés
por contar con un sistema de M&E y aún cuando se dispone de los recursos
financieros para ello, el sistema puede no rendir los frutos esperados por
factores tales como escasa capacitación del personal encargado de alimentar
el sistema o alta rotación del personal directivo que no permite uniformizar e
institucionalizar el sistema como herramienta para la toma de decisiones.
11
Lineamientos Generales del Programa Nacional Wawa Wasi. Ministerio de Promoción de la Mujer y del
Desarrollo Humano. Documento interno.
12
Ver cuadro xx de la sección 2c.
13
La evaluación ha sido realizada por el Instituto de Información y Metodologías para el Desarrollo
Organizacional.
14
Entrevista a la Directora Nacional del Programa Nacional de Wawa Wasi.
Instituto APOYO 55
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Promoción y Difusión
Capacitación
Infraestructura
Monitoreo y Evaluación
Fortalecimiento Institucional
Instituto APOYO 56
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
El inicio del funcionamiento de los wawa wasis se produce con la firma del
compromiso de la madre cuidadora con el comité de gestión, el mismo que es
refrendado por la Jefa de sede. Los niños empiezan a ser atendidos por la
madre cuidadora y a recibir los servicios de salud y alimentación. Se realiza
una evaluación inicial del crecimiento y desarrollo para conocer cómo llega el
niño al programa, en coordinación con los establecimientos de salud. La madre
cuidadora se encarga del seguimiento de los avances del desarrollo de los
niños y niñas, llevando el registro de su asistencia. La coordinadora de campo
asiste técnicamente a la madre cuidadora para buscar lograr una atención
adecuada en los wawa wasis. Simultáneamente, una vez reconocido el Comité
de Gestión, el Programa comunica a Pronaa el nombre del comedor que tendrá
a su cargo el servicio alimentario para que se programe la entrega de
alimentos. Asimismo, al Ministerio de Salud se le remite la relación de wawa
wasis que requieren el servicio de control de crecimiento y desarrollo.
Según la actual Directora Nacional del Programa Wawa Wasis, uno de los
principales hallazgos de la evaluación del programa al término del año 2000
son las serias deficiencias encontradas en su sistema de M&E.
El sistema de M&E del Programa fue diseñado a partir de los objetivos y metas
del Programa. Así, identifica fuentes de información según cada componente
del Programa. Por ejemplo, en el caso del componente de atención integral las
fuentes de información son la sede, el wawa wasi, la madre cuidadora y los
niños (as).
Instituto APOYO 57
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
§ No todos los formatos de registros que se entregan a las sedes para ser
completados son utilizados por ellas. Así, la ficha de verificación de
funcionamiento del wawa wasi no es conocida ni llenada por una
porcentaje alto de sedes.
Instituto APOYO 58
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
c.3.3) Factores que influenciaron el desarrollo del sistema de M&E del PSWW
En los últimos cinco años de funcionamiento del Programa (desde que fue
trasladado al Promudeh) ha habido cuatro directoras nacionales. Más aún. sólo
entre agosto de 1999 y diciembre del 2000 (16 meses), periodo que
corresponde a la primera mitad de la ejecución del Programa luego de la firma
del contrato de préstamo con el BID, se han producido tres cambios en la
Dirección Nacional del Programa, los que han sido modificados de acuerdo a la
visión de los directores de turno. Asimismo, ha habido un alto grado de rotación
del personal.
Instituto APOYO 59
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Según la actual Directora Nacional, uno de los problemas claves que enfrenta
el Programa y que afecta también sus acciones de M&E tiene que ver con el
carácter “pionero” del servicio que brinda el Programa. Así, en muchos casos el
programa opera a través de profesionales en educación inicial, mientras que el
perfil profesional más adecuado sería el de especialistas en estimulación
temprana. Ello, por ejemplo se evidencia en la carencia de indicadores
adecuados que permitan medir el nivel de “éxito” del programa, en función del
desarrollo del niño o niña. Así, muchos indicadores del sistema de M&E se
centran en el acceso de niños al servicio de wawa wasi integralmente o a
alguno de sus componentes; sin embargo no se cuenta con indicadores que
den cuenta de las técnicas de estimulación temprana aplicadas así como su
impacto en el desarrollo del niño.
Instituto APOYO 60
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
ü Altos índices de repitencia y deserción escolar. Se calculó que para terminar los seis
grados de primaria se necesitaba en promedio 8,4 años; que sólo el 20 por ciento
lograba graduarse sin repetir ningún grado y que el 55 por ciento repiten dos grados
o más.
ü Currículo desarticulado según materias y que no se adapta a las necesidades del
país.
ü Falta de textos y materiales educativos que favorezcan el desarrollo de clases
activas, innovadoras, dinámicas y efectivas.
ü Inadecuada preparación y la falta de experiencia de los maestros.
ü Precariedad de la infraestructura educativa.
16
En 1996 por decisión del Despacho Ministerial se estableció que los componentes del Programa Mecep
y sus actividades serían ejecutados por las Direcciones y/o Oficinas correspondientes del MED.
Instituto APOYO 61
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
estas acciones, las unidades ejecutoras son autónomas para diseñar y aplicar
sus propios instrumentos.
El segundo comité está integrado por los jefes de componentes y/o directores
nacionales. Este comité coordina las actividades de los componentes y
subcomponentes y tiene por objetivo intercambiar información y tomar
decisiones que involucren al conjunto de ellos. Sin embargo, este comité no se
reúne regularmente, siendo citado para temas específicos.
17
Esta descripción tiene como fuente principal el Informe de Evaluación de Impacto del Programa de
Mejoramiento de la Calidad de la Educación Primaria (Mecep) elaborado por el Insituto Apoyo.
18
Cabe señalar que estas pruebas son diferentes de las pruebas CRECER aplicadas por la Unidad de
Medición de la Calidad de la Educación.
Instituto APOYO 62
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Instituto APOYO 63
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
En el año 2000, el Mecep a través de una consultora externa llevó a cabo una
evaluación de impacto21. Los resultados de esta evaluación muestran que, a
pesar de que se han realizado avances significativos en este ámbito, pues el
estado de información inicial no permitía saber siquiera indicadores de insumo
básicos como el número de centros educativos o el de docentes, persisten
limitaciones muy importantes, tanto a nivel agregado como por
componente/subcomponente de las acciones de M&E ejecutadas por el
Programa. Estos son:
21
Informe Final de Fase I: Verificación de Cumplimiento de Metas. Evaluación de Impacto del Programa
de Mejoramiento de la Calidad de la Educación Primaria (Mecep). Instituto Apoyo, Febrero del 2000.
Instituto APOYO 64
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
c.4.3) Factores que influenciaron el desarrollo del sistema de M&E del MECEP
Instituto APOYO 65
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Ejecución del Programa por las oficinas de línea del Ministerio de Educación
Por ejemplo, según personal del Plancad entrevistado, mientras para este
subomponente los indicadores más valiosos son aquellos cualitativos que dan
cuenta de procesos (si los docentes están aplicando una metodología de
participación activa o si se está dando una participación de los alumnos en el
proceso de aprendizaje); para el nivel de coordinación central del Mecep se
reporta sólo el número de talleres realizados y de maestros capacitados.
22
No obstante, el hecho de que las acciones del Mecep sean implementadas por los órganos de línea del
Ministerio, los hace en alguna medida vulnerables a decisiones de orden político. Por ejemplo, personal
entrevistado del Plancad mencionó que las actividades de M&E fueron interrumpidas durante el segundo
semestre del 2000 debido a que los contratos de las personas encargadas de esa área fueron
suspendidos debido a una decisión tomada por las autoridades ministeriales.
23
Nuevamente en el caso de Plancad, según la Jefa de la Unidad de Capacitación Docente, el apoyo de
GTZ-KfW ha sido determinante para el diseño de su sistema de M&E. Así, al momento de reflotar el área
de M&E luego de ser desactivado en julio del 2000, la participación de GTZ fue clave, entre otras cosas,
para la contratación de especialistas encargados de afinar el sistema.
Instituto APOYO 66
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
3. Conclusiones y recomendaciones
Los sistemas vigentes de M&E de los programas y proyectos sociales públicos tienen,
a pesar de esfuerzos de equipos técnicos y del apoyo de la cooperación internacional,
gravísimas deficiencias. En una gran proporción de los casos, el Estado peruano y los
contribuyentes no tienen cómo saber la efectividad y eficiencia de los programas y
proyectos que se desarrollan en el país para ayudar a los peruanos en situaciones
difíciles. Estos fueron algunos de los principales resultados obtenidos:
Instituto APOYO 67
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
1. La evidencia señala que existe muy poco compromiso político de parte de las
autoridades para introducir y mejorar sistemas de M&E.
Asimismo, en todos los estudios de caso, el origen de los sistemas de M&E está en los
convenios firmados con los organismos internacionales. En el caso de Projoven y
Wawa Wasi primero se financiaron pilotos (con cargo a ser evaluados) para luego
firmar el convenio de préstamo. Esto último en el caso de PNWW, pues el BID luego
del piloto sólo financió una convocatoria de Projoven (el resto se financiaron con otras
fuentes).
Instituto APOYO 68
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
Los proyectos con mayor financiamiento externo tienen los puntajes más altos: los
proyectos con más del 50% de su presupuesto financiado con fuentes externas
registran un puntaje, en una escala del 0 al 1, mayor a 0,52; mientras que los demás
obtienen un puntaje de alrededor de 0,38. Sin embargo, los proyectos con más del
50% de su presupuesto financiado con fuentes externas sólo son siete y representan
apenas el 30% del total desembolsado por los veinte proyectos de la muestra.
Instituto APOYO 69
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
obtiene, en una escala del 0 al 1, una calificación de 0,4. En el 2000, este grupo de
proyectos gastó US$468 millones, más del 60% del total desembolsado por los 20
proyectos de la muestra. Es importante destacar que el puntaje mayor, 1, no refleja el
nivel óptimo, sino el mínimo indispensable para iniciar un proceso de M&E eficaz y de
calidad.
En el otro extremo, Projoven, que actúa de manera directa pues no existe una
estructura de línea del Ministerio a nivel nacional en área de promoción social, ha
podido desarrollar un sistema de M&E muy completo. Sin embargo, este sistema es
ajena a la estructura tradicional del Estado. Por su parte, otro programa pequeño como
el PNWW no ha podido desarrollar un sistema de M&E adecuado.
Diseñar un sistema de M&E único para todo el programa es más fácil cuándo éste es
autónomo de los órganos de línea. Ese sería el ejemplo de Projoven que tiene un
sistema bastante desarrollado de M&E. No sería el caso de PNWW. Sin embargo la
independencia de este programa respecto a la línea del ministerio no es de siempre,
pues cambió del Ministerio de Educación al Promudeh, y sufrió varios cambios en el
tiempo estudiado. El caso de PSNB daría cuenta de que es factible lograr mejoras en
los sistemas de M&E trabajando estrechamente con los órganos de línea, si se logra
identificar a qué nivel es adecuado plantear dicha interacción entre el proyecto –que
tiene márgenes de acción y contratación que los órganos de línea no tienen- y dichos
órganos. El caso de Mecep parecería señalar que una relación que dependa
demasiado de los órganos de línea a nivel desconcentrado, sin gerencias regionales
del proyecto, como sí fue el caso del PSNB, enfrentaría más dificultades en la puesta
en marcha de mejoras en los sistemas de M&E.
Instituto APOYO 70
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
BIBLIOGRAFÍA
APPLETON, Simon. “Problems in measuring changes in poverty over time”. UK, 1996.
BAKER, Judy. “Evaluating project impact for poverty reduction: a handbook for
practicioners”. 1999.
GRASSO, Patrick y Patricia Laverley con varias contribuciones del staff de OED.
“Lessons on community-driven development”. Washington DC, 1999.
Instituto Cuánto. Pobreza y Economía Social: Análisis de una encuesta ENNIV –1997.
Lima. 1999
M&E Initiative and the Regional Programme for West Africa (BRAO). “Workshop on
planning, monitoring and evaluation”. Ouagadaugou, Burkina Faso, 1998.
Instituto APOYO 71
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú
WEBB, Richard. “La pobreza en el Perú: estimaciones y estrategias”. EN: Foro Diálogo
Sobre Experiencias y Retos en la Lucha Contra la Pobreza. Ica, 1998.
WEISS, Carol H. “Evaluation: methods for studying programs and policies”, 1998.
Instituto APOYO 72