Sie sind auf Seite 1von 72

ESTADO DE LOS SISTEMAS DE MONITOREO Y EVALUACIÓN DE LOS

PROGRAMAS SOCIALES P ÚBLICOS EN EL PERÚ

Informe final

Junio del 2000


Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

CONTENIDO

1. Marco conceptual: monitoreo y evaluación (M&E)

a) Los sistemas de monitoreo y evaluación

b) Importancia de los sistemas de M&E

c) Presentación de los objetivos generales del estudio de investigación

d) Presentación de la metodología del estudio de investigación

e) Hipótesis del estudio

2. La situación del M&E en el Perú

a) Sistemas de monitoreo y evaluación al interior de la administración pública: Oficina


de Inversiones (ODI), Sistema de Información Administrativa y Financiera (SIAF) y
Planeamiento Estratégico Sectorial Multianual (PESEM)

b) Entrevistas en profundidad para la evaluación de los sistemas de M&E en el ámbito


de los programas y proyectos sociales peruanos

c) Estudios de casos para la evaluación de los sistemas de M&E en el ámbito de los


programas y proyectos sociales peruanos

3. Conclusiones y recomendaciones

BIBLIOGRAFÍA

Instituto APOYO 2
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

1. Marco conceptual: monitoreo y evaluación (M&E)

a) Los sistemas de monitoreo y evaluación 1

El monitoreo es el seguimiento contínuo de proyectos, durante la implementación de


los mismos. Se busca controlar que se cumpla con los cronogramas establecidos, en
cuanto a la utilización de los insumos necesarios (inputs), la realización de las
actividades establecidas (procesos) y la producción de los bienes y/o servicios
(outputs) previamente definidos.

La evaluación, por su par te, es el análisis del impacto del proyecto sobre los
beneficiarios o el entorno. Busca establecer el nivel de logro en relación al
cumplimiento de los objetivos que dieron origen al proyecto, y los determinantes de
ello. Esta se realiza en determinados mo mentos en el tiempo y se concentra en los
indicadores de resultado y de impacto, con el fin de evaluar el cumplimiento de los
objetivos del proyecto. Las evaluaciones se pueden desarrollar antes de iniciarse el
proyecto, sobre la base de supuestos, en cuyo caso son evaluaciones de pre-
inversión; a la mitad del proyecto, evaluaciones de medio término; al momento en que
se ha concluido –evaluaciones expost- o varios años después de finalizado el proyecto
-evaluaciones de sostenibilidad-. Las evaluaciones de pre-inversión se realizan sobre
la base de resultados e impactos proyectados, con el fin de evaluar la factibilidad del
proyecto. Las evaluaciones de medio término se realizan con el fin de evaluar el
proyecto durante su implementación, ya que proveen señal es de alerta que permiten
realizar correcciones “sobre la marcha”. Estas se utilizan comúnmente para evaluar las
diferentes fases que puedan tener algunos proyectos.

Las evaluaciones post proyecto se realizan al final del mismo o también pueden
realizarse varios años después de finalizado. Las evaluaciones que se realizan cuando
finalizan los proyectos permiten obtener una visión integral del impacto de los mismos,
desde su inicio hasta su fin; las evaluaciones después de varios años de que haya
finalizado el proyecto, por su parte, buscan medir la sostenibilidad del mismo, con el fin
de determinar si el impacto se mantiene a pesar de haber culminado la asistencia del
proyecto. La principal desventaja de las evaluaciones expost es el hecho de que los
hallazgos ya no pueden ser incorporados al proyecto, porque este ya finalizó. Sin
embargo, estos sirven para evaluar la situación de otros proyectos similares.

La principal diferencia entre el monitoreo y la evaluación es que el primero se


concentra en los indicadores de insumo, proceso y producto, mientras que la
evaluación analiza principalmente los indicadores de resultado e impacto. Además, el
monitoreo es un sistema de seguimiento continuo, en el que la información se recoge,
en algunos casos, día a día. En el caso de la evaluación, por su parte, se elige un
momento en el tiempo y se comprara esta situación con otra del pasado. Por otro lado,
los requerimientos de información, aspectos metodológicos y utilización final de la
información es diferente en cada caso. La información requerida para la evaluación del
impacto es siempre más demandante y su metodología más compleja que la utilizada
para el monitoreo.

La introducción de un enfoque de evaluación por resultados e impactos de los


programas y proyectos públicos contribuye, adicionalmente, a lograr un mejor diseño
de los mismos, porque cuestiona la estructura lógica de los mismos y las relaciones
causales asumidas entre las distintas variables que se ven afectadas. Es decir, la

1
La reseña referida al marco conceptual sobre M&E se ha elaborado a partir de la bibliografía que se
anexa a la investigación.

Instituto APOYO 3
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

definición de los indicadores más adecuados para medir el impacto del programa
obliga a los evaluadores a cuestionar los objetivos planteados y a validar las
relaciones causales asumidas en el marco lógico de la intervención. Asimismo, la
incorporación de sistemas de M&E en los programas públicos permiten la información
necesaria para que las decisiones de presupuesto sean más acertadas, las
autoridades e instituciones públicas puedan rendir cuentas a la ciudadanía, etc.

La introducción de sistemas de monitoreo y evaluación adecuados, objetivos y


operativos es un requisito indispensable para la Reforma de la Administración Pública
o Modernización del Estado. La teoría moderna de las fallas de la administración
pública para actuar de acuerdo con los intereses de los ciudadanos pone énfasis en la
dificultad para medir los productos que la administración pública entrega a la
ciudadanía. Los programas de reforma del Estado buscan dar flexibilidad en los
procesos a cambio de mejoras en los resultados, lo que obliga a tener sistemas de
medición de resultados e impactos.

Asimismo, el estado actual de los sistemas de M&E tiene relación muy estrecha con
los demás problemas vinculados a este campo. Las instituciones que han sido creadas
o reformadas recientemente, como los órganos reguladores, la Sunat, la SBS, etc.
enfrentan una problemática muy distinta en este campo que la estructura pública
tradicional. Este estudio tiene mayor interés por analizar el estado de los sistemas de
M&E, y los factores que podrían explicar el grado desigual de avance entre uno y otro
programa o proyecto, en el ámbito de la administración pública tradicional.

En la administración pública tradicional existen limitaciones que dificultan la


motivación y capacidad de reacción del aparato estatal para la introducción y
mantenimiento una cultura de M&E. Por ejemplo, la imposibilidad de establecer, dentro
de la carrera administrativa, incentivos económicos para aquellos funcionarios e
instituciones que desarrollen sistemas de monitoreo y evaluación. Igualmente, las
dif icultades para acopiar información, dada la estructura híbrida de dependencia de los
órganos de línea respecto de la autoridad sectorial. Por efecto del proceso apresurado
y trunco de regionalización de fines de los ochenta, las Direcciones Regionales de los
sectores fueron transferidas con sus presupuestos a los Gobiernos Regionales, para
luego convertirse en los Consejos Transitorios de Administración Regional a partir de
1992, que dependen presupuestalmente del Ministerio de la Presidencia.

Al inicio de un proceso de introducción de prácticas de M&E al interior de la


administración pública, siempre existen reticencias a adecuarse a las mismas,
principalmente cuando se trata de gobiernos que estuvieron acostumbrados a no ser
nunca fiscalizados y a aprobar sin ninguna demora ni estudio previo cualquier
proyecto. Por lo tanto, los requerimientos para adecuarse a un sistema de M&E
difícilmente serán implementados, ya que entorpecen su flujo normal de operaciones.
Por estas razones, comúnmente no existe el apoyo necesario para introducir estas
prácticas al interior de la administración pública.

Cuando no existe una cultura de rendición de cuentas, entonces surgen resistencias al


interior de la administración pública, producto de la sensibilidad de los funcionarios
ante la fiscalización de sus actividades, generándose temores por la críticas que
puedan recibir de parte de otras instancias del Gobierno o del público, así como por el
costo político que podría derivar de los hallazgos de la evaluación. Puede hacerse una
distinción entre dos niveles de falta de apoyo político para implantar una cultura de
M&E, dependiendo de sus implicancias en términos de la efectividad de la gestión
pública. En un extremo, puede haber poca apertura hacia que otros agentes conozcan
de la eficacia y eficiencia del proyecto o programa, pero sí interés porque el proyecto
tenga los mejores resultados. Ello sería consistente con la evidencia de que sí existen

Instituto APOYO 4
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

sistemas de M&E, pero sus resultados son conocidos sólo por las altas autoridades de
la institución. En el otro extremo, no existe interés por medir el desempeño, por lo que
no existen sistemas de M&E vigentes o en construcción. Este extremo puede deberse
a diversos motivos, desde apatía e ineficiencia, hasta problemas más serios como
manipulación política o corrupción. Sin embargo, no es necesario que exista una
situación de corrupción para que políticamente sea más conveniente no evaluar ni
monitorear. Se deben crear incentivos al interior de la administración pública que
induzcan hacia la creación y fortalecimiento de sistemas de M&E.

La falta de apoyo político se refleja, en última instancia, en una definición difusa y poco
clara del ámbito de M&E y de las responsabilidades de las unidades encargadas de
realizar estas tareas. No se definen las unidades a las cuales se debe reportar ni
tampoco los mecanismos de retroalimentación para que los hallazgos sean de utilidad
para los funcionarios que ejecutan los proyectos.

La ausencia de un sentimiento de propiedad por parte de los funcionarios públicos, por


su parte, se genera cuando no existe una asignación clara de funciones y
responsabilidades, ni tampoco una evaluación de su desempeño en función al logro de
los objetivos propuestos. Esto impide que el éxito en el proyecto esté acompañado de
una mejor evaluación de su desempeño, lo que origina que a veces no exista
motivación ni tampoco los incentivos adecuados. Además, en muchos casos los
funcionarios no tienen margen de acción para realizar modificaciones sobre la base de
hallazgos del proceso de M&E, entonces no encuentran ninguna utilidad en el
desarrollo de estas actividades.

La ausencia del sentimiento de propiedad por parte de los beneficiarios es un tema


que también es relevante. Ello se genera cuando se utilizan enfoques que no son
participativos. Estos esquemas no integran la población objetivo al desarrollo del
proyecto ni a los sistemas de M&E y, por lo tanto, la posibilidad de vigilancia
ciudadana sobre el proyecto y los resultados que viene logrando es más remota.

La importancia de los sistemas de M&E radica en que proveen a los hacedores de


política los elementos de juicio necesarios para que puedan tomar decisiones acerca
de continuar, reducir, aumentar o eliminar la asistencia de determinados proyectos. Si
se dispone de esta información, entonces es posible asignar los recursos más
eficientemente, transfiriéndolos de programas que ya han cumplido con sus metas
hacia otros que aún no lo han conseguido; o rediseñando los programas que no hayan
alcanzado los objetivos buscados; o ampliando la cobertura de programas que hayan
demostrado ser efectivos.

Además de los beneficios propios de una mejor evaluación y monitoreo al interior de


cada proyecto, estas prácticas de M&E tiene efectos positivos colaterales en la
administración pública, como son:

ü Incrementar la motivación de los funcionarios públicos (ya que se los evalúa


objetivamente en función a los resultados obtenidos)
ü Controlar el impacto de efectos no deseados (si es que se utilizan
indicadores de alerta temprana)
ü Fortalecer la rendición de cuentas o el accountability
ü Fortalecer el diseño y la implementación de proyectos
ü Generar benchmarking o información que permita realizar comparaciones
entre distintos proyectos o entre distintos momentos del tiempo.
ü Promover una mayor coordinación entre las agencias del Estado y los
beneficiarios del programa.

Instituto APOYO 5
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Sin embargo, la incorporación de estas prácticas deberá lidiar con las trabas o
problemas que comúnmente surgen al interior de la administración pública y que
frenan o atenúan el impacto de las mismas:

ü Poca difusión de los hallazgos del M&E.


ü Débil relación entre las instituciones que realizan la M&E y las agencias o
instancias del Gobierno encargadas de ejecutar los programas y/o
proyectos de lucha contra la pobreza. Por lo tanto, el flujo de información no
es fluido.
ü Ausencia de una cultura de M&E que permita difundir su utilidad.
ü Falta de capacitación y entrenamiento de las personas que deberán aplicar
estas prácticas.
ü Mayor preocupación por preparar, aprobar y diseñar nuevos programas y
proyectos, en lugar de evaluar el desempeño de los que ya existen y decidir
si se aumenta, reduce o se mantiene igual el apoyo; si se elimina el
programa; o si se modifican sus objetivos.
ü Poca iniciativa o convencimiento de los funcionarios nacionales para
promover estos modelos, que comúnmente son auspiciados por
organismos externos.
ü Débiles vínculos entre el pago y la evaluación de la performance de los
funcionarios, por lo que existe poca motivación para aplicar estas prácticas.
ü Poco margen de acción para realizar correcciones a mitad de los proyectos,
por lo que no se alcanza el fin principal del M&E.
ü Débil estructura lógica de los programas y/o proyectos, lo que dificulta la
implementación de prácticas cuando los programas no han sido
adecuadamente formulados desde su inicio.

b) Importancia de los sistemas de M&E

Los fondos para la lucha contra la pobreza en los países en desarrollo son sumamente
escasos. La población pobre que requiere algún tipo de asistencia es
significativamente superior a la que es posible atender con los recursos disponibles.
Por ello, es importante mejorar la eficiencia del gasto social, a través de la
implementación de sistemas de M&E que permitan hacer seguimiento y medir el
impacto que tienen los proyectos sociales en el bienestar de la población más pobre.
Mientras mayor sea la eficiencia por cada dólar de gasto social, entonces podrá
incrementarse la cobertura de los proyectos de asistencia social, atendiendo a un
mayor número de pobres.

En el caso peruano, el gasto social se incrementó significativamente durante la última


década. De acuerdo con información proporcionada por el Ministerio de Economía y
Finanzas (MEF), éste pasó de un promedio de US$131 entre 1991-1995, a US$175 en
1999. Dada la escasez de los recursos públicos, el Estado ha determinado una escala
de prioridades para la ejecución del gasto social, dividiéndola en dos componentes. El
primero, el de primera prioridad (básico), está orientado, principalmente, a evitar daños
permanente en la población más vulnerable (64% del gasto social). El otro
componente, uno más general, está enfocado al desarrollo futuro de la población (36%
restante). En términos macroeconómicos, el gasto público social alcanza cerca de 8%
del PBI, donde el de primera prioridad es aproximadamente 5% y el de gasto general
3%.

Instituto APOYO 6
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

EVOLUCION DEL GASTO SOCIAL PER CAPITA


(US$ de 1999)
250

200

150
127,0 128,4
110,3 113,1 110,6
100 81,2

50
72,8 72,5 62,3 69,6
49,7 66,6
0
1991-95 1/ 1996 1997 1998 1999 2000 2/

1/ Promedio
Primera prioridad Resto
2/ Presupuestado. Fuente: MEF

De los dos componentes del gasto social, el que destaca es el de primera prioridad por
haber registrado un mayor crecimiento (pasó de un promedio de US$81 en el período
1991-95 a US$113 en 1999). Sin embargo, a pesar del significativo crecimiento del
gasto social en la década de los 90’s, existen serios cuestionamientos a la eficiencia
del mismo.

La evolución de algunos indicadores socioeconómicos durante los últimos años es


consistente con esta hipótesis. Si bien algunos indicadores, como los de desnutrición
infantil y analfabetismo, mantuvieron la tendencia decreciente registrada en los últimos
años, ésta se desaceleró. Mientras que los indicadores de pobreza se estancaron y se
incrementaron en el periodo entre 1997 y 2000.

INDICADORES DE BIENESTAR SOCIAL

1994 1997 2000

Tasa de desnutrición infantil 1/ 30,0% 23,8% 22,9%


Tasa de alfabetismo 87,6% 90,2% 92,8%
Tasa de pobreza 53,5% 49,0% 54,1%
Tasa de pobreza extrema 18,8% 14,8% 14,8%
Trabajo de menores 7,8% 11,8% 25,7%
Conexión a servicios eléctricos 68,8% 73,7% 77,6%
Conexión a servicios sanitarios 48,2% 58,6% 58,7%
Red pública de agua dentro del hogar 65,0% 72,8% 71,4%

1/ Para menores de 5 años. Fuente: ENNIV 1994, 1997 y 2000.

Por ello, la evidencia de estos indicadores sugiere que aún falta realizar importantes
reformas para lograr que el gasto destinado a la población más pobre tenga los niveles
de eficiencia deseables. Sin embargo, existen muy pocas investigaciones que
permitan saber de la eficiencia o eficacia de la mayoría de programas públicos que se
desarrollan para atender estas necesidades. Este estudio busca suplir esa deficiencia,
al identificar el estado de los sistemas de M&E del presupuesto social de múltiples
proyectos y programas sociales, y analizar en mayor profundidad cuatro casos. El
estudio también analiza los motivos del mayor o menor avance relativo de los sistemas
de M&E.

Instituto APOYO 7
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

En la década de los 90’s, la evolución del gasto público registró dos etapas claramente
diferenciadas. Al inicio, luego del programa de estabilización, se canalizó ayuda de
emergencia para amortiguar los efectos que tendría este programa de ajuste
económico tan drástico en la población. En esta etapa no existió mayor preocupación
por la eficiencia del gasto ni tampoco por realizar programas que evalúen el
cumplimiento de los objetivos del mismo. En la segunda etapa, cuando el periodo de
emergencia había finalizado, existió más preocupación por lograr una mayor eficiencia
del gasto social y evaluar el cumplimiento de los objetivos del mismo. Este interés
estuvo motivado principalmente por los organismos multilaterales, que canalizaron una
parte importante de los recursos de asistencia social, y ahora deseaban medir el
impacto de los mismos. Es así que comienzan a implementarse prácticas de M&E,
pero solamente en algunos casos aislados, principalmente en los programas o
proyectos sectorials que estaban financiados con fondos externos.

Al mismo tiempo se iniciaron en la administración pública dos intentos que buscaban


introducir prácticas de M&E, pero cada uno con objetivos distintos. Por un lado, en
1995 se estableció la Oficina de Inversiones (ODI) en el Ministerio de Economía y
Finanzas (MEF), y se promulgó la nueva ley de inversiones que comenzó a regir a
partir del 2001. Por otro lado, casi en el mismo periodo, se creó el Sistema Integrado
de Administración Financiera (SIAF) en el MEF, con el fin de controlar la ejecución del
gasto público y proveer señales de alerta ante retrasos o adelantos respecto a lo
presupuestado. Este sistema se encuentra implementado a plenitud desde el 2000.

A partir del 2000, por su parte, se inició un nuevo intento por introducir prácticas de
M&E al interior de la administración pública, por el cual cada sector tiene la obligación
de elaborar planes estratégicos multianuales (PESEM), que incorporen la visión,
misión, objetivos y actividades que guiarán los gastos públicos.

Sin embargo, estos sistemas recién se están implementando y aún no hay un impacto
significativo. El PESEM está en una etapa inicial y se concentra principalmente a nivel
de sectores, lo que impide evaluar las prácticas de M&E en unidades más pequeñas,
como son los proyectos sociales. El SIAF es el único de los tres esquemas que ya está
prácticamente implementado en su totalidad. No obstante, este es un sistema que fue
creado con un objetivo claro, que fue el de controlar que la ejecución de los gastos
públicos se realice de acuerdo a lo programado, mas no buscó implementar un
sistema más integral de M&E.

En el ámbito de la nueva ley de inversiones impulsada por la ODI, por su parte, la


directiva recién se promulgó a fines del 2000 y los proyectos de inversión están
adecuándose a partir de este año. Todavía se encuentran en una fase de aprendizaje
y muchas de las unidades aún no entregan la información requerida.

Sin embargo, la nueva ley de inversiones sólo abarca a las unidades ejecutoras de
proyectos de inversión, mas no los programas y/o proyectos que realizan gastos
corrientes. Es decir, analiza solamente los proyectos de carácter eventual, con un
plazo de tiempo definido. En el grueso del gasto estatal, no existe un marco a través
del cual se controle la utilización de sistemas de M&E.

La importancia de este estudio radica en que permitirá conocer la utilización de


prácticas de M&E en el caso de los programas sociales peruanos y resaltar la
importancia de la utilización de estos métodos. Este estudio, además, se convierte en
una especie de “línea de base” que registra la situación al inicio de la aplicación del
nuevo marco legal de las inversiones, que podrá ser comparado con la situación
futura, cuando la nueva ley haya sido aplicada por un tiempo razonable para evaluar
su impacto.

Instituto APOYO 8
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

En el Perú, una gran cantidad de los programas sociales tienen un diseño y una
estructura lógica débiles, porque surgieron sin un trabajo de pre-inversión con un
análisis adecuado que aseguren su viabilidad. Esto dificulta la implementación de
prácticas de M&E, pues no existen objetivos, actividades, relaciones causales, etc,
establecidos adecuadamente para cada proyecto. Por ello, en estos casos deberá
existir amplio margen de acción y flexibilidad para que, a la luz de los resultados del
M&E, sea posible realizar las correcciones requeridas, como reformular y modificar la
estructura lógica de los programas.

En el caso peruano, son pocos los programas sociales que cuentan con una línea de
base o con grupo de control. Por lo tanto, a veces será muy útil y necesario aplicar
técnicas intermedias de M&E, como estimaciones de las características de la
población objetivo al inicio del proyecto, comparaciones al interior del mismo grupo de
beneficiarios, series de tiempo, etc. La técnica de series de tiempo, por ejemplo, será
importante para medir la sostenibilidad de los programas, ya que definirá si es que la
tendencia es similar a la que registraba el indicador antes de la asistencia del
proyecto, si mejoró, si empeoró o si se mantuvo igual durante su desarrollo, etc. En
estos casos, puede ser importante complementar la información con data de cuentas
nacionales, cuando sea posible, para reconstruir las series de tiempo.

Asimismo, las técnicas cualitativas adquieren especial relevancia para el caso de los
programas sociales peruanos. La realidad peruana es compleja, debido a las
diferencias culturales entre los distintos grupos poblacionales. En muchos casos,
grupos distintos de beneficiarios pueden reaccionar de manera muy diferente a la
intervención de un proyecto similar. Además, comúnmente la realidad de los
evaluadores y/o los ejecutores de programas sociales es significativamente diferente a
la de la población beneficiaria. A menudo, estos factores impiden anticipar el
comportamiento que tendrá la población objetivo. Por ello, en estos casos será
importante utilizar técnicas de recolección de información cualitativas, ya que habrá
aspectos que no será posible indagar a través de técnicas cuantitativas. Por ejemplo,
las razones por las cuales la población beneficiaria no utiliza ciertos productos o
servicios que le fueron entregados, muchas veces son anecdóticas y no es posible
descubrirlas sin un estudio más cualitativo y exploratorio.

c) Presentación de los objetivos generales del estudio de investigación

En las secciones anteriores se presentan y analizan algunas características generales,


así como otras más específicas referidas a la calidad misma de las metodologías de
M&E aplicadas. Considerando que la utilización de prácticas de M&E en la
administración pública peruana se encuentra en una etapa muy incipiente y que,
además, la disponibilidad de información es escasa, este estudio de investigación
busca analizar la existencia de sistemas de M&E pero desde una perspectiva más
general, que no enfatizará tanto en la calidad de los métodos aplicados.

El objetivo del estudio es explorar la etapa de desarrollo en la que se encuentran estos


sistemas de M&E, concentrando el análisis en el caso específico de los programas y
proyectos sociales. Sin embargo, se realizará un breve análisis descriptivo de las
experiencias integrales de introducir sistemas de M&E al interior del aparato público,
como el caso del SIAF, ODI y PESEM.

Para ello, se utilizarán tres técnicas de análisis. En primer lugar, para el análisis de las
experiencias del SIAF, ODI y PESEM, se realizarán entrevistas a los funcionarios
encargados de estas unidades y se revisará el marco legal vigente. Luego, con el fin
de analizar los métodos de M&E utilizados por los programas y proyectos sociales,

Instituto APOYO 9
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

que es nuestro foco de estudio, se realizarán entrevistas a terceros vinculados a los


programas, así como también estudios de casos para algunos programas escogidos.
Los programas o proyectos representarán nuestra unidad de análisis, ya que son
intervenciones independientes que deberían estar supervisadas por estos esquemas
para asegurar su viabilidad. Estas podrán ser intervenciones eventuales, así como
también intervenciones permanentes, del Gobierno Central. Asimismo, se analizará
tanto proyectos de inversión –no solamente en infraestructura, sino también en
intangibles- como también de gastos corrientes.

Finalmente, se complementará el estudio con cuatro estudios de caso. Dado el


objetivo de buscar recomendaciones de política que pudieran servir para introducir
mejores sistemas de M&E en el aparato tradicional del Estado, los casos han sido
seleccionados entre aquéllos que en principio existía alguna evidencia de que tenían
relativamente mejores sistemas de M&E que el resto. Asimismo, para poder aislar
mejor los elementos que puedan explicar los avances relativos, se prefirió limitar los
casos al área de servicios, dos de los cuales corresponden a sectores donde la
necesidad de trabajar con los órganos de línea del ministerio es ineludible (educación
y salud). Los otros casos seleccionados son Projoven (capacitación laboral a jóvenes)
y Wawa Wasi (cuidado y atención a infantes y niños).

d) Presentación de la metodología del estudio de investigación

En la primera parte del análisis del estado de los programas de M&E en la


administración pública peruana, se presentará una breve descripción de los tres
intentos mencionados anteriormente –SIAF, ODI y PESEM-. Par ello, se revisará el
marco legal y se realizarán entrevistas con los funcionarios encargados de estas
unidades.

Luego, el análisis se concentrará en recoger información sobre la mayor cantidad de


programas y proyectos sociales públicos en el Perú, a partir de entrevistas a
informantes clave. La metodología utilizada será principalmente cual itativa o
exploratoria, debido principalmente al desarrollo incipiente de estos sistemas y la
complejidad de cada una de estas intervenciones. La recopilación de información de
esta manera permite avanzar respecto de estudios anteriores, basados en la
información provista por los propios programas y proyectos para el I Foro de Pobreza.
Esta información, que aún así indicaba graves deficiencias en los sistemas de M&E,
posiblemente sobrestimaba los niveles de desarrollo de dichos sistemas, por ser una
declaración de parte frente a un requerimiento de un evento auspiciado por los
donantes que en muchos casos los financiaban. Dadas las limitaciones encontradas
en dicho estudio, el cuestionario desarrollado en esta oportunidad es más detallado y
también incluye preguntas que corresponden a requisitos mínimos, más pertinentes
para sistemas de M&E muy incipientes.

Es por ello que el cuestionario abordará la utilización de prácticas de M&E, bajo la


perspectiva de analizar la existencia de condiciones necesarias -aunque no
suficientes- para la existencia de un adecuado M&E. En primer lugar, se analizarán
factores generales que son necesarios para que exista un adecuado M&E, como
pueden ser el compromiso político, una cultura de M&E, el margen de acción que
permite el M&E que se realiza actualmente, etc. En segundo lugar, se analizarán
factores más específicos, pero que representan insumos para lo que sería un
adecuado M&E, como son manuales para la aplicación de prácticas de M&E, formatos
preestablecidos para recoger la información de este proceso, reportes del mismo, etc.

Instituto APOYO 10
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Por último, también se recogerá información relativa a productos de M&E más que a
insumos, como podrían ser la realización de evaluaciones, experiencias que
demuestren que haya habido correcciones a los programas, como consecuencia delos
hallazgos del M&E, etc.. Estos últimos aspectos analizados son más específicos, pero
la perspectiva de análisis sigue siendo la misma, pues no se evaluará la calidad de
estas herramientas, sino que sólo se preguntará si se utilizan o no.

Este trabajo consistirá en realizar un diagnóstico acerca de la utilización de sistemas


de M&E por parte de los programas sociales peruanos. Para ello, habrá que definir
algunos aspectos metodológicos de las herramientas que utilizaremos, como son las
técnicas de levantamiento de la información; el ámbito de la investigación, los
cuestionarios que se aplicarán, en base al marco conceptual definido anteriormente y
las limitaciones de la metodología propuesta.

d.1) Técnicas de levantamiento de la información

En primer lugar, utilizaremos dos técnicas de levantamiento de información: por un


lado, se realizarán entrevistas en profundidad a terceras personas vinculadas a
programas sociales y, por otro lado, se realizarán estudios de casos para algunos
programas sociales escogidos, que consistirán en entrevistar a funcionarios vinculados
directamente con el programa, así como otros vinculados indirectamente a los mismos.

d.1.1) Entrevistas en profundidad

Por medio de las entrevistas en profundidad se buscará explorar acerca de la


utilización de prácticas de M&E tanto a nivel de los sectores económicos como
también en los casos específicos de los programas y proyectos de cada sector. El
cuestionario se dividirá en dos partes. En la primera parte, se aplicará una técnica más
cualitativa, con la que se explorarán los aspectos generales del M&E a nivel del sector
económico analizado y las opiniones respecto al nuevo marco legal implementado
para el caso de los proyectos públicos de inversión. Considerando que es un método
exploratorio, se indagará acerca de las razones detrás de las respuestas del
entrevistado.

En la segunda parte, en que se realizarán preguntas acerca de los principales


proyectos sociales del sector, se aplicará una técni ca mixta, ya que incorporará
aspectos tanto cuantitativos como cualitativos. En esta parte se preguntará si es que
estos proyectos cumplen con ciertas características predefinidas de acuerdo al marco
conceptual revisado anteriormente, y en la mayoría de los casos las respuestas serán
“Sí” o “No”. En estos casos, no se indagará acerca de la calidad de esos instrumentos,
pero habrá interacción entre el entrevistador y el entrevistado, porque las preguntas
requerirán a veces que el entrevistador explique el contenido de las mismas y,
además, en muchos casos no será fácil responder “Sí” o “No”. Por ello, en estos casos
igualmente se registrarán las razones detrás de las respuestas del entrevistado.

El perfil del funcionario entrevistado tendrá las siguientes características:

o Funcionarios de las Oficinas de Planificación de Inversiones (OPIs) de cada


sector, o funcionarios de la Oficina de Inversiones (ODI) que conocen o
realizan seguimiento a los proyectos del sector de interés o funcionarios que
hasta hace poco tiempo hayan estado encargados de la planificación de las
inversiones y gastos en los sectores de interés.
o Funcionarios que no estén vinculados directamente con los proyectos públicos,
sino que realicen algún tipo de seguimiento de los mismos, pero desde una
perspectiva más global.

Instituto APOYO 11
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

De esta manera, se logrará una mayor objetividad en las respuestas, ya que el


funcionario no está directamente involucrado en el proyecto ni tampoco es
responsable por las prácticas de M&E que se aplican en el mismo. En caso contrario,
existiría la tendencia a sobreestimar las bondades de los métodos de M&E y sería
difícil contrastar la respuestas. Además, esta metodología reduce el tiempo que
demoraría la etapa de recolección de la información si es que fuese necesario
entrevistarse con los funcionarios responsables de cada proyecto. Las personas
entrevistadas tendrán conocimiento de la cartera de los principales proyectos del
sector de interés.

d.1.2) Estudios de casos

Por medio de los estudios de casos se buscará realizar una indagación más
exhaustiva de los mismos aspectos contenidos en el cuestionario aplicado en las
entrevistas en profundidad, con énfasis en identificar factores de éxito o fracaso en el
marco de la aplicación de las prácticas de M&E para el caso de programas y/o
proyectos sociales, principalmente en lo referido al marco institucional, autonomía en
la toma de decisiones, y capacidad técnica del personal.

El perfil de los funcionarios entrevistados para los estudios de casos tendrán las
siguientes características:

o Funcionarios responsables de la ejecución del proyecto.


o Funcionarios responsables del M&E del proyecto.
o Funcionarios vinculados externamente al proyecto, como puede ser la
contraparte extranjera o funcionarios que conocen de manera indirecta acerca
del proyecto.

d.2) Ámbito de aplicación

En términos generales, el ámbito del estudio está constituido por los programas y/o
proyectos sociales públicos. Sin embargo, las definiciones en el ámbito de la
administración pública no necesariamente coinciden con las de este estudio de
investigación. De acuerdo a la normativa de la nueva ley de inversiones, un proyecto
es toda intervención limitada en el tiempo que implique la aplicación de recursos
públicos con el fin de ampliar, mejorar y modernizar la capacidad productora de bienes
o prestadora de servicios, cuyos beneficios son independientes de otros proyectos. En
este sentido, este marco sólo abarca a las intervenciones eventuales, con una vida útil
limitada en el tiempo.

Nuestro foco de análisis no se restringe a los proyectos de inversión de capital ni


tampoco a los que son eventuales. Nos interesará analizar todo tipo de proyectos, así
sea clasificado como inversión o de gasto corriente, respecto al tipo de obra; o como
ordinario o eventual, respecto al tiempo de duración. Esto se debe a que la definición
de proyecto, como la entendemos para efecto de este estudio de investigación, es una
unidad de análisis independiente que tiene un marco lógico (si bien puede ser que no
se haya sido formulado a través del marco lógico, al menos debería ser susceptible de
formularse bajo ese marco), que define la visión, misión, objetivos, objetivos
específicos y actividades. Así sea un proyecto de inversión o de gasto corriente,
eventual u ordinario, en cualquier caso debería requerir un monitoreo y evaluación
para analizar el cumplimiento de metas y objetivos deseados.

Los sectores que se analizarán en la investigación son agricultura, educación, salud,


Promudeh, Ministerio de la Presidencia y transportes, de acuerdo a la estructura del

Instituto APOYO 12
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Gobierno Central, pues concentran los principales programas y/o proyectos sociales.
Para efectos de las entrevistas en profundidad, se identificó a los funcionarios que
reunían las características del perfil definido anteriormente, quienes tenían el
conocimiento requerido, tanto del sector como de los proyectos del mismo, para que
se les pueda aplicar el cuestionario. Los proyectos analizados, por su parte, se
definieron en función a la importancia en el gasto público, así como también a la
disponibilidad de información de parte de los funcionarios entrevistados.

En cuanto a los criterios utilizados para escoger los proyectos que se analizarán en los
estudios de casos, se buscó que estos pertenezcan a diferentes sectores, que el
tamaño de los mismos sea diverso –incluyendo proyectos grandes y pequeños-, que
tengan niveles de desarrollo distintos de sus sistemas de M&E –de acuerdo al sondeo
previo que se realizó - y que tengan niveles de interacción más o menos intensivos con
los órganos “de línea” de los ministerios.

d.3) Características deseables para un sistema de M&E de proyectos sociales:


selección y justificación de indicadores para medir el estado de los sistemas de M&E
de los proyectos públicos

Con el fin de formular el cuestionario de preguntas que se aplicarán en las entrevistas,


será necesario definir qué entendemos por un adecuado sistema de M&E, en función
al marco teórico definido previamente. De esta manera, será posible evaluar los
sistemas de M&E que utilizan actualmente los programas sociales peruanos, en
función a las características y parámetros establecidos en esta sección.

En primer lugar, para la fase exploratoria en que se analizarán los aspectos generales
a nivel de los sectores económicos, será relevante indagar acerca de las
características generales del marco en el cual se desenvuelve el proceso de M&E. En
este sentido, hay algunos aspectos que son necesarios, a nivel de los sectores, para
que tenga éxito la implementación de prácticas de M&E, como por ejemplo:

o Respaldo político que haya recibido la aplicación del M&E


o La existencia de una cultura de M&E en el sector
o Margen de acción del sistema de M&E que se realiza en el sector en cuanto a
la posibilidad de que permita realizar correcciones de política, detener,
fortalecer o eliminar proyectos.
o Importancia que le otorgan las autoridades del sector al tema de la planificación
de las inversiones
o Fortalecimiento de las unidades de planeamiento de las inversiones: margen de
acción de estas unidades, capacidad de liderazgo, rol promotor vs. pasivo y
posibilidad de contratación definitiva del personal de estas unidades.

Además, se explorarán las opiniones de estos funcionarios respecto a la nueva ley de


inversiones:

o Opinión acerca de la nueva ley de inversiones, tanto respecto al diseño


conceptual de la misma como también a la facilidad de aplicación

En estos casos, se buscó cuantificar las respuestas de los entrevistados, con el fin de
obtener calificaciones que faciliten el análisis posterior de la información. Para ello, se
les pidió a los entrevistados que califiquen en una escala del 1 al 7, donde “1” es peor
y “7” es mejor. Sin embargo, el puntaje más alto, “7”, no necesariamente significa lo
óptimo, sino más bien los aspectos más básicos con los que debería contar cada
sector para realizar M&E. Más aún, considerando que no se analiza la calidad de los
mismos. Entonces, el puntaje mayor se deberá interpretar como que las condiciones

Instituto APOYO 13
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

son las adecuadas para el inicio, a nivel sectorial, de un proceso que busque alcanzar
un sistema de M&E eficiente y de calidad.

En segundo lugar, se buscará analizar aspectos más específicos, relacionados a los


sistemas de M&E para el caso específico de los proyectos del sector. Si no existiesen
limitaciones de ningún tipo -monetarias, de tiempo, recursos humanos, etc.- entonces
probablemente el sistema de M&E ideal sería aquel que considere todas las
herramientas posibles. Es decir, uno que permita realizar comparaciones en el tiempo
–grupos antes y después-; que considere grupos de control para aislar los factores
exógenos; que utilice series de tiempo para medir la sostenibilidad del proyecto y otras
herramientas que complementen el análisis.

Sin embargo, será necesario definir algunos aspectos que debe considerar todo
sistema de M&E de proyectos, como son las características más generales de los
sistemas de M&E, que no dependen tanto de la realidad específica del proyecto. Para
definir un modelo ideal de M&E, no pondremos tanto énfasis en las técnicas o los
instrumentos utilizados en cada caso, sino más bien en lo que busca medir el modelo
de M&E. Por ejemplo, nos importará que el modelo de M&E incluya algún tipo de
evaluación, sin necesidad de exigir que exista algún tipo de evaluación específica.
Igualmente incluimos en el cuestionario algunas preguntas específicas, referidas por
ejemplo a la existencia de línea de base o un grupo de control, pero cuya ponderación
en el índice definido no es tan importante.

Por lo tanto, los aspectos que se analizarán para la recolección de información relativa
a los sistemas de M&E de los proyectos, se pueden dividir en tres grupos:

o Aspectos que no están relacionados a técnicas metodológicas, sino más bien


instrumentos que todo proyecto debería utilizar para llevar a cabo actividades
de M&E. Estos podrían definirse como los insumos necesarios, aunque no
suficientes, para que las prácticas de M&E sea adecuadas. Estos son:
ü La existencia de formatos para registrar el consumo de insumos o el
cumplimiento de las actividades que permitan recolectar la información que
es necesaria para monitorear y evaluar un proyecto.
ü La existencia de manuales que guían a los funcionarios encargados de
realizar las tareas de monitoreo y evaluación en sus funciones.
ü La elaboración de reportes que contengan los resultados del proceso de
M&E, que contengan los hallazgos y que permitan retroalimentar el
proceso.
ü La existencia de una capacidad de M&E al interior del proyecto, reflejada en
una unidad que define plan de trabajo con las actividades que se
desarrollarán, los funcionarios responsables, las funciones definidas, el
presupuesto y los entregables o productos finales del proceso de M&E.
ü La utilización del marco lógico como herramienta para el diseño de
programas, lo que a veces contribuye a aplicar más fácilmente las técnicas
de M&E.

o Aspectos relacionados a las técnicas metodológicas utilizadas para M&E


proyectos, que podrían definirse como los productos del proceso de monitoreo
y evaluación. Estos son:
ü Perfiles de los proyectos
ü Evaluaciones de los proyectos
ü Línea de base
ü Grupo de control o comparación

Instituto APOYO 14
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Si bien en esta parte también sería importante analizar la utilización de


prácticas de monitoreo, no se realizó esta pregunta. Esto se debe a que
siempre existe algún tipo de seguimiento de los proyectos, más aún con a l
introducción del SIAF. Por lo tanto, existía el riesgo de que la respuesta a esta
pregunta siempre sea afirmativa.

o Aspectos que buscan medir el beneficio que se obtiene de la aplicación de


prácticas de M&E en los proyectos, que dependerá de factores como:
ü Margen de acción para realizar modificaciones a los proyectos.

Todas las características evaluadas, además de ser más o menos generales, deberán
ser contrastables también, con el fin de evitar que los entrevistados sobreestimen las
bondades de los sistemas de M&E de los proyectos analizados. Por tanto, habrá que
evitar el riesgo de respuestas sesgadas.

d.4) Cuestionario

De esta manera, el cuestionario aplicado para el caso de las entrevistas en


profundidad, así como también para realizar los estudios de casos, fue el siguiente:

Preguntas exploratorias, de carácter más general, aplicadas a nivel de los


sectores económicos y sociales:

1. ¿Existe el compromiso político necesario para el desarrollo de un sistema de M&E


en los proyectos del ámbito de su sector? ¿Es similar al compromiso que existe
para el caso de los demás sectores? En una escala del 1 al 7, dónde 1 es nada de
compromiso político y 7 es total compromiso político: ¿Cómo calificaría?
2. ¿Existe una cultura que promueva los procesos de M&E en el caso de los
proyectos de su sector? En una escala del 1 al 7, dónde 1 es nada de cultura y 7
es mucha cultura: ¿Cómo calificaría?
3. A nivel conceptual: ¿qué opiniones tienen del marco legal bajo la nueva ley de
inversiones? ¿El ámbito que abarca es el adecuado? ¿Existen vacíos legales
importantes (caso regiones)? En una escala del 1 al 7, dónde 1 es nada adecuado
y 7 es muy adecuado: ¿Cómo calificaría al diseño conceptual del nuevo marco
legal?
4. ¿Es práctico el sistema? ¿Es de fácil aplicación? ¿Es posible aplicar la norma tal
como está? ¿Qué problemas tiene? ¿Es flexible o rígido? En una escala del 1 al 7,
dónde 1 es nada práctico-aplicable y 7 muy práctico-aplicable: ¿Cómo calificaría al
nuevo marco legal?
5. ¿Para qué sirve el M&E que se realiza en su sector? ¿Permite margen de acción
para realizar correcciones de política? Cuando los proyectos ya tienen un estudio
definitivo: existen mecanismos para detenerlo en caso que se detecte que no sería
eficiente iniciar su ejecución? Cite algunos ejemplos. Califique la capacidad de
margen de acción: Amplio margen de acción (7); nada de margen de acción (1).
6. ¿Las autoridades de su sector siguen el tema de inversiones? ¿Realizan algún
tipo de planificación de las mismas? ¿Es este un tema de agenda? ¿Es más una
agenda presidencial o sectorial? ¿Qué tan frecuentes son las reuniones entre el
ministro y el jefe de la oficina de inversiones del sector? Califique la importancia
que le otorgan las autoridades del sector a la planificación y evaluación de los
proyectos de inversión del sector, donde 1 en nada importante y 7 es muy
importante.
7. ¿La estrategia para fortalecer las oficinas sectoriales de inversión ha logrado sus
objetivos? ¿Tienen el liderazgo deseado? ¿Ha mejorado con respecto a antes?
Van por el camino correcto? ¿Tienen margen de maniobra para negociar con
ministros? ¿Tienen un rol promocional o sólo responden y analizan las propuestas

Instituto APOYO 15
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

del ministerio? ¿Las personas destacadas a las OPI sectoriales, han sido
contratadas o existen altas probabilidades de que lo sean? Califique el liderazgo
(a) y margen de maniobra (b), en escalas donde 1 es nada y 7 es mucho. Califique
el tipo de rol que juega la OPI (c), donde 7 es más promocional y 1 es más pasivo.
Califique la posibilidad de contratación del personal destacado de la Odi a las OPIs
(d): 1 es nada probable y 7 muy probable.

Preguntas más específicas, aplicadas a nivel de cada proyecto:

1. Antes de adecuarse a la nueva ley de inversiones: ¿Qué proyectos de inversión


y/o de gasto corriente realizaban prácticas de M&E?
2. ¿Existe margen de acción y/o poderes para realizar correcciones al programa, si
es que los hallazgos del proceso de M&E así lo exigiesen?¿Han habido
correcciones específicas en el caso de los proyectos del sector? ¿En cuáles?
¿Puede dar algunos ejemplos?
3. ¿Cuántos proyectos han sido reformulados, detenidos, eliminados, etc.?
4. ¿Se ha diseñado una capacidad de M&E al interior del programa? ¿Existe un plan
de trabajo, con las actividades que se desarrollarán, los funcionarios responsables,
las funciones definidas, el presupuesto y los entregables o productos finales del
proceso de M&E? ¿Se ha definido cómo es el flujo de la información que se
genera del proceso de M&E, cuáles son las áreas que deben reportar y a qué
áreas se debe reportar los resultados de M&E?
5. ¿Tienen manuales de M&E para la aplicación de estas prácticas?
6. ¿Existen formatos estandarizados y pre-establecidos para la recopilación de la
información que se procesará para el M&E?
7. ¿Se producen reportes con el análisis del proceso de M&E, sus resultados y
hallazgos (a)? Si se producen reportes: ¿Se utilizan para retroalimentar el ciclo del
proyecto (b)?
8. ¿Se utiliza el marco lógico para el diseño del proyecto?
9. ¿Realizaron perfiles de los proyectos al inicio de los mismos?
10. ¿Realizaron algún tipo de evaluación intermedia o expost?
11. ¿Tienen línea de base (a)? ¿Tienen grupo de control o comparación (b)?

d.5) Limitaciones de la metodología planteada

Si bien la elección de entrevistar a terceros que no están relacionados directamente


con los proyectos sociales reduce el sesgo de obtener respuestas que sobreestimen
las bondades del sistema de M&E del mismo, se introduce el riesgo de que el
funcionario entrevistado pueda tener, en algunos casos, un conocimiento que no sea
suficiente para contestar algunas preguntas. En estos casos, si el funcionario
responde a la pregunta sin estar completamente seguro y sin informarle al
entrevistado, entonces existirá el riesgo de que algunas respuestas sean erradas.

El escaso desarrollo de las prácticas de M&E en el Perú impide que los conceptos que
se manejan tengan acepciones similares, principalmente para el entrevistador y el
entrevistado. No existe un consenso acerca de lo que se puede entender como una
evaluación de proyectos y puede ser que una evaluación sea adecuada para un
persona pero inadecuada para otra. En estos casos, existirá el riesgo de que, por
ejemplo, el entrevistado conteste afirmativamente ante la pregunta de si es que
realizan algún tipo de evaluación, pero que en realidad ésta sea tan simple que no
calce dentro de lo que el entrevistado entiende por una evaluación adecuada para los
efectos del estudio. Además, es difícil y prácticamente imposible realizar este trabajo
de campo si previamente a la aplicación del cuestionario habría que realizar

Instituto APOYO 16
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

definici ones de los conceptos para llegar a algunos consensos entre el entrevistador y
el entrevistado.

En muchos casos, los programas y proyectos analizados se subdividen a su vez en


proyectos más pequeños. Esto ocurre porque algunos proyectos tienen varios
objetivos o áreas de intervención, que pueden ser, por ejemplo, para el caso del
programa MECEP del Ministerio de Educación, los de gestión administrativa,
infraestructura y calidad educativa. En otros casos, puede ser que el proyecto se
subdivida en proyectos más pequeños dependiendo del área geográfica que atiende.
En todos estos casos, el trabajo de exploración inicial, previo al inicio de las
entrevistas, confirmó la creencia de que en la mayoría de los mismos se puede hablar
de un mismo sistema de M&E. Esto se debería a que el marco general que guía estos
procesos tiende a ser el mismo, a pesar de que en cada uno de los subproyectos
pueda haber características que son “a la medida” del mismo.

Sin embargo, es probable que no en todos los casos sea posible que el entrevistado
responda de manera uniforme par el caso de algunas preguntas. Por ejemplo, puede
ser que algunos de los subproyectos hayan realizado evaluaciones, mientras que otros
no lo hayan hecho. En estos casos, quizás la respuesta más adecuada y que tendría
menos error sería la que haya considerado qué tan diseminada está la práctica de las
evaluaciones al interior del proyecto. Es decir, si la mayoría de los subproyectos
realizan evaluaciones entonces la respuesta más adecuada sería afirmativa. Sin
embargo, igual existirá el riesgo de error en algunos casos, en los que, siguiendo con
el ejemplo, sólo unos pocos proyectos realicen evaluaciones y se conteste “Sí” o que
casi todos realicen y que se conteste “No”, lo que sería menos probable.

Sin embargo, la técnica de recolección de información aplicada buscó atenuar estas


limitaciones, recogiendo la información cualitativa que estaba detrás de las respuestas
de los entrevistados. Por lo tanto, en algunos casos ha sido posible evitar estos
sesgos, a través de una repregunta y permitiendo que el entrevistado se explaye más
con su respuesta.

Considerando estas limitaciones, los hallazgos y conclusiones más sólidos del estudio
serán de carácter general, a nivel de todos los sectores y/o a nivel de todos los
proyectos analizados. En estos casos, es más probable que los errores que haya
habido en las respuestas se neutralicen unos con otros. Las conclusiones a nivel de
sectores específicos y/o proyectos específicos, por su parte, así como las
comparaciones de unos con otros en cada caso, serán menos sólidas.

e) Hipótesis del estudio

En base al conocimiento previo de las políticas públicas en el Perú, producto de los


estudios realizados así como de las entrevistas sostenidas con funcionarios
involucrados con la realidad de los mismos, se pueden plantear algunos hipótesis,
acerca de los sistemas de M&E de los proyectos públicos:

A nivel sectorial:
o La importancia que se le otorga al planeamiento de las inversiones es baja.
o Las oficinas de planeamiento de las inversiones aún no tienen el respaldo que
requieren.
o El respaldo político para la aplicación de prácticas de M&E es sumamente bajo.
o La cultura de M&E es escasa.

Instituto APOYO 17
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

A nivel de los proyectos públicos:


o Los proyectos públicos más antiguos suelen tener los sistemas de M&E más
débiles, debido a que no incorporan las últimas tendencias de monitoreo y
evaluación que surgieron en los últimos años.
o Los proyectos públicos con financiamiento externo suelen tener los sistemas de
M&E más sólidos, así como también un mayor margen de maniobra para
realizar correcciones que surjan de los resultados del proceso de M&E.
o Menos del 20% de los proyectos públicos realizan evaluaciones del
desempeño.
o Los proyectos públicos más importantes, con mayor presupuesto, suelen estar
más influenciados por factores políticos y, por lo tanto, tienen sistemas de M&E
más débiles.
o Los proyectos de inversión suelen tener mejores sistemas de M&E que los
proyectos de gastos corrientes, debido en parte al impacto de la nueva
normativa de inversiones.

Instituto APOYO 18
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

2. La situación del M&E en el Perú

a) Sistemas de monitoreo y evaluación al interior de la administración pública: Oficina


de Inversiones (ODI), Sistema de Información Administrativa y Financiera (SIAF) y
Planeamiento Estratégico Sectorial Multianual (PESEM).

En la segunda mitad de los 90’s, se iniciaron tres esfuerzos por implementar sistemas
de M&E en la administración pública, impulsados por el Ministerio de Economía y
Finanzas (MEF). Sin embargo, estos esquemas se desarrollaron de manera integral
para la administración pública, lo que a veces impide controlar el cumplimiento de los
mismos. Además, al menos en el caso del SIAF y PESEM, no son esquemas de M&E
propiamente. El SIAF es un sistema de control presupuestal y de la ejecución de los
gastos pú blicos, mientras que el PESEM intenta introducir prácticas de planeamiento
estratégico, todavía sin enforcement requerido.

En 1995, algunas de las funciones del desaparecido Instituto Nacional de Planificación


fueron transferidas a una nueva unidad, ODI, creada al interior del MEF. Esta analizó
la utilización de las prácticas de M&E en el ámbito de los proyectos públicos de
inversión y promulgó la nueva Ley de Inversiones recién a fines del 2000. A partir del
2001, todos los proyectos públicos de inversión deben cumplir con estas normas, que
definen todas las etapas del ciclo de proyectos que deben ser aprobadas para
asegurar la viabilidad de los mismos.

En el mismo periodo, el Sistema Integrado de Administración Financiera (SIAF)


también comenzó con su encargo, pero a nivel de todas las unidades ejecutoras del
Gobierno Central. Este sistema se encuentra plenamente implementado desde el
2000. Sin embargo, es un sistema de control de la ejecución de los gastos públicos,
cuyo objetivo no es que cada unidad ejecutora implemente sistemas de M&E. Por lo
tanto, sólo permite realizar cierto tipo de monitoreo, pero bastante limitado.

En el 2000, finalmente, se inició la implementación de los planeamientos estratégicos


sectoriales multianuales (PESEM), en el ámbito de los sectores económicos y
sociales. Estos se presentaron por primera vez en el 2000 pero no fueron evaluados,
porque los sectores todavía estaban en una etapa de aprendizaje. A partir del 2001,
por su parte, estos PESEM serán presentados y evaluados, con el fin de determinar si
existe consistencia entre la visión, misión, objetivos y actividades programadas, así se
utilizan como insumo para el proceso presupuestario.

AMBITOS DE INFLUENCIA DEL SIAF, LA ODI Y


EL PESEM EN LA CADENA INSTITUCIONAL

PESEM SIAF

A) Gobierno Central Gastos


corrientes

Sectores Unidades
(Ministerios y Pliegos ejecutoras
otros sectores)
Gastos de
inversión
26 149 550

ODI

Gastos de
B) Resto del sector público inversión

Instituto APOYO 19
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

a.1) Oficina de Inversiones (ODI)

a.1.1) Antecedentes

En 1995, se creó la ODI, uni dad que asumió las funciones del desaparecido INP. Esta
analizó la utilización de las prácticas de M&E en el ámbito de los proyectos públicos de
inversión y, en 1998, elaboró un informe que resumía el estado de los mismos.
Durante el segundo gobierno del presidente Fujimori, entre 1995 y el 2000, la ODI
funcionó como una unidad rectora de las inversiones públicas, analizando las nuevas
propuestas de inversiones presentadas por los diferentes sectores y procurando que
éstas se formulen adecuadamente. De esta manera, funcionaba como un filtro que
intentó frenar proyectos que no tenían una formulación adecuada que, en la mayoría
de los casos, la intención de desarrollarlos respondía más a factores políticos que a
criterios de eficiencia.

Durante estos años, la ODI diseño el marco legal que debía regir para las inversiones
públicas y, en el 2000, publicó la nueva Ley de Inversiones, así como su reglamento y
directivas, que definen todas las etapas del ciclo de proyectos que deben ser
aprobadas para asegurar la viabilidad de los mismos. A partir del 2001, todos los
proyectos públicos deben adecuarse a estas nuevas normas.

a.1.2) Objetivos

Los principales objetivos de la nueva Ley de Inversiones son:

■ Propiciar la aplicación del ciclo de proyectos para los proyectos de inversión


pública, compuesto por las etapas de perfil, pre-factibilidad, factibilidad,
expediente técnico, ejecución y evaluación expost.
■ Fortalecer la capacidad de planificación del sector público.

■ Crear condiciones para la elaboración de planes de inversión pública por

periodos multianuales no menores de tres años.

a.1.3) Ámbito de influencia

El ámbito de influencia del nuevo marco legal es los proyectos de inversión de las
entidades y empresas del sector público no financiero, pero no incluye los gobiernos
locales y sus empresas. Entonces, su ámbito de influencia está definido por los
siguientes organismos:

■ Ministerios y sus órganos desconcentrados.


■ Organismos públicos descentralizados.
■ Organismos constitucionalmente autónomos.

■ Gobiernos regionales.

■ Empresas del Estado, de propiedad del Gobierno Central o Regional y que no

desarrollen actividades financieras.


■ Otros organismos y dependencias del Estado que ejecuten proyectos de

inversión.

Para efectos de este nuevo marco legal, los proyectos que deben cumplir con la nueva
normativa son todos aquellos que representan una intervención limitada en el tiempo,
que implique la aplicación de recursos públicos con el fin de ampliar, mejorar y
modernizar la capacidad productora de bienes o prestadora de servicios, y cuyos
beneficios son independientes de otros proyectos.

Instituto APOYO 20
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

a.1.4) Autoridades

Las autoridades que tienen algún tipo de injerencia en el contexto de esta nueva
normatividad son el Ministerio de Economía y Finanzas (MEF), principalmente a través
de la Oficina de Inversiones (ODI), los órganos resolutivos de los sectores y las
Oficinas de Planificación de Inversiones de los sectores (OPIs).

MEF-ODI: es la más alta autoridad técnico-normativa. Le corresponde regular las


fases con las que deben cumplir los proyectos de inversión, así como calificar su
viabilidad. La facultad de calificación de la viabilidad puede ser delegada a los órganos
resolutivos de los diferentes sectores y éstos, a su vez, a las OPIs.

Órganos resolutivos: son los ministros o las máximas autoridades de los sectores.
Autorizan la elaboración de los expedientes técnicos y la ejecución de los proyectos de
inversión. Asimismo, deben velar por el cumplimiento de la normatividad.

Oficinas de planificación de las inversiones (OPIs): se encargan de priorizar los


proyectos de inversión, primero en sus fases de inversión y luego en sus fases de pre-
inversión. Las OPIs tienen una relación muy estrecha con la ODI, registrándose un
flujo de información continuo entre las mismas. La ODI determina las atribuciones y
responsabilidades de las OPIs.

Instituto APOYO 21
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

FUNCIONES DE LAS AUTORIDADES QUE PARTICIPAN EN EL MARCO DE LA


NUEVA LEY DE INVERSIONES

Ministerio de Economía y Órgano resolutivo del Oficinas de Programación


Finanzas – Oficina de sector de Inversiones
inversiones
Autorizar la ejecución de Velar por el cumplimiento del Revisar los estudios de perfil
estudios de factibilidad marco legal en su sector y prefactibilidad elaborados
por las unidades de
formulación de proyectos
(UF)
Aprobar los estudios en la Designar al órgano Determinar si los proyectos
fase de factibilidad encargado de realizar las son compatibles con los
funciones de las OPIs y objetivos estratégicos del
definir un funcionario sector.
responsable en las mismas
Determinar la viabilidad de Solicitar al MEF la Elaborar y someter al órgano
los proyectos autorización para ejecutar resolutivo el PMIP del sector
estudios de factibilidad que contiene los PIP
priorizados por las OPIs.
Aprobar los manuales Solicitar al MEF la Mantener actualizado el
metodológicos de proyectos calificación de viabilidad de Banco Sectorial de
los proyectos de inversión Proyectos.
pública.
Establecer los Autorizar la elaboración del Mantener actualizado el
procedimientos, precios expediente técnico de los SOSM de la inversión del
sociales, parámetros de PIP declarados viables por la sector.
evaluación y otras normas ODI.
de observancia obligatoria
Definir los niveles de acceso Autorizar la ejecución de los Realizar procesos de
a la información contenida PIP declarados viables por la capacitación permanentes
en el Banco de Proyectos ODI. con personal de las
unidades ejecutoras.
Capacitar al personal de las Decidir a qué unidad Coordinar la realización de
OPIs y al de las unidades ejecutora de su sector las evaluaciones ex post.
ejecutoras en el desarrollo corresponde realizar cada
metodológico del contenido proyecto declarado viable.
de los manuales.
Mantener actualizado el Aprobar el Programa
Banco de Proyectos de Multianual de Inversión
inversión pública y el Pública.
Sistema Operativo de
Seguimiento y Monitoreo
Consolidar los programas
multianuales de inversión
pública y presentarlos a la
alta dirección del MEF para
su puesta a consideración al
Consejo de Ministros.
Fuente: Decreto Supremo Nº 086-2000-EF

a.1.5) Exigencias que deben cumplir los proyectos públicos en el marco de la


nueva Ley de Inversiones

Instituto APOYO 22
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Etapa de pre-inversión

En la etapa de pre-inversión, la elaboración del perfil de un proyecto es


obligatoria. Las evaluaciones de prefactibilidad y factibilidad, en cambio,
pueden no ser requeridas, dependiendo de las características del proyecto de
inversión pública (PIP). Los procedimientos para la aprobación de los diferentes
estudios ya están definidos: los perfiles son elaborados por las unidades de
formulación de proyectos y deben ser aprobados por las OPIs sectoriales; los
estudios de prefactibilidad y de factibilidad deben ser elaborados por las
unidades de formulación, deben ser aprobados por las OPIs y posteriormente
por la ODI. La declaración de viabilidad de los PIP depende de la sostenibilidad
económica, ambiental e institucional de los proyectos, así como de su
rentabilidad social. Para que sean rentables, éstos deberán aprobar los análisis
de costo beneficio o de costo efectividad.

Etapa de inversión

La etapa de inversión consiste en la elaboración del expediente técnico y en la


ejecución del proyecto. El sistema operativo de seguimiento y monitoreo
contiene los procedimientos para realizar el seguimiento físico y financiero de
los PIP, con el fin de contribuir con el proceso de toma de decisiones en la fase
de inversión. Las unidades ejecutoras son las encargadas de registrar la
información en las fichas de seguimiento provistas por la directiva y de
actualizar periódicamente esta información. Las OPIs son las encargadas de
consolidar esta información a nivel sectorial, y la ODI lo hace a nivel nacional.

Etapa de post inversión

La etapa de post inversión consiste en la evaluación expost de los proyectos,


que debe ser realizada por las unidades ejecutoras. Las OPIs están facultadas
para solicitar, en los casos en que lo determinen, una evaluación de una
agencia externa. Los términos de referencia de las evaluaciones expost deben
ser aprobados por las OPIs y por la ODI.

Planes multianuales de inversión pública

Con el fin de alcanzar el objetivo de que los planes de inversión se elaboren


por un periodo de largo plazo, se estableció la obligación de realizar los
programas multianuales de inversión pública. Por medio de estos planes, el
sector determina el conjunto de proyectos en etapa de preinversión e inversión,
que deberán ser evaluados o ejecutados en los próximos tres años. De estos
proyectos, los que serán ejecutados en el primer año deberán contar con la
calificación de viabilidad por parte de la ODI. Los planes multianuales deberán
contar con una evaluación físico y financiera de las inversiones de los tres años
anteriores, así como con una programación de las mismas para los próximos
cinco años, que contenga un análisis de tres escenarios: neutro, optimista y
pesimista. La OPI es la encargada de la formulación de estos planes
multianuales.

a.1.6) Limitaciones

Desde el punto de vista del M&E de proyectos en general, la principal limitación


del nuevo marco legal es que sólo abarca lo que son intervenciones públicas
de carácter eventual. Sin embargo, existen importantes proyectos o programas
públicos de carácter ordinario, que realizan gastos corrientes, y que también

Instituto APOYO 23
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

requieren ser monitoreados y evaluados, con el fin de asegurar el cumplimiento


de sus objetivos.

Por otro lado, es necesario que este esquema de M&E planteado por la ODI
permita evaluar la sostenibilidad de los programas, luego de varios años de
haber finalizado. En la nueva normativa se establece que las unidades
ejecutoras de los proyectos serán las encargadas de hacer las evaluaciones ex
post. Sin embargo, lo más probable es que éstas se encuentren desactivadas
cuando culminen los proyectos, lo que impediría realizar evaluaciones de
sostenibilidad. Además, en muchos casos, luego de que culmina la ejecución
de un proyecto de carácter eventual, hay partes del mismo que se transfieren a
los órganos de línea del sector, porque se generan gastos corrientes futuros
como consecuencia del mismo, que también sería necesario monitorear y
evaluar.

Otra limitación es la cantidad de equipo técnico y el compromiso político por


asignar a esta unidad los recursos necesarios para implementar eficientemente
este sistema. Cabe destacar que, actualmente, sólo ocho sectoristas de la ODI
realizan el seguimiento de todos los proyectos de inversión de la administración
pública, con el fin de verificar que cumplan con la nueva normativa. En muchos
casos, esta unidad, que justamente es la promotora de estas nuevas prácticas,
se convierta en un “cuello de botella” en el proceso de aprobación de nuevos
proyectos. En este sentido, la iniciativa del gobierno de Transparencia
Económica y Fiscal permitá avanzar en el proceso de fortalecer procesos de
M&E de la acción pública en general, incluso incorporando la dimensión de
vigilancia ciudadana.

a.2) Sistema Integrado de Administración Financiera (SIAF)

a.2.1) Antecedentes

Entre 1997 y 1998, se inició la implementación del SIAF en Gobierno Central y


las regiones, que consistió en el entrenamiento de las unidades ejecutoras y la
entrega de equipos. En 1997 se llevaron registros mensuales paralelos para
definir algunos aspectos adicionales del sistema y en 1998 se comenzó a
registrar automáticamente las operaciones. Recién en 1999 se inició la
implementación oficial del sistema para el registro de las operaciones de
ingresos y gastos de las unidades ejecutoras, que se logró plenamente en el
2000.

a.2.2) Objetivos

El objetivo del SIAF consiste en controlar la ejecución de los gastos públicos


con el fin de evaluar el avance de los mismos con respecto a lo programado.
Desde el punto de vista de un sistema de M&E integral, el SIAF es limitado, ya
que sólo funciona como un sistema de monitoreo de la ejecución de los gastos,
pero como un sistema integral de M&E. Esto significa que no permite hacer
seguimiento de indicadores más específicos, que son los más adecuados, pues
son “a la medida” del proyecto. Su principal utilidad es que se puede utilizar
como un sistema de alerta temprana, que permite identificar demoras o
adelantos en la ejecución de los gastos, con respecto a lo planeado, con el fin
de realizar correcciones a tiempo.

Instituto APOYO 24
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

a.2.3) Ámbito de influencia

El ámbito de influencia del SIAF es el Gobierno Central. No controla los gastos


de las empresas públicas, los municipios, ni las instituciones descentralizadas
bajo el ámbito del Fonafe, como Essalud y los organismos reguladores. Su
ámbito de influencia, al interior del Gobierno Central, está compuesto por 26
sectores (16 ministerios y 10 sectores autónomos), que abarcan 140 pliegos
que, a su vez, realizan sus gastos a través de 550 unidades ejecutoras. El SIAF
controla la ejecución física y financiera de los gastos de todas las unidades
ejecutoras bajo su ámbito, algunas de las cuales realizan gastos corrientes y
otras ejecutan proyectos de inversión, que tienen carácter eventual.

a.2.4) Funcionamiento del sistema

El SIAF es un sistema de ejecución, mas no de formulación de los gastos de


las unidades bajo su ámbito. Fue creado para que funcione como una
herramienta de gestión del Tesoro, con el fin de que éste pueda supervisar los
gastos de las unidades ejecutoras. Es un sistema de seguimiento financiero en
tiempo real, mientras que los indicadores meta son físicos, y se recopilan con
una periodicidad trimestral. Las unidades ejecutoras tienen la obligación de
definir y realizar el seguimiento de, por lo menos, un indicador físico de meta
por proyecto de inversión pública. Sin embargo, la nueva Ley de Inversiones,
por su parte, exige una mayor cantidad de estos indicadores, al menos para el
seguimiento de los proyectos de inversión.

a.2.5) Utilidad del sistema

El SIAF registra la información financiera del Estado en tiempo real, lo que


permite una visión global de la ejecución de los gastos del Estado, así como del
timing de su ejecución, comparando los gastos ejecutados versus los
programados. Si bien es un sistema limitado desde el punto de vista de M&E, al
menos permite cierto tipo de monitoreo de indicadores de efectividad, al
contrastar indicadores físicos y financieros como, por ejemplo, dólares
gastados por kilómetro de carretera. Esto permitirá comparar los resultados con
benchmarks preestablecidos y, de esta manera, evaluar la efectividad de los
gastos y/o inversiones. Sin embargo, aún no tiene mecanismos eficientes que
permitan contrastar la información proporcionada por las unidades ejecutoras.

a.2.6) Ventajas y limitaciones

Las principales ventajas que tiene, desde el punto de vista del monitoreo, es
que permite hacer un seguimiento en tiempo real de los indicadores financieros
y un seguimiento trimestral de algunos pocos indicadores físicos de los gastos
corrientes y de inversión del sector público. De esta manera, es posible obtener
ratios de efectividad comparando ambas informaciones, como por ejemplo,
cuánto esta costando cada bien producido por el proyecto. Sin embargo, el
SIAF tiene serias limitaciones si es que se lo considera como un sistema
integral de M&E, ya que no fue creado con ese objetivo. Además, no permite
identificar las causas por las cuales se haya avanzado más o menos que lo
programado y la información procesada por el sistema no retroalimenta a los
organismos ejecutores, que son quienes realizan el seguimiento de sus
unidades y quienes deberían estar más interesados en conocer estos
resultados.

Instituto APOYO 25
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

a.3) Planes Estratégicos Sectoriales Multianuales (PESEM)

a.3.1) Antecedentes

En el 2000, el Viceministerio de Economía encargó a la Dirección de


Planeamiento Multianual de Inversiones la tarea de impulsar el proceso de
elaboración de los Planes Estratégicos Multianuales de los sectores. Esta
unidad realizó investigaciones y formuló el marco conceptual que debía regir
los PESEM. Se capacitó a los funcionarios que estarían involucrados en este
proceso y se elaboraron manuales para facilitar y estandarizar el proceso.

a.3.2) Objetivos

■ Orientar la gestión pública hacia una administración guiada por


resultados, en lugar de que prevalezca solamente el cumplimiento
de los procesos. Para ello, se buscará atribuir responsabilidades a
los funcionarios y realizar el seguimiento a las metas planteadas.
■ Programar el gasto público de manera multianual.

a.3.3) Planes Estratégicos Sectoriales Multianuales (PESEM)

Los PESEM son un esfuerzo por planificar estratégicamente las operaciones


que desarrollarán los sectores del Gobierno Central en el futuro. En estos se
establecen claramente la visión, misión y objetivos del sector, lo que permite
definir, a su vez, los objetivos específicos y las actividades acordes con el
marco definido previamente. Asimismo, los pliegos de cada sector también
deberán presentar sus planes estratégicos institucionales (PEI), con el fin de
evaluar que sean consistentes con los PESEM.

a.3.4) Ámbito de influencia

El ámbito de influencia de este nuevo marco legal son todos los sectores del
Gobierno Central, conformado por 16 ministerios y 10 sectores autónomos.
Estos deberán presentar sus PESEM a la DGAEF, que es la Dirección General
de Asuntos Económicos y Financieros. Considerando que los sectores realizan
sus gastos a través de pliegos que, a su vez, los ejecutan por medio de las
unidades ejecutoras, entonces los planes del sector deberán ser coordinados
en todos los niveles de la cadena funcional de los gastos públicos.

De alguna manera, la normativa del PESEM fuerza esta interacción entre


sectores y sus pliegos, ya que no sólo revisa y aprueba los planes estratégicos
de los 26 sectores sino también los 149 planes estratégicos institucionales
(PEI) de los pliegos. Si bien se entiende que los pliegos, a su vez, deberán
interactuar con las unidades ejecutoras bajo su ámbito con el fin de definir sus
planes estratégicos, aún no se definió quién se encargará de revisar los planes
de estas últimas y completar el ciclo de retroalimentación que debería haber en
la cadena funcional.

a.3.5) Autoridades

Las autoridades que tienen algún tipo de injerencia en el contexto de esta


nueva normatividad son el Ministerio de Economía y Finanzas (MEF),
principalmente a través del Viceministerio de Economía, por medio de la
DGAEF. Sin embargo, en el futuro, esta dirección se encargará de las
funciones del marco macroeconómico multianual, tanto financiero como social.

Instituto APOYO 26
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

En este sentido; se ha creado una nueva dirección, de Planeamiento


Estratégico Multianual, a la cual se transferirán las funciones que realiza
actualmente la DGEAF, vinculadas específicamente a la administración y
seguimiento de los PESEM. En cada sector, ya se ha definido un representante
para efectos del cumplimiento de la normativa del PESEM, así como también
oficinas de apoyo de planeamiento y de presupuesto.

a.3.6) Proceso de evaluación de los PESEM

Las evaluaciones de los PESEM se realizará bimestralmente, para el caso del


análisis del cumplimiento de los insumos, procesos y productos;
semestralmente, para el caso del cumplimiento de los resultados; y
anualmente, para el caso del cumplimiento de los impactos. Para esta etapa,
los sectores recibirán un aplicativo, que todavía no está concluido, que les
permitirá elaborar sus reportes para efectos de la evaluación. Actualmente, el
sistema solamente registra las metas establecidas por cada sector, pero no
recoge la información de ejecución de los mismos, lo que será evaluado a partir
de este año. Por lo tanto, aún no permite realizar un contraste entre ambas
informaciones, con el fin de verificar el cumplimiento de las metas planteadas.

En el año 2000, los sectores elaboraron y presentaron por primera vez los
PESEM, que contenían las metas para el 2001. Sin embargo, estos no fueron
evaluados, ya que se hizo necesario corregir ciertos errores y capacitar aún
más a los funcionarios o áreas que se encargarían de estas labores. En el
2001, por su parte, se presentarán los PESEM, con las metas para el 2002,
pero en esta oportunidad sí serán evaluados. Luego, la DGAEF, será la unidad
encargada de discutir con cada sector los criterios utilizados para la
elaboración de los PESEM, realizar las modificaciones que surjan de estas
coordinaciones y consolidar los PESEM en el plan estratégico multianual
(PEM). Finalmente, el PEM se someterá a la aprobación del Consejo de
Ministros para que luego sea tomado como referencia para la formulación del
presupuesto del 2002.

a.3.7) Fortalezas y debilidades del nuevo marco legal

El proceso del PESEM todavía está en una etapa inicial. La presentación de los
PEM en el 2000 reflejó problemas de concepción de los mismos, que obligó a
realizar una mayor capacitación de los funcionarios involucrados con su
elaboración. En muchos casos no existe consistencia entre los objetivos
planteados y los indicadores definidos para medir su cumplimiento. Además,
aún no estaría funcionando como un sistema de planificación estratégico sino
más bien como un sistema de programación.

Este sistema se enmarca dentro del proceso de transparencia y prudencia


fiscal del Gobierno y contribuirá significativamente al mismo. Se elaborarán
reportes de evaluación de los PESEM de los sectores, que serán publicados
semestralmente, para el caso del análisis de resultados, y anualmente, para el
caso de impactos. Sin embargo, la consolidación de la información a nivel
sectorial es un reto importante. Cada sector tiene pliegos y unidades ejecutoras
bajo su ámbito, que deberán interactuar para definir un plan estratégico
consistente para el sector, que refleje la verdadera misión, visión, objetivos y
metas del mismo. Sólo así se obtendrán planes estratégicos que sean
consistentes y que permitan un análisis posterior que fortalezca la ejecución de
los gastos públicos.

Instituto APOYO 27
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Sin embargo, será necesario desarrollar métodos para la verificación del


cumplimiento de las metas planteadas por los sectores, así como de la
veracidad de la información presentada. Esto se podría lograr a través de
auditores externos, con el fin de que el proceso sea más transparente.

a.4) Conclusiones

Además de los retos y limitaciones analizados en cada caso, es importante


destacar algunas conclusiones respecto a estos esfuerzos por introducir
prácticas de M&E al interior de la administración pública. Estas iniciativas no
han surgido como un esfuerzo común y coordinado, ni tampoco con una misma
visión. Por lo tanto, uno de los retos pendientes es el de coordinar acciones
entre los mismos y diseñar un marco que integre todas estas estrategias que
surgieron de manera independiente.

Como se mencionó anteriormente, el proceso se desarrolló de manera inversa


a lo normal. Inicialmente, la ODI introdujo estas prácticas a nivel de proyectos
de inversión pública, que son las unidades más pequeñas dentro de la cadena
institucional. Así, en el Gobierno Central ya existen proyectos, con planes
estratégicos en algunos casos, que han comenzado a adecuarse a estas
nuevas prácticas. Sin embargo, recién ahora los sectores en los que realizan
sus actividades han comenzado este proceso. Por lo tanto, el reto será que, en
el menor plazo posible, los planes estratégicos de cada nivel de la cadena
institucional –sector, pliego y unidades ejecutora- converjan, con el fin de que
exista consistencia en los planes estratégicos al interior de cada sector.

b) Entrevistas en profundidad para la evaluación de los sistemas de M&E en el


ámbito de los programas y proyectos sociales peruanos

En 1998, se realizó el PFP, que consistió en la presentación de los sistemas de


M&E de algunos programas y proyectos sociales, tanto del sector público como
de ONGs. Este foro motivó la iniciativa del Instituto APOYO de profundizar en
los problemas que presentan los sistemas de monitoreo y evaluación de los
programas sociales públicos en el Perú.

Para la presentación del primer avance, se seleccionó un conjunto de


indicadores que permitieran describir el grado de desarrollo de los sistemas de
monitoreo y evaluación, y aplicar dichos indicadores a los sistemas que fueron
presentados en el I Foro de Pobreza. Estos indicadores fueron:

− Existencia o no de marco lógico


− Existencia o no de línea de base
− Existencia o no de grupo de control para la evaluación
− Naturaleza de la evaluación (interna o externa)
− Existencia o no de indicadores de sostenibilidad
− Frecuencia con que se realiza el monitoreo y la evaluación

Sin embargo, la información recogida en el PFP tiene las siguientes


limitaciones, producto de los sesgos que pueden haber tenido las respuestas.
Primero, fueron los mismos proyectos quienes decidieron participar para
exponer sus sistemas de M&E, por lo que existe el riesgo de la autoselección.
Los sistemas de M&E de estos proyectos podrían ser más avanzados que el
promedio, mientras que los proyectos con sistemas de M&E relativamente
débiles se habrían abstenido. Segundo, la información se obtuvo de parte de

Instituto APOYO 28
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

los responsables directos de los proyectos, lo que podría haber incentivado a


sobreestimar las bondades del mismo. Tercero, en este foro participaron
también algunos funcionarios de los organismos prestamistas, lo que también
puede haber influenciado las respuestas en el mismo sentido.

Por estas razones, se decidió utilizar una metodología diferente, que buscó
superar las limitaciones de la información obtenida en el PFP, que tenía varios
sesgos. Esta consistió en realizar entrevistas en profundidad a funcionarios
relacionados indirectamente con los programas y/o proyectos públicos.
Igualmente, esta nueva metodología incorpora ciertas limitaciones, como puede
ser la subjetividad del entrevistado, en cuanto a la mayor o menor rigurosidad
al responder las preguntas. Sin embargo, se cree que es más adecuada que la
anterior. Adicionalmente, se decidió realizar estudios de casos, para cuatro
proyectos, con el fin de ahondar más en los factores de éxito de los sistemas
de M&E de los proyectos públicos.

En las entrevistas en profundidad sostenidas con los funcionarios vinculados


indirectamente a la ejecución de los programas y proyectos sociales del
Gobierno Central, se aplicó el cuestionario diseñado de acuerdo con la
metodología planteada, y que fue presentado en la primera sección de la
investigación. Sobre la base de estas entrevistas, se obtuvo resultados a nivel
sectorial y a nivel de los proyectos y/o programas.

b.1) Nivel sectorial

b.1.1) Definición de la muestra de sectores

Las entrevistas realizadas se concentraron en los sectores agricultura,


educación, salud, Promudeh, Ministerio de la Presidencia y transportes, de
acuerdo a la definición de sectores de la estructura organizativa del sector
público. En el 2000, estos sectores concentraron el 48% de los gastos totales
del Gobierno Central. Pero si se eliminan los gastos del servicio de deuda
incluidos para el caso del MEF, entonces este indicador asciende a alrededor
de 60%.

GASTOS DEL GOBIERNO


CENTRAL POR SECTORES
(2000)

Gastos Estructura
ejecutados porcentual
(US$ millones)
Educación 752 9,4%
Salud 495 6,2%
Trabajo 14 0,2%
Agricultura 232 2,9%
Transportes 408 5,1%
Presidencia 1 754 22,0%
Promudeh 153 1,9%
Sub-total 3 808 47,7%
Otros 4 172 52,3%
Total 7 980 100,0%
Fuente: SIAF

Instituto APOYO 29
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Sin embargo, para tener una idea más clara del universo que representan estos
sectores para efectos de esta investigación, se debería considerar los gastos
que realizan pero solamente por concepto de programas y/o proyectos
sociales. Esto se debe a que los gastos presentados en el cuadro anterior
incluyen todos aquellos desembolsos ordinarios de los sectores,
correspondientes a sus órganos de línea que no se destinan a programas y/o
proyectos sociales. Sin embargo, la información pública no permite una mayor
desagregación de los gastos del Gobierno Central, que permita definir el
universo de los programas y proyectos del Estado, tanto de inversión como de
gasto corriente.

Definitivamente, lo más lógico hubiese sido concentrarse en funciones en lugar


de sectores, debido principalmente a que, en muchos casos, hay varios
sectores que gastan en funciones similares. Por ejemplo, el sector educación
no es el único que gasta en programas y proyectos educativos. El Promudeh,
por ejemplo, tiene cuatro programas y/o proyectos que destinan gastos para la
alfabetización de la población, como es el caso de COOPOP, PAR, PRONAA y
PNA.

GASTOS DEL GOBIERNO


CENTRAL POR FUNCIONES
(2000)

Gastos Estructura
ejecutados porcentual
(US$ millones)
Agraria 360 4,5%
Asistencia y previsión social 1 887 23,6%
Educación y cultura 1 537 19,3%
Salud y saneamiento 758 9,5%
Trabajo 13 0,2%
Transportes 396 5,0%
Vivienda y desarrollo urbano 42 0,5%
Sub-total 4 993 62,6%
Otros 2 987 37,4%
Total 7 980 100,0%

Fuente: SIAF

Sin embargo, no fue posible concentrarse en funciones por dos razones. En


primer lugar, a nivel de la administración pública, los programas y proyectos
pertenecen a un determinado sector y los funcionarios que pertenecen a éstos
o que tienen algún tipo de vínculo con los mismos, son nombrados a nivel
sectorial. Esto significa que es común que un funcionario conozca acerca del
desempeño de un grupo de proyectos de un mismo sector, pero es mucho
menos probable que un funcionario público conozca acerca de los proyectos
que pertenecen a una misma función. Por lo tanto, como nuestro público
objetivo para el caso de las entrevistas debía tener, en lo posible, conocimiento
de una cartera de proyectos públicos, entonces debían ser escogidos de los
principales sectores que realizan programas y proyectos sociales.

En segundo lugar, hubiese sido difícil clasificar a los programas y/o proyectos
por el tipo de función que atienden (educación, salud, etc.), porque en muchos
casos un solo proyecto tiene varios objetivos y, por lo tanto, atiende varias
funciones. Por ejemplo, como parte del proceso de redefinición de sus objetivos
y ordenamiento de los programas del sector, el Promudeh realizó un análisis de

Instituto APOYO 30
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

los mismos. Como consecuencia de ello, identificó una gran cantidad de cruces
entre las funciones o servicios atendidos por los mismos, los que se presentan
en el siguiente cuadro:

Instituto APOYO 31
Instituto APOYO
SERVICIOS SOCIALES GENERADOS POR EL PROMUDEH EN EL 2000

CONADIS COOPOP INABIF PAR PRONAA PNA WAWA


WASI
Acciones de bienestar de las personas discapacitadas
Alfabetización
Apoyo a la población desplazada por la violencia terrorista
Apoyo al adulto mayor
Atención a niños y adolescentes en situación de riesgo y abandon o

b.1.2) Procesamiento de la información


Atención integral a los huérfanos por violencia terrorista
Atención integral a menores de 4 años
Elevación del nivel nutricional
Formación laboral juvenil
Infraestructura económica (vial y riesgo)
Infraestructura social (servicios básicos)
Prevención y atención en casos de violencia familiar
Promoción y desarrollo de organizaciones sociales de base
Proyectos de desarrollo productivo
Promoción de la mujer
Promoción de los derechos individuales y colectivos

Fuente: Promudeh
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

32
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Si bien la información obtenida de las entrevistas fue principalmente cualitativa,


en todas las preguntas se buscó cuantificar las respuestas de los entrevistados,
con el fin de obtener calificaciones que faciliten el análisis posterior de la
información. Para ello, se les pidió a los entrevistados que califiquen en una
escala del 1 al 7, donde “1” es peor y “7” es mejor.

Por otro lado, se definieron ponderaciones para el caso de cada pregunta, con
el fin de priorizar los aspectos que son más importantes para realizar un
adecuado proceso de M&E. Las ponderaciones definidas para cada pregunta
fueron las siguientes:

PONDERACIONES DE LAS PREGUNTAS


A NIVEL SECTORIAL

Ponderación

Pregunta 1 10%
Pregunta 2 10%
Pregunta 3 10%
Pregunta 4 10%
Pregunta 5 20%
Pregunta 6 20%
Pregunta 7 20%
Pregunta 7 a 5%
Pregunta 7 b 5%
Pregunta 7 c 5%
Pregunta 7 d 5%

Total 100%

Se consideró que los aspectos evaluados en las primeras cuatro preguntas –


apoyo político, cultura y la nueva ley de inversiones- son importantes pero
representan las condiciones más básicas que se requerirían, a nivel sectorial,
para realizar adecuadamente operaciones de M&E. En cambio, el margen de
maniobra (5), la importancia de las inversiones (6) y el fortalecimiento de las
OPIs (7) son condiciones que reflejan si es que, en la práctica, se están
tomando las medidas adecuadas para realizar M&E. Cabe destacar que las
preguntas 3, 4, 6 y 7 se refieren específicamente al caso de proyectos de
inversión, con el fin de medir aspectos del nuevo marco legal.

Finalmente, se obtuvo un puntaje para cada pregunta, que al ser ponderado


por la importancia de la misma, permitió obtener un puntaje a nivel sectorial.
Asimismo, al momento de agregar todas las entrevistas, se obtuvo un puntaje
por cada pregunta pero a nivel de todos los sectores. Por último, se obtuvo un
puntaje global para todos los sectores analizados.

b.1.3) Análisis de la información

Debido a las razones metodológicas explicadas anteriormente, así como a las


pocas entrevistas realizadas, estos resultados se analizarán a nivel global de
todos los sectores, así como también a nivel de cada uno de los aspectos de
M&E que fueron considerados en el cuestionario. Sin embargo, no se
analizarán los resultados específicos a nivel de cada sector, ni tampoco se
realizarán comparaciones entre los mismos, aunque si se presenta la
información.

Instituto APOYO 33
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Asimismo, en la parte metodológica, se estableció que los aspectos de M&E


que se analizarían eran los más generales y básicos con los que debería contar
un sistema de M&E. Más aún, considerando que no se analiza la calidad de los
mismos. Por estas razones, cabe destacar que un puntaje de 7 no refleja que
las condiciones para realizar prácticas sectoriales de M&E son óptimas. Por el
contrario, se debería interpretar como que las condiciones son las adecuadas
para el inicio, a nivel sectorial, de un proceso que busque alcanzar un sistema
de M&E eficiente y de calidad.

b.1.4) Presentación de los resultados

Luego de indagar acerca de los aspectos con los que debería cumplir cada
sector para realizar un adecuado M&E, se obtuvo que, en una escala del 1 al 7,
el puntaje de todos lo sectores analizados ascendería a alrededor de 3. Como
se menciona anteriormente, este resultado no debe ser comparado con 7 como
si este fuese el resultado máximo, ya que el puntaje más alto considerado en
esta escala refleja solamente el cumplimiento de las condiciones más básicas
para realizar adecuadamente operaciones de M&E. En cuanto al detalle de los
distintos aspectos analizados, los principales hallazgos se presentan a
continuación:

RESULTADOS DE LAS RESPUESTAS AL CUESTIONARIO DE M&E


A NIVEL DE SECTORES
(donde "1" es peor y "7" es mejor para cumplir con las condiciones mínimas
que debería tener todo sistema de M&E a nivel sectorial)

Preguntas Promedio Promedio


Sectores 1 2 3 4 5 6 7 simple ponderado
a b c d (1 a 7) (1 a 7)

Agricultura 3,0 1,0 6,0 4,0 6,0 4,0 2,0 3,0 1,0 nd 3,3 3,7
Educación 3,0 3,0 5,5 3.5 2,5 3,5 4,0 4,5 6,0 1,5 3,7 3,2
Salud 3,0 3,0 5,0 4,0 1,0 2,0 2,0 5,0 4,0 n.d. 3,2 2,7
Promudeh 2,0 3,0 5,0 2,0 7,0 2,0 4,0 1,0 5,0 2,0 3,3 3,6
Mipre 2,0 1,0 4,0 2,5 1,5 3,0 2,0 2,5 2,5 1,0 2,2 2,3
Transportes 4,0 2,0 6,0 6,0 2,0 3,0 4,0 4,0 2,0 3,0 3,6 3,5
Promedio simple 2,8 2,2 5,3 3,7 3,3 2,9 3,0 3,3 3,4 1,9 3,2 3,2

n.d.: no disponible Fuente: entrevistas en profundidad con funcionarios sectoriales.

REFERENCIAS
1 Apoyo político 6 Importancia inversiones
2 Cultura de M&E 7a Liderazgo OPIs
3 Diseño nueva ley 7b Margen OPIs
4 Aplicación nueva ley 7c Rol promotor OPIs
5 Margen de maniobra 7d Contratación OPIs

Instituto APOYO 34
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

• La opinión de los funcionarios entrevistados respecto a la nueva


normativa de inversiones es relativamente favorable, lo que reflejaría
que los lineamientos generales de este proceso son adecuados. Esta
considera los aspectos conceptuales necesarios para realizar un
adecuado proceso de M&E (puntaje 5,3) pero todavía se debe trabajar
más en los relativos a su aplicación (3,7).

• El apoyo político que se le otorga a la introducción de cualquier sistema


de M&E es bajo (2,8). Además, la cultura de M&E es sumamente pobre
(2,2), lo que evidencia no sólo la falta de capacitación y entrenamiento,
sino también la falta de costumbre de realizar este tipo de actividades.

• El margen de acción o de maniobra para tomar decisiones de política en


función a los resultados del M&E es todavía limitado. Frecuentemente
no es fácil decidir eliminar, reformular o modificar los programas y/o
proyectos, debido a que aún se le otorga poca importancia a estos
resultados (3,3).

• La importancia que se le da a las inversiones es baja. Los proyectos de


inversión se guían más por criterios políticos que por una preocupación
por la eficiencia y por el impacto de largo plazo esperado (2,9).

• La estrategia de la Oficina de Inversiones (ODI) de fortalecer las


Oficinas de Planificación de las Inversiones (OPIs) se encuentra todavía
en una etapa incipiente. Si bien éstas han adquirido un rol mucho más
activo con la introducción de la nueva ley, todavía les falta liderazgo (3),
margen de maniobra (3,3) y un rol más promotor (3,4). Uno de los
aspectos que refleja la capacidad de que estas OPIs se fortalezcan es
la posibilidad de que las personas de la ODI destacadas a estas oficinas
sean finalmente contratadas. En los casos analizados, esta posibilidad
es significativamente baja (1,9).

b.2) Nivel de programas y/o proyectos

b.2.1) Definición de la muestra de programas y/o proyectos

Como se mencionó en la sección metodológica de la sección 1, la presente


investigación busca analizar tanto por programas y/o proyectos públicos que
realizan inversiones, así como también los que realizan gastos corrientes, que
no tienen una vida limitada de tiempo. Sin embargo, fue difícil identificar los
proyectos que realizan gastos corrientes, debido a que en estos casos no es
tan común que existan áreas u oficinas independientes que tengan
responsabilidades sobre éstos, como sí ocurre en los casos de los proyectos
de inversión. Además, por el hecho de que sean gastos corrientes, muchas
veces son ejecutados por los órganos de línea del sector, y tampoco es fácil
identificar su presupuesto.

En este sentido, se identificó a los principales proyectos y/o programas sociales


y se obtuvo información de la mayoría de ellos. Sin embargo, no fue posible
obtener información de algunos de estos programas, debido a las razones
mencionadas anteriormente, así como también a la dificultad de entrevistar a
algún funcionario público que se adecue al perfil del entrevistado establecido
en la parte metodología.

Instituto APOYO 35
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

En el siguiente cuadro se presentan los 20 programas y/o proyectos


analizados. Los gastos totales desembolsados en el 2000 por estos proyectos
ascendieron a alrededor de US$770 millones, lo que representó el 12% del los
gastos totales no financieros del Gobierno Central. Este indicador sería
significativamente mayor si se comparase el monto total desembolsado por
esta muestra de proyectos con el monto total desembolsado por el universo
total de proyectos, pero no ha sido posible identificar este universo. Esto se
debió, principalmente, al problema mencionado anteriormente respecto a los
proyectos que realizan gastos corrientes, ya que en muchos de estos casos los
desembolsos se realizan a través de los órganos de línea de los respectivos
sectores.

Sin embargo, exclusivamente para el caso de los proyectos de inversión, se


estableció un universo más o menos razonable, a partir del dato agregado del
genérico de gasto, que ascendió a alrededor de US$1 300 millones en el 2000.
Este universo es un aproximación, pues también incluye gastos de inversión
que realizan los órganos de línea y no sólo los proyectos. No obstante, es un
dato mucho menos distorsionado que en el caso de los gastos corrientes. Por
lo tanto, en función a este universo, la muestra analizada de proyectos de
inversión, por un monto total de US$643 millones, representa el 50% del total
de inversiones totales del Gobierno Central.

PROYECTOS Y/O PROGRAMAS DE LA MUESTRA

Gastos
ejecutados 1/
(US$)
1 INADE - Instituto nacional de desarrollo * 154 198 727
2 FONCODES - Fondo nacional de compensacion y desarrollo social * 138 278 650
3 PERT - Programa de rehabilitación y mejoramiento de carreteras * 95 681 179
4 PRONAA - Programa nacional de asistencia alimentaria 89 902 690
5 MECEP Birf - Mejoramiento de la calidad de la educación primaria * 62 423 046
6 Pronamachs - Programa nacional de manejo de cuencas hidrográficas * 52 926 701
y conservación de suelos
7 PCR - Programa de caminos rurales * 31 979 690
8 MECEP Bid - Mejoramiento de la calidad de la educación primaria * 27 501 323
(inicial 5 años), secundaria y educación para el trabajo
9 PSI - Proyecto subsectorial de irrigación * 22 059 097
10 PRONAP - Programa nacional de agua potable y alcantarillado * 18 106 688
11 INABIF - Instituto nacional de bienestar familiar 16 791 022
12 Educación básica para todos 9 744 640
13 PETT - Proyecto especial titulación de tierras y catastro rural * 9 641 238
14 PSNB - Proyecto de salud y nutrición básica * 9 231 444
15 Prodesa - Programa de desarrollo de sanidad agropecuaria * 7 745 495
16 Wawa Wasi - Programa nacional de Wawa Wasi * 6 864 700
17 Proyecto 2000 * 5 253 513
18 COOPOP - Cooperación popular 6 651 134
19 PATPAL - Patronato del parque de las leyendas 3 215 296
20 Proyecto de fortalecimiento de servicios de salud * 1 188 874
Total 769 385 147
* Proyectos de inversión
1/ Información del SIAF para el año 2000.

b.2.2) Procesamiento de la información

Si bien se recogió la información cualitativa en las entrevistas sostenidas con


estos funcionarios, se buscó, al igual que en las preguntas a nivel de sector,
cuantificar las respuestas de los entrevistados. Es así que en todas las
respuestas se pidió precisar “Sí” o “No”, en función a si el proyecto evaluado
contaba con el instrumento específico de M&E planteado en el cuestionario o si

Instituto APOYO 36
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

realizaba diversas prácticas de M&E. Si bien en muchos casos fue difícil


obtener este tipo de respuestas y quizás algunas no reflejen la verdadera
condición del proyecto, también se recogió la explicación cualitativa del
entrevistado. En este sentido, las respuestas “Sí” se calificaron con 1 y las
respuestas “No” se calificaron con 0.

Al igual que en el caso de las preguntas a nivel de sectores, se definieron


ponderaciones para el caso de cada pregunta, con el fin de priorizar los
aspectos que son más importantes para realizar un adecuado proceso de M&E.
Las ponderaciones definidas para cada pregunta fueron las siguientes:

PONDERACIONES DE LAS PREGUNTAS


A NIVEL DE PROYECTOS

Ponderación
Pregunta 1 Antes del nuevo marco legal de inversiones: ¿Tenía un sistema de M&E? 8%
Pregunta 2 ¿Existe margen de maniobra para realizar correcciones en base al M&E? 4%
Pregunta 3 ¿Ha habido experiencias de correcciones de este tipo? 4%
Pregunta 4 ¿Existe una capacidad de M&E establecida? 8%
Pregunta 5 ¿Tienen manuales de M&E? 8%
Pregunta 6 ¿Tienen formatos de M&E? 8%
Pregunta 7 8%
Pregunta 7a ¿Realizan reportes de M&E? 4%
Pregunta 7b ¿Estos reportes retroalimentan el ciclo del proyecto? 4%
Pregunta 8 ¿Se ha diseñado el marco lógico del proyecto? 8%
Pregunta 9 ¿Han realizado el perfil del proyecto? 15%
Pregunta 10 ¿Se han realizado evaluaciones intermedias y/o expost? 15%
Pregunta 11 15%
Pregunta 11a ¿Tienen línea de base? 8%
Pregunta 11b ¿Tienen grupo de control y/o comparación? 8%
Total 100%

Para definir las ponderaciones, se utilizaron los siguientes criterios. Como se


menciona en la explicación metodológica, algunos de los aspectos analizados
en las preguntas del cuestionario se asemejan más “insumos” y otros más a
“productos”. En este sentido, se decidió ponderar con 8% a las preguntas
correspondientes a “insumos” o condiciones básicas y necesarias para un
sistema de M&E (preguntas 1, 4, 5, 6, 7, 8); y con 15% a los aspectos que se
asemejan más a “productos” (preguntas 9, 10 y 11).Sin embargo, en este
último caso no llegan a ser condiciones suficientes, ya que no se ha evaluado
la calidad de los mismos. En el caso de las preguntas 2 y 3, la ponderación se
dividió en dos partes porque ambas medían el mismo aspecto, relativo al
margen de acción que existe en el proyecto para realizar correcciones
indicadas por el M&E.

Finalmente, se obtuvo un puntaje para cada pregunta, que al ser ponderado


por la importancia de la misma, permitió obtener un puntaje para cada
proyecto. Asimismo, al momento de agregar todos los proyectos, se obtuvo un
puntaje por cada pregunta pero a nivel de la muestra de proyectos. Finalmente,
el promedio de los puntajes obtenidos por la muestra de proyectos para cada
pregunta representó el puntaje global de la muestra de proyectos analizados.

b.2.3) Análisis de la información

Como se menciona en la primera sección, las metodología tiene ciertas


limitaciones. La disponibilidad de la información que es materia del presente
estudio es escasa, por lo que fue necesario aplicar las técnicas de
levantamiento de información explicadas. Con el fin de evitar que existan

Instituto APOYO 37
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

sesgos en las respuestas, se tuvo que optar por realizar entrevistas a terceros
vinculados con los proyectos. Sin embargo, siempre existe cierto nivel de
subjetividad en las respuestas, ya que los criterios de rigurosidad delos
diferentes entrevistados pueden ser diferentes. A pesar de estas limitaciones,
se recogió la información por medio de las entrevistas, pues se considera que
es la herramienta más adecuada, considerando la poca disponibilidad de
información acerca de estos proyectos.

Por estas razones, la información se analiza a nivel global, para todos los
proyectos. De esta manera, se obtienen resultados globales para la muestra,
así como también resultados agregados para el caso de cada uno de los
aspectos analizados en las preguntas. Sin embargo, no se analizarán los
resultados específicos a nivel de cada proyecto, ni tampoco se realizarán
comparaciones entre los mismos. En su lugar, se analizarán los resultados por
grupos de productos, relacionados con las hipótesis planteadas al inicio del
trabajo. En este sentido, fue necesario desagregar los proyectos de la muestra
en los siguientes grupos:

• Desagregación por tamaño de proyectos


• Desagregación por tipo de financiamiento: interno o externo
• Desagregación por tipo de gasto: inversión y corriente.

Asimismo, en la parte metodológica, se estableció que los aspectos de M&E


que se analizarían eran los más generales y básicos con los que debería contar
un sistema de M&E. Más aún, considerando que no se analiza la calidad de los
mismos. Por estas razones, cabe destacar que un puntaje de 1 no refleja un
sistema de M&E óptimo sino, más bien, se debería interpretar como un sistema
de M&E adecuado como punto de partida para iniciar un proceso de M&E
eficiente y de calidad. En este sentido, un puntaje de 1 no se debería
interpretar como lo máximo a lo cual se debe aspirar en M&E, sino como lo
mínimo indispensable para iniciar un proceso de M&E eficiente.

b.2.4) Presentación de los resultados

b.2.4.1) Resultados generales, a nivel de la muestra de proyectos

El puntaje obtenido por la muestra de proyectos ascendió a alrededor de 0,50.


Sin embargo, si se ponderan los resultados por la importancia de las preguntas
este puntaje se reduce de 0,50 a 0,48. Esto refleja que existe un menor
cumplimiento de los aspectos que son más importantes, vinculados con los
“productos” del M&E. Si se ponderan los resultados por la importancia de los
proyectos -de acuerdo al monto desembolsado-, entonces el puntaje disminuye
de 0,50 a hasta 0,43, lo que refleja que los proyectos más grandes son más
débiles, en sus sistemas de M&E, con relación a los proyectos más pequeños.
Por último, si se ponderan los resultados por ambos factores, entonces el
puntaje se reduce de 0,50 a 0,42.

Instituto APOYO 38
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

RESULTADOS GLOBALES DE LA MUESTRA


DE PROYECTOS

Puntaje
(0 a 1)
-Promedio simple 0,50

-Promedio ponderado por importancia de las preguntas 0,48

-Promedio ponderado por tamaño de proyectos 0,43

-Promedio ponderado por tamaño de proyectos 0,42


e importancia de las preguntas

Fuente: entrevistas en profundidad con funcionarios sectoriales.

Es decir, los 20 proyectos analizados, que representaron gastos anuales por


alrededor de US$800 millones en el 2000, cumplen con menos de la mitad de
los aspectos más básicos que se requerirían para tener un sistema adecuado
de M&E. En ninguno de estos casos el estudio evaluó la calidad de los mismos.

b.2.4.2) Resultados generales, a nivel de cada pregunta o aspecto de M&E


analizado

Con respecto a las características de “insumo” o instrumentos que todo


proyecto debería utilizar para llevar a cabo actividades de M&E, los puntajes de
las preguntas acerca de los manuales (0,2) y del marco lógico (0,2) fueron los
más bajos; mientras que los puntajes de las preguntas sobre la capacidad y
formatos de M&E fueron los más altos. Con respecto a las características de
“producto”, los puntajes de las preguntas acerca del margen de maniobra (0,6)
y las evaluaciones (0,4) fueron los más altos; sin embargo, la calidad de las
evaluaciones sería baja, lo que se deduce por los reducidos puntajes obtenidos
en las preguntas acerca de la tenencia de línea de base (0,0) y grupo de
control y/o comparación (0,2).

Instituto APOYO 39
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

PUNTAJE DE LOS ASPECTOS DE M&E EVALUADOS


(Promedio ponderado: 0 a 1)

Línea de base

Manuales M&E

Grupo de control

Marco lógico

Perfiles
Retroalimentación reportes

Reportes M&E

Evaluaciones
Tenía M&E

Margen maniobra efectivo

Margen maniobra

Formatos M&E

Capacidad M&E

0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90

Fuente: entrevistas en profundidad con funcionarios sectoriales

Otros hallazgos importantes respecto a los principales aspectos evaluados


fueron los siguientes:

§ Sólo tres de los 20 proyectos de la muestra, cuyos gastos representaron


solamente US$17 millones de los US$770 millones de la misma, tienen
manuales para desarrollar sus operaciones de M&E.
§ Casi todos los proyectos analizados cuentan con una capacidad para
realizar las actividades de monitoreo, así como también formatos para
recolectar la información producto de estas operaciones. Sin embargo,
en muchos de estos casos, la tenencia de formatos se debería a la
obligatoriedad impuesta por la nueva ley de inversiones, que además
provee estas plantillas.
§ Si bien 15 de los 20 proyectos de la muestra tienen margen de
maniobra, éstos se reducen a 11 cuando se les pregunta acerca de
algunos casos en los que efectivamente se haya realizado alguna
corrección al proyecto, como producto del proceso de M&E.
§ Sólo 11 de los 20 proyectos realizan reportes que retroalimentan el ciclo
del proyecto. Sin embargo, la otra mitad, que representa alrededor de
US$330 millones, no realizan ningún tipo de reporte con los resultados
del M&E.
§ Sólo 4 de los 20 proyectos están diseñados bajo un marco lógico. Sin
embargo, éstos son relativamente grandes, pues sus gastos
ascendieron a US$288 millones en el 2000, poco menos de la mitad de
los gastos totales de la muestra.
§ Si bien 14 de los 20 proyectos realizaron perfiles durante su etapa
inicial, éstos sólo representan el 42% de la muestra (US$321 millones),
en términos de desembolsos. Esto significa que los seis proyectos
restantes, que no realizaron ningún perfil y que desembolsaron US$450
millones en el 2000. son relativamente grandes. Por lo tanto, se
confirma la presunción de que, en la última década, algunos grandes

Instituto APOYO 40
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

proyectos se iniciaron sin suficientes estudios de pre-inversión, debido a


factores políticos y a la situación de emergencia que se registró en los
primeros años de la década. Además, cabe destacar que, en muchos
de los casos que sí se realizaron perfiles, algunos de los funcionarios
entrevistados mencionaron que éstos eran demasiado simples.
§ Casi la mitad de los proyectos de la muestra realizaron evaluaciones
intermedias o expost. Sin embargo, de acuerdo con algunas de las
respuestas cualitativas de algunos funcionarios, éstas habrían sido de
cobertura limitada, o sólo de tipo cualitativo (por lo menos seis
proyectos), o sólo de una parte de los proyectos (el Inade, que tiene
varios proyectos, realiza evaluaciones en algunos de estos casos, pero
que son la minoría). Además, en pocos casos se habrían realizado
evaluaciones de impacto y sostenibilidad. Este análisis se confirma con
los resultados de la tenencia de línea de base y grupos de control, que
teóricamente son los instrumentos adecuados para realizar
evaluaciones de impacto y sostenibilidad: ninguno de los proyectos
tiene línea de base (con la salvedad de que en el caso de los proyectos
agrícolas no fue posible obtener una respuesta) y sólo tres, que
representaron US$149 millones en términos de gastos, tienen grupos
de control o comparación.

RESULTADOS AGREGADOS DE LAS PREGUNTAS


RESPONDIDAS AFIRMATIVAMENTE

Nº de proyectos Gastos de los


Preguntas de la muestra proyectos
respectivos 1/
(US$)
1 ¿Tenía M&E? 9 407 175 673
2 Margen de maniobra 15 480 085 426
3 Margen de maniobra efectivo 11 433 811 445
4 Capacidad de M&E 17 607 746 296
5 Manuales de M&E 3 17 285 018
6 Formatos de M&E 17 607 746 296
7a Reportes de M&E 11 330 122 728
7b Retroalimentación de reportes 11 330 122 728
8 Marco lógico 4 288 724 298
9 Perfiles 14 321 395 572
10 Evaluación 9 335 647 942
11a Línea de base 0 0
11b Grupo de control 3 148 698 968

1/ Información del SIAF para el 2000.


Fuente: entrevistas en profundidad con funcionarios sectoriales.

Instituto APOYO 41
RESULTADOS DEL CUESTIONARIO DESAGREGADO POR PROYECTOS Y
POR PREGUNTAS

Instituto APOYO
Prom. Prom.
Proyectos 1 2 3 4 5 6 7 8 9 10 11 simple pond. 1/
a b a b (0 a 1) (0 a 1)
S/N S/N S/N S/N S/N S/N S/N S/N S/N S/N S/N S/N S/N
Proyecto 1 1 1 1 1 1 1 1 1 0 1 1 0 1 0,8 0,8
Proyecto 2 1 1 1 1 1 1 1 1 0 1 1 0 1 0,8 0,8
REFERENCIAS
Proyecto 3 1 1 1 1 1 1 0 0 1 1 1 0 0 0,7 0,8
Proyecto 4 1 1 0 1 0 1 1 1 0 1 1 0 0 0,6 0,7
1 Tenía M&E Proyecto 5 1 1 0 1 0 1 1 1 0 1 1 0 0 0,6 0,7
2 Margen maniobra Proyecto 6 1 0 1 1 0 1 1 1 1 0 1 0 0 0,6 0,6
3 Margen maniobra efectivo Proyecto 7 0 1 0 1 0 1 1 1 0 1 1 nd nd 0,6 0,6
4 Capacidad M&E Proyecto 8 1 0 1 1 0 1 1 1 1 0 0 0 0 0,5 0,4
Proyecto 9 0 1 0 1 0 1 1 1 0 1 0 nd nd 0,5 0,4
5 Manuales M&E
Proyecto 10 0 1 0 1 0 1 1 1 0 1 0 nd nd 0,5 0,4
6 Formatos M&E Proyecto 11 0 1 0 1 0 1 1 1 0 1 0 nd nd 0,5 0,4
7a Reportes M&E Proyecto 12 1 1 1 1 0 1 0 0 1 0 0 0 0 0,5 0,4
7b Retroalimentación reportes Proyecto 13 0 1 1 1 0 1 0 0 0 1 0 0 0 0,4 0,4
8 Marco lógico Proyecto 14 0 1 1 1 0 1 0 0 0 1 0 0 0 0,4 0,4
Proyecto 15 0 1 1 1 0 1 0 0 0 1 0 0 0 0,4 0,4
9 Perfiles
Proyecto 16 0 1 1 1 0 1 0 0 0 1 0 0 0 0,4 0,4
10 Evaluaciones
Proyecto 17 0 0 0 0 0 0 0 0 0 1 1 0 0 0,2 0,3
11a Línea de base Proyecto 18 0 1 0 1 0 1 1 1 0 0 0 0 0 0,4 0,3
11b Grupo de control Proyecto 19 0 0 nd 0 0 0 0 0 0 0 1 0 1 0,2 0,2
Proyecto 20 1 0 1 0 0 0 0 0 0 0 0 nd nd 0,2 0,1

Ponderaciones 8% 4% 4% 8% 8% 8% 4% 4% 8% 15% 15% 7% 7%

Promedio simple 0,5 0,8 0,6 0,9 0,2 0,9 0,6 0,6 0,2 0,7 0,5 0,0 0,2 0,50 0,48
Promedio ponderado 3/ 0,5 0,6 0,6 0,8 0,0 0,8 0,4 0,4 0,4 0,4 0,4 0,0 0,2 0,43 0,42
1/ Ponderación de acuerdo a la importancia de cada pregunta.
2/ Según información del SIAF.
3/ Ponderación de acuerdo a la importancia de cada proyecto.
Fuente: entrevistas en profundidad con funcionarios sectoriales.
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

42
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

b.2.4.3) Resultados desagregados por tamaño de proyectos

El tamaño de los proyectos se analizó en función a los desembolsos del 2000.


Se dividieron en cinco categorías, con el fin de obtener conclusiones que
puedan estar relacionadas al tamaño de los mismos. Una de las hipótesis
planteadas en la sección inicial se refería al riesgo que existe que los proyectos
grandes sean administrados con criterios políticos y que se realicen pocas
prácticas de M&E.

RESULTADOS DEL CUESTIONARIO POR TAMAÑO DE PROYECTOS

Gastos ejecutados Promedio Promedio


en el 2000 1/ simple ponderado
(US$) (0 a 1) (0 a 1)
Programas muy grandes (más de US$80 mlls.) 478 061 246 0,4 0,4
Programas grandes (entre US$25 y US$80 mlls.) 174 830 761 0,6 0,6
Programas medianos (entre US$10 y US$25 mlls.) 56 956 807 0,4 0,3
Programas pequeños (entre US$5 y US$10 mlls.) 55 132 164 0,5 0,5

Programas muy pequeños (menos de US$5 mlls.) 4 404 169 0,7 0,5
Promedio simple 0,50 0,48
Promedio ponderado 0,43 0,42

1/ Información del SIAF para el año 2000.


Fuente: entrevistas en profundidad con funcionarios sectoriales.

Si bien los proyectos más grandes tienen calificaciones más bajas que el
promedio, otros proyectos relativamente grandes tienen calificaciones más
altas que el promedio. Sin embargo, en estos cuatro últimos casos, más del
45% del presupuesto de los mismos para el 2000 fue financiamiento externo.
Esta podría ser la principal razón por la cual sus calificaciones son
relativamente altas. En cambio, en el caso de los proyectos más grandes,
prevalece el financiamiento interno.

Otra de las razones que explicaría la diferencia entre estos dos grupos de
proyectos se debería al destino de los gastos. En el caso de los más grandes,
la mayoría de los gastos se destinan a inversiones en infraestructura, que son
más susceptibles de ser utilizadas políticamente. Esa podría ser una de las
razones por las cuales se confirma la tendencia planteada.

b.2.4.4) Resultados desagregados por tipo de gasto

En la parte inicial del trabajo se planteó la hipótesis de que los proyectos de


inversión suelen tener mejores sistemas de M&E que los proyectos de gastos
corrientes. Esto fue confirmado con los resultados de las entrevistas. En
promedio, los proyectos de inversión –definidos como los que gastan más del
50% de su presupuesto en inversión- registraron un puntaje de 0,43. En
cambio, los proyectos de gastos corrientes -definidos como los que gastan
menos del 50% de su presupuesto en inversión- registraron un puntaje de 0,35.

Como se mencionó anteriormente, la ODI ha venido realizando un esfuerzo por


forzar a que los proyectos de inversión implementen prácticas de M&E, lo que
derivó finalmente en la promulgación del nuevo marco legal en el 2000. Por lo
tanto, estos programas deben realizar, de manera obligatoria, algunas de estas
prácticas. En cambio, todavía no existen normas para forzar a los proyectos de
gasto corriente a que implementen estos métodos. Además, en muchos de
estos casos se hace difícil monitorearlos y/o evaluarlos de manera

Instituto APOYO 43
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

independiente, porque a veces sus gastos los realizan unidades de línea de


sus respectivos sectores.

RESULTADOS DEL CUESTIONARIO POR TIPO DE GASTO

Presupuesto por tipo de gasto % de gastos en Promedio Promedio


inversiones 1/ simple ponderado
(0 a 1) (0 a 1)

Proyectos de inversión (más del 50% de 99% 0,54 0,43


su presupuesto en inversión)

Proyectos ordinarios (menos del 50% de 10% 0,43 0,35


su presupuesto en inversión)

1/ Promedio ponderado, en base a información del SIAF para el año 2000.


Fuente: entrevistas en profundidad con funcionarios sectoriales.

b.2.4.5) Resultados desagregados por financiamiento

Otra de las hipótesis planteada en la parte inicial del trabajo se refería al hecho
de que los proyectos sociales con financiamiento externo suelen tener los
sistemas de M&E más sólidos. De acuerdo con los resultados de las
entrevistas, los proyectos con mayor financiamiento externo tienen los puntajes
más altos. Sin embargo, esto se refleja a partir de la cuarta categoría (más del
50% del presupuesto es de fuentes externas) -que registro un promedio de
0,52-, pues las primeras tres categorías registraron resultados similares, de
alrededor de 0,38. La última categoría es poco representativa porque sólo hay
un proyecto que pertenece a la misma.

Uno de los aspectos claves del M&E es que los hallazgos de estos estudios
permitan realizar correcciones de política, lo que se debería reflejar en el
margen de maniobra para detener proyectos, aumentar o disminuir sus
presupuestos. De lo contrario, no se estaría cumpliendo el fin último que busca
el M&E. Al evaluar el margen de maniobra de los diferentes proyectos y
cruzarlo con el resultado de la variable de financiamiento, no se refleja una
tendencia definida.

Es decir, si bien los proyectos con mayor financiamiento externo suelen tener
mejores sistemas de M&E, esto no va acompañado de un mayor margen de
maniobra, respecto a los que tienen menor fondeo extranjero. En opinión de
algunos entrevistados, algunos proyectos con financiamiento extranjero tienden
a ser rígidos, ya que no es fácil variar los términos de referencia, reformular
objetivos, modificar actividades, etc. Es importante resaltar que uno de los
objetivos de la nueva ley de inversiones es justamente lograr que estos
proyectos también se adecuen al marco de la misma.

Instituto APOYO 44
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

RESULTADOS DEL CUESTIONARIO POR TIPO DE FINANCIAMIENTO


Y MARGEN DE MANIOBRA DE LOS PROYECTOS

Financiamiento % de financiamiento Margen de Promedio Promedio


externo externo 1/ maniobra simple ponderado
(Sí=1 , No=0) (0 a 1) (0 a 1)
Nada 0% 0,9 0,4 0,4

Poco 19% 1,0 0,4 0,4

Regular 40% 0,3 0,5 0,4

Más del 50% de su presupuesto 56% 0,5 0,6 0,5


Más del 75% de su presupuesto 75% 1,0 0,8 0,9
1/ Información del SIAF para el año 2000.
Fuente: entrevistas en profundidad con funcionarios sectoriales.

c) Estudios de casos para la evaluación de los sistemas de M&E en el ámbito


de los programas y proyectos sociales peruanos

c.1) Programa de Capacitación Laboral Juvenil - ProJoven

c.1.1) Objetivos y características del ProJoven

El Programa de Capacitación Laboral Juvenil ProJoven, inició sus operaciones


en julio de 1996 a través de la ejecución de una experiencia piloto en Lima y
Callao. Actualmente, el Programa se implementa en nueve principales
ciudades del país (Lima y Callao, Piura, Chiclayo, Trujillo, Chimbote, Arequipa,
Cusco, Huancayo y Iquitos). Las ciudades han sido seleccionadas
considerando que, para operar con eficiencia, el Programa requiere de la
presencia significativa de empresas, entidades de capacitación y concentración
de jóvenes.

De acuerdo con la categorización por tamaño del programa presentada en la


sección anterior, ProJoven es un programa muy pequeño. En sus cinco años
de funcionamiento ha ejecutado en promedio US$2 millones anuales. Sus
fuentes de financiamiento han sido diversas. El proyecto piloto y una de las 8
convocatorias realizadas a la fecha fueron financiadas por el Banco
Interamericano de Desarrollo. El resto de convocatorias han sido financiadas a
través de fondos del Ministerio de Trabajo y Promoción Social (Fondos
Directamente Recaudados y Tesoro Público), canje de deuda con el Gobierno
Alemán y Fondoempleo. En los últimos años, Projoven ha contado con el
aporte del Fondo de Población de las Naciones Unidas para el financiamiento
de un componente de salud sexual y reproductiva.

El presente estudio de caso consta de dos partes. La primera presenta una


descripción del programa y de su sistema de M&E. La segunda discute –en
base a entrevistas en profundidad a actores claves del Programa- los factores
que favorecieron o dificultaron el diseño e implementación de dicho sistema.

ProJoven proporciona capacitación y experiencia laboral a jóvenes de escasos


recursos, en ocupaciones específicas de semi-calificación que demanda el
sector productivo. Su objetivo es incrementar la productividad y empleabilidad
de los jóvenes pobres, facilitando su acceso al mercado de trabajo a través de
un proceso conjunto de capacitación y experiencia laboral que responda a los
requerimientos del sector productivo.

Instituto APOYO 45
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Este programa está orientado a todos aquéllos jóvenes, en edades


comprendidas entre 16 y 25 años, que pertenecen a hogares pobres y que se
encuentran en situación de desempleo, subempleo o inactividad forzosa.
Además, deben haber completado la educación secundaria.

El programa busca, además, elevar el nivel de competencia y eficiencia del


mercado de capacitación, logrando una mayor interacción entre las
instituciones de capacitación y las necesidades del sector productivo que
demanda trabajo. Para ello, la selección de los cursos de capacitación se
realiza no sólo sobre la base de su calidad técnica sino también según su
pertinencia respecto a la demanda del sector productivo. Así, el Projoven opera
convocando a entidades de capacitación a participar en concursos públicos
para que organicen e implementen cursos diseñados según los requerimientos
del sector empresarial y las características de los jóvenes beneficiarios.

La selección de entidades y cursos de capacitación se realiza a través de un


proceso de pre-calificación que evalúa experiencia de capacitación previa,
capacidad administrativa y de gestión, y nivel de recursos humanos. Las
entidades seleccionadas son incorporadas al Registro de Entidades de
Capacitación, lo cual las habilita para presentar propuestas de cursos en las
licitaciones convocadas por el Programa.

Los cursos de capacitación tienen como objetivo lograr que los jóvenes
participantes adquieran habilidades y competencias básicas para
desempeñarse en ocupaciones específicas al nivel de calificación inicial o
semi-calificación. La formación brindada comprende dos fases: una
denominada de formación técnica a desarrollarse en las entidades de
capacitación y otra de práctica laboral a realizarse en empresas. En la fase de
formación técnica, mediante una metodología esencialmente práctica, los
jóvenes adquieren habilidades y destrezas vinculadas a los aspectos técnicos
del oficio. Asimismo, se desarrollan actividades formativas mediante las cuales
se pretende reforzar valores y actitudes útiles para el trabajo, como la
capacidad de adaptación y la polivalencia. Esta fase tiene una duración
promedio de tres meses (300 horas como máximo) con una presencia diaria e
interdiaria.

La segunda fase se desarrolla durante un mínimo de tres meses en empresas


con régimen laboral privado, donde el empresario asume el pago de una
subvención no menor a un salario mínimo vital y un seguro para contingencias
de accidentes de trabajo. Mediante la realización de estas prácticas, Projoven
busca que los jóvenes adquieran experiencia suficiente en el oficio para facilitar
su posterior proceso de búsqueda de trabajo, teniendo la posibilidad de
mostrarse competente en ella, y ser contratado por la misma empresa donde
realizó la práctica.

c.1.2) El sistema de M&E de Projoven

Existen dos áreas vinculadas al M&E: el área de supervisión y el área de


evaluación técnica y planificación. El área de supervisión es la encargada de
monitorear los insumos y los procesos de capacitación y de práctica laboral. La
información recogida por ésta sirve para hacer ajustes en los procesos del
programa, como la adjudicación de cursos o el proceso de focalización.

Instituto APOYO 46
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Projoven realiza evaluaciones de impacto internas periódicas como parte de


sus labores. Estas evaluaciones de impacto son realizadas por el área de
evaluación técnica y planificación, la que se encarga del seguimiento de metas
por resultados del Programa en su integridad. Para la realización de estas
evaluaciones, Projoven identifica como indicadores que reflejan el cumplimiento
del objetivo los siguientes:

ü Mejores tasas de inserción


ü Mayores ingresos
ü Acceso a empleo dependiente
ü Acceso a empleo en empresas medianas y grandes

Las evaluaciones de impacto de Projoven se realizan a través de una


metodología cuasi-experimental. Esta metodología consiste en la identificación
de un grupo de beneficiarios y de un grupo de control (jóvenes que
potencialmente podrían participar en el programa, pero que no lo han hecho)
que sean comparables. La metodología es cuasi-expermiental –y no
experimental- en tanto la selección del grupo de control no es aleatoria. El
grupo de control es establecido a través del método de matching comparison
que consiste en seleccionarlo sobre la base de sus características similares al
grupo de beneficiarios. Estas características similares son establecidas según
variables como edad, sexo, raza, nivel educativo, entre otros2.

La evaluación de impacto consiste en identificar la evolución de diversas


variables laborales de los jóvenes beneficiarios frente a los jóvenes del grupo
de control. Estas variables son: inserción laboral, calidad del empleo (medida a
través de tamaño de la empresa, tipo de contrato, lugar de trabajo, existencia
de seguro contra accidentes de trabajo y de salud), tiempo de desempleo,
tiempo de búsqueda de empleo y categoría laboral según sexo, edad, nivel de
instrucción y nivel socioeconómico. El diferencial en estas variables medidas
ambos grupos es atribuido al programa. Para obtener este diferencial se aplica
una encuesta para recoger información acerca de estas variables en ambos
grupos a los 6, 12 y 18 meses posteriores al egreso del programa de los
beneficiarios. Así, se pretende identificar el efecto del Programa a través de la
historia laboral de los jóvenes beneficiarios y los de control hasta un año y
medio después de haber egresado de Projoven y dos años después de haber
empezado su capacitación.

Hasta el momento, Projoven ha realizado 8 convocatorias y está en la


preparación de la novena. En casi todas ellas, la acciones del programa han
incluido la selección de un grupo de control y la construcción de una línea de
base3, que permiten semestralmente hacer el seguimiento de la evolución en
las condiciones de empleabilidad de los jóvenes beneficiarios en comparación
con las de los jóvenes del grupo de control.

2
En un modelo cuasi experimental existe el problema de validez que se refiere a la no aletoriedad en la
selección del grupo de control. Cuando se hace una selección por origen aleatorio (modelo expermiental),
factores como la existencia de otros proyectos, la motivación personal, o la personalidad están
distribuidos de manera uniforme en ambos grupos. Dado que una selección aleatoria del grupo de control
plantea problemas de ética al implicar la negación del tratamiento (programa) a un grupo de solicitantes,
Projoven optó por la selección no aleatoria del grupo de control a través de una equivalencia “uno a uno”
según variables de educación, sexo, condición laboral previa, edad y nivel socioeconómico. Así, se busca
al joven equivalente (control) al joven beneficiario en su mismo contorno (barrio). A partir de las
sugerencias de Grade realizadas durante la 6ta convocatoria, actualmente se considera la selección de
tres jóvenes de control por joven beneficiario.
3
En un inicio, Projoven construía líneas de base en cada convocatoria. Posteriormente, se decidió hacerlo
dejando una convocatoria.

Instituto APOYO 47
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Las evaluaciones de impacto le han permitido a Projoven identificar sus logros


o limitaciones en propiciar mejores condiciones de inserción laboral para los
jóvenes beneficiarios del Programa. Según sus dos últimos Coordinadores
Nacionales, le ha permitido también realizar ajustes en su ejecución. Por
ejemplo, a través de las evaluaciones de impacto se percibió que las
posibilidades de inserción laboral de los jóvenes en provincia eran menores
que en Lima. Es decir, los jóvenes de provincias tenían más problemas
respecto a los de Lima para acceder a una práctica formal una vez culminada
su práctica como parte del Programa. Ello se debía a que en provincias era de
relativa mayor dificultad cumplir con la obligación de pagar una subvención
equivalente a una remuneración mímina vital, como lo estipula el convenio de
formación juvenil laboral para jornadas completas como es el caso de los
jóvenes del Programa. Por ello, se planteó como opción que en provincias
como parte de Projoven los jóvenes pudieran realizar prácticas de media
jornada.

c.1.3) Factores que influenciaron el desarrollo del sistema de M&E de Projoven

La experiencia de Projoven es valiosa en tanto la realización de evaluaciones


internas de los programas o proyectos públicos no está aún muy difundida en el
sector público peruano. Durante el año 2000, a pedido de Fondoempleo, se
realizó una evaluación externa del Programa, lo que incluyó la revisión de su
marco lógico, su estructura, metodología de evaluación, entre otros. Ello
incluyó la asesoría y supervisión de Grade durante la elaboración de la línea de
base para la sexta convocatoria Los resultados de esta evaluación fueron en su
mayoría satisfactorios4.

Los principales factores que han influenciado en el nivel de avance del sistema
de M&E de Projoven se detallan a continuación:

Respaldo institucional

La idea de monitorear y evaluar al interior de Projoven estuvo presente desde


el inicio del programa. Según los entrevistados, el respaldo institucional desde
la alta dirección del Ministerio fue uno de los factores que contribuyó a ello.

Según el actual Viceministro de Promoción Social y antiguo Coordinador


Nacional de Projoven, muchas veces los proyectos se realizan con serias
deficiencias en sus sistemas de M&E no sólo por la carencia de una cultura de
M&E5 en el sector público peruano sino también porque ello se ve con temor
dado que los operadores suelen mezclar el prestigio profesional personal con el
desempeño de su gestión. Así, lejos de considerar a las acciones de M&E
como un mecanismo que permite identificar debilidades y realizar ajustes para
elevar la eficiencia del programa, se ve como una fuente de crítica y
cuestionamiento a la labor realizada. Siendo así, el diseño y ejecución de estas
acciones recae muchas veces en el grado de compromiso con dichas acciones de
la institución y más específicamente de aquéllos en puestos directivos.

4
Una de las modificaciones sugeridas por Grade fue la de variar el número de jóvenes de control respecto
al número de beneficiarios (de uno a uno, tres de control por un beneficiario).
5
Por cultura de M&E se entiende la percepción extendida tanto a nivel de la alta dirección del Sector
como del personal del mismo sobre la conveniencia y necesidad de desarrollar acciones de M&E para
elevar la efectividad y eficiencia en el uso de los recursos.

Instituto APOYO 48
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Los entrevistados consideran que un factor clave fue que Projoven inició sus
acciones en un contexto institucional al interior del Sector favorable para la
realización de acciones de monitoreo y evaluación. Así, si bien no existía en el
sector una cultura de promoción del M&E, la existencia de un consenso en la
necesidad de ejecutar acciones de evaluación que permitieran conocer el
impacto de las acciones tomadas y al eficiencia en el uso de fondos públicos
entre el equipo ejecutor de Projoven y la alta dirección del Ministerio de Trabajo
(ViceMinistro de Promoción Social y Ministro de Trabajo y Promoción Social)
fue determinante.

Restricciones presupuestales

Como se mencionó en el punto anterior, Projoven inició sus acciones con un


financiamiento restringido y con la consiguiente necesidad de probar su
rentabilidad para continuar operando. El financiamiento para el proyecto piloto
de ProJoven provino de la realización de una operación oficial de crédito
negociado con el BID. La necesidad de acceder a mayores fondos de dicha
institución u otra para continuar operando determinó que se incluyera como
parte de sus acciones piloto, el diseño y ejecución de una evaluación de
impacto. Ello no sólo implicó la necesidad de evaluarse permanentemente, sino
que le ha exigido ser eficiente en el uso de sus recursos. Así, el presupuesto de
la convocatoria inicial fue de US$1.5 millones capacitándose a 1.5 miles
jóvenes (US$1 mil por beneficiario). Actualmente, se cuenta con un
presupuesto de US$2.7 millones para capacitar 6 mil beneficiarios (US$450 por
beneficiario).

Desde su inicio, Projoven ha hecho uso de diferentes fuentes de


financiamiento:
ü Fondos directamente recaudados y de Tesoro Público del Ministerio de
trabajo
ü Operación oficial del crédito con el BID
ü Operación de canje de deuda por inversión social con el Gobierno
Alemán.
ü Fondos a través de concurso público de Fondoempleo1. Este concurso
se realizó en el 99 y los fondos fueron usados durante el año 2000.
Fondoempleo exigión una evaluación de impacto pero externa: Grade,
ellos hicieron
ü Fondos del Fondo de Población de las Naciones Unidas (Unfpa), a
través del financiamiento de un componente de salud sexual y
reproductiva.

Según sus dos últimos coordinadores nacionales, ello ha significado que


Projoven no sólo haya tenido constantemente que responder a los
requerimientos de evaluación y de rendición de cuentas de diferentes
instituciones (nacionales e internacionales) sino también a mostrar su
rentabilidad social para acceder a nuevas fuentes financiamiento. Según su
actual Coordinador Nacional, Projoven desde sus inicios desarrolló una cultura
de M&E permanente como una estrategia de sobrevivencia del Programa, tanto

2
“Fondoempleo es un fondo privado cuyos recursos provienen de los excedentes en la distribución de
utilidades de los trabajadores suscritos al régimen laboral privado, la ley establece un tope para que los
trabajadores puedan acceder a la participación de las utilidades no mas de 18 remuneraciones al año, lo
que se dijo fue que en las empresas donde se cubran esas 18 remuneraciones los excedentes deben de
ir a un fondo que deben de ser destinados a capacitación y generación de empleo, y estos fondos son
fondos concursables”.

Instituto APOYO 49
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

para mostrar resultados como para garantizar el uso eficiente de sus escasos
recursos.

Autonomía para la toma de decisiones

Los entrevistados identificaron como una fortaleza del programa su autonomía


administrativa y la nula injerencia política en sus acciones. Durante el periodo
de diseño del Programa, el equipo técnico tuvo libertad para plantear sus
propuestas. Las limitaciones fueron producto de la rigidez institucional
relacionada a los procesos usuales del sector en el que opera. Esta rigidez se
superó, la mayoría de las veces, gracias a que el Programa de las Naciones
Unidas para el Desarrollo, se constituyó desde el inicio como el administrador
del programa, encargándose de los procedimientos de contrato del personal en
puestos de coordinación o de jefatura, en términos más flexibles a los de la
administración pública. Según el anterior Coordinador Nacional que la
administración del Programa fuera independiente fue un factor clave para su
desarrollo. Así, si bien es cierto, cada acción implica la notificación (y según
sea el caso visado del Viceministro y/o del Ministro), Projoven ha tenido (en
relación a los procedimientos regulares de la administración pública) mayor
flexibilidad para la contratación del equipo inicial y actualmente para los
coordinadores. Asimismo, desde sus inicios a la fecha la iniciativa para la
contratación de personal adicional o de reemplazo es del Coordinador
Nacional.

Sin embargo, la autonomía administrativa para su funcionamiento le significa


según el actual Coordinador Nacional una desventaja al existir cierta
precariedad en los sistemas de contratación, al tener estos una duración
máxima de 6 meses a 1 año, habiendo existido periodos en que los contratos
han sido de renovación mensual.

Alta capacidad técnica de su personal

Como se mencionó anteriormente, Projoven es un programa es pequeño en


comparación con otros programas sociales públicos. El equipo inicial era de
alrededor de 10 personas y actualmente trabajan un total de 42 personas en
las diez ciudades en que funciona el Programa. Ello facilitó en un inicio la
definición de procesos comunes. Su crecimiento paulatino ha permitido también
que su extensión no afecte negativamente la uniformidad de procesos en la
provisión del servicio. Además, el equipo inicial de Projoven estaba en su gran
mayoría compuesto por jóvenes recientemente egresados con un máximo de
1.5 años de experiencia laboral, pero con una fuerte motivación personal.

Estandarización de sus procesos

Un hecho que ha facilitado las acciones de M&E, es que los procesos que
constituyen el Programa están estandarizados. El Programa cuenta con
instrumentos, plantillas y manuales estándar que aseguran entre otras cosas, la
construcción de líneas de base con la misma metodología en las diferentes
sedes del Programa. La estandarización de los procesos es percibida por el
actual y el anterior Coordinador Nacional como una fortaleza del Programa, en
tanto ha permitido que la totalidad de las cabezas del programa (desde el
coordinador nacional hasta los jefes de área) hayan cambiado al menos una
vez (algunas dos o tres veces) sin que ello haya afectado al Programa.

Instituto APOYO 50
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

c.2) Proyecto de Salud y Nutrición Básica (PSNB)

c.2.1) Objetivos y características del PSNB

El PSNB inició sus operaciones en julio de 1994 con el objetivo de mejorar la


situación de salud y nutrición de las mujeres en edad fértil y niños menores de
tres años, a través del incremento de la cobertura y calidad de los servicios del
primer nivel y del mejoramiento de las prácticas de salud y nutrición de la
población de su ámbito de intervención, conformado por provincias
seleccionadas de los departamentos de Piura, Cusco, Cajamarca y los distritos
de San Juan de Lurigancho y Villa El Salvador en la ciudad de Lima.

El PSNB surgió como un proyecto de emergencia orientado a reconstituir la


operatividad de los establecimientos de salud. Posteriormente, en el marco de
la Reforma del Sector Salud, giró hacia un proyecto de apoyo a la organización
de redes y microredes para la provisión de servicios de salud. Así, el PSNB ha
desarrollado un modelo de atención que implica la introducción de cambios en
la gestión y funcionamiento de los servicios, la organización de redes
asistenciales y la promoción del involucramiento de la comunidad en el cuidado
de la salud.

Al cierre de sus operaciones en junio del año 2000, el PSNB había intervenido
en 342 establecimientos de salud en el país organizándolos en redes y
microredes, ejecutando obras de infraestructura y dotación de equipos e
insumos, organizando sistemas de soporte a la gestión y a la prestación,
promoviendo el desarrollo de competencias de gestión de la calidad y de
mercadeo de los servicios y la promoción de prácticas saludables en la
población.

El PSNB como ha sido mencionado en la sección anterior, constituye un


proyecto de tamaño pequeño y con alto financiamiento externo (75% de su
presupuesto). Ambas características según las hipótesis planteadas en este
estudio estarían asociadas a mayores niveles de avance en el desarrollo e
implementación de sistemas de M&E. Asimismo, la presencia de financiamiento
externo tiende a estar asociada a una relativa autonomía del Proyecto o
Programa respecto a la administración del Sector en el que opera
(principalmente para la contratación de personal).

El presente caso discute la experiencia del PSNB, cuyo nivel de avance en


sistemas de M&E es alto (0.9, en un rango de 0 a 1, donde 1 significa que
dicho sistema cuenta con un conjunto completo de características mínimas
para desarrollar un proceso de M&E eficiente)6 e identifica factores como la
contribución financiera de organismos internacionales y la interrelación con las
oficinas de línea del Ministerio como factores que afectan su desarrollo.

El PSNB opera a través de gerencias regionales que dependen de la


Coordinación General del Proyecto en la sede central en Lima y que trabajan
en coordinación con las Direcciones Regionales del Ministerio de Salud. El
PSNB define para su trabajo nueve líneas de acción:
ü Organización de redes y microredes
ü Mejoramiento de infraestructura
ü Dotación de equipamiento y medicamentos

6
Ver cuadro xx de sección 2c.

Instituto APOYO 51
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

ü Organización de los servicios según un modelo de atención integral a


nivel intramural. Es decir la organización de la provisión del servicio al
interior del establecimiento a través de nuevos protocolos y
procedimientos de atención, entre otros.
ü Organización de los servicios a nivel extramural. Ello se refiere a la
promoción del involucramiento de la comunidad a través de sistemas de
vigilancia comunal para la identificación de situaciones de riesgos y su
posterior referencia al establecimiento de salud o para su atención
básica inmediata.
ü Promoción de prácticas saludables
ü Acciones en comunidad
ü Mercadeo social de servicios de salud
ü Quechua7

En cada una de estas líneas, el PSNB actúa a través de instituciones privadas


o sin fines de lucro8, consultores individuales o incluso equipos técnicos
nacionales o regionales del propio Ministerio de Salud. Cada una de las líneas
está dividida en componentes, cada uno de las cuales define indicadores de
metas físicas según los planes operativos anuales elaborados a nivel de cada
ámbito.

c.2.2) El sistema de M&E del PSNB

Los indicadores de metas físicas por componente y actividad del PSNB, fueron
diseñados sobre la base del marco lógico y la línea de base elaborados al inicio
del PSNB, los que han venido siendo posteriormente ajustados según los
cambios introducidos en el mismo9.

En el convenio de préstamo, se contempló también la realización de


evaluaciones externas. Así, en 1998 se realizó una evaluación de medio
término, la que además se llevó a cabo en el marco de las discusiones sobre el
rol de Proyecto en la Reforma del Sector Salud. Asimismo, durante el segundo
semestre del año 2000 y posteriormente al cierre de sus actividades de campo
en junio del 2000, se elaboró un Plan de Evaluación en el que se especifican
diferentes estudios de evaluación a realizar para el levantamiento y análisis de
los indicadores seleccionados para la evaluación del Proyecto.

Al interior del PSNB, la oficina de Planificación y Monitoreo (P&M) es la que se


encarga de llevar a cabo el seguimiento del avance de metas del Proyecto.

Este seguimiento y monitoreo se lleva a cabo principalmente a través de tres


instrumentos. El primero se refiere a reportes cualitativos enviados por las
gerencias regionales según un formato diseñado por la oficina de P&M para
identificar el nivel de avance de las actividades por línea y componente. Este
formato es mensualmente llenado por las gerencias regionales y reportado
mensualmente a la oficina del Proyecto en Lima. Según, el Jefe de la Oficina
de P&M10 esto les permite no sólo medir el avance de metas por línea de
acción en términos de resultados logrados, sino también les permite supervisar
el trabajo de las instituciones privadas o sin fines de lucro encargadas de
desarrollar algunas de las líneas.
7
Sólo en Cusco.
8
Por ejemplo, Apropo ha sido contratado para la línea de mercadeo social y la Universidad Nacional del
cusco para brindar el curso de Quechua.
9
Estos cambios ocurrieron principalmente en el marco de las modificaciones introducidas en 1998.
10
Entrevista al Jefe de la Oficina de Planificación y Monitoreo del Proyecto de Salud y Nutrición Básica.

Instituto APOYO 52
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

La información recogida por las gerencias regionales, es luego procesada en la


oficina de P&M y organizada en una matriz según indicadores y actividades por
líneas de acción.

El segundo instrumento del sistema de M&E del PSNB es la Ficha de


Monitoreo Integral, la cual ha sido elaborada para recoger información a través
de la observación directa de establecimientos de salud y con el objetivo de
identificar si éstos cumplen con las características (en términos de
disponibilidad de recursos y protocolos de atención) correspondientes al
modelo de atención integral. Este instrumento fue diseñado con el objetivo de
levantar información que permita conocer a un nivel más desagregado (el del
establecimiento) los logros y limitaciones en el avance de metas. Esta ficha ha
sido de aplicación periódica cada tres a cuatro meses. La información recogida
a través de este instrumento ha servido fundamentalmente como insumo de
análisis y discusión con las Direcciones Regionales de Salud sobre el avance
del Proyecto.

El tercer instrumento se refiere a reportes cuantitativos trimestrales realizados


en base a un formato diseñado por la oficina de planificación y monitoreo del
PSNB. Al igual que en el caso anterior de los reportes cualitativos, los reportes
cuantitativos son remitidos por las gerencias regionales a la sede del Proyecto
en Lima, la que los procesa y sistematiza.

Según el Jefe de la Oficina de P&M, se han producido además manuales para


la realización de los procesos, estando muchos de ellos oficializados por el
Ministerio.

c.2.3) Factores que influenciaron el desarrollo del sistema de M&E del PSNB

Coordinación entre Gerencias Regionales (del PSNB) y Direcciones Regionales


de Salud

Según la entrevista sostenida con el Jefe de la Oficina de P&M del PSNB, tanto
uno de los principales logros como una de las principales limitaciones del
Proyecto ha sido la relación establecida entre las oficinas de línea del Ministerio
(Direcciones Regionales de Salud) y el Proyecto (gerencias regionales).

Un logro significativo del PSNB y de su sistema de M&E en particular lo


constituye el que la metodología e instrumentos diseñados y utilizados desde el
PSNB, han sido posteriormente “apropiados” por las Direcciones Regionales
para sus propias tareas de supervisión, como fue el caso de la Ficha de
Monitoreo Integral. La cual es actualmente utilizada por muchas de ellas.
Según el Jefe de la Oficina de P&M, la carencia extendida de instrumentos de
monitoreo en las Direcciones Regionales de Salud, ofreció un marco de
apertura para la recepción de los esfuerzos desarrollados desde el PSNB en
ese campo.

Por otro lado, la relación entre los gerentes regionales y los directores
regionales de salud, en opinión del Jefe de la Oficina de P&M, ha sido positiva
lográndose articular un trabajo conjunto. Así, la coordinación entre los gerentes
regionales y los Directores Regionales fue clave para el avance en las acciones
de monitoreo así como para las consiguientes acciones correctivas basándose
en ellas. Sin embargo una de las lecciones aprendidas del Proyecto es la
importancia de involucrar a las Direcciones Regionales no sólo en la ejecución

Instituto APOYO 53
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

de las acciones sino también en el proceso de toma de decisiones –


principalmente para la realización de ajustes al Proyecto.

Soporte técnico y financiero de la Cooperación Internacional

Como sucede en la mayoría de los Proyectos que reciben financiamiento


externo, el punto de partida para las acciones de M&E está en los convenios de
préstamo. En este caso, tanto la construcción de una línea de base, de
indicadores de seguimiento como la realización de evaluaciones externas están
estipulados en el convenio de préstamos firmado con el Banco Mundial en
1994.

Modificaciones en la misión del Proyecto y consecuencias para el uso de la


Línea de Base

Una de las limitaciones para la realización de acciones de M&E está referida a


la línea de base del Proyecto. Esta línea de base al ser construida cuando el
Proyecto estaba orientado a acciones de emergencia, no incluyó indicadores
que posteriormente -y dado el giro en el Proyecto- son relevantes para su
evaluación final. Así, de acuerdo al Jefe de la Oficina de P&M para las
evaluaciones finales del Proyecto esta línea de base ha sido usada sólo en
alrededor del 50 por ciento.

Además, la línea de base usó como fuente en muchos casos el Health


Information System (HIS – Sistema de Información del Ministerio de Salud),
sobre el cual después se consideró no arrojaba información suficientemente
confiable, principalmente en lo referido a indicadores sanitarios. En tal sentido,
de acuerdo al Jefe de la Oficina de P&M una fuente más confiable la
constituiría las encuestas ENDES.

c.3) Programa Nacional de Wawa Wasi (PNWW)

c.3.1) Objetivos y características del PSWW

El Programa Nacional de Wawa Wasi se inició en 1993 mediante un proyecto


piloto de hogares comunitarios a cargo del Ministerio de Educación con el
aporte de Unicef y el Gobierno Peruano. En 1994, luego de que la experiencia
fue considerada exitosa, se inició el proyecto denominado Sistema Nacional de
Casas de Niños – Wawa Wasi que contó con un significativo aporte del Tesoro
Público, y con fondos provenientes de una cooperación técnica no
reembolsable del Banco Interamericano de Desarrollo (BID). Este
financiamiento se complementó además con el aporte de la Unión Europea,
Unicef y el Programa Mundial de Alimentos.

El Sistema Nacional de Casas de Niños – Wawa Wasi tuvo como estrategia el


ofrecer un hogar a cargo de una madre cuidadora a aquellos niños cuyas
madres trabajan o están buscando trabajo. El Sistema incluyó también la
participación de otros sectores, como la del Ministerio de Salud en el control
del crecimiento y desarrollo del niño, del Ministerio de Educación como
responsable del componente de estimulación y de las acciones de apoyo
técnico al sistema, y del Pronaa en asistencia alimentaria con apoyo de la
Unión Europea.

Instituto APOYO 54
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

En 1996, el PNWW fue transferido al Ministerio de Promoción de la Mujer y del


Desarrollo Humano (Promudeh), en cuyo marco se reajustó la estrategia del
Programa, con el fin de disminuir el aporte de las familias usuarias y propiciar
un mayor involucramiento de la comunidad y sus organizaciones de base en la
gestión y administración directa de los recursos. Para ello, el Banco
Interamericano de Desarrollo, con recursos provenientes del Fondo Japonés,
desarrolló una experiencia piloto de gestión comunitaria en siete sedes en los
departamentos de Lima, Ica, Piura y Cajamarca. Así, posteriormente se opta
por una estrategia de Gestión Comunal donde la responsabilidad de la gestión
es compartida entre el PNWW y la comunidad a través de organizaciones de
base de mujeres, las cuales se encargan de la promoción, administración y
control social de los servicios y las acciones que éste ejecuta. Para tal efecto
se crean entidades locales de gestión y administración (Comités de Gestión y
Consejos de Vigilancia).

Bajo este nuevo marco se define el Wawa Wasi como hogares familiares o
ambientes comunales a cargo de una madre de la comunidad, donde se brinda
atención integral a niñas y niños entre seis y tres años de edad11.

Actualmente, el Programa recibe el financiamiento del Banco Interamericano de


Desarrollo según contrato de préstamo 1144/OC-PE, firmado en julio de 1999.

Como ha sido mencionado en la sección anterior, el PNWW esta incluido en la


categoría de programas pequeños (presupuesto ejecutado en el 2000 entre
US$5 y 10 millones)12. Constituye además un programa con 66% de
financiamiento externo. Asimismo, según el índice de avance en sistemas de
M&E, el programa recibe una ponderación alta (0.8). Lo que reforzaría la
hipótesis de que cuando los proyectos son pequeños y cuando la participación
de financiamiento externo es significativa, los sistemas de M&E tienden a ser
relativamente mejores.

Sin embargo, el presente caso da cuenta, de cómo aún cuando existe el interés
por contar con un sistema de M&E y aún cuando se dispone de los recursos
financieros para ello, el sistema puede no rendir los frutos esperados por
factores tales como escasa capacitación del personal encargado de alimentar
el sistema o alta rotación del personal directivo que no permite uniformizar e
institucionalizar el sistema como herramienta para la toma de decisiones.

En el marco del contrato de préstamo con el BID, el Programa Nacional de


Wawa Wasi ha recientemente llevado a cabo su evaluación de medio término
(año y medio después de la firma del contrato) la cual fue realizada por una
consultora externa13. Uno de los principales hallazgos de dicha consultoría, se
refiere precisamente a las deficiencias encontradas en el sistema de M&E del
Programa.14 El presente estudio de caso, relata los avances y limitaciones del
Programa de Nacional Wawa Wasi en la implementación de un sistema de
M&E con cobertura nacional y donde, dadas las características del programa,
demanda una significativa participación de la comunidad.

11
Lineamientos Generales del Programa Nacional Wawa Wasi. Ministerio de Promoción de la Mujer y del
Desarrollo Humano. Documento interno.
12
Ver cuadro xx de la sección 2c.
13
La evaluación ha sido realizada por el Instituto de Información y Metodologías para el Desarrollo
Organizacional.
14
Entrevista a la Directora Nacional del Programa Nacional de Wawa Wasi.

Instituto APOYO 55
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

El objetivo general del Programa es promover la atención integral de niños y


niñas entre seis meses y tres años en situación de extrema pobreza,
generando condiciones favorables para su desarrollo. El Programa considera
seis componentes en su ejecución.

Atención integral a los niños

Comprende la satisfacción de las necesidades de protección, alimentación,


salud, afecto, recreación y aprendizaje de las niñas y niños entre seis meses y
tres años de edad. Este componente incluye tres subcomponentes:
Alimentación (para cubrir necesidades nutricionales), Salud (para control de
peso y talla, vigilancia de vacunas y evaluación de su desarrollo) y Estimulación
(desarrollo socioemocional y del lenguaje).

Promoción y Difusión

Se realiza a dos niveles. El primero dirigido al público en general con el objetivo


de difundir temas sobre el desarrollo de los niños y promover el desarrollo de
una conciencia colectiva que contribuya a la construcción de una cultura de
crianza. El segundo se refiere a la promoción y difusión del Programa entre los
dirigentes de una comunidad para la implementación del Programa en su área
de influencia.

Capacitación

Se refiere a la capacitación y formación de cuadros calificados, tanto para la


conducción del Programa como para la atención adecuada e integral de niñas y
niños, así como la educación de la familia en temas de crianza. Incluye eventos
de capacitación, producción de materiales para la capacitación y creación de
centros de aprendizaje y grupos de autoaprendizaje entre los diferentes
agentes involucrados en el programa.

Infraestructura

Orientado a la construcción de wawa wasis comunales en los diferentes


territorios donde se ha implementado un comité de gestión. El comité es el que
solicita la construcción, correspondiendo a la unidad coordinadora la evaluación
y aceptación de la solicitud sobre la base de los criterios de selección definidos
por el Programa. Las obras son ejecutadas mediante un sistema de
administración directa, y la responsabilidad recae en un comité de obras. Este
comité de obras es el que selecciona al contratista que ejecutará la obra y
administra conjuntamente con él, los recursos asignados.

Monitoreo y Evaluación

Este componente contempla acciones orientadas a mantener informado al


personal directivo y técnico del programa sobre el funcionamiento e impacto del
mismo. Incluye la capacitación de los ejecutores del programa en la
administración del sistema, las acciones de supervisión que constaten en
terreno la información recogida y la homogeneidad en el uso de los
instrumentos. La evaluación del Programa es planificada anualmente y es de
carácter externo.

Fortalecimiento Institucional

Instituto APOYO 56
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Está orientado a dotar a los ejecutores del programa de mayor capacidad de


gestión. Comprende el apoyo técnico de especialistas para la realización de las
actividades de fortalecimiento del Programa.

La gestión técnica y administrativa del Programa recae en la Unidad


Coordinadora Nacional, la cual está a cargo de la Directora o Director Nacional
de Wawa Wasi. Además, existen equipos técnicos de sede quienes son
responsables de la conducción del programa en un ámbito determinado.
Actualmente, el Programa cuenta con 32 sedes, 8 en Lima y Callao y 24 en el
resto del país. Cada Sede está representada por un jefe de sede, quien tiene a
su cargo a las coordinadoras de campo, quienes asesoran y supervisan el
trabajo de los comités de gestión y de las madres cuidadoras.

La comunidad participa a través de Comités de Gestión (responsables de la


conducción administrativa y de gestión de los servicios que brinda el Programa
en su territorio), Consejos de Vigilancia (responsables del control social de las
acciones del Comité de Gestión), las Madres Cuidadoras (responsables de la
atención de niñas y niños en los wawa wasis), Padres de Familia (responsables
de apoyar el trabajo en los wawa wasis, además de retribuir económicamente
el servicio que le presta la madre cuidadora de acuerdo a lo establecido por el
Comité de Gestión en asamblea con padres de familia y madres cuidadoras) y
Grupos Promotores (responsables de promover e instalar el establecimiento del
programa en un ámbito focalizado. Su gestión concluye al instalarse el Comité
de Gestión).

El inicio del funcionamiento de los wawa wasis se produce con la firma del
compromiso de la madre cuidadora con el comité de gestión, el mismo que es
refrendado por la Jefa de sede. Los niños empiezan a ser atendidos por la
madre cuidadora y a recibir los servicios de salud y alimentación. Se realiza
una evaluación inicial del crecimiento y desarrollo para conocer cómo llega el
niño al programa, en coordinación con los establecimientos de salud. La madre
cuidadora se encarga del seguimiento de los avances del desarrollo de los
niños y niñas, llevando el registro de su asistencia. La coordinadora de campo
asiste técnicamente a la madre cuidadora para buscar lograr una atención
adecuada en los wawa wasis. Simultáneamente, una vez reconocido el Comité
de Gestión, el Programa comunica a Pronaa el nombre del comedor que tendrá
a su cargo el servicio alimentario para que se programe la entrega de
alimentos. Asimismo, al Ministerio de Salud se le remite la relación de wawa
wasis que requieren el servicio de control de crecimiento y desarrollo.

c.3.2) El sistema de M&E del PSWW

Según la actual Directora Nacional del Programa Wawa Wasis, uno de los
principales hallazgos de la evaluación del programa al término del año 2000
son las serias deficiencias encontradas en su sistema de M&E.

El sistema de M&E del Programa fue diseñado a partir de los objetivos y metas
del Programa. Así, identifica fuentes de información según cada componente
del Programa. Por ejemplo, en el caso del componente de atención integral las
fuentes de información son la sede, el wawa wasi, la madre cuidadora y los
niños (as).

Cada una de las sedes se debe encargar de revisar, ingresar y procesar la


información según la capacitación recibida por la oficina de sistemas. Luego la

Instituto APOYO 57
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

información se transmite vía modem a la sede central. En la sede central se


producen luego los reportes de avance, los cuales son del siguiente tipo:
ü Reporte de asistencia y permanencia
ü Promedio mensual de asistencia
ü Permanencia de wawa wasi
ü Permanencia en wawa wasi
ü Reporte de crecimiento y desarrollo del niño (a)
ü Estado de salud actual
ü Control de vacunaciones
ü Reporte sobre avances en la ejecución del Programa
ü Ejecución física y financiera
ü Metas y sedes
ü Avance de metas por distrito
ü Avance de metas por Comité de Gestión
ü Validación de datos
ü Padrón de wawa wasi

La Oficina de Planificación, Evaluación y Sistemas (OPES) es la encargada de


centralizar y procesar la información enviada por las sedes. De acuerdo a la
evaluación llevada a cabo por Informet, algunas de las deficiencias
identificadas en el sistema de M&E del Programa son:

§ Las fuentes de información del sistema no incluyen a los Comités de


Gestión y Comedores Infantiles, que son pilares en la organización
comunal de un wawa wasi.

§ No todos los formatos de registros que se entregan a las sedes para ser
completados son utilizados por ellas. Así, la ficha de verificación de
funcionamiento del wawa wasi no es conocida ni llenada por una
porcentaje alto de sedes.

§ En algunos casos los registros no incluyen información sobre ubicación


geográfica a un nivel de desagregación mayor al de la sede. Ello impide
construir indicadores por distrito y/o localidades.

§ Existe contradicción entre la información emitida por la base de datos


del sistema informático y la procesada manualmente por el Programa
Nacional Wawa Wasi.

§ Existe un considerable retraso entre el recojo y envío de la información


de las sedes regionales a la sede central del Programa. Actualmente, al
menos 5 sedes no reportan información a la sede central. Los motivos
señalados son: mal estado del equipo de computación o éste fue
robado, desconfiguración del modem, no disponibilidad de teléfono,
falta de capacitación del personal en el manejo del
sistema/instrumentos debido a rotación del personal, entre otros.

§ Los reportes de M&E enviados desde las sedes no están


estandarizados. Ello dificulta la sistematización de y consolidación de la
información nacional.

§ Los reportes existentes son en su mayoría elaborados a pedido de


instituciones como el MEF, SECTI, BID y el Despacho Ministerial. Estos
reportes no son necesariamente elaborados con la finalidad de facilitar
toma de decisiones respecto a ajustes o modificaciones a ejecutar en el

Instituto APOYO 58
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Programa. Así, el estudio de evaluación señala que la información que


se produce no necesariamente guarda relación con las necesidades del
Programa.

§ Algunos de los instrumentos usados para el levantamiento de


información son complicados de llenar para los responsables de esta
función. Así por ejemplo el registro de control de asistencia es
responsabilidad de las mismas madres cuidadoras.

§ El sistema considera a la madre cuidadora como uno de los agentes


participantes en el levantamiento de datos. Sin embargo, el bajo nivel
educativo de estas madres y los limitados programas de capacitación y
actualización generan problemas en los registros que distorsionan la
realidad. Incluso a nivel de las coordinadoras de campo quienes en su
mayoría son profesionales o técnicos, se identifican dificultades en el
recojo y registro de la información.

c.3.3) Factores que influenciaron el desarrollo del sistema de M&E del PSWW

Alta rotación del personal directivo

En los últimos cinco años de funcionamiento del Programa (desde que fue
trasladado al Promudeh) ha habido cuatro directoras nacionales. Más aún. sólo
entre agosto de 1999 y diciembre del 2000 (16 meses), periodo que
corresponde a la primera mitad de la ejecución del Programa luego de la firma
del contrato de préstamo con el BID, se han producido tres cambios en la
Dirección Nacional del Programa, los que han sido modificados de acuerdo a la
visión de los directores de turno. Asimismo, ha habido un alto grado de rotación
del personal.

Según la actual Directora Nacional –quien tiene 6 meses en el dicho puesto-


ello se evidencia en las marchas y contramarchas respecto a lineamientos de
diseño, gestión y enfoque de las diferentes actividades realizadas por el
Programa.

Modificaciones en el marco institucional en el que opera el Programa

Además de la alta movilidad en el personal directivo del Programa, debe


tomarse en cuenta que el Programa ha sido afectado también por variaciones
en el marco institucional en el que opera. Como se mencionó anteriormente, el
Programa surgió con determinadas estrategias que han sido paulatinamente
reformuladas a partir de la ejecución de proyectos pilotos. Así, es importante
tomar en cuenta que el Programa de la manera en que opera en estos
momentos –con una estrategia de gestión comunitaria- tiene menos de dos
años de funcionamiento.

Participación de diferentes organismos internacionales

El Programa a lo largo de su historia ha pasado por diferentes etapas en las


cuales también los organismos internacionales de apoyo al mismo han variado.
Como ha sido mencionado, el Programa como receptor de un préstamo del BID
inició sus actividades en agosto del año pasado. Según la actual Directora
Nacional, la participación del BID en términos de diseño y ajustes al sistema de
monitoreo así como la realización de estudios de evaluación externa es clave,
desde que ambos temas se encuentran en el contrato de préstamo.

Instituto APOYO 59
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Limitada oferta de profesionales capacitados para la provisión del servicio

Según la actual Directora Nacional, uno de los problemas claves que enfrenta
el Programa y que afecta también sus acciones de M&E tiene que ver con el
carácter “pionero” del servicio que brinda el Programa. Así, en muchos casos el
programa opera a través de profesionales en educación inicial, mientras que el
perfil profesional más adecuado sería el de especialistas en estimulación
temprana. Ello, por ejemplo se evidencia en la carencia de indicadores
adecuados que permitan medir el nivel de “éxito” del programa, en función del
desarrollo del niño o niña. Así, muchos indicadores del sistema de M&E se
centran en el acceso de niños al servicio de wawa wasi integralmente o a
alguno de sus componentes; sin embargo no se cuenta con indicadores que
den cuenta de las técnicas de estimulación temprana aplicadas así como su
impacto en el desarrollo del niño.

c.3) Programa de Mejoramiento de la calidad de la educación primaria


(MECEP)

c.3.1) Objetivos y características del MECEP

El MECEP tiene su origen en el convenio de préstamo # 3826 – PE firmado en


1995 entre el gobierno peruano a través del Ministerio de Educación (MED) y el
Banco Internacional de Reconstrucción y Fomento (BIRF).

Este convenio tuvo como marco el Plan de Desarrollo de la Educación a Largo


Plazo 1995-2010 elaborado por el Ministerio de Educación en octubre de 1994.
En la preparación de este plan, se usó como principal insumo los resultados del
Diagnóstico General de la Educación Primaria elaborado entre 1992 y 1993 por
el MED, GTZ, OREALC-UNESCO y el Banco Mundial.

De acuerdo a la categorización por tamaño del programa presentada en la


sección anterior, el Mecep está ubicado entre los programas grandes
(presupuesto ejecutado en el 2000 entre US$25 y US$80) habiendo ejecutado
alrededor de US$40 millones anuales entre 1996 y 1999.

El presente estudio de caso describe la experiencia de un programa de gran


tamaño como el Mecep que además opera a través de las oficinas de línea del
Ministerio de Educación, en el desarrollo de un sistema de M&E. En la primera
parte se describe el Programa así como su sistema de M&E. En la segunda
parte, se señalan algunos de los hallazgos encontrados en la última evaluación
externa del Mecep respecto a la ejecución de sus acciones de M&E15. La
tercer parte, discute algunos de los factores que han favorecido o dificultado la
existencia de un sistema de M&E articulado del Mecep.

Sobre la base de los resultados del Diagnóstico General de la Educación


Primaria, el Mecep estableció como su objetivo el mejorar la calidad de la
educación primaria estatal y, así elevar el rendimiento estudiantil y reducir la
incidencia de casos de repetición y deserción escolar. Entre los principales
problemas a enfrentar por el Mecep identificados en el estudio de diagnóstico
mencionado anteriormente se encontraban:
ü Bajo rendimiento de los alumnos, quienes en su mayoría no llegan a dominar las
habilidades básicas correspondientes al grado de estudio;
15
Informe Final de Fase I: Verificación de Cumplimiento de Metas. Evaluación de Impacto del Programa
de Mejoramiento de la Calidad de la Educación Primaria (Mecep). Instituto Apoyo, Febrero del 2000.

Instituto APOYO 60
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

ü Altos índices de repitencia y deserción escolar. Se calculó que para terminar los seis
grados de primaria se necesitaba en promedio 8,4 años; que sólo el 20 por ciento
lograba graduarse sin repetir ningún grado y que el 55 por ciento repiten dos grados
o más.
ü Currículo desarticulado según materias y que no se adapta a las necesidades del
país.
ü Falta de textos y materiales educativos que favorezcan el desarrollo de clases
activas, innovadoras, dinámicas y efectivas.
ü Inadecuada preparación y la falta de experiencia de los maestros.
ü Precariedad de la infraestructura educativa.

El Mecep identifica para su trabajo tres componentes:

I. Componente de Mejoramiento de la Calidad de los Procesos de Enseñanza-


Aprendizaje
1. Consolidación Curricular
2. Materiales Educativos
3. Capacitación docente
II. Componente de Modernización de la Administración Educativa
1. Modernización del Sistema de Gestión
2. Implementación de la Gestión de los Centros Educativos
3. Sistemas de Evaluación del Rendimiento Estudiantil
4. Sistemas de Información
III. Componente de Infraestructura Educativa

Cada uno de estos componentes y subcomponentes establecen objetivos,


metas y estrategias. Una distinción del Mecep es que a diferencia de la gran
mayoría de programas iniciados con financiamiento externo, su ejecución se
realiza a través de las direcciones y unidades de línea del Ministerio de
Educación16.

Así, el componente de mejoramiento de la calidad de los procesos de


enseñanza-aprendizaje es ejecutado por tres unidades diferentes. El
subcomponente de capacitación docente está bajo la responsabilidad de la
Unidad de Capacitación de la Dirección Nacional de Formación y Capacitación
Docente (DINFOCAD). El de materiales educativos bajo la responsabilidad de
la Dirección Nacional de Inicial y Primaria; y el de consolidación curricular bajo
la responsabilidad de la Unidad de Desarrollo Curricular y Recursos Educativos
de Educación Inicial y Primaria también perteneciente a la Dirección Nacional
de Inicial y Primaria.

Además, el Mecep cuenta con una Unidad Coordinadora dirigida por el


Coordinador Nacional del Mecep quien depende directamente del Viceministro
de gestión institucional y cuyo puesto dentro de la estructura organizativa del
MED equivale al de Director Nacional.

Esta Unidad Coordinadora del Mecep es la responsable de la planificación de


las evaluaciones externas del Mecep así como de cumplir funciones de
monitoreo a nivel central y agregado del Programa. Esto último lo lleva a cabo
a través de su unidad de seguimiento y coordinación, la que lleva a cabo un
seguimiento fundamentalmente de metas físicas (mayormente cuantitativas) y
financieras. El M&E de procesos se realiza a nivel de cada unidad ejecutora
responsable de cada componente o subcomponente. Para el desarrollo de

16
En 1996 por decisión del Despacho Ministerial se estableció que los componentes del Programa Mecep
y sus actividades serían ejecutados por las Direcciones y/o Oficinas correspondientes del MED.

Instituto APOYO 61
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

estas acciones, las unidades ejecutoras son autónomas para diseñar y aplicar
sus propios instrumentos.

Con el fin de promover la coordinación entre las diferentes direcciones y


unidades del Ministerio que participan en la ejecución del Mecep, desde 1997
se cuenta con tres comités de coordinación. El primer comité está destinado a
fortalecer la relación entre el Mecep y las autoridades del ministerio (Ministro,
Viceministro y Secretario General). Este comité se reúne una vez al mes y ha
sido establecido por resolución suprema.

El segundo comité está integrado por los jefes de componentes y/o directores
nacionales. Este comité coordina las actividades de los componentes y
subcomponentes y tiene por objetivo intercambiar información y tomar
decisiones que involucren al conjunto de ellos. Sin embargo, este comité no se
reúne regularmente, siendo citado para temas específicos.

El tercer comité se encarga de realizar el seguimiento al nivel de cada


componente o subcomponentes. Consiste en reuniones entre la unidad de
seguimiento y coordinación y cada componentes. Este comité tampoco tiene un
calendario de reuniones pre-establecido.

c.4.2) El sistema de M&E del MECEP

Considerado la extensión del Programa y, además, que cada componente del


Mecep tiene autonomía para establecer sus mecanismos de M&E entonces,
para efectos del presente estudio de caso, se tomó como unidad de análisis al
total de subcomponentes del componente de mejoramiento de la calidad de los
procesos de enseñanza-aprendizaje y del subcomponente sistemas de
evaluación estudiantil –que pertenece al componente de modernización de la
administración educativa- por las características de su función. A continuación
se presenta una descripción de las acciones de M&E realizadas por cada uno
de los subcomponentes mencionados17.

En el caso del subcomponente consolidación curricular, la labor de


seguimiento, monitoreo y evaluación está a cargo del Equipo Técnico Nacional
de la Dirección Nacional de Educación Inicial y Primaria. Las acciones de
monitoreo consisten en visitas a las aulas para identificar fortalezas y
debilidades en el proceso de enseñanza desarrollado por el docente así como
para verificar el nivel de avance en el currículo. Para ello, se utilizan dos
instrumentos. El primero consiste en una ficha de observación del aula,
utilizada para identificar dificultades en el proceso de enseñanza, las que son
posteriormente trabajadas en un taller de discusión con los docentes. El
segundo instrumento consiste en una prueba de evaluación al alumno,
diseñada con el objetivo de verificar el desarrollo del currículo en el aula
mediante el resultado de su aplicación en el aprendizaje18.

El monitoreo del sub componente de materiales educativos por su parte, tiene


por objetivo corroborar la existencia, uso y conservación de los materiales
educativos en los centros educativos de primaria a nivel nacional. Las
actividades de seguimiento y monitoreo se realizan desde dos instancias. Por
un lado desde la sede central (Mecep) y por otro lado, desde los órganos

17
Esta descripción tiene como fuente principal el Informe de Evaluación de Impacto del Programa de
Mejoramiento de la Calidad de la Educación Primaria (Mecep) elaborado por el Insituto Apoyo.
18
Cabe señalar que estas pruebas son diferentes de las pruebas CRECER aplicadas por la Unidad de
Medición de la Calidad de la Educación.

Instituto APOYO 62
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

intermedios a través de los especialistas de las Direcciones Regionales de


Educación, de las Unidades de Servicios Educativos (USE) y las Areas de
Desarrollo Educativo (ADE).

El monitoreo realizado desde la sede central pone énfasis en la llegada


oportuna de los materiales a los centros educativos y, más recientemente
incluye aspectos pedagógicos. Para ello, el subcomponente considera el uso
de tres instrumentos: (i) encuesta a directores, (ii) encuesta a docentes y (iii)
ficha de observación. Estos instrumentos son aplicados a través de visitas de
una duración aproximada de cinco días a los centros educativos, durante las
cuales además se realiza un taller de discusión con los docentes para recoger
su opinión respecto a los materiales distribuidos.

El monitoreo realizado por los órganos intermedios es similar en tanto los


instrumentos usados son diseñados sobre la base los elaborados por la sede
central. En este caso, sin embargo las visitas a los centros educativos son más
cortas (entre 3 horas y un día).

En el caso del sub-componente de capacitación docente, el sistema de M&E


está a cargo del equipo técnico de su órgano ejecutor, es decir de la Unidad de
Capacitación Docente de la Dirección Nacional de Formación y Capacitación
Docente. Este componente tiene como antecedente el Plan Nacional de
Capacitación Docente (PLANCAD) creado en 1995 con el objetivo de mejorar
la calidad del trabajo técnico-pedagógico que realizan los maestros en el aula,
brindándoles una capacitación inicial, diversificada y según la realidad de cada
región19. El monitoreo se realiza de acuerdo a las tres fases de la capacitación:
(i) la de información, donde se trabajan los lineamientos generales y objetivos
de la capacitación, (ii) la de capacitación en sí misma y (iii) la de seguimiento y
reforzamiento, donde se observa el trabajo de los docentes en el aula.

Los orígenes del sistema de M&E del Plancad se remontan al inicio de


operaciones en 1995 a través de un proyecto piloto. De acuerdo, a personal del
Plancad entrevistado20, inicialmente las acciones de M&E eran desordenadas
en tanto no constituían un sistema integrado. Es al término del proyecto piloto
que por sugerencia del Banco Mundial se decide diseñar un sistema de M&E
para el Plan.

Según los entrevistados, en 1996 se llevan a cabo las primeras acciones de


M&E mediante un grupo de instrumentos consistentes principalmente en
encuestas cortas. Posteriormente, y bajo el diagnóstico del equipo técnico del
Plancad de que los instrumentos con los que se contaba eran insuficientes para
recoger toda la información necesaria para tomar decisiones correctivas, se
entró en un período de diseño de nuevos instrumentos, llegándose a elaborar
hasta 28 diferentes instrumentos. Dados los esperables problemas para
procesar el conjunto de información recogida, el número de instrumentos fue
reducido a sólo 5 hacia finales de 1997. A partir de esa fecha, la variación en el
tipo y número de instrumentos ha sido marcadamente menor. Actualmente los
instrumentos utilizados consisten en encuestas de opinión, fichas de
observación de talleres, fichas de observación de aulas y estudios de casos.

Finalmente, como se mencionó anteriormente es relevante considerar los


avances en el desarrollo de acciones de M&E del subcomponente sistema de
19
Cuenca, Ricardo y Sandra Carrillo. El Sistema de Monitoreo y Evaluación del PLANCAD. MED, GTZ y
KfW. Abril, 2001.
20
Entrevista a Jefa de la Unidad de Capacitación Docente y a asesores principales del Plancad.

Instituto APOYO 63
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

evaluación del rendimiento estudiantil que está a cargo de la Unidad de


Medición de la Calidad de la Educación, dado que su objetivo es precisamente,
desarrollar un sistema permanente de evaluación del rendimiento de los
alumnos, que proporcione información sobre la calidad del proceso educativo.
Este subcomponente tiene como una de sus metas crear un sistema de
nacional de evaluación permanente y proporcionar información para monitorear
el mejoramiento de la calidad del servicio educativo. Para ello se han diseñado
principalmente dos instrumentos: (i) Encuestas a directores, docentes, padres
de familias y alumnos y (ii) Las pruebas de rendimiento CRECER. Estas
pruebas han aplicadas en 1996, 1998 y el 2000.

c.4.3) Avances y limitaciones del sistema de M&E del MECEP

En el año 2000, el Mecep a través de una consultora externa llevó a cabo una
evaluación de impacto21. Los resultados de esta evaluación muestran que, a
pesar de que se han realizado avances significativos en este ámbito, pues el
estado de información inicial no permitía saber siquiera indicadores de insumo
básicos como el número de centros educativos o el de docentes, persisten
limitaciones muy importantes, tanto a nivel agregado como por
componente/subcomponente de las acciones de M&E ejecutadas por el
Programa. Estos son:

ü Las acciones de M&E desarrolladas no constituyen un sistema integral. A


nivel agregado, las acciones de M&E incluyen el seguimiento de metas
físicas y financieras más no en gran medida de procesos. Las acciones de
M&E de procesos son realizadas por las unidades encargadas de la
ejecución de los subcomponentes.
ü Las acciones de M&E realizadas por los diferentes subcomponentes no se
encuentran suficientemente coordinadas. Así, según la evaluación de
impacto recientemente realizada, el subcomponente de consolidación
curricular tiene un conocimiento insuficiente de los avances del de
materiales educativos y el de capacitación docente. Asimismo, los
subcomponentes de consolidación curricular y capcitación docente hacen
poco o nulo uso de la información recogida por las pruebas CRECER,
aplicadas por el subcomponente de evaluación del rendimiento estudiantil.
ü Específicamente en el caso de consolidación curricular, no se han diseñado
instrumentos para medir el desempeño del docente. Sólo se realiza
acciones de orientación al docente para salvar dificultades al momento de
aplicación del currículo. Asimismo, existe insuficiencia de personal para
llevar a cabo las acciones de M&E contempladas. De ahí que no se hayan
incluido en la muestra de centros educativos visitados a las escuelas
unidocentes y multigrado, afectando la representatividad de la muestra
seleccionada.
ü Específicamente en cuanto a los materiales educativos:
o la muestra de centros educativos para los cuales se tiene reportes de
monitoreo para el presente año no es representativa.
o Los reportes de monitoreo realizados por los órganos intermedios no
siempre llegan a la sede central del Mecep.
o El cronograma para la realización de acciones de monitoreo no es el
mismo para las diferentes regiones. Ello dificulta el procesamiento de
información para tomar medidas correctivas oportunas.

21
Informe Final de Fase I: Verificación de Cumplimiento de Metas. Evaluación de Impacto del Programa
de Mejoramiento de la Calidad de la Educación Primaria (Mecep). Instituto Apoyo, Febrero del 2000.

Instituto APOYO 64
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

o Los instrumentos de monitoreo usados por los órganos intermedios no


son homogéneos. De ahí que los reportes de monitoreo de los órganos
intermedios sean básicamente tomados como referencia.
o Problemas logísticos impiden el monitoreo de acciones en centros
educativos alejados.

ü Específicamente en cuanto a capacitación docente:


o Escasa articulación del sistema de M&E del Plancad con los sistemas
de M&E del resto de componentes. Por ejemplo, no existe una
participación activa y directa de los especialistas de primaria en las
acciones de monitoreo desarrolladas por el Plancad.
o El uso de encuestas de opinión como instrumento de M&E en los
seminarios de la fase de información de la capacitación podría incluir un
sesgo al ser éstas aplicadas por el mismo equipo técnico que brindó la
información.
o Restricciones de personal han limitado la posibilidad de realizar
mayores acciones de monitoreo y evaluación.
o En los seminarios de evaluación el equipo del Plancad se reúne con las
entidades ejecutoras de la capacitación, sin la participación de los
especialistas de la Dirección Nacional de Educación Inicial y Primaria.
o No se dispone de instrumentos para evaluar documentos (manuales,
materiales distribuidos o elaborados en los talleres, etc) entregados a
los docentes durante la capacitación.
o No se cuenta con una adecuada base de datos de los docentes
capacitados.
o Un porcentaje considerable de la información de M&E recogida en años
anteriores no ha sido procesada.

ü Específicamente en cuanto a la evaluación del rendimiento estudiantil:


o No existe una efectiva coordinación entre la Unidad de Medición de la
Calidad de la Educación (UMC) y otros subcomponentes.
o La evolución y perfeccionamiento de las pruebas CRECER dificulta
realizar una comparación de los resultados.
o Debido a la poca coordinación entre la UMC y otros subcomponentes, la
información procesa y difundida sobre la base de las pruebas CRECER,
no es necesariamente la más útil para los propósitos de dichos
subcomponentes.

c.4.3) Factores que influenciaron el desarrollo del sistema de M&E del MECEP

Poco compromiso político e institucional versus apoyo de la cooperación


internacional

De acuerdo al Coordinador Nacional, el interés por desarrollar acciones de


M&E del Mecep provino principalmente de los organismos internacionales
financieros, lo cual además ha significado un gran aporte de los mismos no
sólo al programa sino al sector. Si bien las autoridades políticas no
representaron una fuente de interés y promoción para el desarrollo de acciones
de M&E, tampoco fueron un factor que obstruyó su ejecución. Sin embargo,
cabe señalar que tanto para el Coordinador Nacional del Mecep y para la
responsable de su Unidad de Seguimiento y Coordinación, la capacidad de
obstrucción para el desarrollo de estas acciones a nivel institucional del sector
es limitada en tanto estas tareas están establecidas en los contratos con los
organismos financieros del Programa. De acuerdo al Coordinador Nacional, ello
constituye una gran ventaja pues evita que ol s cambios en la alta dirección del

Instituto APOYO 65
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

Sector impliquen cambios significativos en los objetivos y estrategias del


Programa22.

Así, la presencia de organismos internacionales como el BIRF, BM, GTZ y KfW


ha sido clave para el desarrollo de acciones de M&E de los diferentes
componentes del Mecep. Al no existir una cultura que promueva estas acciones
desde la alta dirección, los intentos por avanzar en ello encontraron más
acogida en los organismos cooperantes23.

Ejecución del Programa por las oficinas de línea del Ministerio de Educación

De acuerdo a la responsable de la Unidad de Coordinación y Seguimiento,


cuando se optó por ejecutar los diferentes componentes del Programa a través
de las unidades de línea, no se consideró atentamente las dificultades que se
tendría para desarrollar acciones de M&E. De ahí que, en 1997 se tomó la
decisión de crear comités de coordinación a tres niveles, como fue
anteriormente mencionado. No obstante, estos esfuerzos por establecer
mecanismos de coordinación, aún la articulación entre los componentes para –
por ejemplo- realizar acciones de M&E es escasa.

Por ejemplo, según personal del Plancad entrevistado, mientras para este
subomponente los indicadores más valiosos son aquellos cualitativos que dan
cuenta de procesos (si los docentes están aplicando una metodología de
participación activa o si se está dando una participación de los alumnos en el
proceso de aprendizaje); para el nivel de coordinación central del Mecep se
reporta sólo el número de talleres realizados y de maestros capacitados.

Otro aspecto a tomar en cuenta al analizar la posibilidad de coordinar acciones


se refiere al lugar que ocupa la coordinación del Mecep en la estructura
ministerial. A pesar de que el Coordinador Nacional del Mecep tiene rango de
Director Nacional, todas las acciones que desde su Unidad Coordinadora se
diseñen o establezcan son ejecutadas por los Directores Nacionales de los
órganos correspondientes. Así, la capacidad de garantizar el cumplimiento de
objetivos, como de monitorear y evaluar avances depende sensiblemente de la
relación que su coordinador establezca con los directores nacionales.

22
No obstante, el hecho de que las acciones del Mecep sean implementadas por los órganos de línea del
Ministerio, los hace en alguna medida vulnerables a decisiones de orden político. Por ejemplo, personal
entrevistado del Plancad mencionó que las actividades de M&E fueron interrumpidas durante el segundo
semestre del 2000 debido a que los contratos de las personas encargadas de esa área fueron
suspendidos debido a una decisión tomada por las autoridades ministeriales.
23
Nuevamente en el caso de Plancad, según la Jefa de la Unidad de Capacitación Docente, el apoyo de
GTZ-KfW ha sido determinante para el diseño de su sistema de M&E. Así, al momento de reflotar el área
de M&E luego de ser desactivado en julio del 2000, la participación de GTZ fue clave, entre otras cosas,
para la contratación de especialistas encargados de afinar el sistema.

Instituto APOYO 66
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

3. Conclusiones y recomendaciones

A partir de la segunda mitad de la década pasada, se inicia un movimiento en la


gestión pública peruana por introducir y fortalecer los sistemas de M&E de los
programas y proyectos públicos, con énfasis en lo social. Ello se desarrolla desde un
conjunto de iniciativas vinculadas a la ejecución de gasto y al proceso presupuestario,
desarrolladas desde el MEF, así como con el desarrollo de esquemas de M&E en
diversos proyectos sectoriales, principalmente aquellos que reciben financiamiento de
agencias de cooperación.

Los sistemas vigentes de M&E de los programas y proyectos sociales públicos tienen,
a pesar de esfuerzos de equipos técnicos y del apoyo de la cooperación internacional,
gravísimas deficiencias. En una gran proporción de los casos, el Estado peruano y los
contribuyentes no tienen cómo saber la efectividad y eficiencia de los programas y
proyectos que se desarrollan en el país para ayudar a los peruanos en situaciones
difíciles. Estos fueron algunos de los principales resultados obtenidos:

§ Sólo tres de los 20 proyectos de la muestra, cuyos gastos representaron


solamente US$17 millones de los US$770 millones de la misma, tienen
manuales para desarrollar sus operaciones de M&E.
§ Casi todos los proyectos analizados cuentan con una capacidad para realizar
las actividades de monitoreo, así como también formatos para recolectar la
información producto de estas operaciones. Sin embargo, en muchos de estos
casos, la tenencia de formatos se debería a la obligatoriedad impuesta por la
nueva ley de inversiones, que además provee estas plantillas.
§ Si bien 15 de los 20 proyectos de la muestra tienen margen de maniobra, éstos
se reducen a 11 cuando se les pregunta acerca de algunos casos en los que
efectivamente se haya realizado alguna corrección al proyecto, como producto
del proceso de M&E.
§ Sólo 11 de los 20 proyectos realizan reportes que retroalimentan el ciclo del
proyecto. Sin embargo, la otra mitad, que representa alrededor de US$330
millones, no realizan ningún tipo de reporte con los resultados del M&E.
§ Sólo 4 de los 20 proyectos están diseñados bajo un marco lógico. Sin embargo,
éstos son relativamente grandes, pues sus gastos ascendieron a US$288
millones en el 2000, poco menos de la mitad de los gastos totales de la
muestra.
§ Si bien 14 de los 20 proyectos realizaron perfiles durante su etapa inicial, éstos
sólo representan el 42% de la muestra (US$321 millones), en términos de
desembolsos. Esto significa que los seis proyectos restantes, que no realizaron
ningún perfil y que desembolsaron US$450 millones en el 2000. son
relativamente grandes. Por lo tanto, se confirma la presunción de que, en la
última década, algunos grandes proyectos se iniciaron sin ningún estudio de
pre-inversión, debido a factores políticos y a la situación de emergencia que se
registró en los primeros años de la década. Además, cabe destacar que, en
muchos de los casos que sí se realizaron perfiles, algunos de los funcionarios
entrevistados mencionaron que éstos eran demasiado simples.
§ Casi la mitad de los proyectos de la muestra realizaron evaluaciones
intermedias o expost. Sin embargo, de acuerdo con algunas de las respuestas
cualitativas de algunos funcionarios, éstas habrían sido de cobertura limitada, o
sólo de tipo cualitativo (por lo menos seis proyectos), o sólo de una parte de los
proyectos (el Inade, que tiene varios proyectos, realiza evaluaciones en
algunos de estos casos, pero que son la minoría). Además, en pocos casos se
habrían realizado evaluaciones de impacto y sostenibilidad. Este análisis se
confirma con los resultados de la tenencia de línea de base y grupos de
control, que teóricamente son los instrumentos adecuados para realizar

Instituto APOYO 67
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

evaluaciones de impacto y sostenibilidad: ninguno de los proyectos tiene línea


de base (con la salvedad de que en el caso de los proyectos agrícolas no fue
posible obtener una respuesta) y sólo tres, que representaron US$149 millones
en términos de gastos, tienen grupos de control o comparación.

RESULTADOS AGREGADOS DE LAS PREGUNTAS


RESPONDIDAS AFIRMATIVAMENTE

Nº de proyectos Gastos de los


Preguntas de la muestra proyectos
respectivos 1/
(US$)
1 ¿Tenía M&E? 9 407 175 673
2 Margen de maniobra 15 480 085 426
3 Margen de maniobra efectivo 11 433 811 445
4 Capacidad de M&E 17 607 746 296
5 Manuales de M&E 3 17 285 018
6 Formatos de M&E 17 607 746 296
7a Reportes de M&E 11 330 122 728
7b Retroalimentación de reportes 11 330 122 728
8 Marco lógico 4 288 724 298
9 Perfiles 14 321 395 572
10 Evaluación 9 335 647 942
11a Línea de base 0 0
11b Grupo de control 3 148 698 968

1/ Información del SIAF para el 2000.


Fuente: entrevistas en profundidad con funcionarios sectoriales.

El desarrollo desigual de los sistemas de M&E en el sector público peruano tiene


diversas explicaciones, que pueden ser empezadas a analizar de manera más
sistemática a la luz de lo encontrado en este estudio de investigación.

1. La evidencia señala que existe muy poco compromiso político de parte de las
autoridades para introducir y mejorar sistemas de M&E.

En el análisis por sectores de las entrevistas en profundidad, el apoyo político resulta


signi ficativamente bajo: en una escala del 1 al 7, se obtiene un puntaje de sólo 2,8.
Además, el compromiso político a nivel sectorial se refleja también en la importancia
que le otorgan los sectores a las inversiones y en el apoyo a la estrategia de
fortalecimiento de las OPIs. En ambos casos, el puntaje es de sólo 2,9.

Asimismo, en todos los estudios de caso, el origen de los sistemas de M&E está en los
convenios firmados con los organismos internacionales. En el caso de Projoven y
Wawa Wasi primero se financiaron pilotos (con cargo a ser evaluados) para luego
firmar el convenio de préstamo. Esto último en el caso de PNWW, pues el BID luego
del piloto sólo financió una convocatoria de Projoven (el resto se financiaron con otras
fuentes).

La falta de compromiso político de las autoridades sugiere que se deba establecer un


mandato legal expreso, con penalidades claras, para la realización periódica de
estudios de M&E. Sería recomendable que ello se estableciera como prerequisito de la
discusión presupuestaria del pliego correspondiente en la Comisión de Presupuesto
del Congreso de la República.

2. La evidencia señala que existe poca cultura de M&E

Instituto APOYO 68
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

En el análisis por sectores de las entrevistas en profundidad, la cultura de M&E


obtiene un puntaje, en una escala del 1 al 7, de sólo 2,2. Esto refleja la etapa
incipiente en la que se encuentra el proceso de introducción de prácticas de M&E en el
ámbito de los proyectos sociales peruanos. De la misma manera, en los estudios de
casos, todos los coordinadores de programas mencionaron que no existe cultura de
M&E en las autoridades políticas. Sin embargo:
ü En Projoven, sí hubo interés de la alta dirección de ese momento (cuando
Projoven inició sus operaciones), que estaba constituida por economistas con
estudios de post-grado.
ü En Mecep y PSNB, la alta dirección del sector no manifestó decidido interés,
pero tampoco obstruyó. En ambos casos, mencionaron que debe considerarse
que es difícil obstruir cuando existe un convenio con un organismo
internacional.
ü En PNWW, el interés de la alta dirección se dio en la actual administración.

3. La cooperación externa y el financiamiento externo han cumplido un papel


importante en el desarrollo de los sistemas de M&E mejor desarrollados.

Los proyectos con mayor financiamiento externo tienen los puntajes más altos: los
proyectos con más del 50% de su presupuesto financiado con fuentes externas
registran un puntaje, en una escala del 0 al 1, mayor a 0,52; mientras que los demás
obtienen un puntaje de alrededor de 0,38. Sin embargo, los proyectos con más del
50% de su presupuesto financiado con fuentes externas sólo son siete y representan
apenas el 30% del total desembolsado por los veinte proyectos de la muestra.

De la misma manera, en todos los estudios de caso realizados, que fueron


seleccionados por que se tenía la presunción de que tenían sistemas de M&E
relativamente mejor desarrollados, han estado involucrados los organismos
internacionales en el diseño de los Programas.

En todos los casos (menos Projoven), el organismo internacional financiero es una


fuente de apoyo financiero para desarrollar estas acciones. Los organismos
financieros cumplen un doble rol al exigir evaluaciones, vinculadas al desembolso o la
operación del proyecto, y también brindar apoyo técnico y flexibilidad para la
contratación de consultores. Este marco de operación es el que ha venido siendo,
frecuentemente, auspicioso para el desarrollo de mejores sistemas de M&E, por lo que
debiera ser el punto de referencia para replicar a los programas y proyectos que
dependen del Tesoro Público. Debiera plantearse, por ello, la vinculación de estos
estudios a la aprobación de recursos, como ya ha sido sugerido anteriormente, y los
mecanismos de apoyo técnico y contratación de consultores para el desarrollo de
estos sistemas. Los sistemas desarrollados por el MEF no estarían cubriendo este
último aspecto.

En el caso de PNWW y Mecep/Plancad la cooperación técnica ha sido clave para la


contratación de personal calificado. Asimismo, en los casos de Projoven, PNWW y
PSNB, el financiamiento externo ha está asociado a una mayor autonomía
administrativa, la cual es identificada por los entrevistados como positiva para el
desarrollo de sus sistemas de M&E.

4. Los proyectos de mayor envergadura tienen menor desarrollo de los


siste mas de M&E

En el análisis por proyectos de las entrevistas en profundidad, el grupo de los


proyectos más grandes, que son los que comúnmente tienen mayor injerencia política,

Instituto APOYO 69
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

obtiene, en una escala del 0 al 1, una calificación de 0,4. En el 2000, este grupo de
proyectos gastó US$468 millones, más del 60% del total desembolsado por los 20
proyectos de la muestra. Es importante destacar que el puntaje mayor, 1, no refleja el
nivel óptimo, sino el mínimo indispensable para iniciar un proceso de M&E eficaz y de
calidad.

En el caso de MECEP, el tamaño del proyecto, aunado a la dificultad para insertarse


dentro de los órganos de línea de manera integral, ha generado mayores dificultades
para estandarizar instrumentos y lograr un sistema de M&E integrado. En cambio,
PSNB, por su menor dimensión y la presencia de gerencias regionales que
interactuaban con los órganos de línea ha logrado que dichas dependencias asuman
parte de los instrumentos de M&E. Un punto adicional a tener en cuenta en la
comparación es que, por lo menos en cuanto a los indicadores de resultados e
impacto, en el caso de salud estos son más claros y fáciles de recoger que en el caso
de educación.

En el otro extremo, Projoven, que actúa de manera directa pues no existe una
estructura de línea del Ministerio a nivel nacional en área de promoción social, ha
podido desarrollar un sistema de M&E muy completo. Sin embargo, este sistema es
ajena a la estructura tradicional del Estado. Por su parte, otro programa pequeño como
el PNWW no ha podido desarrollar un sistema de M&E adecuado.

Diseñar un sistema de M&E único para todo el programa es más fácil cuándo éste es
autónomo de los órganos de línea. Ese sería el ejemplo de Projoven que tiene un
sistema bastante desarrollado de M&E. No sería el caso de PNWW. Sin embargo la
independencia de este programa respecto a la línea del ministerio no es de siempre,
pues cambió del Ministerio de Educación al Promudeh, y sufrió varios cambios en el
tiempo estudiado. El caso de PSNB daría cuenta de que es factible lograr mejoras en
los sistemas de M&E trabajando estrechamente con los órganos de línea, si se logra
identificar a qué nivel es adecuado plantear dicha interacción entre el proyecto –que
tiene márgenes de acción y contratación que los órganos de línea no tienen- y dichos
órganos. El caso de Mecep parecería señalar que una relación que dependa
demasiado de los órganos de línea a nivel desconcentrado, sin gerencias regionales
del proyecto, como sí fue el caso del PSNB, enfrentaría más dificultades en la puesta
en marcha de mejoras en los sistemas de M&E.

De lo anterior se desprendería que lo recomendable sería crear instancias regionales


que, con mayor autonomía en el uso de recursos y capacidad para contratar personal
calificado y consultores, pudieran seguir y apoyar a los órganos de línea de los
sectores para facilitar el proceso de introducción de mejores sistemas de M&E.

Instituto APOYO 70
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

BIBLIOGRAFÍA

APPLETON, Simon. “Problems in measuring changes in poverty over time”. UK, 1996.

BAKER, Judy. “Evaluating project impact for poverty reduction: a handbook for
practicioners”. 1999.

CARVALHO, Soniya y Howard White. “Performance indicators to monitor poverty


reduction”. 1995.

DU BOIS, Fritz y Nelson Shack. “ Balance y perspectivas en la lucha contra la pobreza


1985 – 2000. P. 133 - 143. EN: Foro Diálogo Sobre Experiencias y Retos en la Lucha
Contra la Pobreza. Ica, 1998.

FONCODES. Mapa de pobreza en el Perú: FONCODES frente a la pobreza, 1991-


1994. Lima. Foncodes. 2000.

FLORES, Rosa. “Experiencias en la reducción de la pobreza y evaluación del impacto


de los proyectos antipobreza financiados por el Banco Mundial en el Perú. En: Foro
Diálogo Sobre Experiencias y Retos en la Lucha Contra la Pobreza. Ica, 1998.

GRASSO, Patrick y Patricia Laverley con varias contribuciones del staff de OED.
“Lessons on community-driven development”. Washington DC, 1999.

GUERRA GARCIA, Gustavo. “Reforma del Estado en el Perú”. Lima, 1999.

HICKS, Norman. “Measuring the poverty impact of projects in LAC”. 1998.

INEI. Encuesta Nacional de Hogares (ENAHO). 1997 y 1998.

INEI. Biblioteca Estadística del INEI. Lima. 2000.

INSTITUTO APOYO. Lucha contra la pobreza. Ortiz de Zevallos Gabriel y Pierina


Pollarolo (eds). Lima. 2000.

INSTITUTO APOYO. “Resultados obtenidos del I Foro Diálogo Sobre Experiencias y


Retos en la Lucha Contra la Pobreza”. EN: Foro Diálogo Sobre Experiencias y Retos
en la Lucha Contra la Pobreza. Ica, 1998.

Instituto Cuánto. Encuestas de Niveles de vida (ENNIV) 1991, 1994,1997 y 2000.


Lima.

Instituto Cuánto. Pobreza y Economía Social: Análisis de una encuesta ENNIV –1997.
Lima. 1999

MINISTERIO DE ECONOMÍA Y FINANZAS. “Un análisis descriptivo del grado de


focalización de algunos problemas sociales y del nivel de regresividad del gasto en
educación y salud, 1998. Lima. MEF. 1999.

M&E Initiative and the Regional Programme for West Africa (BRAO). “Workshop on
planning, monitoring and evaluation”. Ouagadaugou, Burkina Faso, 1998.

MINISTERIO DE TRABAJO Y ASUNTOS SOCIALES. “Evaluación de políticas


públicas y programas”. Vedung, Evert. Madrid, 1996.

Instituto APOYO 71
Estado de los Sistemas de Monitoreo y Evaluación de los Programas Sociales Públicos en el Perú

RUBIO, G., G. Prennushi y K. Subbarao. “Monitoring and evaluation chapter”. 2000.

UNICEF. “A Unicef guide for monitoring and evaluation”.

VASQUEZ, Enrique. “Evaluación de impacto de proyectos en la lucha contra la


pobreza: aspectos metodológicos. EN: Foro Diálogo Sobre Experiencias y Retos en la
Lucha Contra la Pobreza. Ica, 1998.

WEBB, Richard. “La pobreza en el Perú: estimaciones y estrategias”. EN: Foro Diálogo
Sobre Experiencias y Retos en la Lucha Contra la Pobreza. Ica, 1998.

WEISS, Carol H. “Evaluation: methods for studying programs and policies”, 1998.

WORLD BANK. “Performance monitoring indicators”. Washington DC, 1996.

WORLD BANK. “Poverty and Social Developments in Peru: 1994-1997”. Washington


D.C.1999.

Instituto APOYO 72

Das könnte Ihnen auch gefallen