Panam, 23 de abril de 2013

Anlisis de los Sistemas de Monitoreo y

Evaluacin en el contexto de las
Evaluaciones Finales de Programa Pas




M&E en la Evaluacin?
Contribuir al anlisis de situacin de los sistemas de Monitoreo y
Evaluacin en el UNFPA, y lo ms importante contribuir al
mejoramiento de dichos sistemas.
Fotografa del tipo de sistema de M&E y principales caractersticas
Analizar la calidad del sistema de M&E, y la calidad de indicadores del CPAP.
Analizar el soporte del UNFPA al desarrollo de capacidades, y/o al
fortalecimiento de los sistemas nacionales de M&E
Proporcionar recomendaciones prcticas y aplicables para mejorar los
sistemas de M&E en las CO.



2
Componentes - Sistema M&E



3
Sistema
de M&E
Monitoreo
de outputs
y
outcomes
Monitoreo
de riesgos
y
supuestos
Evaluacin
Monitoreo
de
insumos y
actividades
Metodologa
Revisin documental
Monitoreo de insumos y actividades
Monitoreo de outputs y outcomes
Monitoreo de riesgos y supuestos
Entrevistas
Staff CO
Socios en la implementacin
Agencias SNU
Discusiones grupales
Staff CO: Oficiales de Programa y Punto focal de M&E




4
[Tool N 15]
Herramienta para el Anlisis del Sistema
de Monitoreo y Evaluacin




Objetivos de la herramienta
Valorar el estado de situacin del Sistema de M&E.
Identificar/priorizar las mejoras que deben implementarse.
Medir progresos implementados para el fortalecimiento de los
sistemas de M&E.



6
Estructura
Caractersticas del Sistema de M&E:
Elementos escenciales de un sistema completo y operativo.
Aspectos a comprobar:
Formulados como preguntas?
Calidad/ Estado
Respuesta a las preguntas Aspectos a Comprobar




Comentarios




7
+
La respuesta es positiva. No hay necesidad de hacer mejoras significativas

O
La respuesta es positiva pero con reservas. Hay algunas deficiencias, debe
mejorarse.
-
La respuesta es negativa. No es operativo, No es funcional, o en caso de ser
operativo su funcionamiento es deficiente. Se requieren mejoras substanciales.
I. Tipologa y naturaleza


8
Caractersticas
del Sistema de
M&E
Aspectos a comprobar Calidad/
Estado
Comentarios
Tipologa
Es un sistema basado en actividades,
basado en resultados o incluye ambas
opciones?
O
Naturaleza
El sistema es liderado por UNFPA,
gestionado conjuntamente con las
contrapartes de Gobierno o liderado por
las contrapartes de Gobierno?
-
II. Gestin de informacin


9
Caractersticas
del Sistema de
M&E
Aspectos a comprobar Calidad/
Estado
Comentarios
Diseo y
estructura
Existe un sistema de gestin
informacin asociado al sistema M&E?
-
El sistema de informacin est
formalizado en un documento escrito?
-
Recoleccin de
datos
Define el sistema que tipo de
informacin recolectar y quin debera
recolectarla?
O
La frecuencia de recoleccin de datos
est bien definida y es adecuada?
O
El grado de profundidad/anlisis de la
informacin es adecuado en relacin a
las necesidades de informacin y gestin
del gobierno?
-
II. Gestin de Informacin
(cont.)


10
Caractersticas
del Sistema de
M&E
Aspectos a comprobar Calidad/
Estado
Comentarios
Flujos de
informacin
Define el sistema quin debera
reportar a quin?
O
Llega la informacin a las personas
apropiadas de manera oportuna y
eficiente?
O
Son apropiados los formularios y fichas
usadas para reportar informacin?
O
El sistema provee retroalimentacin a
las contrapartes locales?
O
III. Recursos


11
Caractersticas
del Sistema de
M&E
Aspectos a comprobar Calidad/
Estado
Comentarios
Recursos
financieros
Hay disponible un presupuesto para
M&E en la Oficina de Pas?
-
Tienen las contrapartes asignaciones
presup. para implementar el sistema?
-
Recursos
humanos
Hay una persona encargada de la
gestin del sistema de M&E en la CO?
O
Las responsabilidades en M&E estn
asignadas al personal en forma clara?
-
Tiene el personal la capacidad para
implementar las tareas de M&E?
-
Aprovecha y capitaliza el sistema las
capacidades locales de acopio info?
O
Contribuye el sistema a la construccin
de capacidades para recoleccin info?
O
IV. Indicadores


12
Caractersticas
del Sistema de
M&E
Aspectos a comprobar Calidad/
Estado
Comentarios
Factibilidad de
los objetivos
Son alcanzables los productos y
outcomes asociados a los indicadores?
-
Calidad de los
indicadores
Son los indicadores pertinentes en su
mayor parte?
+
Son los indicadores especficos en su
mayor parte?
+
Son lo indicadores operativos en su
mayor parte?
-
V. Papel de las evaluaciones


13
Caractersticas
del Sistema de
M&E
Aspectos a comprobar Calidad/
Estado
Comentarios
Integracin en el
sistema de M&E
Se seleccionan y planifican las
evaluaciones de manera que respondan
a las necesidades de info y toma de
decisiones de la CO?
-
Son los resultados de las evaluaciones
incorporados a los procesos de gestin y
toma de decisiones?
-
Se utilizan los resultados de las
evaluaciones para actualizar el marco de
resultados del CPAP?
-
Alineacin
Forman parte los actores nacionales del
proceso de diseo de las evaluaciones y
se comparten los resultados de las
evaluaciones con ellos?
O
VI. Monitoreo de riesgos e
hiptesis


14
Caractersticas
del Sistema de
M&E
Aspectos a comprobar Calidad/
Estado
Comentarios
Hiptesis
Ha identificado la Oficina de manera
acertada las principales hiptesis que
afectan al programa pas?
+
Est la Oficina en una posicin de
conseguir informacin precisa y de forma
oportuna sobre las hiptesis?
+
Riesgos
Ha identificado la Oficina de manera
correcta los principales riesgos que
pudieran afectar al programa pas?
+
Tiene la oficina la habilidad de obtener
informacin precisa y de forma oportuna
sobre la evolucin de tales riesgos?
+
Formalizacin
Est el monitoreo de los riesgos e
hiptesis formalizado y registrado en un
documento escrito?
-
[Tool N16]
Herramienta de evaluacin de las
calidad de los indicadores del CPAP




Objetivos
Facilitar la elaboracin del nuevo marco de M&E del CPAP.
Comprobar de manera perodica la evolucin de la calidad de los
indicadores utilizados en los programas de pas a lo largo del
tiempo.


16
Estructura
Primera seccin: presenta la informacin de base contenida en
el Marco de M&E. Esta parte es meramente descriptiva: para
completarla se rellenan las celdas correspondientes a
outcomes, outputs, indicador, linea de base, y meta.
Segunda seccin: incorpora la evaluacin de la calidad de los
indicadores. En ella se valoran tanto los indicadores de efecto
esperado como los de producto, y la valoracin se hace en base
a cuatro criterios:
Claridad en la formulacin
Pertinencia
Especificidad
Operatividad (Linea de Base disponible; Linea final disponible; Meta disponible; Medios de verificacin; Valores
recolectados y reportados)

17
Estructura
18
DESCRIPCION
CPAP

CRITERIOS DE EVALUACION DE CALIDAD

I
N
D
I
C
A
D
O
R

L
I
N
E
A

D
E

B
A
S
E

M
E
T
A

F
O
R
M
U
L
A
C
I
O
N

P
E
R
T
I
N
E
N
C
I
A

E
S
P
E
C
I
F
I
C
O

Operativo
L
I
N
E
A

D
E

B
A
S
E

D
I
S
P
O
N
I
B
L
E

L
I
N
E
A

F
I
N
A
L

D
I
S
P
O
N
I
B
L
E

M
E
T
A

D
I
S
P
O
N
I
B
L
E

M
E
D
I
O
S

D
E

V
E
R
I
F
I
C
A
C
I
O
N

V
A
L
O
R
E
S

R
E
C
O
L
E
C
T
A
D
O
S

Y

R
E
P
O
R
T
A
D
O
S

AAA
BBB
CCC
1ra seccin 2da seccin
Calificacin
19
ESCALA
VALORACION
RESPUESTA A LOS CRITERIOS
FORMULADOS COMO PREGUNTAS
1 Respuesta positiva
0 Respuesta negativa
Herramienta - Ejemplo

20
CRITERIOS DE EVALUACION DE CALIDAD
Formula
cin
clara
Pertine
nte
Especfi
co
Operativo
LdB
disponib
le
Lnea
Final
disponible
Meta
dispo
nible
Medios
de
Verificaci
n
Valores
recolecta
dos y
reportad
os
OUTPUT 1
CPAP
Indicador 1.1 1 0 1 0 0 0 0 0
Indicador 1.2 1 1 1 1 1 0 1 1
Indicador 1.3 0 0 0 0 0 0 0 0
Formulacin clara
Est el indicador formulado de una manera clara y
comprensible?
Factores a considerar:
Que sea comprensible
Que est formulado como indicador
Que contenga la informacin clave
Ejemplo: Proporcin de docentes formados/as y
capacitados/as en educacin para la sexualidad
21
Pertinente
Es pertinente el indicador?
Factores a considerar:
Que lo que mide se corresponde con el resultado o
producto que est queriendo medir
No es pertinente cuando no nos da informacin sobre la
consecucin de tales productos o resultados sino sobre
otros
Ejemplo de indicador no pertinente: 5% de incremento del uso
del condn femenino en poblacin intervenida para medir el
producto La EPS est includa en la currcula de educacin
formal
22
Especfico
Es el indicador suficientemente especfico?
Factores a considerar:
Tiene que proporcionar informacin precisa, concreta y
determinada sobre la consecucin del producto o resultado.
Lo opuesto es un indicador especfico sera un indicador
demasiado amplio, genrico o global.
Ejemplo de indicador no especfico: incremento en el nmero
de prestadores de servicios de atencin a la violencia
capacitados
23
Operativo - Medible
Se trata de un indicador medible? Puede medirse a un
costo razonable?
Factores a considerar:
Que la unidad de medida (o criterio de medicin) est bien
definida
Que el indicador sea medible a un costo razonable, que sea
eficiente
Que los datos sobre el indicador estn disponibles para la
Oficina
Ejemplo: incremento del nmero de lideresas y
organizaciones sociales que denuncian la violencia contra las
mujeres
24
Operativo - LdB
Se dispone de una linea base para el indicador?
Factores a considerar:
Existe una LdB disponible a travs de fuentes de
informacin secundarias? (estudios, censos, registros
internos de la CO, informes de contrapartes); y
Si no existe una LdB Cul sera el costo de realizar un
estudio de linea de base para recabar informacin sobre el
valor inicial del indicador?
25
Operativo Linea final
Se dispone de una linea final para el indicador?
Factores a considerar:
Provisin oportuna de informacin
Costo de realizar estudio Linea Final.
Ejemplo: La fuente de informacin del indicador % de NNAyJ
que reciben EPS es la ENAJ. Esta fuente fue utilizada para la
LdB pero no estar disponible para la Linea Final
26
Operativo Metas
Se han fijado las metas para el indicador? Son realistas las
metas?
Factores a considerar:
Metas deben ser fijadas al momento de disear el MRR, lo
contrario implica problemas de transparencia y rendicin de
cuentas.
Son factibles y realistas
Ejemplo: la transversalizacin de la temtica de EPS es
incorporada en la currcula de primaria, secundaria, inicial y
superior (muy largo plazo) vs. planes de transformacin
curricular
27
Operativo MdV
Existen medios de verificacin asociados al indicador? Son
facilmente accesibles?
Factores a considerar:
Existen medios de verificacin accesibles para el
indicador?
Son apropiados y suficientes como medios de
verificacin?
Ejemplo: El indicador 60% de centros de salud en cabeceras
de red, ofertan servicios integrales de SSR, incluye SPRs o
COAR como fuentes de verificacin, sin embargo ambos
reportes son de uso interno.
28
Operativo Datos
Es posible recolectar y reportar los valores del indicador de
forma efectiva?
Factores a considerar:
Que el valor del indicador est fisicamente disponible para
la CO cuando esta la precisa.
Los valores de los indicadores tienen que llegar a la Oficina
para poder ser insertados en el Marco de M&E, y para ello
deben ser recolectados y reportados.
Ejemplo: El indicador incremento del nmero de mujeres
indgenas, originarias, campesinas, y afrodescendientes que
reciben informacin sobre DSR y SSR. No se establecieron
mecanismos de recoleccin de informacin, por tanto no es
operativo.
29
Resumen Final

30
CRITERIOS DE EVALUACION DE CALIDAD
Formulaci
n clara
Pertine
nte
Especfi
co
Operativo
LdB
disponibl
e
Linea
Final
disponib
le
Meta
disponib
le
Medios
de
verificaci
n
Valores
recolecta
dos y
reportado
s
#
# de SI 37 29 33 13 7 13 10 9
# de NO 5 8 4 29 35 29 32 33
TOTAL 42 37 37 42 42 42 42 42
%
% de SI 88% 78% 89% 31% 17% 31% 24% 21%
% de NO 12% 22% 11% 69% 83% 69% 76% 79%
TOTAL 100% 100% 100% 100% 100% 100% 100% 100%
Plan de Mejoras Sistema M&E
Tipo de
Accin
Descripcin
Prioridad 1 Aspectos muy claves y urgentes (de implementacin inmediata)
Constituyen elementos de base para la creacin del rea de
monitoreo por resultados.
Precondiciones para el resto de acciones.

Prioridad 2 Aspectos clave de implementacin a corto plazo
Pueden implementarse a corto plazo.
Se insertan en procesos futuro prximo.
Implican procesos tareas que pueden realizarse con cierta celeridad.
Prioridad 3 Aspectos importantes no apremiantes
Siendo importantes no se consideran cruciales ni urgentes.
La creacin de un sistema de M&E basado en resultados no depende
directamente de ellos.
31
Prioridad 1
Accin 1.1 Gestionar la contratacin de un responsable de
Monitoreo y Evaluacin a tiempo completo, con contrato fijo,
de manera que sea parte de la estructura de la Oficina.
Accin 1.2 Iniciar el proceso de elaboracin/diseo y dotacin
de un presupuesto para el monitoreo basado en resultados
ligado al presupuesto de gestin de la Oficina.
Accin 1.3 Formalizacin del mandato y atribucin de
responsabilidades en monitoreo basado en resultados.

32
Prioridad 2
Accin 2.1 Mejorar la calidad de los prximos MRR y MSE
mediante la incorporacin de mecanismos de control de
calidad en su diseo y formulacin.
Accin 2.2 Iniciar el proceso de diseo de un sistema de
gestin de informacin asociado a los indicadores del MSE.
Accin 2.3 Introducir herramientas de medicin de
capacidades (cuestionarios de evaluacin y seguimiento) en
las tres areas focales.
Accin 2.4 Elaborar una matriz de seguimiento de riesgos e
hiptesis.
Accin 2.5 Elaborar un Plan de Evaluacin

33
Prioridad 3
Accin 3.1 Promover la efectiva conformacin de un espacio
de revisin conjunta del CPAP con el Gobierno.
Accin 3.2 Promover la conformacin y formalizacin de un
grupo tcnico de monitoreo y evaluacin interagencial en el
Pas.

34
Consideraciones finales
Las herramientas permiten visualizar nuevos campos de
observacin, y criterios de anlisis que contribuyen al
desarrollo de un Sistema de M&E.
Se requieren asegurar mecanismos de participacin interna
Staff, y externa con contrapartes, a fin de que el ejercicio
tenga una perspectiva reflexiva y compartida.
La herramienta puede ser aplicada no solamente durante la
Evaluacin, sino para orientar la construccin del nuevo
Programa, as como para realizar mediciones de progreso y
ajustes peridicos al Sistema de M&E.
El sistema de M&E debe cumplir la poltica corporativa del
UNFPA, pero debe ser ajustado a las necesidades y
realidad de cada CO.
Cultura RBM: desarrollo de capacidad nacional en M&E y
gestin del conocimiento.


35

Muchas Gracias

36