La evaluacin de programas sociales y el uso de

informacin

Thania de la Garza Navarrete

Directora General Adjunta de Evaluacin

www.coneval.gob.mx

Octubre 2014

Marco Institucional de la Evaluacin en Mxico

Constitucin Poltica de los Estados Unidos Mexicanos
Arts. 26 y 134
Ley General de
Desarrollo Social
Arts. 72 - 80

Polticas,
programas,
acciones y
metas sociales

Ley Federal de
Presupuesto y
Responsabilidad
Hacendaria
Arts. 110 y 111

Programas
Presupuestales

Lineamientos Generales de Evaluacin

CONEVAL- SHCP-SFP

Matriz de Indicadores
Tipos de evaluacin
Seguimiento a recomendaciones
Planeacin de las evaluaciones (PAE)

Ley de
Contabilidad
Gubernamental
Art. 79

Entes pblicos
CONAC
Norma para establecer el formato para la
difusin de los resultados de las evaluaciones
de los recursos federales ministrados a las
entidades federativas
Elaboracin de objetivos estratgicos
Publicacin del PAE
Diagnstico de programa nuevo, ampliacin
modificacin
Registro de erogaciones para evaluaciones
Seguimiento a los aspectos susceptibles de mejora
Publicacin de las evaluaciones

El Sistema de Evaluacin del Desempeo de la

Poltica de Desarrollo Social en Mxico
Evaluacin

Planeacin

Programa Anual de Evaluacin

Programas Sectoriales: contribuyen con el
Plan Nacional de Desarrollo

Resultados:
Programas presupuestarios: contribuyen con
los Programas Sectoriales y Objetivos
Estratgicos

Medir si un programa
resuelve
el (los) problema(s)
por los que se cre

Evaluacin de Consistencia y Resultados

Evaluacin de Procesos e Indicadores

Programas Presupuestarios con Indicadores

adecuados en la Matriz de Indicadores

Evaluacin de Impacto
Evaluacin de Polticas

Progresividad y Cobertura

Seguimiento de Recomendaciones

Evaluacin Especfica de Desempeo

Qu es el Programa Anual de Evaluacin?

Para qu evaluar?

Es un
instrumento
que define:

Qu se evala?
Con qu instrumentos se evala?
Cundo se evala?

Programa Anual de Evaluacin

Para qu evaluar?
Mejorar polticas y
programas pblicos

Dnde est la poblacin que

sufre la problemtica, que
ser objeto de esta
intervencin?

Existe un plan para el

desarrollo del intervencin
pblica de corto, mediano y
largo plazo?

Tomar mejores decisiones

(de operacin, diseo,
presupuestales..)

Rendicin de Cuentas y
Transparencia

Cmo se medir, con certeza,

el cambio en el bienestar que se
pueda atribuir a la
intervencin?

Toda la informacin sobre la

intervencin es pblica y est en
la pgina web?

Por qu se decidi esta

alternativa de intervencin
pblica y no otra?

Cul es el costo unitario de los

bienes y servicios que se
entregan a la poblacin?

Programa Anual de Evaluacin

Qu se evala?
Polticas

Evaluacin Estratgica
sobre Mortalidad
Materna en Mxico

Evaluacin estratgica
anexo 10: Igualdad entre
mujeres y hombres

Evaluacin Estratgica de
Proteccin Social

Programas y Acciones

Instituciones

Inventario CONEVAL de Programas y Acciones

Estatales de Desarrollo Social
Proceso de integracin del
Inventario CONEVAL
Identificacin de
Programas y Acciones
(CONEVAL)

Consideraciones

Los programas y las acciones son aquellas intervenciones gubernamentales

que son responsabilidad de una dependencia o entidad a nivel federal, que
cuentan con clave presupuestal y que se encuentran contenidos dentro del
Decreto de Presupuesto de Egresos de la Federacin (DPEF)
correspondiente.

Fuentes de informacin estatales: Presupuesto de

Egresos, Cuenta de la Hacienda Pblica, e Informe de
Gobierno

Carga de la informacin
(CONEVAL)

Se utilizan documentos operativos de los programas,

difundidos a travs de las pginas de internet

Validacin de la
informacin

Las entidades federativas validan la informacin de los

programas

Integracin y carga de la
informacin (CONEVAL)

Se integra la base de datos y se carga en la plataforma

para facilitar el acceso

http://web.coneval.gob.mx/Evaluacion/IPFE/
Difusin en Internet

2849 programas y
acciones

Becas de
posgrado y
otras
modalidades
de apoyo a la
calidad
S

Consejo
Nacional de
Ciencia y
Tecnologa
(CONACYT)
S191
Sistema
Nacional de
Investigador
es
S

Consejo
Nacional de
Ciencia y
Tecnologa
(CONACYT)
S192
Fortalecimie
nto a nivel
sectorial de
las
capacidades
cientficas,
S

El programa
El
opera en Componente
apego a sus y una de la
Oportunidad Oportunidad
de Mejora
de Mejora

El programa
cuenta con
procedimient
Oportunidad
de Mejora

B) Dar informacin para la toma de decisiones

70%

Destacado

ND

100%

100%

Destacado

ND

100%

% de Avance en Seguimiento a las

Recomendaciones de
Evaluaciones Externas (periodo
2011-2012)

PERCEPCIN DE LA POBLACIN
ATENDIDA

OPERACIN

Poblacin Atendida EFICIENCIA

/ Poblacin Objetivo
EN
(PA/PO)
COBERTURA

COBERTURA Y FOCALIZACIN

PLANEACIN Y ORIENTACIN A
RESULTADOS

RESULTADOS DE LA EVALUACIN DE CONSISTENCIA Y RESULTADOS (ECR) 2011-2012

(Evaluacin externa coordinada por las dependencias con informacin de gabinete)

100%

Presupuesto Ejercido/
Modificado

Cumplimiento
Presupuestal
2011

Resultados de la
Destacado Valoracin del Diseo y Revisin de la Matriz
de Indicadores para
Calidad de la MIR 2012
Resultados (MIR)
2012
Grado de
Incidencia
Progresividad
ND
Fuente: Scott, John
Distributiva
2008

100%

La
El programa El programa
evaluacin a cuenta con cuenta con
beneficiarios instrumentos instrumentos

Adecuado

Adecuado

Adecuado

91%

100%

22%

El programa El programa El programa

cuenta con no cuenta no cuenta
una
con una
con una

Con un Plan
Estratgico
vinculado al
Oportunidad
de Mejora

RESULTADOS

El programa El programa
contribuye a cuenta con
lograr los
un Plan
Adecuado Oportunidad
de Mejora

DISEO

Resultados
Efectos
Avances en
Atribuibles
el logro de
(Resultados sus Objetivos
de
(Resultados
Evaluaciones derivados de
de Impacto
la medicin
rigurosas
de los
que permiten Indicadores
tener
de Fin y de

El programa
Los
Los
cuenta con elementos de elementos de
un
diseo del diseo del
Destacado Destacado Destacado

DATOS DEL PROGRAMA

Hay
Hay
Hay
resultados resultados resultados
positivos del positivos del positivos del
Adecuado Destacado Adecuado

Cul es el rigor de
la medicin de los
resultados?

Medicin de Resultados

El programa El programa El programa

an no
an no
an no
cuenta con cuenta con cuenta con
Moderado Adecuado Moderado

El programa El programa El programa

mide sus
mide sus
mide sus
resultados resultados resultados
con
slo con
slo con
ND
ND
ND

Oportunidad Oportunidad
de mejora de mejora

S190

Moderado

Nombre del Programa

Consejo
Nacional de
Ciencia y
Tecnologa
(CONACYT)

El programa mide
Resultados?

Modalidad

Institucin

Programa Anual de Evaluacin

Qu se espera de la evaluacin?

A) Brindar informacin para el proceso presupuestario

VALORACIN DE LA CONSISTENCIA Y RESULTADOS DE LOS PROGRAMAS 2011-2012

Programa Anual de Evaluacin

Qu se espera de la evaluacin?
C) Informar sobre fortalezas, debilidades, amenazas y
oportunidades de los programas
http://www.coneval.gob.
mx/Evaluacion/Paginas/
Normatividad/Mecanism

Mecanismo de Aspectos Susceptibles de Mejora

oActualizacion2011.aspx

D) Resultados para conocer la efectividad de los programas

Programa Abasto Social de
Leche

Resultados: Los nios

que consumieron leche
fortificada presentan
menor prevalencia de
anemia que los que
toman leche sin fortificar
(10.7% vs 15.6%).

Programa Hbitat

Resultados: El programa
no tuvo impacto en el
acceso a agua potable.
El programa logr
incrementar el acceso a
drenaje en 3%. El
programa no tuvo
impacto en el acceso a
electricidad.

Programa de Desarrollo Humano

Oportunidades:

Resultados: Disminucin de la prevalencia

de talla baja en un 11.1% entre 1999 y
2007 para los nios beneficiarios contra
un 10% para aquellos que no recibieron
el programa en el mismo periodo. El
programa ha contribuido a ampliar las
vas educativas de los beneficiarios y se ha
incrementado la escolarizacin de los
jvenes, especialmente para los jvenes
indgenas.

Con qu instrumentos se responden las preguntas

de evaluacin
Diagnstico de
Programas Nuevos

Diseo

Consistencia y
Resultados

Procesos

Definir el problema
y justificar que es
un problema
pblico

Consistencia y
lgica interna de los
programas

Diagnstico de la
capacidad
institucional para
alcanzar resultados

Anlisis de los
procesos operativos
y su contribucin al
propsito

Especfica de
Desempeo

Indicadores

Impacto

Complementarias

Estratgicas

Valoracin sinttica
de la informacin
del programa en el
SED

Pertinencia y
alcance de los
indicadores de un
programa

Medir los efectos

netos del programa

Profundizar sobre
aspectos relevantes
del desempeo

Valoracin de las
polticas y
estrategias de
desarrollo social

Diagnstico de programas nuevos

Origen y justificacin de
la propuesta

Establecer el monto para

iniciar la operacin del
programa y la partida
presupuestal a la que
corresponde,
(impacto
presupuestario
del
programa)

Antecedentes

Identificar y
describir el
problema

Presupuesto

Elementos
mnimos del
diagnstico

Disear el tipo de
intervencin, las etapas,
la
integracin
y
operacin del padrn de
beneficiarios, la MIR y
estimar
el
costo
operativo del programa

Elementos mnimos a considerar en la

elaboracin de Diagnsticos de
Programas Nuevos

Definir y
justificar los
objetivos

Diseo del
programa

Cobertura

El estado actual del

problema, su evolucin,
experiencias de su atencin
y definir el rbol de
problemas

Definir
la
situacin
esperada al resolver el
problema

Identificar,
caracterizar
y
cuantificar la poblacin potencial y
objetivo

Evaluacin de diseo
Modelo de Trminos de Referencia
para la Evaluacin en Materia de
Diseo

Objetivo General
Evaluar el diseo de los Programas con la finalidad de proveer
informacin que retroalimente su diseo, gestin y resultados.

Evaluacin de Consistencia y Resultados

Objetivo General
Evaluar la consistencia y orientacin a resultados de los programas de
desarrollo social con la finalidad de proveer informacin que
retroalimente su diseo, gestin y resultados.

Modelo de Trminos de Referencia

para la Evaluacin de Consistencia y
Resultados

Evaluacin de procesos
Modelo de Trminos de Referencia
para la Evaluacin de Procesos

Los procesos del programa estn claramente definidos y

contribuyen al logro de sus objetivos?
Elementos

Describir los procesos del programa

Identificar los problemas

normativos que obstaculizan los
procesos

Analizar el grado de gestin y

articulacin de los procesos

Analizar las fortalezas y buenas

practicas que mejoran la
capacidad de operacin

Evaluacin Especfica de
Desempeo (EED)
Objetivo

Valoracin sinttica que refleje el desempeo de los

programas y contribuya a la toma de decisiones.
Resultados y Hallazgos
Poblacin y Cobertura

Conclusiones
Observaciones

Avances y Aspectos de Mejora

Alineacin y presupuesto

Indicadores
Informacin adicional

14

Modelo de Trminos de Referencia

para la Evaluacin Especfica de
Desempeo

Ficha de Monitoreo
Contenido
Descripcin del Programa o Accin
Ao de inicio (antecedentes) y responde cul es su objetivo, cmo lo
lleva a cabo y a quin est dirigido.

Resultados
Indicadores de Resultados (2)
Cules son los resultados y cmo los mide?

Cobertura
Informacin de las poblaciones (Potencial, Objetivo y
Atendida), evolucin y anlisis de la cobertura.

Anlisis del Sector

Relacin del programa con el sector: Indicador sectorial, especial o
institucional, datos presupuestarios y anlisis del sector.

Evaluacin de impacto
Cules son los efectos NETOS atribuibles al programa?

Qu resultados hubieran alcanzado los participantes en la

ausencia del programa?
Guion de Anlisis de Factibilidad para
llevar a cabo una Evaluacin de
Impacto

Evaluaciones Estratgicas
Tipo de estudio:

Valoracin de polticas que se realiza por medio de trabajo de campo y/o

de gabinete

Tipos de
evaluaciones
estratgicas

Evaluacin de Nutricin y Abasto

Evaluacin de Ramo 33

Evaluacin sobre Mortalidad Materna en Mxico

Evaluacin de Proteccin Social

Evaluacin Estratgica
sobre Mortalidad Materna
en Mxico

Evaluacin estratgica
anexo 10: Igualdad entre
mujeres y hombres

Evaluacin Estratgica de
Proteccin Social

Cundo se evala?
Horizonte de Monitoreo y Evaluacin
Etapas

E0

Evaluacin

Monitoreo
Diseo de la Matriz
de Indicadores (MIR)
Definicin de Indicadores para contribuir a
objetivos sectoriales

Diagnstico de la problemtica social

E1
Levantamiento de Lnea de Base

E2
Mejora de MIR y Medicin de Indicadores

Evaluacin de Consistencia y Resultados

E3
Aprobacin de indicadores
Evaluacin de
Procesos

E4

Evaluacin de
Impacto

Implementacin de Sistema de Monitoreo

La etapa 0 corresponde al periodo en el que se disea la estrategia o programa. A partir de la etapa 1, corresponde al ao de operacin del programa.

Ficha de Monitoreo y Evaluacin

Mejora de MIR y Medicin de Indicadores

Evaluacin Especfica de Desempeo

Evaluacin de Diseo

Desarrollo de evaluaciones
CONEVAL (2007-2014)
2007

2008

2009

2010

2011

2012

2013

20141/

TOTAL

Costo aproximado
(miles de pesos)

106

141

247

$300 - $600

11

20

26

11

24

99

$100 - $300

131

127

133

137

528

$100 - $150

3
6
2

6
2
16

5
3
9
19

2
9

1
16

3
2
19

3
-

11
17
17
81

$1,000 -$3,000
ND*
ND*
ND*

Integrales

19

21

10

22

72

ND*

Estratgicas

10

ND*

Fichas M&E

258

185

443

ND*

Diagnstico
- variaciones*Los costos presentan grandes

24

24

ND*

TIPOS DE EVALUACIN

Consistencia y
Resultados
Diseo
Especfica de
Desempeo
Procesos
Impacto
Especficas
Complementarias

1/ Evaluaciones

recibidas al 30 de junio de 2014

1,549 Informes de Evaluacin

www.coneval.gob.mx

Usos de la informacin del SED de la Poltica Social

Cambios en la Poltica Programtica de Desarrollo Social
Tipo de Mejora
Corregir
actividades o
procesos del
programa

2010 1
Participaci
Programas
n Relativa

2011 2
2012 4
2013 5
Participaci
Participaci
Participaci
Programas 3
Programas
Programas
n Relativa
n Relativa
n Relativa

19

17%

35

47%

39

38%

39

41%

Modificar apoyos
del programa

22

20%

10

14%

12%

3%

Reorientar
sustancialmente el
programa

71

63%

26

35%

48

47%

47

50%

4%

8%

5%

1%

0%

0%

0%

113

100 %

74

100 %

102

100%

94

100%

Adicionar o
reubicar el
programa
Suspender el
programa
TOTAL
1

Con informacin de los Diagnsticos de las Matrices de Indicadores para Resultados 2008 y 2010.

Con informacin del Sistema de Seguimiento a los Aspectos Susceptibles de Mejora. Para el clculo se consideraron los aspectos susceptibles de mejora que se atendieron al 100%
marzo de 2012.
3

En el clculo se incluyen dos programas que concluyeron los compromisos, aunque ya no operaron en 2011.

Con informacin del Sistema de Seguimiento a los Aspectos Susceptibles de Mejora. Para el clculo se consideraron los aspectos susceptibles de mejora que se atendieron al 100%
reportados en septiembre de 2012 y marzo de 2013.
5

Con informacin del Sistema de Seguimiento a los Aspectos Susceptibles de Mejora. Para el clculo se consideraron los aspectos susceptibles de mejora que se atendieron al 100%
reportados a marzo de 2014, correspondinerte al ciclo 2013-2014.