EVALUACIN EN LA INTERVENCIN SOCIAL: DESAFOS Y NUEVAS

COMPETENCIAS
TRABAJO EN TERRENO: DISEO DE EVALUACIN DE PROGRAMAS Y PROYECTOS SOCIALES

PREGUNTAS DIRECTRICES

CUNTO NOS PREGUNTAMOS QU TAN EFECTIVO ES LO HACEMOS? CONOCEMOS QUE OCURRI CON LOS USUARIOS UNA VEZ EGRESADOS DE LOS PROGRAMAS?

SI NO EVALUAMOS LO QUE HACEMOS, PODRAMOS PERPETUAR PRCTICAS INEFICACES.

DEFINICIN DE EVALUACIN
Es el proceso de establecer juicios de valor basados en la evidencia sobre un programa o producto (Smith & Glass, 1987). 1. Es el proceso de proveer de informacin a los que toman las decisiones (Stufflebeam). 2. Es comparar, en un instante determinado, lo que se ha alcanzado mediante una accin, con lo que se debera haber alcanzado de acuerdo a una programacin previa (Espinoza, 1983)

DEFINICIN DE EVALUACIN
Es un tipo de investigacin que analiza la estructura, el funcionamiento y los resultados de un programa (Briones, 1985). Forma parte del ciclo de un proyecto

QU SE EVALA? EJEMPLOS DE OBJETOS DE EVALUACIN

-

Capacidad emprendedora Adherencia al tratamiento Calidad de la enseanza Nivel de reincidencia de un programa una vez que fue implementado Competencias personales Nivel de participacin ciudadana Apoyo social en mujeres emprendedoras Alianza teraputica Competencias parentales Seguimiento de procesos Satisfaccin usuaria Caracterizacin de usuarios

EL USO DE LA EVIDENCIA
Resultado del diseo de la evaluacin, mediciones realizadas y anlisis de la informacin recolectada Permite a quines coordinan y ejecutan programas, tomar decisiones

NECESIDAD DE EVALUAR LAS

INTERVENCIONES SOCIALES
1.

2.

3.

4.

Mejoras que logran las personas que participan, respecto de su condicin social y humana. Un segundo factor es de prestigio: muchos programas necesitan mostrar que son buenos, que logran resultados y que su manejo es eficiente Un tercer factor es econmico: lograr los mejores programas con los recursos limitados que existen. Sucede a nivel local y respecto de las agencias internacionales Un cuarto factor es legal: Dado que los recursos son escasos, los Ministerios y oficinas estatales han legislado sobre la obligacin de evaluar los programas

TOMA DE DECISIONES

PLANIFICACIN DE UN PROYECTO DE EVALUACIN

Etapas previas a la formulacin del proyecto

Identificar y describir el programa a evaluar 2. Identificar a las personas relevantes 3. Concertar reuniones preliminares Quin quiere la evaluacin? Qu tipo de evaluacin se desea? Para qu o por qu se desea la evaluacin? Cundo se necesita la evaluacin? Cuntos recursos hay disponible para la evaluacin?
1.

PLANIFICACIN DE UN PROYECTO DE EVALUACIN

4. Evaluar la evaluabilidad del programa (pertinente un anlisis FODA) 5. Revisar la literatura asociada a las variables involucradas (definiciones conceptuales y operacionales)

ALGUNAS DISTINCIONES IMPORTANTES EN EVALUACIN

MARCO TEMPORAL DE LA EVALUACIN

Evaluacin inicial (ex-ante) Es la evaluacin que se realiza antes de la ejecucin de un programa o intervencin.
1.

Puede evaluarse el diagnstico realizado, los objetivos del programa, el establecimiento de sus metas, su factibilidad, su metodologa, los usuarios, caracterizacin de grupos de usuario, determinacin de indicadores y verificadores, etc.

MARCO TEMPORAL DE LA EVALUACIN

2. Evaluacin intermedia (interim) Se realiza cuando el programa est en funcionamiento.

Busca mejorar el programa, reformular objetivos o plantear metas y objetivos

MARCO TEMPORAL DE EVALUACIN

3. Evaluacin final o terminal (ex-post) Es la que se realiza cuando el programa ha terminado. Suele conducir a modificaciones futuras.

Calidad de los resultados, eficacia, eficiencia, Satisfaccin, relacin con algunos de los Componentes del programa, etc.

MARCO TEMPORAL DE LA EVALUACIN

Evaluacin de seguimiento Se realiza una vez que el programa ha terminado y ha transcurrido cierto tiempo.

Busca identificar si los resultados se mantienen una vez que sus beneficiarios ya no participan en el programa. Busca establecer asociacin entre componentes del programa que mejor predicen el logro de un resultado

TIPOS DE EVALUACIN
Dependen de las necesidades de la evaluacin y el grado de cobertura de la evaluacin 1. EVALUACIN DIAGNSTICA Es la que se realiza cuando se concibe el programa. Verificar la existencia real de un problema (importancia de identificacin de un rbol de problema o modelo de problema) Busca establecer una lnea base, criterios de comparabilidad, estimacin de criterios de logro

TIPOS DE EVALUACIN
2. EVALUACIN DE OBJETIVOS Se evalan los siguientes aspectos respecto de los objetivos de un programa: - Identificacin - Claridad - Adecuacin contextual - Grado de generalidad - Secuencia - Cuantificacin - Tiempo de logro

TIPOS DE EVALUACIN
3. EVALUACIN DE PROCESOS Es la evaluacin de los elementos internos del programa. Procesos de mantenimiento y procesos de cambio a. Procesos de mantenimiento

Cmo est funcionando el programa? Existen factores que dificultan su funcionamiento? Se pueden controlar? Se pueden mejorar? Existen factores que facilitan su funcionamiento? Se pueden mejorar o manejar mejor?

TIPOS DE EVALUACIN
b. Procesos de cambio Interacciones que se producen entre el personal del equipo tcnico y los usuarios o beneficiarios del programa Algunas reas: - Contexto de interaccin (lugar, espacio fsico, temporal) - Procesos de interaccin y desarrollo del programa - Estrategias y metodologas de innovacin y cambio introducidas en la interaccin con los usuarios

MONITOREO
Monitoreo (tipo de evaluacin de procesos) El monitoreo es un control interno del programa durante su proceso (habitualmente control financiero) SUGERENCIAS DE INFORMES EVALUATIVOS Revisar pginas web con evaluaciones de proyectos http://www.dipres.cl/572/channel.html

Pginas de los ministerios y agencias de cooperacin (ONU, CEPAL, PNUD, FLACSO, PAZ CIUDADANA)

EVALUACIN DE RESULTADOS

EVALUACIN DE RESULTADOS

Eficacia o efectividad Aceptabilidad Impacto Eficiencia

EVALUACIN DE EFICACIA O EFECTIVIDAD DE

UN PROGRAMA

Logros obtenidos
Temporalidad Un programa puede ser eficaz al corto plazo, pero puede perder eficacia en el largo plazo. En cambio, otro programa puede ser eficaz slo en el mediano o largo plazo (seguimiento del programa).

Ex-ante

Interim

Ex-post

Seguimiento

EVALUANDO LA EFICACIA

Si el programa produjo o no los cambios esperados. a) Cuando hay metas concretas, si se lograron y en cunto tiempo. b) el nivel, magnitud o grado de los cambios producidos, en toda la poblacin de beneficiarios o en un subgrupo o subgrupos. c) la intensidad o profundidad de los cambios (dimensin subjetiva del cambio) d) explicacin de los cambios: si fue el programa mismo u otros factores o una combinacin de los dos (efectos principales o de la interaccin) e) Permanencia en el tiempo de los logros obtenidos

EVALUANDO LA ACEPTABILIDAD DE UN
PROGRAMA

Satisfaccin

de los participantes con

el programa Satisfaccin en los indirectamente implicados Satisfaccin en comunidades y familias

EVALUANDO EL IMPACTO DE UN PROGRAMA

Son los efectos del programa que van ms all del logro de los objetivos y metas planteados. Pueden ser impactos en los grupos o familias de los beneficiarios, en la comunidad en la que viven, impactos ambientales, impactos sociales Por ejemplo, un programa de perfeccionamiento docente puede ser muy efectivo, en el sentido que los docentes lograron aprender lo que les fue enseado, y sin embargo, no tener impacto si lo que aprendieron no lo aplican en la sala de clase y por, lo tanto, no es transferido a los alumnos. Los impactos pueden ser previstos o no por el programa (en su diseo) y pueden ser positivos o negativos.

EVALUANDO LA EFICIENCIA DE UN PROGRAMA

Se refiere al uso de los recursos (humanos, econmicos y tiempo). Un programa ser eficiente si logra los objetivos con menos recursos humanos y econmicos y en un menor tiempo. Programas ms participativos pueden ser menos eficientes en trminos de tiempo, pero tener mayores impactos. Debe evaluarse, no obstante, la potencialidad participativa de los beneficiarios o su factibilidad o funcionalidad (aspectos tcnicos, por ejemplo).

EVALUANDO LA EFICIENCIA DE UN PROGRAMA

La evaluacin de la eficiencia puede hacerse en cualquier momento del programa. Puede hacerse ex ante para anticipar costos y beneficios; sin embargo, los beneficios son slo conjeturas y deben tomarse como tal. Puede hacerse mientras se desarrolla el programa o al final.

EVALUANDO LA EFICIENCIA DE UN PROGRAMA

a.

b.

Anlisis de costo-beneficio: Establece relaciones entre costos monetarios del programa y resultados o beneficios monetarios. Por lo general, este anlisis se realiza en programas productivos, que no son los programas objeto de nuestro curso. Anlisis de costo-efectividad: Establece relaciones entre costos monetarios del programa y resultados o beneficios no monetarios. Este es el anlisis que por lo general se hace en programas o intervenciones sociales.

EVALUANDO LA EFICIENCIA DE UN PROGRAMA

Clculo de la efectividad: 1. Tiempo para la obtencin de los logros 2. Programa con diversos objetivos: si un programa tiene ms de un objetivo y estos estn jerarquizados, podemos ponderar los logros de esos objetivos, multiplicando por ejemplo por 2 los logros del objetivo principal y por 1 los logros del objetivo secundario. 3. Efectividad en sub-grupos de poblacin: un programa puede tener dos grupos de beneficiarios. Tambin aqu podran ponderarse, si se le da mayor prioridad a un grupo (ej. Beneficiarios directos o indirectos)

EVALUANDO LA EFICIENCIA DE UN PROGRAMA

Por ejemplo, en un programa de mejoramiento de la educacin, se consideraron como indicadores de efectividad: el 1) aumento real en los resultados SIMCE de las escuelas que participan en el programa, 2) aumento del rendimiento de los nios que han participado en unos talleres del programa y aumento de los 3) ndices de aprobacin y disminucin de los de reprobacin y retiro de los nios.

MODELOS DE EVALUACIN
Es un esquema sobre los principales procedimientos para recoger la informacin solicitada Globales: pequeas intervenciones (ej. Programa semi-cerrado). Puede basarse exclusivamente en proyectos de corta duracin Analticos: programas de mayor envergadura. Se dirige hacia aspectos estructurales del mismo. Ej. Todos los programas de la Red Sename.

ESQUEMA METODOLGICO DE UN DISEO DE EVALUACIN DE PROGRAMAS

Descripcin del programa a evaluar Formulacin del problema de evaluacin Objetivos de la evaluacin (generales y especficos) Marco conceptual de la evaluacin El modelo de evaluacin (adaptaciones y justificacin) Mtodo (diseo, muestra, instrumentos) Equipo de trabajo necesario para efectuar la evaluacin Plan de trabajo y cronograma Estrategia de devolucin de la informacin