Sie sind auf Seite 1von 30

Documentos de la Diniece

GUA
PARA EVALUACIN de PROGRAMAS

EN EDUCACIN

AUTORIDADES
Presidenta de la Nacin Dra. Cristina Fernndez de Kirchner Ministro de Educacin Prof. Juan Carlos Tedesco Secretario de Educacin Prof. Alberto Sileoni Secretario de Polticas Universitarias Dr. Alberto Dibbern Subsecretaria de Equidad y Calidad Prof. Susana Montaldo Subsecretario de Planeamiento Educativo Lic. Osvaldo Devries Subsecretario de Coordinacin Administrativa Arq. Daniel Iglesias Secretario General del Consejo Federal de Educacin Prof. Domingo de Cara Directora Ejecutiva del Instituto Nacional de Educacin Prof. Mara Rosa Almandoz Directora Ejecutiva del Instituto Nacional de Formacin Docente Prof. Mara Ins Abrile de Vollmer Directora Nacional de Informacin y Evaluacin de la Calidad Educativa Lic. MARTA KISILEVSKY

Elaboracin: rea de Investigacin / Coordinadora: Liliana Pascual Magdalena Chiara Relaciones Institucionales y Comunicaciones: Agustina Lpez Diseo y Diagramacin: Karina Actis Juan Pablo Rodrguez Coralia Vignau

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

NDICE
Presentacin.............................................................................................................5 ..............................................................7 1. Pasando en limpio los CONCEPTOS. Qu se entiende por evaluacin?......................................................................7 Cul es la diferencia con el monitoreo?. ............................................................8 Qu se entiende por programa? Cmo se relaciona programa y poltica?. ......................................................................................................8 Cules son los componentes de un programa?.................................................9 Cules son las funciones de la evaluacin de programas?.................................9 Quines son los actores a considerar en una evaluacin?................................10 Con relacin a este captulo, tenga en cuenta que . .........................................10 Bajando a la prctica .......................................................................................11 Para seguir indagando .....................................................................................11

2. Decisiones en torno al DISEO de los Estudios Evaluativos........................12 Evaluacin y ciclo de vida de los programas: cundo evaluar?.........................12 La definicin de las PREGUNTAS: momento clave en el diseo ..................................................................................12 de un estudio evaluativo. Una vez definidas las preguntas, cules son las decisiones a tomar para disear un estudio evaluativo?..................................................................13 Cules son los tipos posibles de evaluacin de programas?.............................14 Con relacin a este captulo, tenga en cuenta que . ........................................16 Bajando a la prctica .......................................................................................16 Para seguir indagando .....................................................................................16

3. La Evaluacin en DIEZ fases............................................................................17 Fase 1: Conformacin del equipo evaluador. ....................................................17 Fase 2: Reconstruccin de las coordenadas del programa a evaluar..................17 Fase 3: Identificacin de los actores e involucrados. ..........................................18 Fase 4: Recorte y Descripcin del Problema Focal.............................................18 Fase 5: Definicin de las preguntas y enunciacin de los objetivos....................19 Fase 6: Operacionalizando las preguntas para avanzar en la indagacin...........20 Fase 7: Relevamiento de datos.........................................................................21 Fase 8: Anlisis de los datos.............................................................................22 Fase 9: Elaboracin del informe. .......................................................................23 Fase 10: Devolucin de los resultados..............................................................25 Estudios Evaluativos realizados por DINIECE en el ltimo ao........................26

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE 

PRESENTACIN
La evaluacin de programas ha experimentado un importante crecimiento en las ltimas dcadas en el campo del desarrollo territorial y econmico, as como en salud, asistencia social y educacin. Estos avances se basan en el supuesto de que los estudios evaluativos pueden contribuir de manera sostenida con el proceso de mejora continua de las polticas pblicas, tanto en su diseo como en su implementacin, haciendo de este modo ms efectivas las intervenciones pblicas. A la complejidad propia del diseo e implementacin de polticas orientadas a los servicios sociales universales, la poltica educativa suma algunas particularidades (su institucionalidad, la naturaleza de sus contenidos bsicos y los actores que la sostienen, entre otros) que le confieren atributos particulares a los procesos que se suceden en torno al ciclo de la intervencin pblica. En este contexto complejo, la disponibilidad de informacin confiable y vlida resulta de vital importancia para mejorar la oportunidad y pertinencia de la toma de decisiones. Dado el inters del Ministerio de Educacin de la Nacin por promover el desarrollo y fortalecimiento de capacidad estatal en torno a la generacin, uso y reflexin sobre la informacin en los distintos niveles del sistema educativo nacional; y respondiendo a los requerimientos realizados por distintas jurisdicciones, la DINIECE pone a disposicin de las instituciones provinciales este documento que busca pasar en limpio una metodologa de evaluacin de programas en educacin. La misma ha sido elaborada recuperando desarrollos adaptados a los requerimientos de la poltica educativa y sistematizando distintas metodologas aplicadas por la DINIECE en evaluaciones a escala nacional realizadas en los ltimos aos.1 Se advierte al lector que no encontrar aqu un manual de evaluacin de programas y menos an un estado del arte al respecto. La literatura existente es vasta y sera imposible sistematizarla en tan pocas pginas. Sin pretensin de sustituir aquella lectura, este documento pasa revista a un conjunto de consideraciones conceptuales, metodolgicas y tcnicas que -- a juicio del equipo de la DINIECE -- pueden ser de utilidad para quienes desde los niveles provinciales deseen avanzar en el diseo e implementacin de estudios evaluativos de programas en educacin. Esta gua es una herramienta que busca orientar a los equipos de evaluacin en el diseo y ejecucin de estudios evaluativos. Para ello, se organiza tendiendo a responder las siguientes preguntas: n Cules son los conceptos bsicos relativos a la evaluacin y al mundo de los programas? n Cules son las alternativas disponibles en modelos de evaluacin? Cules los criterios para seleccionar el modelo ms adecuado en un contexto concreto? n Cules son las fases que atraviesa un proceso de evaluacin? Cules sus propsitos, alcance y operaciones? Si bien este documento pone el foco en los programas en tanto unidades de evaluacin, no los considera como mbitos aislados del conjunto de la poltica educativa. Esta decisin supone reconocer que el programa en accin se articula con otras intervenciones que constituyen la poltica educativa. Este documento est organizado en tres partes. Una primera parte, pasa en limpio un conjunto de conceptos que ayudan a comprender qu se entiende por evaluacin y cules son las diferencias con el monitoreo, la especificidad de los programas y su relacin con la poltica pblica, los componentes de un programa, las funciones de la evaluacin y sus actores. En una segunda parte, se pasa revista a las decisiones crticas que tienen lugar en torno al diseo de estudios evaluativos situando a la evaluacin en el ciclo de vida de los programas, la definicin de las preguntas y las decisiones clave que determinan la adopcin del modelo a adoptar; el apartado termina con una muy sinttica presentacin de los modelos posibles y sus atributos principales. La tercera parte, define los propsitos, alcance y operaciones de cada fase. Cada apartado finaliza con una recapitulacin de las ideas centrales y, dados los propsitos de este documento, con consideraciones prcticas para orientar a los evaluadores en el diseo y ejecucin de estudios evaluativos.

En las referencias bibliogrficas se consignan las evaluaciones realizadas por la DiNIECE en los ltimos aos cuyas reflexiones se recuperan en este documento.
1

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE 

1. PASANDO EN LIMPIO LOS CONCEPTOS


Qu se entiende por evaluacin?
Evaluar consiste en determinar el valor o mrito de algo. En consecuencia, implica alguna identificacin de criterios y estndares relevantes y la realizacin de un anlisis adecuado a ellos. Tal como seala Mokate (2000), la evaluacin aplicada a la gerencia de acciones pblicas requiere de la especificacin y concertacin de expectativas, criterios y/o estndares y su aplicacin a la valoracin de las iniciativas. Uno de los aspectos conceptualmente ms potentes para entrar a esta cuestin es que la evaluacin reconoce que el plan de accin que un programa se propone es una hiptesis de trabajo. Desde esta perspectiva, la evaluacin reconstruye las relaciones causales esperadas en clave de actividades productos objetivos intermedios (efectos) objetivo final (impacto). As, el diseo de la evaluacin (y las actividades que compromete) tiene que apuntar a poner en el centro del anlisis al problema focal al cual el programa busca resolver (paliar o modificar) y reconstruir los cambios en aquellos factores que (supone esa hiptesis de trabajo que es el programa) inciden de manera ms decisiva en la modificacin (progresiva) del problema focal. La evaluacin debe ser concebida como un proceso de aprendizaje de la gestin. Sin embargo, es necesario dar cuenta de ciertas condiciones para que ello suceda, a saber: Un primer tema es el que refiere a quines son los sujetos de la evaluacin. n Un segundo aspecto refiere a las funciones que cumplir la evaluacin. n Un tercer aspecto a considerar es el manejo oportuno de los flujos de informacin (que resultan de la evaluacin); la misma deber ser relevante y acorde a los intereses de los actores y a sus posibilidades de transformacin de la realidad.
n

La evaluacin implica una reflexin, esto es, tomar distancia de la accin para tomar sta como objeto de anlisis, para revisar qu es lo que se est proponiendo o qu se est haciendo o qu se ha hecho, analizar las caractersticas de las metodologas de intervencin planteadas o desplegadas, y determinar si la orientacin es efectivamente hacia la direccionalidad deseable, aclarando cules escollos y cules facilidades se presentan y cules logros se esperan y/o se han obtenido. Nirenberg (2008)

Por ejemplo, el diseo de la evaluacin de un programa orientado a mejorar la retencin de alumnos en los primeros aos de la escuela bsica, deber explicitar cules son los factores (operacionalizados en variables) que supone inciden ms decisivamente en ese problema y valorar el desempeo de esas variables sobre las cuales el programa busca intervenir (formacin docente, organizacin escolar, recursos didcticos, becas, entre otros).

A diferencia de otras valoraciones que se suceden en la vida cotidiana y en la gestin, la evaluacin supone la aplicacin sistemtica y explcita de ciertos procedimientos regidos por los principios de la confiabilidad y validez.

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

Cul es la diferencia con el monitoreo?


El monitoreo de programas se ha diferenciado de la evaluacin en tanto ste hace un seguimiento de las acciones de la iniciativa que se evala y los productos de dichas acciones; busca detectar de manera oportuna deficiencias en el proceso de ejecucin para hacer ajustes en la gestin. Su marco de referencia es el plan de actividades y, en consecuencia, analiza la ejecucin de las actividades en relacin a dicho plan. El monitoreo hace un seguimiento de la ejecucin de actividades, la asignacin de los productos y el modo y cantidad como son usados los recursos. La evaluacin, tal como se la ha definido, se extiende ms all que el monitoreo porque reconoce que el plan de accin; tal como seala Mokate (2000), constituye una hiptesis con respecto al camino que puede conducir al logro de los objetivos. La evaluacin busca comprobar que el camino elegido efectivamente est conduciendo a las mejoras en las condiciones de vida que se buscaban promover. Como puede advertirse, la formulacin de las preguntas define el tipo de evaluacin y los procedimientos a adoptar.
El monitoreo se dirige a las preguntas siguientes: i) en qu medida cumple la iniciativa las actividades especificadas en su programacin? ii) qu coincidencia se presenta entre la cantidad y calidad de los servicios o actividades esperados y los que se estn generando? iii) en qu medida est la iniciativa llegando a los beneficiarios apropiados? iv) los recursos del programa se utilizan de manera apropiada? y v) cules son las satisfacciones y las insatisfacciones de diversos involucrados con respecto al desenlace de la iniciativa? Mokate, 2000

Qu se entiende por programa? Cmo se relaciona programa y poltica?


El objeto de una evaluacin es un programa o proyecto que se propone con el fin de mejorar y modificar distintos factores que hacen a un funcionamiento insatisfactorio de la educacin y sus instituciones. Programa y proyecto son conceptos relacionados que aluden a distintos niveles de organizacin en la cascada de la planificacin. En ambos casos, se trata de acciones que se orientan a objetivos definidos conforme un determinado diagnstico de una situacin o problema. En adelante, haremos referencia de manera genrica a los programas. Ahora bien, a lo largo de su ciclo de vida, los programas no se mantienen en estado puro; ya que cuando se ponen en marcha, se relacionan con otros programas, o con otras formas de organizacin. La relacin de los programas educativos con la poltica educativa en los distintos niveles (nacional, provincial o departamental) depende de las caractersticas que asumen los procesos de gestin, las condiciones del contexto y las capacidades estatales. Este ltimo aspecto resulta clave en tanto las capacidades disponibles colaborarn con el modelado del programa como respuesta a las cuestiones problematizadas en cada nivel.

La evaluacin, entonces, propone responder las siguientes preguntas, entre otras: i) en qu medida cumple la iniciativa los objetivos que justificaba su existencia?. En qu medida cumple dichos objetivos con la calidad esperada, en los tiempos y lugares esperados? ii) cumple los objetivos de manera eficiente?, equitativa?, sostenible?. iii) qu efectos (positivos y/o negativos) se generan, diferentes a los que se reflejan en los objetivos? iv) hay determinadas circunstancias o caractersticas entre las poblaciones objetivo que facilitan (o dificultan) el logro de los objetivos? v) cules caractersticas de la gestin facilitan (o dificultan) el logro de los objetivos? Mokate, 2000

Proyecto: Es una empresa planificada consistente en un conjunto de actividades interrelacionadas y coordinadas con el fin de alcanzar objetivos especficos dentro de los lmites de un presupuesto y un periodo de tiempo dados. Programa: Se constituye por un conjunto de proyectos que persiguen los mismos objetivos. Establece las prioridades de la intervencin, identificando y ordenando los proyectos, definiendo el marco institucional y asignando los recursos que se van a utilizar. ONU (1984)

El concepto de gestin permite establecer conexiones entre el concepto de poltica educativa y de programa ya que cuando se habla de gestin de la poltica educativa, se est hablando (tambin) de programas en acto.

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE 

Cules son los componentes de un programa?


As definido, un programa supone la existencia de ciertos componentes que expresan decisiones de los actores gubernamentales sobre el POR QU, QU, el COMO, el CUANDO, el CON QU y el PARA QU, en parte, de una determinada intervencin pblica en educativa. Implica recortar un PROBLEMA FOCAL y la indagacin en los factores que inciden decisivamente en el mismo. Este anlisis supone la existencia de un DIAGNSTICO (ms o menos participativo) de cul es la estructura y dinmica de la problemtica en torno a la cual se propone intervenir y que justifica, adems, la necesidad de intervencin. n Supone la adscripcin o construccin de una determinada TEORA DEL CAMBIO del problema focal sobre el cual pretende intervenir. n Como resultado de la identificacin del problema focal, el anlisis diagnstico y la explicitacin (o no) de la teora del cambio que sostiene al programa, es necesario que estn planteados un conjunto de OBJETIVOS que orienten la accin, expresando su POBLACIN OBJETIVO. n Para alcanzar estos objetivos, el programa disea un conjunto de ACTIVIDADES a las que se les asignan RECURSOS, previstos en el presupuesto del programa o bien aquellos regulares de la institucin en la cual el programa va a desarrollarse. n Los objetivos buscan alcanzar un conjunto de RESULTADOS que prefiguran la situacin objetivo que se quiere alcanzar una vez finalizado el programa, as como la COBERTURA que espera alcanzar.
n

Cules son las funciones de la evaluacin de programas?


La evaluacin tiene como funcin principal la de TOMAR DECISIONES en torno a una determinada intervencin. Las funciones de los estudios evaluativos son diversas; la literatura (Fernndez Ballesteros, 1997) seala cuatro posibles a saber: Conocer acerca de las actuaciones sobre el programa: Auxiliar en la toma de decisiones sobre el objeto a evaluar para eliminar la intervencin, sustituirla por una alternativa o mejorarla. n Justificar las decisiones ya emprendidas. n Fundamentar un gasto presupuestario: Sustentar la ejecucin presupuestaria con informacin adicional referida a los objetivos previstos y sus logros. n Contrastar teoras: A pesar de las diferencias que existen entre la investigacin acadmica y los estudios evaluativos, es posible que una evaluacin sea solicitada con la finalidad de contrastar las hiptesis que sustentaron el diseo del programa.
n

Dadas estas funciones posibles, el equipo evaluador deber indagar PARA QU ha sido encargada la evaluacin, esto es, cules son sus propsitos tanto explcitos como implcitos.

Cabe destacar que estos componentes suelen estar presentes de manera explcita en los documentos de los programas, aunque con niveles desiguales de coherencia interna. Sin embargo, el equipo de evaluacin puede encontrarse en algn caso con un conjunto de intervenciones denominadas por sus responsables como programa pero que no tengan explicitados la totalidad de estos componentes, o bien, los mismos padezcan de ciertas inconsistencias internas. Esta situacin enfrenta al equipo evaluador a la tarea de reconstruir (recuperando la visin de sus promotores a travs de entrevistas y documentos) el objeto a evaluar, esto es, el problema focal, el diagnstico de partida, sus objetivos implcitos y su poblacin objetivo, actividades principales y, probablemente, sus recursos.2 En estas circunstancias, se trata de una tarea inicial que har posible -- posteriormente -- el diseo del estudio evaluativo.

Componentes de un programa: Problema Focal. Diagnstico. Teora del cambio. Objetivos. Poblacin objetivo. Actividades, Recursos. Cobertura. Resultados.

En algunos casos, los recursos tienen distintos orgenes (presupuestarios y no presupuestarios y de diferentes organismos) de modo que la tarea de la evaluacin ser tambin reconstruirlos en su origen, institucionalidad de gestin y magnitud.
2

10

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

Quines son los actores a considerar en una evaluacin?


En su diseo, el equipo evaluador tiene que prestar suma atencin a los actores de la evaluacin. En cada uno de los niveles en que un programa despliega su implementacin, sus procesos y resultados (xitos y fracasos) dependen de los actores que intervienen. El desarrollo de un estudio evaluativo requiere de dar cuenta de los distintos niveles en que los actores intervienen. Desde esta perspectiva, podra configurarse dos grupos de actores de la gestin, a saber: Actores directamente comprometidos con el desarrollo del programa: equipo responsable (poltico y tcnico) y contrapartes provinciales, departamentales y en los establecimientos. n Actores cuyas tomas de posicin y aportes inciden en el desarrollo del programa: sea desde sus aportes como desde la capacidad de veto que puedan tener (responsables de las reas regulares de los ministerios sean nacionales o provinciales --, responsables de las instancias subnacionales vinculadas, legisladores, actores escolares, entre otros).
n

nivel, se encuentran en uno y otro grupo. Ahora bien, por qu es importante identificar a los actores de la implementacin de un programa? Porque los actores facilitan u obstaculizan el desarrollo de un programa conforme la convergencia o divergencia de las orientaciones del programa respecto de sus intereses. n Porque las visiones acerca del problema que ellos tienen tendr incidencia directa o indirecta en la reorientacin del programa. n Porque cada uno de ellos tiene (por fuera del programa) ciertos mandatos institucionales. n Porque, ms all de los recursos que un programa tiene para llevar adelante las actividades previstas, estos se combinan en cada nivel con recursos de otro tipo aportados por los actores que participan directa o indirectamente.
n

La identificacin de los niveles de anlisis resulta central para identificar los actores que, en cada

Es necesario reconstruir los recursos, visiones, intereses y mandatos para comprender y explicar las orientaciones y caminos que un programa asume en su implementacin. Asimismo, es importante identificar los actores con los que se analizarn los resultados de la evaluacin para contribuir con el desarrollo de capacidad estatal.

Actores: Aquellas formas concretas, ya sea organizaciones o individuos, que ejercen algn tipo de incidencia en el proceso de gestin de un programa.

Atributos de los actores: Intereses. Visiones sobre el problema. Mandatos. Recursos.

Con relacin a este captulo, tenga en cuenta que


n n

n n n n n

Evaluar un programa es determinar su valor en relacin a ciertos criterios y estndares deseables. La evaluacin supone una reflexin que toma distancia del programa y su implementacin, a travs de la aplicacin de procedimientos sistemticos que respondan a los criterios de la confiabilidad y validez. A diferencia de la evaluacin, el monitoreo hace un seguimiento de las acciones de la iniciativa que se evala y los productos de dichas acciones. En su implementacin, los programas se convierten en poltica educativa y la trama de intervenciones constituye su contexto. El diseo de un estudio evaluativo tiene que tener en cuenta los distintos componentes de un programa: problema focal, diagnstico, teora del cambio, objetivos, actividades y recursos. La funcin principal de un estudio evaluativo es tomar decisiones en torno a una determinada intervencin. Los actores contribuyen con la implementacin de un programa educativo desde sus intereses, visiones acerca del problema, mandatos institucionales y aporte de recursos.

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

11

Bajando a la prctica
n n n n n

Todo estudio evaluativo debe ser pensado, desde su diseo, como proceso de aprendizaje institucional. Es imprescindible explicitar los procedimientos a adoptar para fundamentar la validez de los resultados. El mbito de anlisis de un estudio evaluativo debe recuperar el contexto de la poltica en el que dicho programa tiene lugar. Si los componentes de un programa no resultan del todo claros o explcitos, la tarea inicial del evaluador consistir en reconstruir las coordenadas bsicas del programa. El equipo evaluador deber desentraar para qu ha sido encargada la evaluacin para poder identificar las preguntas que resulten social e institucionalmente relevantes para la posterior toma de decisiones. La identificacin de los actores es clave para dar cuenta de la complejidad de la implementacin al momento de responder a las preguntas que el estudio se plantea y para proponer espacios de participacin desde los cuales analizar crticamente los resultados.

Para seguir indagando Fernndez Ballesteros, R (1996) Evaluacin de Programas. Una gua prctica en mbitos sociales, educativos y de salud, Ed. Sntesis, Madrid Mokate, K. (2000); El Monitoreo y la evaluacin: Herramientas indispensables de la gerencia social. Notas de Clase. INDES/ BID. www.indes.iadb.org Niremberg.O. (2007) Modelos para la evaluacin de polticas: insumos para una mejora de la gestin. En: Chiara, M. y Di Virgilio, M. M. Gestin de la Poltica Social: Conceptos y herramientas. Co-ediciones UNGS, Buenos Aires. En prensa.

12

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

2. DECISIONES EN TORNO AL DISEO DE LOS ESTUDIOS EVALUATIVOS

Evaluacin y ciclo de vida de los programas: cundo evaluar?


No todos los estudios evaluativos son iguales. Ms all de las diferencias, las evaluaciones contribuyen (de hecho) a los objetivos de profundizar la transparencia de la accin gubernamental y a mejorar el desarrollo de la gestin. En esta lnea de reflexin, son distintos los momentos en que la evaluacin puede aportar a estos propsitos generales. Sin embargo, hay que tener en cuenta que el ciclo de polticas no est organizado en momentos estancos, sino en que es un continuo diseo implementacin evaluacin redefinicin. Desde esta perspectiva, si bien la evaluacin es una accin sistemtica y diferenciada, entra en dilogo (y debe hacerlo tambin sistemticamente) con los otros momentos del ciclo de poltica (diseo e implementacin) produciendo en ellos modificaciones. As concebido el ciclo de vida de las polticas, la evaluacin es diferente segn aborde aspectos del diseo o de la implementacin y en consecuencia puede ser realizada:
n

La definicin de las PREGUNTAS: momento clave en el diseo de un estudio evaluativo


Toda evaluacin compromete una reflexin sistemtica y fundada acerca de la accin. Esa reflexin no se da en abstracto sino en las relaciones entre los actores de la gestin del programa y de la poltica educativa. En consecuencia, para que exista una relacin virtuosa entre evaluacin y gestin es necesario que el equipo evaluador indague en las preocupaciones que dan lugar a la evaluacin y formule de manera explcita las preguntas que orientan dicha reflexin. Debe advertirse que no se trata de una traslacin lineal de las preocupaciones de quien solicita la evaluacin a las preguntas que orientarn la indagacin. La formulacin de las preguntas constituye un momento crucial del diseo del estudio evaluativo y comprende un trabajo crtico del equipo evaluador que debe tener en cuenta las siguientes cuestiones:
w

Antes de iniciado el programa: evaluacin ex ante. n Durante la implementacin del programa: evaluacin ex post. n Una vez finalizado el programa: evaluacin ex post. Ahora bien, la decisin acerca del tipo de estudio evaluativo a encarar depende no slo del momento en que la evaluacin tiene lugar sino muy especialmente de las preguntas que dan lugar al estudio evaluativo y las posibilidades institucionales y presupuestarias existentes para el desarrollo del estudio.

Las necesidades y motivaciones que dieron lugar al requerimiento. Por ejemplo: fundamentar un requerimiento presupuestario; indagar acerca de cmo el programa est desarrollndose a nivel de departamentos o escuelas; por citar algunos ejemplos. w El estado del arte respecto de la problemtica en la que se inscribe el estudio. Por ejemplo, los estudios acerca del fracaso escolar, educacin y pobreza, calidad educativa, dinmica escolar; por citar algunos ejemplos. w El momento del desarrollo del programa en que la evaluacin tendr lugar (antes, durante y despus). w La mirada de otros actores vinculados con la implementacin del programa y sus preocupaciones. La reconstruccin de la situacin en el seno de la cual se formulan las preguntas es una tarea que puede realizarse a travs de:
n

Reuniones y encuentros de trabajo con decisores/solicitantes de la evaluacin. n Entrevistas en profundidad y conversaciones con actores vinculados con el programa.

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

13

Lectura de peridicos locales los que pueden ser un emergente de la agenda pblica en la que se inscribirn los resultados del estudio evaluativo. En consecuencia, la definicin de las preguntas de un estudio evaluativo es un proceso de construccin que pone en dilogo las motivaciones de la gestin con los avances en el campo acadmico. Se trata de un primer momento en el proceso de construccin del objeto de la evaluacin. Las preguntas irn orientando la seleccin de la estrategia de investigacin que se considere ms adecuada para darles respuesta.

Momento del programa en que se desarrolla la evaluacin: w Previo al inicio del programa. w A medio camino de su implementacin. w Finalizando una primera etapa. w Finalizado el programa. Propsitos: w Promover ajustes en su diseo o abonar al desarrollo de alternativas de intervencin. w Conocer la cobertura de un programa. w Conocer los puntos fuertes y dbiles de su administracin y gestin. w Valorar los cambios que el programa est produciendo. w Justificar una alternativa de inversin respecto de otra para un mismo objetivo.

Una vez definidas las preguntas, cules son las decisiones a tomar para disear un estudio evaluativo?
Una vez formuladas las preguntas, resta tomar un conjunto de decisiones que van a definir qu TIPO de EVALUACIN se va a adoptar y, en consecuencia, cul ser la METODOLOGA del estudio evaluativo. Se trata de decisiones diferentes en tanto la primera (tipo de evaluacin) tiene que ver con el momento en que se planifica el estudio y sus propsitos, mientras que la segunda (metodologa) refiere al modo como van a aportarse y analizarse los datos necesarios.:

Se trata de dar cuenta -- en la metodologa de evaluacin -- de la complejidad de los procesos de gestin del programa y de la forma que incide en la modificacin del problema focal. Dadas estas consideraciones, el empleo de tcnicas cuantitativas o cualitativas es una decisin posterior que depender del momento en que se plantee la evaluacin y de sus propsitos; en sntesis, la metodologa depende de la naturaleza de las preguntas que se espera responder con los resultados del estudio evaluativo. La triangulacin de aproximaciones cualitativas y cuantitativas brinda pistas para poder dar cuenta de la complejidad que estn expresando las preguntas de un estudio evaluativo.

Preguntas posibles para la Evaluacin de la conceptualizacin y del diseo de los programas:


n n

Cules son el grado y distribucin de los problemas a los que se dirige el programa? Se ha diseado el programa de acuerdo con los objetivos inicialmente perseguidos? Es lgico y racional? n Cules son las tensiones en torno a la definicin del problema que da origen al programa que han tenido lugar en el momento de su diseo? n Cul es la teora del cambio que sustenta el programa? Adaptado de Ballart, 1997: 78

14

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

Preguntas posibles para la Evaluacin de la implementacin de los Programas:


n

Hasta qu punto el programa est alcanzando la poblacin especfica o el rea a la que se dirige? n En qu medida el esfuerzo de la intervencin se est llevando a cabo como se especific en el diseo original? n Cules son los factores institucionales que facilitan los procesos de gestin en relacin al logro de los objetivos y cules los obstaculizan? Adaptado de Ballart, 1997: 78

Cules son los tipos posibles de evaluacin de programas?


Son muy diferentes los criterios que permiten establecer los tipos de evaluacin y, en consecuencia, guiar la decisin acerca de cul es el ms adecuado. Dado el carcter no exhaustivo de este documento, se presenta aqu una de las clasificaciones posibles que pueden ser tiles a los efectos de cruzar los criterios anteriormente aludidos (momento en que se encuentra el programa y propsitos de la evaluacin). Esta clasificacin propuesta por Xavier Ballart (1992) recupera cuatro tipos diferentes de evaluacin, a saber: a. Evaluacin de la conceptualizacin y del diseo de los programas: n Intenta proporcionar informacin sobre: w el problema del que se ocupa o debera ocupar el programa; w el proceso de formulacin y diseo del programa; y w la racionalidad intrnseca del mismo programa; es decir, hasta qu punto el diseo sirve a sus objetivos.
n

los recursos de que dispone como de los servicios efectivamente distribuidos y su oportunidad; y w los factores institucionales que facilitan u obstaculizan los procesos de gestin en relacin al logro de los objetivos.
n

Requiere de asumir un abordaje tanto cuantitativo como cualitativo y hace uso de fuentes primarias y secundarias. n Apelan a distintas tcnicas para recolectar informacin: encuestas, entrevistas en profundidad y grupos focales. c. Evaluacin de la eficacia o impacto de los programas:
n

Sin serlo, abreva y dialoga con los resultados de las investigaciones acadmicas relativas al problema del que se ocupa el programa y sobre las polticas y programas orientados a su resolucin.

b. Evaluacin de la implementacin de los programas:


n

Busca aportar una valoracin sistemtica acerca de: w la cobertura del programa, es decir, hasta qu punto el programa est alcanzando a la poblacin o el rea a los que se dirige; w la forma en que el programa se administra, tanto respecto de la utilizacin de

Examina en qu medida el programa produce un cambio en la direccin deseada. n El anlisis de impacto supone la existencia de un conjunto de objetivos operacionales y que stos son indicativos del xito o del fracaso del programa. Puede afirmarse que ste ha funcionado correctamente si consigue algn cambio en la situacin descripta por esos objetivos. n El principal problema de la evaluacin de impacto es separar los efectos del programa de los denominados efectos externos al programa, con la finalidad de determinar hasta qu punto el programa es responsable de los cambios observados durante y despus de su puesta en prctica. n Esto se consigue por diferentes diseos:
w

Diseos experimentales: Son los ms potentes desde el punto de vista metodolgico ya que utilizan grupos experimentales o grupos de control. El poder del mtodo reside en que se asig-

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

15

nan aleatoriamente a los individuos a cada uno de los grupos (experimental con programa -- y de control sin programa--); esta operacin asegura la igualacin de ambos grupos en todas las dems variables que podran estar influyendo en el resultado final. w Diseos cuasi-experimentales: La implementacin de un verdadero experimento resulta difcil tanto en la forma como se administran los programas como porque la asignacin aleatoria de personas a grupos experimentales resulta difcil de sostener en un estado de derecho. Por esta razn se adoptan mtodos que conforman un grupo experimental y otro de control sin requerir distribucin aleatoria. A pesar de esta limitacin, mantienen algunas de las ventajas de los experimentos. Las alternativas a adoptar dependen del momento en que el evaluador toma contacto con la evaluacin. w Diseos no experimentales: Se utilizan en aquellos casos en que la poblacin no puede ser comparada con grupos testigo o control para descartar los efectos exteriores no atribuibles al proyecto. La disponibilidad de una lnea de base facilita la medicin de los cambios producidos en el transcurso del desarrollo del programa.

d. Evaluacin de la eficiencia de los programas:


n

El impacto de un programa deber tambin ser evaluado por sus costos ya que podra suceder que estn producindose unos resultados que sean escasos considerando los costos en que ha incurrido. n Esto supone incluir el anlisis costo-efectividad dentro del mbito de la evaluacin. Sin embargo, estos anlisis requieren estudios de impacto en tanto suponen conocer los beneficios efectivamente causados por el programa. n En los programas en educacin la dificultad para adoptar este tipo de modelos tiene que ver con que no todos los outputs o inputs pueden ser valorables en trminos monetarios.

Lnea de Base: Permite conocer el valor de los indicadores al momento de iniciarse las acciones previstas en un programa, es decir, definir el punto de partida del proceso de cambio. Si bien suele tener un carcter dominantemente cuantitativo, recurre tambin a informacin cualitativa. Apela a fuentes secundarias (registros regulares, censos, encuestas, etc) o bien fuentes primarias (producidas ad hoc).

Preguntas posibles para la Evaluacin de la eficacia o impacto de los Programas:


n n

Ha sido el programa efectivo para alcanzar sus objetivos iniciales? Se pueden explicar los resultados del programa como consecuencia de un proceso alternativo que no incluya al programa mismo? n Cul es la magnitud de los cambios alcanzados? n A qu factores aparecen asociados? Adaptado de Ballart, 1997: 78

Preguntas posibles para la Evaluacin de la eficiencia de programas:


n n

Cules son los costos y beneficios de distribuir los servicios a los participantes de un programa? Supone el programa en concreto un uso diferente de los recursos en comparacin con otros alternativos?

Ballart, 1997: 78

16

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

Con relacin a este captulo, tenga en cuenta que


n

La evaluacin es una accin sistemtica y diferenciada de la gestin que entra en dilogo (y debe hacerlo tambin sistemticamente) con los otros momentos del ciclo de poltica (diseo e implementacin) produciendo en ellos modificaciones. Toda evaluacin compromete una reflexin sistemtica y fundada acerca de la accin. Esa reflexin no se da en abstracto, sino en las relaciones entre los actores de la gestin del programa y de la poltica educativa. La formulacin de las preguntas constituye un momento crucial en el diseo del estudio evaluativo y comprende un trabajo crtico que debe tener en cuenta: las necesidades y motivaciones de quien solicita la evaluacin, el estado de arte respecto del problema, el momento en que se desarrolla la evaluacin y la mirada de otros actores vinculados a la gestin. Una vez formuladas las preguntas, corresponde avanzar en un conjunto de decisiones que van a definir qu TIPO de EVALUACIN se va a adoptar y, en consecuencia, cul ser la METODOLOGA del estudio evaluativo. La triangulacin de aproximaciones cualitativas y cuantitativas permite dar cuenta de la complejidad que estn expresando las preguntas de un estudio evaluativo.

Bajando a la prctica:
n

El diseo de un estudio evaluativo debe responder al momento en que el programa se encuentra y a las necesidades que motivan su desarrollo. n La definicin de las preguntas es un momento clave que involucra el trabajo conjunto del equipo evaluador y de los responsables de la gestin. n La seleccin del modelo de evaluacin depende del momento en que se encuentre el programa as como de los desafos con que se enfrentan sus gestores directos y las necesidades de los destinatarios e involucrados.

Para seguir indagando: Ballart, X. (1992): Cmo evaluar programas y servicios pblicos?. Aproximacin sistemtica y estudios de caso. Ministerio para las Administraciones Pblicas, Madrid. Cohen, E. y Franco, R. (1988); Evaluacin de Proyectos Sociales, ILPES/ONU CIDES/OEA GEL Coleccin Estudios Polticos y Sociales1ra. Ed. Buenos Aires.

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

17

3. LA EVALUACIN EN DIEZ FASES


Habiendo recorrido un conjunto de consideraciones conceptuales y metodolgicas, se presenta aqu una secuencia posible para ordenar el proceso de trabajo del equipo a cargo de la evaluacin de un programa. Se advierte que estas operaciones suponen las definiciones conceptuales y metodolgicas previas. Las fases son las siguientes:
n n n n n n n n n n

objetivos implcitos, poblacin objetivo, actividades principales y recursos. DESARROLLO: n En aquellos casos en que el programa ha sido objeto de una cuidadosa formulacin no es necesario avanzar en el desarrollo de esta fase. n Sin embargo, es frecuente que los programas (en particular aquellos que no cuentan con financiamiento internacional y que han ido creciendo en sus recursos por medio de decisiones incrementales) sean dbiles en su formulacin inicial (expresada en su formalizacin a nivel de documentos) pero probablemente fuertes en las relaciones institucionales y polticas que asumen en la prctica. n En esos casos, se hace imprescindible esta reconstruccin a los efectos de evaluar los acuerdos de accin alcanzados y, en muchos casos, las inversiones, para no correr el riesgo de evaluar (exclusivamente) las decisiones iniciales formalizadas en los documentos institucionales fundacionales perdiendo de vista decisiones posteriores que los fueron constituyendo y ampliando. n Se apela en estos casos a entrevistas en profundidad, al relevamiento documental y hemerogrfico desde cuya triangulacin se reconstruya: w El contexto de surgimiento del programa. w Los debates que rodearon la decisin de su creacin. w La formalizacin institucional que le dio sustento. Reconstruir las coordenadas bsicas del programa a evaluar:
w w w w w n

Fase 1: Conformacin del equipo evaluador. Fase 2: Reconstruccin de las coordenadas del programa a evaluar. Fase 3: Identificacin de los actores o involucrados. Fase 4: Recorte y descripcin del Problema Focal. Fase 5: Definicin de las preguntas y enunciacin de los objetivos. Fase 6: Operacionalizacin de las preguntas para avanzar en la indagacin. Fase 7: Relevamiento de los datos. Fase 8: Anlisis de datos. Fase 9: Elaboracin del informe. Fase 10: Devolucin de los resultados.

FASE 1:
CONFORMACIN DEL EQUIPO EVALUADOR
n

La conformacin del equipo evaluador es el momento fundacional del proceso evaluativo. Sin embargo, debe advertirse que la misma debera realizarse en dos momentos. w En un primer momento, se deber definir un equipo pequeo para ocuparse del diseo del proyecto. w En un segundo momento y recin cuando el perfil del proyecto est definido, terminar de quedar conformado el equipo con la enunciacin de los perfiles y tiempos de incorporacin.

FASE 2:
RECONSTRUCCIN DE LAS COORDENADAS DEL PROGRAMA A EVALUAR PROPSITO: Identificar los componentes bsicos que organizan la intervencin del programa, esto es: problema focal, diagnstico de partida,

problema focal, diagnstico de partida, objetivos implcitos y poblacin objetivo, actividades principales y recursos.

Esta descripcin debe formar parte del primer captulo de todo estudio evaluativo de modo de hacer explcito el objeto que se est evaluando. n Se trata de una descripcin breve (sin problematizacin) que permite caracterizar el objeto a evaluar.

18

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

FASE 3:
IDENTIFICACIN DE LOS ACTORES E INVOLUCRADOS PROPSITO: Conocer la trama de los actores y sus relaciones en el marco de las cuales se procesaron y procesan las decisiones comprendidas en el diseo, la implementacin y posterior re-definicin del programa en cuestin. DESARROLLO: n Esta reconstruccin alcanza a aquellos actores que estn comprometidos con la gestin del programa (unidad u organismo a cargo y otros organismos) en cada uno de los niveles jurisdiccionales (nacional, provincial, departamental y escolar). n Asimismo, supone identificar y reconstruir la trama hacia aquellos actores que, si bien no estn a cargo del diseo e implementacin del programa, sus perspectivas y visiones son importantes en tanto tienen capacidad de redefinicin del mismo. n La definicin de actores ya referida asume a formas concretas, organizaciones o individuos, que ejercen algn tipo de incidencia en el proceso de gestin de un programa. n Cabe destacar que se trata de una primera identificacin ya que en el transcurso del estudio pueden surgir otros actores cuya perspectiva sea relevante conocer y que no fueron identificados en este momento inicial. En ese caso, se analizar su pertinencia en relacin al diseo original. n Cabe destacar que la decisin de incorporar o excluir la perspectiva de algn actor del anlisis puede tener consecuencias en los resultados finales, por lo cual debe ser tomada de manera fundada y explcita en el proceso de la investigacin. n La nmina de actores confeccionada servir para: w Confeccionar la lista de personas a entrevistar. w Construir los espacios de reflexin y difusin en torno a los resultados del estudio.

Delimitar y describir el problema focal sobre el cual interviene el programa y el conjunto de factores que incide en su existencia. Reconstruir la/s hiptesis explicativas o red causal de factores que, se supone, inciden de manera decisiva en su existencia. DESARROLLO: n Se trata de hacer un anlisis retrospectivo que reconstruya las condiciones de surgimiento del programa. Se busca comprender -- ms all de sus objetivos -- la cuestin de la agenda de gobierno a la que el programa apunt a resolver o modificar. n En el marco de este anlisis, adquiere relevancia la perspectiva de los distintos actores que fueron identificados en el momento inicial. n La reconstruccin de las condiciones de surgimiento del programa, implica considerar los siguientes aspectos: w Contexto de surgimiento y puesta en marcha. w Insercin en el contexto de las polticas pblicas. w Posicin respecto de las otras polticas para el sector especfico. w Polticas y estrategias antecedentes. w Actores implicados y opciones adoptadas y descartadas. n La identificacin del problema focal supone determinar el ncleo problemtico en torno al cual se orienta el programa y, en funcin del cual, se estructurar el anlisis del estudio evaluativo. n El recorte riguroso del problema focal se logra identificando un conjunto de descriptores que delimiten sus fronteras. Los descriptores son enunciados que hacen referencia a situaciones cotejables que manifiestan y corroboran la existencia del problema focal, especificando dimensiones del mismo. n Posteriormente, se apunta a reconstruir las redes causales, incorporando otros problemas y relaciones a los efectos de ampliar el anlisis de los factores que inciden en su desempeo. n La reconstruccin de las hiptesis o teora del cambio que sustenta el programa resulta fundamental, tanto para su posible revisin como para la identificacin de las preguntas que orientarn el estudio evaluativo. n Para esta reconstruccin, el equipo evaluador deber conocer el estado del arte acerca de los distintos marcos explicativos del problema focal para poder situar la teora del cambio que sustenta el programa en un contexto ms general de la produccin acadmica.

FASE 4:
RECORTE Y DESCRIPCIN DEL PROBLEMA FOCAL PROPSITO: Reconstruir las condiciones de surgimiento del programa

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

19

FASE 5:
DEFINICIN DE LAS PREGUNTAS Y ENUNCIACIN DE LOS OBJETIVOS PROPSITO: Formular los interrogantes a responder desde la indagacin del estudio evaluativo. Operacionalizar en objetivos generales y especficos los interrogantes que orientan la indagacin. DESARROLLO: n Tomando como punto de partida las coordenadas del programa, la identificacin de los actores y la descripcin del problema focal (y las hiptesis causales que lo sustentan), el equipo evaluador deber formular un conjunto de preguntas que orienten la indagacin del estudio y la posterior reflexin. n Los interrogantes debern ser: w Pertinentes en relacin al objeto a evaluar, o sea, el programa. w Relevantes en relacin a las necesidades sociales e institucionales que le dan origen. w Factibles de ser respondidos con los recursos y el tiempo disponible. n Tal como ya se present , se trata de un momento de sntesis entre las necesidades y motivaciones que originaron el estudio, el estado del arte respecto de la problemtica en que se inscribe el estudio, la lectura del momento en que la evaluacin tiene lugar y la mirada de otros actores involucrados directa o indirectamente. Las preguntas pueden referir a: w La conceptualizacin y el diseo. w La implementacin. w Los resultados y/o el impacto. Formuladas las preguntas, se avanzar en la formulacin de los objetivos generales y especficos del estudio. El objetivo general describe lo ms precisamente posible el conocimiento que se espera obtener respondiendo a la pregunta del estudio evaluativo. Se enuncian con verbos infinitivos. Los objetivos especficos operacionalizan dimensiones del objetivo general y se formulan de modo tal de facilitar la organizacin del estudio. A medida que se avanza en el diseo del estudio evaluativo, se podr volver a los objetivos para ajustarlos y precisarlos en relacin a las definiciones que se hayan tomado. Cuanto ms precisos sean los objetivos, ms fcil ser la tarea para orientar el trabajo del equipo evaluador.

n n

Un ejemplo de PREGUNTAS de Evaluacin del PIIE:


n

Conceptualizacin y el diseo Cul es el problema que da lugar a la creacin del programa? Cul es la teora del cambio que supone el programa? Cules son las razones por las cuales se adopta este diseo institucional? Implementacin Cules fueron las estrategias adoptadas para llevar a cabo los cambios propuestos por el programa en cada uno de los niveles? Cules son las modalidades de gestin del PIIE en el nivel provincial? Cmo han incidido las diferentes matrices institucionales y la capacidad estatal en el desarrollo del programa en cada jurisdiccin? Cules han sido los modos tpicos de constitucin de los equipos tcnicos provinciales en tanto dispositivos de articulacin entre la gestin nacional, la gestin provincial y las escuelas? Impacto Cules han sido los resultados de las intervenciones desarrolladas por el programa en el nivel de las escuelas? Cules son las valoraciones de los actores y las transformaciones de las prcticas en el trabajo docente? Cules son las valoraciones de los actores respecto del impacto en las condiciones de enseanza de las diferentes lneas de accin del PIIE? Cmo se expresan en prcticas locales de enseanza los principios de confianza, transmisin e igualdad que motorizan el diseo de las estrategias del Programa?

Evaluacin PIIE, DINIECE, 2007

20

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

Ejemplo de Objetivos Generales y Especficos del Estudio Evaluativo PIIE: Objetivo general Analizar los aspectos crticos y las potencialidades del PIIE del MECyT de la Nacin para fortalecer las condiciones de enseanza en las escuelas primarias que atienden a los sectores ms vulnerables. Objetivos especficos OE1. Sistematizar y analizar las principales estrategias implementadas por el Nivel Central para el desarrollo del PIIE en las provincias. OE2. Analizar comparativamente el alcance de las acciones desarrolladas por el programa en una muestra representativa de escuelas a nivel nacional bajo programa y una muestra representativa de escuelas no PIIE con caractersticas similares a las escuelas bajo programa, en relacin a un conjunto de variables pertinentes. OE3. Analizar las modalidades particulares de gestin del PIIE en el nivel provincial, indagando en los atributos de las distintas matrices institucionales desde y sobre las cuales el programa se implementa. OE4. Reconstruir los modos tpicos de construccin / configuracin de los equipos tcnicos provinciales como dispositivo de articulacin entre la gestin nacional, la gestin provincial y las escuelas. OE 5. Comprender las potencialidades y limitaciones de las diversas conformaciones de los equipos provinciales y sus transformaciones a lo largo de la historia del programa, para dinamizar el uso de los recursos materiales y simblicos que el programa pone a disposicin en el nivel de las escuelas.

Evaluacin PIIE, DINIECE, 2007

FASE 6:
OPERACIONALIZANDO LAS PREGUNTAS PARA AVANZAR EN LA INDAGACIN PROPSITO: Operacionalizar los objetivos especficos de para disear los instrumentos de recoleccin de datos y las matrices de anlisis de informacin. DESARROLLO: n Una vez planteadas las preguntas, es conveniente ir avanzando en las siguientes precisiones a los efectos de poder ajustar la definicin de los objetivos generales y especficos: w Recorte temporal: Refiere al periodo que ser objeto de la observacin y en funcin del cual se analizarn las series de tiempo de los datos. w Nivel de Anlisis: Alude al o los niveles en que se indagar la respuesta a los interrogantes. Nacional? Provincial? Distrital o departamental? Establecimiento? Unidad de Anlisis: Configura la unidad de relevamiento del dato. Funcionario, responsable del programa, tcnico? Ministro provincial, responsable provincial del programa? Directivo, alumno, establecimiento? w Universo: Refiere al marco emprico general acerca del cual se espera que el estudio hable. Las acciones del programa en las escuelas? Las prcticas administrativas del programa a nivel nacional? w Operaciones: Las operaciones son las manifestaciones que se registran en las personas y organizaciones que han recibido el programa y que, se supone, expresan sus efectos. n Una vez operacionalizadas las preguntas, es necesario avanzar en la definicin de las variables, los indicadores y las fuentes de datos as como las tcnicas a utilizar en la indagacin: w Las variables son las caractersticas, atriw

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

21

butos, cualidades o elementos de una unidad de anlisis que pueden ser medidas adoptando valores diferentes en cada caso. Las variables describen los hechos, fenmenos y realidades sociales, propias de las acciones llevadas a cabo dentro de un programa. w Los indicadores son aquellos descriptores que expresan de manera directa modificaciones sustantivas en la variable. Deben ser: especficos (quin o qu se est midiendo), observables y/o medibles, apropiados, factibles, vlidos y deben incluir un componente cronolgico.

Las fuentes de datos pueden ser primarias o secundarias. Los datos primarios son aquellos que el investigador obtiene de manera directa de la realidad y que son relevados por sus propios instrumentos; mientras que los datos secundarios son registros escritos que proceden del contacto con la prctica pero que fueron seleccionados y procesados por otros investigadores o por la propia institucin. n Es deseable que todas estas definiciones (sumadas a la grilla de recursos y cronograma de actividades y productos) formen parte del documento del proyecto del estudio evaluativo.
w

Modelo de ndice de Contenidos de un Proyecto de Estudio Evaluativo:


n n n

Justificacin y contexto de la evaluacin: Recapitula evaluaciones previas, as como las motivaciones que dieron lugar a la evaluacin. El objeto de la evaluacin: Describe el programa en sus coordenadas bsicas. Los objetivos, aspectos conceptuales y metodolgicos. - Objetivos Generales y Especficos. - Marco conceptual. - Modelo de evaluacin adoptado. - Universo. - Niveles de anlisis. - Unidades de anlisis. - Variables. - Diseo muestral o criterios de seleccin de los casos. Cronograma. Recursos. Anexos: - Instrumentos de recoleccin de datos. - Marcos muestrales o criterios de seleccin de los casos.

n n n

Tomado del Estudio Evaluativo PIIE, 2007

FASE 7:
RELEVAMIENTO DE DATOS PROPSITO: Aplicar los instrumentos de relevamiento (encuestas, grupos focales y/o entrevistas en profundidad) conforme las unidades de anlisis definidas en el proyecto y el marco muestral definido o los casos seleccionados. Relevar los datos secundarios (presupuestarios, informes de avance y finales, documentos internos, estadstica educativa) conforme las variables identificadas en el proyecto. DESARROLLO: n La duracin, modalidad de organizacin y magnitud del trabajo de campo depender de las caractersticas del proyecto. n Se trata de un momento diferenciado del resto del proceso. n Dado que en s mismo supone una intervencin en el mbito institucional (en el nivel macro institucional o en el nivel del establecimiento), requiere de una rigurosa y, a la vez, cuidadosa tarea de parte de la Coordinacin del estudio. Si bien esta funcin puede estar a

22

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

cargo de un equipo diferenciado, debe mantener un dilogo permanente con el equipo a cargo del proyecto por dos razones: w la vigilancia del principio de validez en relacin a lo que se busca medir; w el cuidado acerca de la relacin institucional con los organismos y establecimientos escolares. n Las tcnicas de relevamiento de la datos primarios son: w Encuesta: es un conjunto de preguntas normalizadas dirigidas a una muestra representativa de la poblacin o instituciones, con el fin de conocer estados de opinin o hechos especficos. w Grupo focal: es una reunin con modalidad de entrevista grupal abierta y estructurada, en donde se procura que un grupo de personas seleccionadas discutan y elaboren, desde la experiencia personal, las cuestiones en torno a los determinantes y condicionantes de la salud. w Entrevista en profundidad: intenta conocer las percepciones de la poblacin sobre una determinada problemtica. Consiste en una entrevista abierta semiestructurada por temas que no necesariamente han de seguir una secuencia previamente fijada.

FASE 8:
ANLISIS DE LOS DATOS PROPSITO: Sistematizar los datos relevados y volver a las preguntas para reconstruir una imagen de la realidad capaz de responderlas. DESARROLLO: n En el anlisis de los datos hay que tener bien presentes las preguntas que orientan la investigacin. n En lo posible, se elaborarn matrices de anlisis que permitan formalizar el procesamiento de los datos. Dichas matrices debern rescatar tanto los niveles de anlisis como los criterios para seleccionar los casos o segmentar la muestra, segn corresponda.

En el anlisis hay que considerar que cada dato habla de distintas cosas: w Las encuestas pueden estar relevando hechos pero siempre en clave de la memoria o reconstruccin siempre subjetiva de los/las entrevistados. w Las entrevistas en profundidad refieren a interpretaciones sobre los hechos, a representaciones que elaboran los actores. Son significativos como parte de la mirada de los actores (tal como han sido seleccionados como unidad de anlisis). w Los grupos focales dan cuenta de la mirada colectiva, las convergencias y las divergencias en relacin a un conjunto de ejes o cuestiones. No se trata de rescatar slo los acuerdos del conjunto de personas que participan sino tambin aquellos nudos en torno a los cuales se producen divergencias significativas. w La estadstica educativa permite elaborar indicadores a travs de los cuales se puede monitorear el rumbo y alcance de los cambios generados por el programa. Los registros regulares son: Relevamiento Anual, Censo Docente y Operativos Nacionales de Calidad Educativa. w Los documentos de los programas e informacin presupuestaria (registros de bases de datos, informes de avance y finales, informes provinciales, registros de programacin y ejecucin presupuestaria) son emergentes de los procesos administrativos de los programas. Son de suma utilidad para el anlisis y hablan acerca de los procesos poltico-institucionales formales, administrativos y econmico-financieros. w Los programas en educacin cuentan, adems, con una fuente de formidable potencial que son los cuadernos escolares, los documentos institucionales y los registros fotogrficos realizados bajo un protocolo unificado. n La triangulacin en el anlisis de datos cuantitativos y cualitativos tiene un enorme potencial para la reconstruccin de los significados de los procesos, adems de su magnitud y tendencias.

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

23

Ejemplo de Matriz de Anlisis para Caracterizacin de los actores: La caracterizacin de los actores es un momento clave en el anlisis de los datos. Se propone a continuacin una Matriz de Actores e Involucrados que permite reconstruir el conocimiento e inters que tienen en el programa, los conflictos potenciales con el programa y las virtudes que en l reconocen, los recursos que movilizan (refiere a los recursos materiales y simblicos que cada actor est dispuesto y tiene la posibilidad de comprometer en la accin o contra ella) y los mandatos (responsabilidad organizacional) que tiene cada actor en relacin a l.
Matriz de Actores e Involucrados Actores / involucrados Ministro Consejo Provincial Referente Programa A Programa B Equipo Tcnico Supervisores Conocimiento e intersen el programa Conflictos potenciales Virtudes del programa Recursos Mandatos

Tomado del Estudio Evaluativo PIIE, 2007.

FASE 9:
ELABORACIN DEL INFORME PROPSITO: Sistematizar los resultados del estudio para responder a las preguntas planteadas originalmente. DESARROLLO: n Una vez realizado el primer anlisis de los datos, el equipo evaluador deber avanzar en la elaboracin de una primera versin de ndice del informe para que el anlisis de los datos vaya convergiendo en la elaboracin de documentos de trabajo que constituyan, posteriormente, los captulos del mismo. n La primera versin del ndice del informe se organiza segn la estructura de los objetivos especficos de modo tal que cada captulo o apartado del informe responda a las preguntas.
n

La primera versin del ndice debe ser analizada con el equipo de gestin promotor o solicitante de la evaluacin a los efectos de vigilar que la propuesta siga ajustndose conforme los requerimientos e interrogantes que le dieron origen al estudio. n En tanto los estudios evaluativos cuentan con un periodo corto de realizacin, es deseable que el/la responsable de la Coordinacin pueda distribuir entre los participantes del equipo responsabilidades para la redaccin primaria de los documentos de trabajo, para luego quedar bajo la responsabilidad de un equipo ms reducido su redaccin final. n La elaboracin de versiones preliminares pero formalizadas es til para dar lugar a la lectura de parte de los actores involucrados haciendo posible la recuperacin -- en el anlisis -de su perspectiva acerca de la reconstruccin de la realidad que el informe devuelve.

24

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

Ejemplo de ndice de Informe Final Estudio Evaluativo: 1. Fundamentacin del estudio. 2. Objetivos y metodologa. 3. La propuesta de regularizacin del 2do ciclo del nivel primario en la provincia de Mendoza. 4. Contexto del proyecto de extraedad 5. Origen del proyecto y antecedentes. 6. Principales caractersticas del proyecto y de su implementacin. 7. Posiciones respecto de las modificaciones realizadas y pendientes en trminos de normativa. 8. Recursos materiales y recursos humanos. 9. Seguimiento y Evaluacin del Proyecto. 10. Valoraciones de los entrevistados sobre el desarrollo del Proyecto. 11. Seleccin de los establecimientos para el proyecto extraedad. 12. Participacin de directivos y de supervisores en la implementacin del Proyecto. 13. Organizacin y funcionamiento de los ncleos. 14. Seleccin de grados y tamao de los ncleos. 15. Criterios y procedimientos de seleccin de los maestros de los ncleos. Principales caractersticas de los docentes. 16. El trabajo docente en los ncleos. 17. Instancias de articulacin entre el trabajo en los ncleos y en los grados. 18. Participacin de otros docentes: relaciones entre los maestros de las escuelas con ncleos y colaboraciones entre establecimientos. 19. Materiales y documentos de apoyo para docentes. 20. Los alumnos de los ncleos: criterios y procedimientos de seleccin. 21. Criterios de promocin de los alumnos de los ncleos. 22. El proyecto extraedad y la articulacin entre ciclos. 23. Conclusiones y recomendaciones. Bibliografa y fuentes citadas Tomado del Estudio Evaluativo PROMER, Mendoza

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

25

FASE 10:
DEVOLUCIN DE LOS RESULTADOS PROPSITO: Analizar --en conjunto con los actores de la gestin del programa-- los resultados del estudio evaluativo. Recuperar en el anlisis la perspectiva de los gestores en los distintos niveles. Identificar nudos crticos en torno a los cuales producir recomendaciones. DESARROLLO: n Los espacios de trabajo podrn asumir distintas modalidades que oscilarn, conforme las posibilidades y la disposicin del equipo responsable de la gestin, entre la reunin de trabajo y el taller participativo. w La reunin de trabajo es un espacio de encuentro con los responsables (polticos y tcnicos) de la gestin del programa. w El taller participativo es un espacio de articulacin de actores sociales y gubernamentales orientado a poner en dilogo los resultados con las visiones y perspectivas que tienen desde su particular punto de vista.

Para seguir indagando Cohen, E. y Franco, R. (1988); Evaluacin de Proyectos Sociales, ILPES/ONU CIDES/OEA GEL Coleccin Estudios Polticos y Sociales1ra. Ed. Buenos Aires. Fernndez Ballesteros, R (1996) Evaluacin de Programas. Una gua prctica en mbitos sociales, educativos y de salud, Ed. Sntesis, Madrid Mokate, K. (2000); El Monitoreo y la evaluacin: Herramientas indispensables de la gerencia social. Notas de Clase. INDES/ BID. www.indes.iadb.org Sotelo Maciel, A. J. (1997) Anlisis PROBES. Un mtodo para el anlisis situacional y la formulacin de estrategias, ESTS-UNLP, La Plata. Saut, R. y otros (2005) Manual de metodologa. Construccin del marco terico, formulacin de los objetivos y eleccin de la metodologa. Biblioteca Virtual CLACSO.

26

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

ESTUDIOS EVALUATIVOS REALIZADOS POR DINIECE EN EL LTIMO AO: DINIECE (2007/8) Estudio Evaluativo Programa Integral de Igualdad Educativa (Coord. Gluz, N. y Chiara, M.) Vol. I. La puesta en marcha e implementacin del programa y su contexto (2007) Vol. II. El alcance de las acciones PIIE en las escuelas desde la perspectiva de los actores institucionales (2007) Vol. III. Anlisis de la apropiacin jurisdiccional del programa y la conformacin y dinmica de trabajo de los equipos jurisdiccionales. (2007) Vol. IV. Modos de apropiacin del programa desde un conjunto de instituciones escolares seleccionadas. (2008) Vol. V. Anlisis de las dimensiones pedaggico-didcticas, los modos de apropiacin institucional del programa y su incidencia en las prcticas de enseanza (Augustovsky, G). (2008) DINIECE (2008) La implementacin del Programa Nacional de Becas Estudiantiles en la Provincia de Buenos Aires: Aportes para las polticas orientadas al cumplimiento de la obligatoriedad del nivel secundario (Sinisi, L.y Montesinos, M. P). DINIECE (2007) Proyecto de investigacin cualitativa en torno a la implementacin del Programa Todos a estudiar: Un estudio de casos sobre el espacio puente DINIECE (2008) Poltica de regularizacin de las trayectorias escolares en el segundo ciclo del nivel de enseanza primario de la provincia de Mendoza Informe Final (Otero, M. P. y Padawer, A.) Proyecto de Mejoramiento de la Educacin Rural (PROMER) Prstamo BIRF 7353-AR Seguimiento y Evaluacin Estudio Especial. DINIECE (2008) Proyecto de Mejoramiento de la Educacin Rural (PROMER) Prstamo BIRF 7353-AR Seguimiento y Evaluacin Estudio Especial. (Otero, M. P. y Padawer, A.) Proyecto de Mejoramiento de la Educacin Rural (PROMER) Prstamo BIRF 7353AR Seguimiento y Evaluacin Estudio Especial.

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

27