Documento gua para la elaboracin de la evaluacin de impacto Proyecto de Formacin Tcnica y Tecnolgica Ministerio de Educacin Nacional

Ministerio de Educacin Nacional Proyecto de Fortalecimiento a la Educacin Tcnica y Tecnolgica

CONTENIDO

1. 2.

PROPOSITO DE LA GUIA INTRODUCCION 2.1. 2.2. 2.3. QUE ES EVALUACION DE IMPACTO COMO SE HACE LA EVALUACION DE IMPACTO CRONOGRAMA

3.

CRITERIOS PARA EVALUACIN DE IMPACTO 3.1. 3.2. 3.3. PROBLEMAS DE LA EDUCACION TECNICA Y TECNOLOGICA ESTRATEGIAS FINES Y OBJETIVOS

4. 5.

ACTORES VARIABLES DE LA EVALUACIN DE IMPACTO 5.1. RELACION ENTRE LOS PROBLEMAS Y LAS VARIABLES

6.

INDICADORES NUMRICOS DE IMPACTO 6.1. RELACION ENTRE LOS INDICADORES Y LAS VARIABLE

7. 8.

PROCEDIMIENTO PARA LA EVALUACION DE IMPACTO DOCUMENTO FINAL DE LA EVALUACION DE IMPACTO (INFORME)

Documento gua para la evaluacin de impacto Alianzas T&T

1. PROPSITO DEL INSTRUCTIVO El presente documento tiene la finalidad de proporcionar a las Alianzas los criterios de referencia e instrumentos para la elaboracin de la evaluacin de impacto del proyecto desarrollado en el marco del proyecto de Formacin Tcnica y Tecnolgica del Ministerio de Educacin Nacional. Este documento tiene el carcter de una gua metodolgica y en menor grado, de un manual de procedimiento, en el cual se resume la metodologa. Por otra parte, se dise una matriz de carcter cualitativo que recoge la explicacin, las variables, la fuente de informacin la lnea base, el impacto y los resultados de los indicadores que fueron identificados, y que una vez desarrollada ha sido implementada en Excel para una mejor comprensin. Adicionalmente, se disearon las herramientas de recoleccin de informacin y el formato de las fichas tcnicas de los indicadores mnimos que se deben calcular para la evaluacin.

2. INTRODUCCIN El logro de los objetivos de las Alianzas no es un fin en s mismo sino un medio que el MEN utiliza para afectar la cobertura, calidad y la pertinencia de la oferta educativa de carcter tcnico y tecnolgico. Las medidas de impacto tienen el propsito de establecer si el proyecto de fortalecimiento de la educacin es un instrumento adecuado para lograr esos efectos. Las medidas de impacto facilitan la sistematizacin de la experiencia y el aprendizaje institucional. Si el proyecto tuvo los efectos esperados es vlido continuar utilizando ese medio, y en el caso contrario, es ms razonable buscar caminos alternativos. Las variables que sern utilizadas en la medicin del impacto, lo mismo que sus correspondientes indicadores, permiten unificar los criterios de evaluacin en todas las Alianzas, y facilitan la agregacin de datos para medir el impacto global del programa.

Ministerio de Educacin Nacional Proyecto de Fortalecimiento a la Educacin Tcnica y Tecnolgica

No todos los indicadores para la medicin de impacto incluidos en este documento pueden ser medidos en todas las Alianzas y no todos son igualmente significativos. Por lo tanto, se pueden excluir los indicadores que no sean aplicables a una Alianza en particular. Adems, algunos indicadores pueden ser medidos a corto plazo, un ao o menos, mientras qu otros requieren un perodo mayor (cinco o ms aos) para que se produzcan sus efectos. En este caso se debe definir si el indicador ser medido a mediano plazo (dos a cinco aos), o a largo plazo (ms de cinco aos). La Alianza debe registrar los valores actuales de cada indicador para conformar la lnea de base que posteriormente ser utilizada como referencia para juzgar el impacto logrado.

2.1.

Qu es la evaluacin de impacto

Es un proceso que posibilita el conocimiento de los efectos de un proyecto o programa en relacin con las metas propuestas y los recursos asignados. La evaluacin es el proceso mediante el cual se determina hasta qu punto se alcanzaron las metas propuestas, se consideran las intenciones del programa, las metas y objetivos de comportamiento y los procedimientos que es necesario poner en prctica para realizarlo con xito.

2.2. I.

Cmo se har la evaluacin de impacto Se definen los criterios para la evaluacin de impacto a. Identificacin de los problemas b. Definicin de estrategias c. Definicin de los objetivos Se identifican los actores y tcnicas soporte para la evaluacin Se definen las variables a. Se establece la relacin de los problemas con las variables Se definen los indicadores numricos de impacto a. Se establece la relacin de los indicadores con las variables Se establece el procedimiento para realizar la evaluacin de impacto Se elabora el documento final con la evaluacin de impacto

II. III. IV. V. VI.

Documento gua para la evaluacin de impacto Alianzas T&T

2.3.

Cronograma

De acuerdo con las anteriores actividades se defini el cronograma adjunto, el cual es de obligatorio cumplimiento por parte de las Alianzas.

Ministerio de Educacin Nacional Proyecto de Fortalecimiento a la Educacin Tcnica y Tecnolgica

3. CRITERIOS PARA LA EVALUACIN DE IMPACTO

Los criterios que utilizar la direccin de cada alianza para medir el impacto de las acciones que ha ejecutado en desarrollo del proyecto, se encuentran definidos en el Documento CONPES 3360, en el texto del proyecto, en la convocatoria para participar en el Fondo Concursable y en el Manual Operativo del proyecto. El proyecto se origina en la necesidad de superar algunos de los problemas que afectan de manera significativa la educacin tcnica y tecnolgica en nuestro pas. Existe una relacin lgica entre los problemas y los objetivos del proyecto. Por consiguiente, la comprensin de los problemas arroja claridad sobre las estrategias que se adoptaron para resolverlos y permite comprender las razones que justifican los objetivos del proyecto. Cuando se evala el impacto de una alianza, se describe de manera objetiva su contribucin a la solucin de los problemas identificados, y su capacidad para modificar las condiciones y circunstancias que generaron esos problemas. Una alianza ser exitosa en la medida que logre transformar la realidad introduciendo una variacin significativa en los valores de los rasgos que determinan la situacin que debe ser modificada. Es as como los criterios para la evaluacin de impacto, sern los siguientes:

3.1.

Problemas de la Educacin tcnica y Tecnolgica

Con base en el documento Seguimiento y evaluacin de Proyectos y Programas sociales, de la CAF, 2007, se enuncian a continuacin algunas de las debilidades ms destacadas que se observan en la educacin tcnica y tecnolgica: Colombia evidencia problemas serios en cuanto al reconocimiento social de los programas tcnicos y tecnolgicos, su escasa vinculacin con el sector productivo y su diseo curricular ms desde la ptica acadmica que desde las necesidades del mundo laboral. Lo que se agrava con el desconocimiento que muchas veces tienen
6

Documento gua para la evaluacin de impacto Alianzas T&T

los docentes del sector productivo para el cual forman, pues la mayora de ellos ha pasado toda su vida productiva en el sector educativo exclusivamente, adems, por la obsolescencia de los equipos los cuales distan mucho de los que est utilizando la empresa. Acceso dismil a la educacin superior y bajas tasas de cobertura bruta en educacin tcnica y tecnolgica Menor crecimiento en las matrculas de educacin tcnica y tecnolgica frente a las matrculas de educacin superior universitaria, que evidencia la preferencia por la segunda Oferta limitada de educacin tcnica y tecnolgica que no satisface la demanda de recursos humanos del sector productivo, y que carece, adems, de pertinencia y calidad Alta tasa de desempleo en la poblacin de 21 aos y ms Concentracin de los programas tcnicos, tecnolgicos y universitarios en la ciudad de Bogot y los Departamentos de Antioquia y Valle del Cauca Alta tasa de desercin; desarticulacin de la educacin tcnica y tecnolgica con la educacin media Talleres desactualizados, sumados a laboratorios, insumos, bibliotecas e infraestructuras tcnicas y pedaggicas insuficientes Instituciones de educacin superior no vinculadas a las necesidades reales de las regiones. 3.2. Estrategias

Las estrategias que fueron adoptadas para superar las debilidades de la educacin tcnica y tecnolgica se agrupan en cuatro grandes temas: Formacin basada en competencias, que incluye actividades como desarrollo de currculos, mejoramiento de la gestin educativa, capacitacin de docentes y el apoyo de medios para el aprendizaje tales como la adecuacin y modernizacin de las infraestructuras, y la actualizacin bibliogrfica, entre otros.
7

Ministerio de Educacin Nacional Proyecto de Fortalecimiento a la Educacin Tcnica y Tecnolgica

Participacin del sector productivo, a travs de la conformacin de alianzas entre este sector y los sectores pblico y educativo Ampliacin y diversificacin de la oferta de programas, que incluye el diseo de nuevos programas, o la transformacin de programas tcnicos y tecnolgicos, estructurados por ciclos propeduticos, y Fortalecimiento y mejoramiento de la gestin pblica en educacin como las estrategias de comunicacin, desarrollo normativo y mejoramiento de la capacidad institucional a nivel central y regional 3.3. Fines y objetivos

Se transcriben en los prrafos siguientes los objetivos del proyecto a nivel nacional que, junto a las estrategias constituyen los principales criterios de referencia para la medicin del impacto de las Alianzas:

El principal objetivo es apoyar la formacin y gestin de alianzas estratgicas que permitan la articulacin entre los niveles de media tcnica y superior, y el diseo de programas de formacin tcnica y tecnolgica de alta calidad, pertinentes a las necesidades del sector productivo, desarrollo regional y nacional y al avance de la ciencia. En un marco de equidad y calidad, implementar estrategias de fortalecimiento de la educacin tcnica y tecnolgica, mediante el mejoramiento de la cobertura, calidad y pertinencia de este tipo de formacin, acorde con las necesidades del sector productivo, el desarrollo nacional y regional, y el avance de la ciencia y la tecnologa, a travs de la atencin a no menos de 30.000 jvenes en educacin superior, y 80.000 de la educacin media Mejorar las condiciones de productividad y competitividad en el pas, mediante la formacin de capital humano con alto desarrollo de competencias laborales que permitan la transformacin del sector productivo y de servicios, el mejoramiento de la calidad de vida y la coherencia con las demandas de los procesos de globalizacin

Documento gua para la evaluacin de impacto Alianzas T&T

El Proyecto se desarrollar dentro de la poltica de ampliacin de la cobertura, mejoramiento de la calidad y eficiencia del sistema educativo...

3.3.1. Objetivos especficos Fomentar la creacin de al menos 40 alianzas estratgicas locales y / o regionales que apoyen, garanticen y sirvan de base para el proceso de fortalecimiento de la educacin tcnica y tecnolgica a travs del diseo de al menos 30 proyectos de alta calidad, para mejorar la cobertura, la eficiencia interna de las instituciones, en aspectos tales como tasa de repitencia, relacin ingreso / graduados y duracin real de los estudios, mediante el diseo de medidas remediales, y metodologas de aseguramiento del aprendizaje y el diseo de programas acadmicos pertinentes con las necesidades de desarrollo regional Ampliar y mejorar la calidad de la oferta de programas tcnicos y tecnolgicos en al menos 30 Centros Regionales de Educacin Superior

4. ACTORES El impacto de las Alianzas se puede evaluar desde el punto de vista de los efectos que las acciones ejecutadas han tenido sobre cada una de las partes interesadas, o cada uno de los actores involucrados en su operacin. Para la evaluacin del impacto de la alianza sobre cada una de las partes interesadas es necesario explicitar las expectativas que tenan cuando se vincularon a la Alianza. Pero, como se deben evitar los juicios de valor que no se encuentren respaldados en los hechos, se puede obtener informacin confiable sobre las expectativas de las partes interesadas, recurriendo a: Las entrevistas en profundidad con las personas ms representativas de cada una Recurriendo a los grupos focales

Ministerio de Educacin Nacional Proyecto de Fortalecimiento a la Educacin Tcnica y Tecnolgica

Ambas tcnicas , las entrevistas en profundidad y los grupos focales, pueden ser utilizados para conocer las expectativas y tambin para describir el grado en que han sido satisfechas por las acciones ejecutadas por la Alianza. Ambas tcnicas proporcionan registros que sirven de soporte a la evaluacin de impacto, respaldando las apreciaciones subjetivas del evaluador. Cuando hayan sido definidas las expectativas, se procede a establecer la percepcin de los actores sobre el grado en que se cumplieron. Los actores o partes interesadas en el proyecto son: entidades de educacin superior, entidades de educacin media, sector gubernamental, sector productivo, estudiantes, y la comunidad. Se enuncian a continuacin los roles y funciones de cada una de las partes interesadas: Entidades de Educacin Superior. El sector educativo se compromete redefinir los currculos, avanzar hacia un sistema de formacin basado en competencias, aumentar y mejorar la capacitacin de los docentes, modernizar laboratorios y talleres, mejorar su gestin y hacer seguimiento a los sectores productivos. Entidades de educacin media. Establecer con las IES acuerdos sobre articulacin de los cursos noveno y dcimo, con los programas tcnicos, y realizar las actividades necesarias para adecuar el proyecto educativo institucional, capacitar al personal directivo en gestin acadmica por competencias, capacitar el personal docente en el diseo curricular por competencias y en formacin basada en competencias. Sector Productivo. El sector productivo se compromete a identificar sus propias necesidades de personal calificado, facilitar prcticas y pasantas, y se espera que lleve a cabo un acompaamiento al sector educativo en el rediseo de currculos, y colabore en la capacitacin de docentes as como en el seguimiento sectorial. Este mecanismo busca garantizar la pertinencia de los programas y contenidos educativos, hacindolos compatibles con la demanda de los sectores productivos por personal con capacitacin tcnica y tecnolgica. Sector gubernamental. El proyecto busca tambin eficiencia, trabajando por el fortalecimiento y gestin institucional de instituciones tcnicas y tecnolgicas adscritas al MEN, as como el fortalecimiento del MEN y Secretaras como instancias rectoras de la formacin tcnica y tecnolgica. La direccin nacional del proyecto espera que los programas acadmicos creados por las alianzas tengan la
10

Documento gua para la evaluacin de impacto Alianzas T&T

capacidad de auto sostenerse y perfeccionarse a lo largo del tiempo. Tambin se espera que los programas sean replicados en otras regiones. Estudiantes. Se espera una mayor productividad de los jvenes educados y por lo tanto un incremento en sus ingresos laborales, ya sea por una mayor empleabilidad, estabilidad, promocin o por el ingreso al mercado de trabajo formal. De esta manera con el Proyecto debe verse la reduccin del desempleo de los tcnicos y tecnlogos de los programas que participan de los recursos del fondo concursable y debe verse mejora del ingreso de esos tcnicos y tecnlogos. Para los estudiantes de media, debe haber un incremento en la tasa de certificacin de competencias, as como en acceso de ellos a educacin superior.

5. VARIABLES DE LA EVALUACIN DE IMPACTO En este numeral se enuncian las variables del proyecto que sern tenidas en cuenta para la evaluacin del impacto de las Alianzas: Productividad. Mejorar las condiciones de productividad y competitividad en el pas (Transformar el sector productivo y de servicios) Cobertura. Debe evidenciarse un incremento en la demanda por programas tcnicos y tecnolgicos. Calidad. Los programas transformados deben ser programas de mayor calidad y esto debe verse reflejado en un incremento de registros calificados de programas diseados por competencias y por ciclos propeduticos, en un incremento de programas tcnicos y tecnolgicos acreditados y en un mejor resultado de los ECAES para estos programas. Pertinencia (programas acordes con las necesidades del sector productivo, el desarrollo nacional y regional, y el avance de la ciencia y la tecnologa) Movilidad: facilitar el acceso a la educacin superior Modernizacin de la gestin pblica. Eficiencia y fortaleza de las instituciones Articulacin. Articular la educacin tcnica que se ofrece en los niveles de educacin media y la educacin tcnica profesional, tecnolgica Empleabilidad. Formar capital humano con alto desarrollo de competencias laborales

11

Ministerio de Educacin Nacional Proyecto de Fortalecimiento a la Educacin Tcnica y Tecnolgica

Eficiencia. Mejorar la eficiencia interna de las instituciones en: tasa de repitencia, relacin ingreso / graduados y duracin real de los estudios. Optimizar el uso de la infraestructura actual Replicabilidad. Rplica de los programas acadmicos Sostenibilidad. Capacidad de permanencia de los programas acadmicos Equidad. Acceso a la educacin superior por parte de poblacin vulnerable de la formacin Tcnica y Tecnolgica, o mejoramiento Posicionamiento. La percepcin que la sociedad tiene sobre la formacin tcnica y tecnolgica. 5.1. Relacin entre los problemas y las variables

Las actividades que realizaron las alianzas estaban orientadas a superar las debilidades de la educacin tcnica y tecnolgica en las diversas regiones del pas. Se buscaba cambiar un estado de cosas que se consideraba inadecuado, o en otras palabras, resolver los problemas planteados. Entre ms significativos sean los efectos sobre la situacin que se deseaba cambiar, mayor ser la eficacia de las estrategias adoptadas. En consecuencia, el impacto del proyecto se debe expresar en la atenuacin o eliminacin de los problemas enunciados en el diagnstico inicial. Esta afirmacin pone en evidencia la funcin que cumple la lnea de base en la evaluacin del impacto. En efecto, si no se dispone de registros confiables sobre la magnitud que tenan de los problemas antes que se emprendieran las acciones programadas, no ser posible establecer en qu medida los problemas fueron superados. Generalmente las medidas de impacto se expresan como la variacin porcentual entre el valor inicial de una variable, es decir, el valor que se registraba antes que el proyecto entrara en operacin, y el valor de esa variable una vez concluida la ejecucin. Se espera que las Alianzas contribuyan a solucionar los problemas planteados en la justificacin del proyecto, y por consiguiente, el informe de evaluacin de impacto debe incluir los efectos que las acciones de la Alianza tuvieron sobre la magnitud de estos problemas. El evaluador debe tener presente la relacin entre los problemas y las variables empleadas en el proceso de evaluacin, porque son los problemas los que le confieren significado a las variables y las convierten en informacin relevante.

12

Documento gua para la evaluacin de impacto Alianzas T&T

Con ese propsito se incluye a continuacin una tabla que sirve para destacar algunas relaciones entre los problemas que las Alianzas se proponen resolver, y las variables que han sido definidas para la evaluacin del impacto.

13

Ministerio de Educacin Nacional Proyecto de Fortalecimiento a la Educacin Tcnica y Tecnolgica

VARIABLES

1.

PERTINENCIA

2. 3.

PRODUCTIVIDAD COBERTURA, REPLICABILIDAD CALIDAD, EFICIENCIA

PROBLEMAS DE LA EDUCACIN TCNICA Y TECNOLGICA La falta de pertinencia de la oferta educativa, que resulta de la escasa interaccin entre el sector productivo y el educativo Programas desactualizados con respecto del avance de la ciencia y la tecnologa Limitado aporte de la educacin para el desarrollo nacional y regional Limitada cobertura de la educacin tcnica y tecnolgica Bajos niveles de calidad de los programas acadmicos Elevadas tasas de repitencia Elevados niveles de desercin acadmica Desfavorable relacin ingreso / graduados

4.

5.

EMPLEABILIDAD Alta tasa de desempleo en la poblacin de 21 aos y ms

6. 7.

EQUIDAD MOVILIDAD ARTICULACIN MODERNIZACIN POSICIONAMIENTO DE LA EDUCACIN TCNICA Y TECNOLGICA

Difcil acceso para las personas de bajos ingresos Limitada interaccin entre las Instituciones de educacin superior y las de educacin media. Menor crecimiento en las matrculas de educacin tcnica y tecnolgica frente a las matrculas de educacin superior universitaria, que evidencia la preferencia por la segunda

8.

Tabla 1. Relacin entre los problemas y las variables de la medicin del impacto

6. INDICADORES NUMERICOS DE IMPACTO

Generalmente, la palabra indicador se utiliza para referirse a los hechos que permiten que una variable sea observada. Es un medio para operacionalizar las variables porque facilita el diseo de los instrumentos metodolgicos.

14

Documento gua para la evaluacin de impacto Alianzas T&T

No todos los indicadores tienen un carcter cuantitativo. Cuando se expresan en cifras se denominan indicadores numricos. En el numeral anterior fueron descritos los indicadores que se utilizarn para evaluar el impacto de las variables establecidas. Ahora se presentarn mediante una tabla, nicamente los indicadores numricos. En la siguiente tabla se enuncian las variables, se describen las acciones realizadas, y los correspondientes indicadores numricos que las impactan. Las acciones realizadas facilitan la identificacin de los efectos esperados, mientras que los indicadores expresan la magnitud real de esos efectos.

VARIABLES

INDICADORES NUMRICOS DE IMPACTO Mejora de la productividad en empresas del sector vinculado: Variacin productividad de mano de obra: productividad de la mano de obra al inicio del programa X100 / productividad de la mano de obra al final. Variacin productividad global: Productividad global del sector al inicio del programa 100 / Productividad global al final. Estos indicadores solamente pueden ser aplicados en la medida que el nmero de egresados vinculados a cada empresa sea importante o significativamente alto. Como no es evidente que la causa de un aumento de la productividad global, o de la mano de obra, sea la vinculacin de egresados, es conveniente recurrir a un grupo de referencia o de control, que no haya vinculado egresados, para comparar la variacin de la productividad en un periodo determinado. En este caso se medira la correlacin entre la vinculacin de egresados y la productividad, pero no se mediran las relaciones de causalidad. Tambin interviene el periodo de tiempo que se considere, a corto plazo no parece razonable esperar un cambio significativo en la productividad de la mano de obra. Como los egresados del ciclo tecnolgico pueden tener el mayor impacto sobre la productividad, comparado con el efecto esperado de los egresados del ciclo tcnico, el momento en que se haga la evaluacin debe considerar la fecha de terminacin del ciclo tecnolgico, la fecha de vinculacin de los egresados y un tiempo razonable para que su actuacin alcance a afectar la productividad. En caso que no se disponga de datos confiables se puede obtener informacin mediante grupos focales, entrevistas en profundidad, o encuestas, para registrar la percepcin que tengan los empresarios de los efectos de la vinculacin de egresados de los programas tcnicos y tecnolgicos, sobre: la variacin del nmero de errores de calidad, desperdicio de materiales, reprocesos, rotacin de personal, absentismo,
15

PRODUCTIVIDAD

Ministerio de Educacin Nacional Proyecto de Fortalecimiento a la Educacin Tcnica y Tecnolgica

COBERTURA

CALIDAD 3

PERTINENCIA

satisfaccin de los clientes, costos de no calidad, entre otros. Estos indicadores se expresan en un ndice de variacin, por ejemplo: Nmero de errores de calidad al inicio del programa 100 / errores registrados al final. OFERTA: PROGRAMAS: ndice de incremento del nmero de programas tcnicos y tecnolgicos: nmero de programas que se ofrecen actualmente X 100 / programas que se ofrecan antes de la Alianza. El nmero de programas que se ofrecan antes que la Alianza registrara sus programas puede referirse nicamente a los programas tcnicos y tecnolgicos que se ofrecan por parte de la IES vinculada a la Alianza, o puede agregar el nmero de programas que se ofrecan en otras IES del rea de influencia de la Alianza. OFERTA DE CUPOS: ndice de incremento en cupos ofrecidos: nmero de cupos que se ofrecen actualmente X100 / Cupos que se ofrecan antes de la Alianza. DEMANDA: ndice de utilizacin de cupos: Estudiantes matriculados X 100 / Cupos disponibles ndice de incremento de la matrcula: matrcula actual X 100 / Matrcula antes de la Alianza. (En las IES vinculadas a la Alianza solamente, o incluyendo las IES del rea de influencia) NOTA: Los indicadores de COBERTURA pueden ser medidos incluyendo o no los programas replicados. Desercin por ciclos: valor porcentual de los alumnos que se retiran sin terminar el ciclo, con respecto del total de alumnos que iniciaron el mismo ciclo. Este dato se compara con la desercin en una muestra de los programas tcnicos y tecnolgicos tradicionales. Certificacin de competencias: % de egresados de cada ciclo, con certificacin de competencias con respecto del total de alumnos que terminan el respectivo ciclo. % egresados de cada ciclo propedutico, que obtuvieron certificacin internacional Rendimiento Acadmico: Promedio de calificaciones obtenidas por los egresados del ciclo tecnolgico en los ECAES, comparado con los promedios de una muestra de egresados de programas tradicionales. Impacto de la articulacin sobre la calidad acadmica de los programas de Educacin Media. Promedio de calificaciones obtenidas por los egresados de educacin media, vinculados al ciclo tcnico, en los exmenes del ICFES, comparado con los promedios de una muestra de egresados de programas no articulados. Variacin de la intensidad de la capacitacin docente en tecnologa especfica: promedio de horas hombre de capacitacin especfica recibida por los docentes, comparado con el promedio obtenido en una muestra de programas tradicionales (no diseados por competencias). Variacin en la intensidad de las Prcticas: promedio de horas hombre de prcticas de los estudiantes, comparado con el promedio obtenido en una muestra de programas tradicionales
16

Documento gua para la evaluacin de impacto Alianzas T&T

Variacin h / docentes en pasantas. Variacin del valor relativo de las pasantas: promedio de horas hombre de pasantas de los docentes en las empresas del sector productivo, comparado con el promedio en una muestra de programas tradicionales. Variacin de egresados vinculados al sector: porcentaje de egresados vinculado al sector productivo miembro de la Alianza, comparado con el porcentaje de egresados de una muestra de programas tradicionales, vinculados al respectivo sector productivo. Variacin del porcentaje de participacin de los egresados de las IEM articuladas, en la matrcula total de las IES, en cada uno de los ciclos propeduticos. (Nmero de egresados de las IES x100 / Matrcula Total). Variacin en el tiempo medio del procedimiento de matrcula de los estudiantes de las IEM articuladas cuando pasan del programa articulado a ser alumnos regulares de la IES, comparado con el tiempo medio de un estudiante no articulado. Variacin del nmero y complejidad de los requisitos, de la duracin, y del costo, de los trmites propios de ese cambio en la condicin del estudiante articulado, en comparacin con los no articulados. Desercin de estudiantes que ingresaron por articulacin, comparada con la desercin de estudiantes que no proceden de la articulacin. Horas promedio de utilizacin de laboratorios y talleres por parte de los estudiantes de los programas de la Alianza, comparadas con una muestra de programas tradicionales. Promedio de consultas a la biblioteca, de los estudiantes de los programas de la Alianza, comparado con una muestra de estudiantes de programas tradicionales. Importancia relativa de la docencia basada en competencias. Intensidad horaria (duracin en horas) de las asignaturas de noveno y dcimo basadas en competencias X100 / Intensidad horaria total de noveno y dcimo. NOTA: los indicadores relacionados con docentes capacitados, proyectos educativos institucionales actualizados, sistema de gestin de la calidad puestos en operacin, la estabilidad de los docentes vinculados a programas por competencias, materiales didcticos desarrollados, fortalecimientos de la planeacin, la coordinacin y el control por parte de las entidades gubernamentales, y otros, son indicadores de resultados pero no permiten medir el impacto de las acciones ejecutadas por la Alianza. La modernizacin de la gestin acadmica y de las prcticas docentes de las IEM y las IES vinculadas a la Alianza se manifiesta en los indicadores de pertinencia, eficiencia de los programas acadmicos, empleabilidad, articulacin, calidad y Replicabilidad. Puesto que la gestin se ha modernizado, se observan esos efectos sobre la educacin media articulada y sobre los programas tcnicos y tecnolgicos desarrollados por la Alianza. Repitencia de Asignaturas: sumatoria de asignaturas reprobadas durante un periodo acadmico X100 / asignaturas cursadas(asignaturas inscritas por los estudiantes) Repitencia: estudiantes que reprobaron un curso X100 / estudiantes que
17

MOVILIDAD

MODERNIZACIN

EFICIENCIA

Ministerio de Educacin Nacional Proyecto de Fortalecimiento a la Educacin Tcnica y Tecnolgica

ARTICULACIN

tomaron el curso Desercin: estudiantes que se retiraron durante un periodo acadmico X 100 / estudiantes matriculados para el mismo periodo acadmico Relacin Ingreso / graduados: egresados pertenecientes a una cohorte, que recibieron el grado dentro del plazo programado X 100 / total de estudiantes que conforman la cohorte Duracin media de estudios: sumatoria del tiempo empleado por todos los estudiantes (el universo o una muestra representativa) desde el momento del ingreso hasta la aprobacin del total de las asignaturas / el nmero de estudiantes Tamao medio de los grupos: total de estudiantes matriculados en un programa acadmico de la Alianza durante un periodo acadmico / nmero de cursos o grupos Utilizacin de capacidad instalada (talleres, laboratorios, software bibliotecas): Horas estudiante de utilizacin de un recurso X 100 / Horas estudiante de utilizacin potencial o terica. Costo fijo medio por estudiante (comparado): Total de los costos fijos de un programa acadmico de la Alianza, durante un periodo / nmero de estudiantes matriculados durante el periodo. Este valor se compara con el costo fijo medio de los programas tradicionales de la IES Porcentaje de estudiantes en articulacin: estudiantes de noveno y dcimo semestre de las IEM articuladas, que se encuentran inscritos en los programas Tcnicos profesionales de la Alianza X 100 / Total de estudiantes de noveno y dcimo de las IEM articuladas. Nota: se puede calcular independientemente, para cada IEM articulada. Porcentaje de permanencia: nmero de egresados de las IEM articuladas que se matricularon en la IES para continuar el ciclo tcnico profesional X 100 / Total de egresados de las IEM articuladas Participacin de los estudiantes en articulacin: nmero de egresados de las IEM articuladas matriculados en los programas de la Alianza X 100 / Total de estudiantes de esos programas Desercin comparada: Desercin de estudiantes de los programas de la Alianza, egresados de las IEM articuladas, comparada con la desercin de estudiantes que no pertenecen a las IEM articuladas Rendimiento acadmico (comparado): Promedio de calificaciones del grupos de estudiantes de los programas de la Alianza, egresados de las IEM articuladas, comparado con el promedio de calificaciones de los estudiantes que no pertenecen a las IEM articuladas Porcentaje de vinculacin al sector productivo aliado: Egresados vinculados al sector productivo aliado X 100 / total de egresados Porcentaje de vinculacin laboral: Nmero de egresados vinculados laboralmente X 100 / total de egresados ndice de condiciones laborales: remuneracin media de los egresados de los programas de la Alianza X 100 / remuneracin media de una muestra de egresados de otros programas ndice del tiempo medio de consecucin de empleo: tiempo medio
18

EMPLEABILIDAD

Documento gua para la evaluacin de impacto Alianzas T&T

transcurrido entre la terminacin de estudios y la vinculacin laboral de los egresados de los programas de la Alianza X 100 / tiempo medio de vinculacin de una muestra de egresados de otros programas. ndice de Replicabilidad: nmero de programas replicados X 100 / nmero de programas registrados por la IES vinculada a la Alianza Valor relativo de los programas replicados: nmero de estudiantes en programas replicados X 100 / total de matriculados en los programas de la Alianza, incluidos los replicados. Autonoma econmica de los programas de la Alianza: Ingresos gastos Evolucin de la matrcula de estudiantes Variacin del porcentaje de estudiantes de los estratos 1 y 2 matriculados en los programas de la alianza, con respecto del total de estudiantes de la IES. Variacin de la opinin sobre los programas tcnicos y tecnolgicos, captada mediante una encuesta a una muestra representativa de la poblacin, aplicada antes que entraran en funcionamiento los programas de la Alianza y despus. En caso que no se disponga de la lnea de base, se puede observar la variacin al iniciar los programas y al terminar.

10

REPLICABILIDAD

11 12

SOSTENIBILIDAD EQUIDAD

13

POSICIONAMIENTO

Tabla 3. Indicadores numricos y su relacin con las variables de la evaluacin de impacto

6.1.

Relacin entre los indicadores y las variables

Los indicadores numricos son medios para registrar informacin significativa para evaluar una variable. Los indicadores aportan unas cifras que, consideradas en trminos absolutos, carecen de significado. Los indicadores expresan la magnitud de las cualidades de una variable, es decir, expresan cuantitativamente las cualidades de una variable. Los indicadores son datos para el anlisis, y el evaluador debe interpretar cada indicador en el contexto de la accin ejecutada y dentro de las restricciones impuestas por las directrices del proyecto. La situacin que se pretenda modificar, las estrategias, objetivos, polticas y dems criterios de actuacin constituyen el marco de referencia dentro del cual cada indicador adquiere significado.

19

Ministerio de Educacin Nacional Proyecto de Fortalecimiento a la Educacin Tcnica y Tecnolgica

Los indicadores que no miden la variacin del valor de una variable con respecto del valor inicial, no se refieren al impacto sino a la ejecucin de las actividades de la Alianza, o a los resultados obtenidos. Este tipo de indicadores debe ser interpretado desde el punto de vista de los efectos. En concordancia con lo anterior, cada indicador se encuentra vinculado a una variable determinada. Existe una relacin lgica entre las variables y sus indicadores. La tabla siguiente muestra las variables que fueron establecidas para evaluar el impacto de las Alianzas, con sus correspondientes indicadores:

VARIABLES

INDICADORES Los indicadores deben demostrar que hubo una mejora en la productividad del sector econmico vinculado a la alianza. Deben medir los efectos de la mano de obra calificada sobre la productividad de las empresas (variacin de la productividad de la mano de obra). Establecer si la relacin del sector educativo con el productivo influy en la modernizacin tecnolgica o la adopcin de las mejores prcticas de la industria. Percepcin de los empresarios registrada mediante entrevistas en profundidad o grupos focales. Se debe describir la utilizacin de nuevas tecnologas por parte de las empresas del sector industrial vinculado a la Alianza, destacando las acciones de la Alianza que indujeron los procesos de actualizacin o modernizacin tecnolgica del sector. Dinmica del modelo de gestin por competencias en el sector productivo: divulgacin del modelo al interior del gremio, nmero de empresas que participan, avance logrado en la formulacin de las competencias requeridas, en el sector productivo. Formar personal competente para realizar las actividades que requieren las empresas del sector: diseo por competencias, prcticas y pasantas, certificacin de competencias, docentes familiarizados con las actividades de las empresas. El efecto que se espera de estas acciones es el incremento de la productividad de las empresas del sector productivo vinculado a la Alianza. Los indicadores sirven para demostrar el incremento en la oferta de programas tcnicos y tecnolgicos: nmero de programas con registro calificado. Nmero de cupos que se ofrecen en cada programa y total de cupos. Nmero de cupos en programas replicados. Estos valores deben ser relativizados: los cupos ofrecidos, qu porcentaje representan del total de cupos que ofrece la IES.
20

PRODUCTIVIDAD

COBERTURA

Documento gua para la evaluacin de impacto Alianzas T&T

Porcentaje con respecto de total de cupos en programas tcnicos y tecnolgicos. Porcentaje de variacin de la oferta (los nuevos cupos, que porcentaje representan del total de cupos en programas tcnicos y tecnolgicos de la IES). Relacin entre la oferta de cupos en los programas registrados y la oferta en programas replicados. Nuevos programas tcnicos y tecnolgicos, Replicacin de los programas, que se traducen en incremento de la oferta de cupos. Los indicadores buscan demostrar que los programas registrados por la Alianza (por ciclos y por competencias) son de mayor calidad, comparados con los programas tradicionales. Los programas transformados deben ser programas de mayor calidad y esto debe verse reflejado en un incremento de registros calificados de programas diseados por competencias y por ciclos propeduticos, en un incremento de programas tcnicos y tecnolgicos acreditados y en un mejor resultado de los ECAES para estos programas. Entre los indicadores de la calidad de un programa se pueden considerar: Relacin cupos / aspirantes inscritos; empleabilidad (tiempo medio de la vinculacin laboral, remuneracin y dems condiciones econmicas, comparadas con egresados de otros programas); desercin (o retencin) comparada; satisfaccin (comparada) de los estudiantes; porcentaje de egresados que aprueban exmenes de certificacin de competencias; porcentaje comparado de egresados con certificacin internacional; porcentaje de egresados que obtienen calificacin alta en ECAES, comparada con otros programas. Se espera que el nuevo modelo de gestin acadmica basada en competencias resuelva algunos de los problemas que presenta el modelo actual, en especial, lo relacionado con la falta de pertinencia. Los indicadores buscan establecer si los programas de la Alianza son acordes con las necesidades del sector productivo, el desarrollo nacional y regional, y el avance de la ciencia y la tecnologa. Se puede evidenciar la relacin de los programas acadmicos con los planes y programas de desarrollo regional. La percepcin, captada mediante entrevistas en profundidad, de los representantes del sector industrial vinculado a la Alianza. Los indicadores de productividad del sector industrial y de empleabilidad de los egresados, pueden respaldar la pertinencia. Participacin del sector productivo en actividades acadmicas (pasantas, prcticas, docencia, certificacin de competencias). Los indicadores de movilidad demuestran que los programas
21

CALIDAD

4 PERTINENCIA

Ministerio de Educacin Nacional Proyecto de Fortalecimiento a la Educacin Tcnica y Tecnolgica

MOVILIDAD

registrados por la Alianza facilitan el ingreso de la educacin media a la superior y el trnsito de un ciclo propedutico al siguiente. Las polticas acadmicas, los reglamentos sobre admisiones transferencias, y los procedimientos acadmicos pueden proporcionar evidencias sobre la movilidad, lo mismo que las cifras sobre admisiones, transferencias y el paso de un ciclo a otro. Obstculos, o requisitos para el ingreso, que fueron eliminados. Integracin con IEM. Se espera que la participacin de los egresados de las IEM incluidas en el programa de articulacin sea progresivamente ms alta. Ciclos propeduticos: se espera que el paso de la educacin media a la superior, sea sumamente simplificado. Se espera que la desercin sea menor entre los estudiantes procedentes de colegios articulados Los indicadores sustentan los efectos de la alianza sobre la eficiencia y el fortalecimiento de las instituciones de educacin pblica. Personal directivo de entidades de educacin pblica que fue capacitado en gestin acadmica por competencias. Asimilacin de la gestin acadmica basada en competencias. Ajustes a los proyectos educativos institucionales. Utilizacin de tcnicas de diseo curricular, elaboracin de materiales para la docencia, aplicacin de tcnicas de evaluacin acadmica por competencias. Proyectos de investigacin y grupos de estudio de temas relacionados con la gestin por competencias. Implantacin de sistemas de gestin de la calidad acadmica. Efectos de la modernizacin de laboratorios, talleres y bibliotecas sobre las IEM. Los indicadores de articulacin pueden tambin aportar a la evaluacin de impacto de la Alianza sobre los procesos de modernizacin de las instituciones. Fortalecimiento de procesos de planeacin, coordinacin y control de las entidades gubernamentales. Estabilidad laboral de docentes de IEM vinculados a los programas de la Alianza. Convenios celebrados. Los indicadores buscan sustentar la mejora de la eficiencia interna de las instituciones en: tasa de repitencia, relacin ingreso / graduados y duracin media de los estudios. Optimizacin del uso de la infraestructura actual. Efectos de la articulacin sobre la utilizacin de instalaciones y recursos de laboratorio, talleres y biblioteca. Promedio de estudiantes por curso o por nivel. Efectos de los programas replicados sobre el costo del desarrollo del modelo por competencias. Desercin. Articular la educacin tcnica que se ofrece en los niveles de educacin media y la educacin tcnica profesional, y tecnolgica. Para los estudiantes de media, debe haber un incremento en la tasa
22

6 MODERNIZACIN

EFICIENCIA

Documento gua para la evaluacin de impacto Alianzas T&T

ARTICULACIN

EMPLEABILIDAD

de certificacin de competencias, as como en acceso de ellos a educacin superior. Nmero de IES articuladas. Nmero de estudiantes de educacin media vinculados a programas tcnicos. Docentes de educacin media que participan en el desarrollo de los programas tcnicos. Egresados de educacin media que se vinculan a los programas tcnicos. Porcentaje de estudiantes que recibieron certificacin de competencias al terminar el primer ciclo propedutico. Porcentaje de egresados de educacin media que ingresaron al segundo ciclo de los programas tcnicos profesionales. Los indicadores permiten establecer si los egresados de los programas tcnicos y tecnolgicos de la Alianza, que fueron formados con alto desarrollo de competencias laborales, se vinculan al sector productivo con mayor facilidad que los egresados de los programas tradicionales, o si las condiciones laborales son superiores. Tiempo medio de vinculacin. Remuneracin media, comparada. Convenios celebrados entre la institucin de educacin superior y las empresas del sector productivo en relacin con la vinculacin laboral de egresados. Como se espera que los programas sean pertinentes, debe mejorar la motivacin del estudiante, por el contenido prctico y por la percepcin que el aprendizaje tiene significado y utilidad. Mejoran las probabilidades de conseguir empleo, lo que aumenta la demanda de cupos, se reduce la desercin y el costo medio por estudiante. Estas condiciones permiten una utilizacin ms intensa de los recursos. El impacto de la rplica de los programas acadmicos de la Alianza se manifiesta sobre el nmero de veces que uno de sus programas se repiten en otras IES. Estudiante en programas replicados. En un sentido ms amplio, se replica el modelo de gestin acadmica por competencias: nmero de nuevos programas de la IES vinculada a la alianza, diseados por competencias. Nmero de estudiantes. Difusin del modelo: programas de otras IES diseados por competencias con apoyo de la IES vinculada a la Alianza. Convenios celebrados con otros sectores productivos. Se hace un estimativo basado en datos, sobre la capacidad de los programas de la alianza para permanecer despus de terminados los compromisos inherentes a los programas de la Alianza. Valor de los recursos nacionales o internacionales obtenidos por la alianza para fortalecer sus programas. Autonoma econmica de los programas acadmicos. Evolucin del ingreso de estudiantes. Ingresos por venta de asesora en gestin acadmica por
23

10

REPLICABILIDAD

11

SOSTENIBILIDAD

Ministerio de Educacin Nacional Proyecto de Fortalecimiento a la Educacin Tcnica y Tecnolgica

12

EQUIDAD

13

POSICIONAMIENT O DE LA FORMACIN TCNICA Y TECNOLGICA

competencias. Contribucin de los programas replicados a la sostenibilidad de los programas de la Alianza. Establecer el impacto de los programas de la Alianza sobre el acceso a la educacin superior por parte de poblacin vulnerable. Nmero de estudiantes pertenecientes a los estratos 1 y 2 vinculados a los programas de la Alianza y porcentaje con respecto del total de estudiantes de la IES. Variacin de este porcentaje con respecto de la poblacin de estudiantes de la IES antes del inicio de los programas de la Alianza. Efectos de los programas de la Alianza mejoramiento de la percepcin que la sociedad tiene sobre este tipo de formacin. Variacin de la opinin de una muestra de la poblacin del rea de influencia de la IES, sobre la educacin tcnica y tecnolgica antes del inicio de los programas de la alianza y otra muestra similar, despus de iniciados los programas. Variacin de la demanda por programas tcnicos y tecnolgicos, antes del inicio de los programas de la alianza, y despus de iniciados (en un periodo determinado).

Tabla 2. Variables e indicadores para la evaluacin del impacto de las alianzas.

24

Documento gua para la evaluacin de impacto Alianzas T&T

7. PROCEDIMIENTO PARA LA EVALUACIN DEL IMPACTO La evaluacin del impacto se compone de dos grandes etapas: En la primera se evala el impacto de cada variable individualmente considerada, sin que esto implique la eliminacin de las relaciones entre las variables. La segunda etapa consiste en la evaluacin global de los efectos de la Alianza, tomando en cuenta los problemas que dieron origen al proyecto y las directrices, conformadas por las estrategias, polticas, objetivos y dems lineamientos para la accin. 7.1. La evaluacin del impacto de las variables debe comenzar poniendo de manifiesto si las acciones que se planearon fueron ejecutadas en su totalidad. Este dato es necesario porque no es posible evaluar el impacto de una accin cuando no se sabe si fue ejecutada o no. No se debe perder de vista que se pretende evaluar justamente el impacto de la accin realizada, sobre el estado inicial del problema. Sin embargo, no se debe confundir el logro de los resultados, con sus efectos o su impacto sobre los problemas que dieron origen al proyecto. La medicin del impacto difiere del control de seguimiento. Este detecta desviaciones entre lo programado y lo ejecutado y las comunica al responsable de la ejecucin para que adopte oportunamente las acciones correctivas correspondientes. El seguimiento determina si los objetivos previstos fueron alcanzados dentro de los lmites de tiempo, de acuerdo con las normas de calidad, tcnicas y legales, y utilizando los recursos programados. Al establecer en qu medida se ejecutaron los objetivos del proyecto, el seguimiento proporciona la informacin bsica sin la cual no es posible medir el impacto.

25

Ministerio de Educacin Nacional Proyecto de Fortalecimiento a la Educacin Tcnica y Tecnolgica

7.2.

Por su parte las medidas de impacto se obtienen cuando el proceso de ejecucin ha terminado y no es posible adoptar acciones correctivas. Pero en cambio, es posible modificar la concepcin y el diseo de la accin para mejorar sus efectos en caso que se vuelva a realizar en el futuro. Despus de hacer una afirmacin, basada en registros, sobre la accin realizada con relacin a una variable, se procede a cuantificar los efectos de la accin. Es necesario establecer las relaciones entre las acciones que sern objeto de evaluacin, y las acciones realizadas por las Alianzas, que se encuentran directamente relacionadas con cada variable. De esta manera se facilita la identificacin de los efectos que hayan tenido esas acciones, y su cuantificacin. Por ejemplo.

Una vez establecido que mejor la pertinencia de los programas, se puede cuantificar o estimar el efecto de la mayor pertinencia sobre la empleabilidad de los egresados; sobre la demanda de cupos, es decir, el nmero de aspirantes a ingresar a los programas, o sobre la percepcin que tiene la comunidad sobre los programas tcnicos y tecnolgicos, es decir, el posicionamiento de stos. Haber obtenido los registros calificados correspondientes a un determinado nmero de programas acadmicos es un resultado. Su efecto inmediato es la variacin porcentual en la oferta de cupos para ingresar a programas tcnicos y tecnolgicos. El prrafo anterior pretende poner de relieve que no se deben confundir los resultados con los efectos. Por esta razn, en la matriz de factores y variables anexa aparecen separados los indicadores de impacto, de los indicadores de resultados. 7.3. Se debe medir la magnitud de los efectos, comparndolos con un valor de referencia que muestre el valor registrado antes del inicio del programa. La lnea de base elaborada por la Alianza como parte del plan general debe proporcionar algunos de esos valores de referencia. Cuando las variables
26

Documento gua para la evaluacin de impacto Alianzas T&T

deban ser medidas a mediano o largo plazo, es necesario proceder a medir los valores actuales de los indicadores para que sirvan de referencia al establecer las variaciones atribuibles a las operaciones de la Alianza. En estos casos, cuando los efectos no se manifiestan inmediatamente despus de terminado el proyecto sino que se requiere un periodo de maduracin ms largo, que puede abarcar varios aos, la Alianza debe incluir en el informe la descripcin general de la manera como ser evaluado el impacto de esas variables, la fecha en que se har la medicin, los registros que sern utilizados, y el correspondiente programa de accin. Hay efectos que no se pueden medir con base en los registros histricos de la operacin de la Alianza, como los efectos de la articulacin sobre los estudiantes de los colegios articulados a los programas tcnicos profesionales, o los efectos sobre el posicionamiento de la formacin tcnica y tecnolgica en la mente de las personas que conforman la comunidad. Para evaluar estos aspectos debe recolectar informacin primaria mediante encuestas, entrevistas o talleres con grupos de personas involucradas. Pero no es vlido referirse a esos efectos mediante juicios de valor que no se encuentren sustentados en datos. 7.4. Es deseable que los datos sean presentados con la ayuda de grficos, especialmente, cuando tienen un carcter histrico o evolutivo. La evaluacin del impacto que las acciones ejecutadas por la alianza tuvieron sobre la magnitud de las variables establecidas, cobertura, calidad, eficiencia, por ejemplo, puede ser complementada con el impacto sobre las partes interesadas en el proyecto, como se indic al inicio de este documento. Este anlisis permite explorar algunos beneficios del proyecto que no pueden en todos los casos ser observados desde la perspectiva de las variables.

27

Ministerio de Educacin Nacional Proyecto de Fortalecimiento a la Educacin Tcnica y Tecnolgica

8. DOCUMENTO FINAL DE EVALUACIN DE IMPACTO (INFORME)

Desde el punto de vista formal, se debe elaborar un informe ejecutivo integral. No debe ser concebido como un agregado de documentos sino como informacin sistemticamente ordenada y significativa para la toma de decisiones. El grado de detalle de la informacin que se incluya debe ser congruente con la naturaleza del informe de evaluacin de impacto, que est concebido para ser utilizado por el personal directivo del proyecto en sus diversos niveles, nacional, regional y local. Debe ser completo en s mismo, de manera que el usuario de la informacin comprenda la funcin de las Alianzas en el marco de una estrategia de fomento de la formacin tcnica y tecnolgica, sus estrategias, polticas y objetivos, resultados y efectos. El informe de evaluacin de impacto es un medio para sistematizar la experiencia, expresarla en conocimientos tiles, y difundirla. Debe emitir un juicio acerca de la idoneidad de las acciones ejecutadas para resolver los problemas planteados en el proyecto, tales como pertinencia, accesibilidad, calidad, eficiencia, equidad y sostenibilidad, entre otros. Debe expresar las hiptesis, dudas, cuestiones sin resolver, las lecciones aprendidas, o las conclusiones y recomendaciones sobre las acciones realizadas, para establecer si es recomendable replicarlas, si deben ser modificadas, o se deben desechar para tomar en consideracin otras vas de accin. El documento como mnimo debe incluir: Introduccin. Presentacin del proyecto, objetivos generales y especficos y un resumen de lo realizado por la Alianza en desarrollo del proyecto. Descripcin del modelo utilizado para la evaluacin de impacto cmo se realiz criterios utilizados herramientas informacin actores, etc. Indicadores e instrumentos de recoleccin de datos para la evaluacin con una explicacin cuantitativa y cualitativa de los resultados obtenidos.
28

Documento gua para la evaluacin de impacto Alianzas T&T

Lecciones aprendidas sugerencias conclusiones recomendaciones Anexos

29

Ministerio de Educacin Nacional Proyecto de Fortalecimiento a la Educacin Tcnica y Tecnolgica

9. ANEXOS ANEXO 1. VISIN INTEGRADA DE LAS VARIABLES, FUENTES DE INFORMACIN E INDICADORES DE IMPACTO Y DE RESULTADO Con el propsito de proporcionar una visin de conjunto de los diferentes elementos que intervienen en la evaluacin del impacto de las acciones de las Alianzas, se incluye una matriz de resumen, en el anexo 1.

ANEXO 2. FICHAS TCNICAS DE LOS INDICADORES Se anexan al presente documento 13 ejemplos de fichas tcnicas, ste es el formato en el que la alianza debe presentar las fichas tcnicas definitivas de todos los indicadores determinados para la evaluacin de impacto. El objetivo a que hace relacin la ficha, tiene que ver con el o los objetivos iniciales planteados para el proyecto y con los cuales est relacionado dicho indicador; esto se explica en el numeral 3.3 del presente documento. Las fichas describen de manera sistemtica la funcin de cada indicador en el anlisis, destacando su relacin con la variable a la que pertenece, la forma de clculo, las unidades de medida, fuentes de informacin, y otros datos de importancia. El listado de los indicadores que se encuentran en las fichas tcnicas de ejemplo es el siguiente: 1. 2. 3. 4. 5. 6. 7. Variacin productividad de mano de obra Nmero de cupos generados en T&T en Educacin Superior Porcentaje de docentes capacitados Incremento en capacitacin docente en tecnologa especfica ndice de movilidad de media a Educacin superior (IMMES) Incremento de computadores por estudiante de la alianza Porcentaje de aprovechamiento fondo FEM
30

Documento gua para la evaluacin de impacto Alianzas T&T

8. Variacin de ingresos de egresados de alianza 9. ndice de desercin en media 10. Nmero de IEM vinculadas por replicabilidad 11. Nmero de instituciones interesadas en seguir en el proceso 12. Oportunidad real en educacin superior 13. Aumento en general de la oferta tcnica y tecnolgica desde 2005 a 2010.

31

Ministerio de Educacin Nacional Proyecto de Fortalecimiento a la Educacin Tcnica y Tecnolgica

NDICE DE TABLAS

Tabla 1. Relacin entre los problemas y las variables de la medicin del impacto. Tabla 2. Variables e indicadores para la evaluacin del impacto de las alianzas. Tabla 3. Indicadores numricos y su relacin con las variables de la evaluacin de impacto.

32

Documento gua para la evaluacin de impacto Alianzas T&T

ANEXOS

ANEXO 1. ANEXO 2. ANEXO 3. ANEXO 4.

Matriz de factores y variables Fichas tcnicas de los indicadores Instrumento para recoleccin de informacin Cronograma

33