EVALUACIN NACIONAL DE LOGRO ACADMICO DE CENTROS ESCOLARES (ENLACE) 2011

Elementos de apoyo para la difusin y uso de los resultados en las entidades federativas
I.
PARA EL MANEJO DE LOS RESULTADOS DE

ENLACE (BSICA

MEDIA

SUPERIOR)
1.- En Bsica, poner nfasis en los niveles de logro, ms que en los puntajes. Los puntajes nos ofrecen una cifra que promedia el logro de todos los alumnos. Dicha cifra esconde las disparidades que hay al interior de un grupo de alumnos o de una escuela, y que son esenciales de conocer para valorar la gestin escolar. Un puntaje alto puede acompaarse de porcentajes relativamente altos de alumnos en el nivel insuficiente, por ejemplo. En un caso extremo, una escuela podra estar empeada en optimizar los resultados de los mejores alumnos para elevar su puntaje en ENLACE, pero en cambio podra estar dejando atrs a muchos alumnos cuyo progreso puede requerir otro tipo de esfuerzos.

Los niveles de logro, por su parte, nos permiten ver con mayor precisin lo que ocurre en cada escuela, y valorar mejor el tamao del reto que tiene para lograr que todos sus alumnos alcancen un nivel aceptable.

2.- Para evaluar los esfuerzos de una escuela, es necesario contextualizar sus resultados. Para saber si una escuela es buena, es necesario diferenciar su desempeo interno de otros factores que influyen fuertemente en los resultados, y que no dependen de lo que ocurre en sus instalaciones. Dos elementos centrales son: a) El nivel socioeconmico y cultural de sus estudiantes. Toda la investigacin educativa de los ltimos 50 aos confirma el enorme impacto que las condiciones econmicas, sociales y culturales de las familias tienen en el desempeo escolar de los estudiantes. Por ello, a partir de los resultados 2010, se incluye el ndice de marginacin para cada escuela (de acuerdo con el Consejo Nacional de Poblacin, CONAPO), de manera que podamos considerar condiciones socioeconmicas similares al comparar los resultados de las escuelas. b) La selectividad de la escuela. Una escuela que selecciona a sus alumnos con criterios acadmicos (elige a los estudiantes con mejores resultados en un examen) tiene enormes ventajas respecto de aquellas escuelas que admiten a todos los alumnos que solicitan inscribirse. Al seleccionar alumnos, deja afuera a quienes tienen deficiencias acadmicas que podran disminuir el promedio de sus puntajes en ENLACE. Cada estado puede ponderar los resultados considerando este elemento, el cual se desconoce a nivel nacional.

3.- Las mejores escuelas no necesariamente son las que obtienen mejores niveles de logro o los mayores puntajes, sino aquellas que aportan ms a sus estudiantes, o sea, que la mejor escuela es la que aporta un mayor valor agregado a sus alumnos, y no la que
2

obtiene los mejores resultados absolutos.

De ah que los avances de

una escuela en una zona con condiciones socioeconmicas difciles puedan ser ms valiosos que otra que obtiene puntajes altos con alumnos que siempre los han obtenido. El elemento central para esta valoracin, es la comparacin de los resultados de una escuela con los que obtuvo en aos anteriores. El Comit Tcnico de ENLACE Bsica ha venido trabajando desde 2007 y el de Media Superior desde 2008, para generar esta informacin (valor agregado o ganancia educativa) y estn analizando los resultados para generar esta informacin de manera tcnicamente confiable. En tanto se avanza hacia esta direccin, lo recomendable es observar el progreso de las escuelas considerando sus resultados histricos, esto es, efectuando la comparacin contra s misma.

4.- ENLACE es un elemento importante para diagnosticar la calidad del aprendizaje de los estudiantes y de las escuelas, en un referente nacional (evaluacin estandarizada), pero de ninguna manera es el nico insumo ni necesariamente el ms preciso. En el caso de ENLACE Bsica, los contenidos seleccionados del currculum o planes y programas de estudio para ser evaluados, son los ms relevantes y principalmente aquellos que requerirn para tener xito el prximo ciclo escolar, por ello se clasifica como una Evaluacin de Tipo Diagnstica.

En el caso de ENLACE Media Superior, no evala contenidos de los planes y programas, sino las habilidades matemticas y comprensin lectora que un joven egresado de este nivel educativa para conocer en qu medida son capaces de poner en prctica, ante situaciones del mundo real, conocimientos y habilidades bsicas (lectora y matemtica) adquiridas a lo largo de la trayectoria escolar.

ENLACE no equivale ni pretende sustituir a la evaluacin que los docentes realizan en las aulas ya que sta es mucho ms amplia de lo que una evaluacin estandarizada puede considerar e incluye aspectos que esta ltima no puede medir como habilidades lectoras, desempeo de cada estudiante durante el ciclo escolar. actitudes, etc. y principalmente la observacin que los docentes hacen del

II. INFORMACIN
QU

GENERAL SOBRE

ENLACE

ES Y PARA QU SIRVE

La Evaluacin Nacional de Logro Acadmico en Centros Escolares (ENLACE) es una prueba estandarizada que se aplica a todos planteles pblicos y privados del Pas en primaria, secundaria y educacin media superior. Esta evaluacin proporciona informacin de los estudiantes respecto a su nivel de dominio de los contenidos de las asignaturas de Espaol y Matemticas, adems de una asignatura que se alterna cada ao, y que en 2011 corresponde a Geografa por el significado de este ao. Se aplica cada ao a todos los alumnos de 3 a 6 grados de primaria, de los tres grados de secundaria y de 3er ao de educacin media superior. Enlace no se utiliza como examen de ingreso a secundaria ni a bachillerato, pues no est diseado para tales efectos.

QU

TIPO DE EXAMEN ES

ENLACE evala el dominio de los contenidos curriculares (a diferencia de PISA, por ejemplo, que evala conocimientos y habilidades independientemente de dnde se hayan adquirido). Participan, adems de los alumnos, un coordinador externo de aplicacin, el director del plantel y docentesaplicadores. El director debe invitar a padres de familia como supervisores, as como a personal externo a la institucin como observadores.
4

CMO

SE DIFUNDEN SUS RESULTADOS

Los mecanismos de difusin de los resultados se adaptan a los diferentes destinatarios de la informacin: a. Las escuelas reciben un cartel con sus datos generales, que incluyen informacin sobre su matrcula, el nmero de alumnos que particip en la evaluacin y el nmero de ellos cuyo resultado se consider poco confiable1, adems de los siguientes resultados: El nivel de logro por grado (3, 4, 5 y 6 en primaria; 1, 2 y 3 en secundaria; 3 de bachillerato) y asignatura, comparado con el de los aos anteriores, y con los niveles obtenidos en el estado y el pas. El puntaje promedio de los alumnos por grado y asignatura comparado con el de los dos aos anteriores, y con los puntajes obtenidos en el estado y el pas (slo para educacin bsica). La ubicacin de la escuela en el contexto estatal y nacional, es decir, la comparacin de sus puntajes con los de escuelas del mismo tipo y ubicadas en entornos socioeconmicos similares. b. Los docentes reciben el reporte de su grupo con los datos generales de su escuela, as como: El puntaje promedio del grupo obtenido en cada asignatura El nivel de logro (insuficiente, elemental, bueno o excelente) Un comparativo de puntaje y nivel de logro con alumnos de otros grupos, escuelas y estados, por tipo de servicio y grado de marginacin de la localidad. La clasificacin de los reactivos de cada asignatura incluidos en el examen, segn el porcentaje de alumnos que los respondieron correctamente c. Los alumnos y padres de familia reciben un reporte que incluye: El puntaje obtenido en cada asignatura
1

Esa no confiabilidad se refiere a la coincidencia encontrada en sus respuestas incorrectas con las de los exmenes de otros compaeros del grupo.

 El nivel de logro (insuficiente, elemental, bueno o excelente) Un comparativo de puntaje y nivel de logro con alumnos de otros grupos, escuelas y estados, del mismo tipo de servicio y contexto socioeconmico Los temas de cada asignatura en los que el estudiante mostr tener ms dificultad Los resultados individuales de cada estudiante tambin pueden ser consultados en internet (http://enlace.sep.gob.mx/), con su nmero de folio.

d. Otros pblicos interesados en Enlace, como investigadores, funcionarios pblicos, legisladores, medios de comunicacin y sociedad en general, pueden consultar los resultados de las escuelas en la pgina de la SEP en Internet (http://enlace.sep.gob.mx/), misma que incluye adems informacin para comprender mejor la evaluacin y saber de qu manera utilizar sus resultados. III. ENLACE Y OTRAS EVALUACIONES ESTANDARIZADAS En nuestro pas se aplican diversas pruebas estandarizadas. Estas pruebas permiten valorar distintos aspectos del aprendizaje de los estudiantes y de la calidad de la educacin que se les ofrece. En adicin a ENLACE, dos muy importantes son: 1. Programa Internacional para la Evaluacin de Estudiantes (PISA, por sus siglas en ingls) que aplica la OCDE cada tres aos a una muestra de estudiantes en todos sus estados miembros y algunos otros pases, cuyos resultados de la aplicacin de 2009 se publicaron el 7 de diciembre de 2010. 2. Exmenes de Calidad y Logro Educativo (Excale), a cargo del Instituto Nacional para la Evaluacin de la Educacin (INEE), que se aplica a una muestra de estudiantes de todo el pas. Enlace Excale PISA
6

Medir el nivel de Medir el nivel de Medir la preparacin del dominio de los dominio de los planes Objetivo estudiante para el planes y programas y programas de mundo laboral de estudio estudio Censal a alumnos Muestral a alumnos Muestral a jvenes de de 3 a 6 de de 3 de preescolar, mbito de 15 aos que estudien primaria, 1 a 3 de 3 y 6 de primaria, aplicacin secundaria o secundaria y 3 de 3 de secundaria y 3 bachillerato bachillerato de bachillerato Espaol y Espaol y Matemticas en cada Matemticas, Lectura, Matemticas y aplicacin, adems reas adems de alternar Ciencias, con nfasis de alternar ciencias evaluadas ciencias naturales y alternado (nfasis en naturales y sociales. sociales (se evala Lectura en 2009) En preescolar se Historia en 2010). evalan habilidades. Tomadores de Tomadores de Tomadores de A quin decisiones en toda decisiones en los decisiones en los est la estructura del niveles altos del niveles altos del sector dirigida sector educativo sector educativo educativo mbitos Por estado, modalidad, que es Por escuela, zona Por estado y nivel educativo posible escolar, municipio, modalidad (secundaria y diagnostic modalidad y estado bachillerato) y pas ar IV.- Estudio para determinar la fiabilidad y validez de ENLACE Las dos caractersticas tcnicas ms importantes de un test son la fiabilidad (precisin) y la validez (exactitud) La fiabilidad se puede determinar con diversas medidas, una muy comnmente utilizada es la conocida como Alfa de Cronbach es una medida de consistencia interna. Tiene que ver con la proporcin de varianza del test que se debe a la covarianza entre los reactivos. Sus valores van de 0 a 1. Entre ms se acercan a 1 mejores los resultados. El estudio se realiz por el Dr. Jos Luis Gaviria de la Universidad Complutense de Madrid, experto en psicometra, y consisti en poner en relacin las pruebas PISA, una prueba tipo PISA elaborada por el Consorcio Australiano A.C.E.R. que disea la prueba PISA y ENLACE. En junio de 2008 se evalu a una muestra de 11.393 alumnos de 292 escuelas. Se les aplic un test (SEP-ISA) desarrollado por ACER.

Contena tems liberados de OCDE PISA e tems de International Schools Assessment Se seleccionaron alumnos de 2 y 3 de Secundaria de todo Mxico. La muestra estratificada con representacin nacional. En la inmensa mayora de las escuelas la participacin fue del 100%. La prueba fue codificada en Mxico por personal entrenado por ACER. A cada alumno adems se le aplic una versin de la prueba ENLACE correspondiente a la forma operativa de 2009. Resultado de la prueba ISA diseada por A.C.E.R. Matemticas Prueba ISA N 11377 Mean 13 Standard Deviation 4,84 Variance 23,43 Skewness 0 Kurtosis -0,57 Standard error of mean 0,05 Standard error of measurement 2,25 Coefficient Alpha 0,78

Item Statistics: Australian Council for Education Research Reading The internal consistency is 0.79, which is very good. Mathematics 0,78 which is very good Mxico SEP ISA 2008. Summary Report Valores para PISA

Valores para ENLACE

Asignatura 3 4 5 6 1 2 3 3 4 5 6 1 2 3 ESPAOL Grado PRIM PRIM PRIM PRIM SEC SEC SEC PRIM PRIM PRIM PRIM SEC SEC SEC 2006 0.896 0.915 0.896 0.872 2007 0.896 0.898 0.874 0.874 2008 0.912 0.922 0.907 0.911 2009 0.885 0.906 0.881 0.881 0.803 0.822 0.805 0.883 0.836 0.843 0.885 0.817 0.809 0.841 2010 0.906 0.891 0.888 0.841 0.831 0.778 0.826 0.877 0.877 0.824 0.856 0.827 0.786 0.844 2011 0.883 0.909 0.869 0.855 0.812 0.845 0.765 0.911 0.928 0.858 0.906 0.843 0.817 0.835

MATEMTICAS

0.838 0.876 0.903 0.809 0.881

0.789 0.844 0.901 0.837 0.891

0.865 0.879 0.906 0.804 0.911

0.835

0.813

0.752

Promedio Grado 0.896 0.907 0.886 0.872 0.815 0.815 0.815 0.878 0.892 0.829 0.888 0.829 0.804 0.82

Promedio Asignatura 0.858

0.849

Conclusiones del Estudio: La prueba ENLACE, en su conjunto, presenta valores extraordinariamente altos de confiabilidad. Tomando como criterio de validez la concurrencia con PISA, ENLACE tiene tambin valores extraordinariamente satisfactorios.
Dr. Jos Luis Gaviria Especialista en Psicometra de la Universidad Complutense de Madrid.

V.- NOVEDADES

PARA

2011

1. Se incluye una evaluacin de la asignatura de Geografa, en adicin a Espaol y Matemticas, con la cual se concluye el ciclo de evaluacin que inici en 2008. 2. Se incorporan los resultados de un segundo estudio de Competencia Lectora que mide velocidad, fluidez y comprensin lectora de una muestra nacional con representatividad por modalidad educativa y entidad federativa, que permitir evaluar avances de las acciones para el fortalecimiento de la lectura en casa y en el aula. 3. Nuevos reportes de resultados (alumnos, docentes y escuelas). Es resultado de un amplio y serio trabajo de investigacin que tuvo como

propsitos hacer ms efectiva la difusin de los resultados de ENLACE en educacin bsica y aportar mejores elementos para que dichos resultados se conviertan en acciones concretas para la mejora educativa. En el marco de este estudio se realizaron grupos de enfoque en seis estados de la Repblica: Baja California, Chiapas (2 ejercicios: uno en zona urbana y otro en zona indgena), Hidalgo, Nayarit, Puebla (2 ejercicios) y Quertaro. En cada estado se reunieron tres grupos con pblicos especficos: Personal de supervisin, que incluye a supervisores, jefes de sector y asesores tcnico pedaggicos de primaria y secundaria. Personal de escuelas primarias y secundarias, en donde reunimos a directores, subdirectores y docentes que durante el ciclo anterior hubieran impartido alguno de los grados entre 3 de primaria y 3 de secundaria. Padres de familia, cuyos hijos hayan cursado algn grado entre 3 de primaria y 3 de secundaria durante el ciclo anterior.

Las preguntas que orientaron estos trabajos fueron tres: 1. Qu contenidos de los reportes de resultados y del portal de ENLACE son mejor comprendidos por docentes, directores, padres de familia y personal de supervisin? 2. Cmo se utilizan los resultados de ENLACE en hogares y aulas de escuelas de diferentes modalidades y en distintos tipos de comunidad? 3. Qu modificaciones sera deseable realizar a los reportes de resultados para que sean de mayor utilidad? Los resultados de dicho estudio derivaron en un rediseo de los reportes para estudiantes, docentes y escuelas, con el apoyo del ILCE. Los reportes para estudiantes estn adems diseados para poder imprimirse en blanco y negro, para que los padres de familia puedan acceder a stos desde su publicacin en Internet a fines de Agosto, y no esperar hasta noviembre. El contenido de los nuevos reportes fue sujeto a una nueva ronda de grupos de enfoque, de donde surgieron algunas modificaciones para hacerlos ms intuitivos y fciles de utilizar.

10

Por otra parte, es importante destacar que este cambio de formatos para difusin de resultados fue aprobado por el Consejo Tcnico de ENLACE Bsica.

VI. USO DE LOS RESULTADOS DE ENLACE El fin de cualquier ejercicio de evaluacin estandarizada es mejorar la calidad del aprendizaje de los alumnos. Sin embargo, el diseo y la aplicacin del examen, as como la calificacin y difusin de sus resultados, son apenas las primeras etapas de un proceso que para ser efectivo debe derivar en nuevas formas de hacer las cosas en el aula y en la escuela, como consecuencia de lo que podamos aprender de los resultados de la evaluacin. Para ello debemos asegurarnos de que ocurran al menos los siguientes procesos: 1. Que los resultados lleguen a todos los docentes, estudiantes y padres de familia, as como a todos los directivos de las escuelas y personal de supervisin. 2. Que todos entiendan el significado de sus resultados, es decir, qu miden y dnde estn las oportunidades de mejora para estudiantes, grupos y escuelas 3. Que se identifique a los estudiantes, docentes y escuelas que requieren apoyo para mejorar. Hay cuando menos cuatro maneras de hacerlo: a. Comparacin con escuelas en circunstancias similares. Comparar los niveles de logro de cada grado, grupo y asignatura con los de escuelas de la misma modalidad, principalmente con aquellas que atienden a poblaciones en contextos socioeconmicos similares. Al comparar escuelas en entornos semejantes se puede concluir con relativa certeza que las diferencias de resultados se deben al desempeo de las personas que forman parte de la comunidad escolar. Esta comparacin tambin se puede efectuar con los puntajes. En general, podemos considerar que una diferencia de menos de 10 puntos en los resultados de un alumno, grupo o escuela con respecto al

de sus semejantes es poco significativa; una de entre 10 y 25 puntos es considerada como significativa; y una mayor a 25 puntos es muy significativa.

b. Comparacin entre grupos y alumnos de la misma escuela. Al interior de cada escuela, comparar el nivel de logro de cada grupo con el del conjunto del plantel y con los otros grupos del mismo grado nos ofrece tambin una muy buena referencia para el anlisis. Sin menospreciar la importancia de que ms estudiantes se ubiquen en el nivel excelente, el enfoque principal debe estar en lograr que cada vez menos alumnos se encuentren en el nivel insuficiente, o bien en los niveles insuficiente y elemental combinados. c. Comparacin con resultados anteriores de la misma escuela. La comparacin tanto del nivel de logro como del puntaje de las escuelas y los grupos, con lo obtenido en las ediciones anteriores de Enlace, constituye un parmetro importante para identificar su progreso. Habr que comparar el resultado de cada grupo contra lo realizado en el grado previo y/o con lo que obtuvo el grupo que el ciclo anterior se encontraba en este grado. Independientemente de los niveles de logro o puntajes resultantes, aqu es fundamental detectar cualquier descenso significativo para atenderlo y evitar que la tendencia contine. d. Comparacin al interior del grupo. Al interior de cada grupo los docentes debern hacer la identificacin de los temas de cada asignatura que ms alumnos contestaron incorrectamente. El reporte del grupo clasifica los temas en este sentido, por lo que simplemente hay que seleccionar en primera instancia a aquellos que hayan sido contestados de manera errnea por ms del 60 por ciento del grupo, para despus atender otros temas que tambin hayan mostrado elevados niveles de falla.
12

El mismo ejercicio es posible realizarlo para identificar a los alumnos que requieren mayor apoyo, pues el reporte individual consigna los temas de cada asignatura en los que el estudiante tuvo ms errores.

4. Que al identificar a estudiantes, grupos y escuelas con necesidad de apoyo, no se les seale o juzgue. Se trata de encontrar las maneras de contribuir a mejorar su desempeo. Los docentes con menores resultados podrn acordar con el director mecanismos adicionales de apoyo a su labor, y las escuelas que as lo requieren debern recibir atencin especial de la supervisin escolar y de las autoridades estatales. 5. Que el diagnstico que resulte de la evaluacin pueda derivar en acciones de mejora, idealmente tanto en el aula como en el hogar. Dichas acciones deseablemente se orientarn a los alumnos con mayor riesgo de reprobacin, sin descuidar desde luego al resto de ellos. Concentrar nuestros esfuerzos en esos alumnos resulta ms eficaz para mejorar la calidad de las escuelas. 6. Que se establezcan metas precisas para la siguiente evaluacin. Con el apoyo de los niveles de logro, es posible que cada docente, cada escuela, cada zona escolar y cada estado establezcan en qu medida debe descender la proporcin de estudiantes en el nivel insuficiente, o bien en los niveles insuficiente y elemental combinados. Deseablemente, esas metas tendran que formar parte del Programa Anual de Trabajo (PAT) de cada centro escolar. 7. Que se lleve a cabo un riguroso seguimiento del programa de mejora, especialmente al conocer los resultados de cada evaluacin bimestral. La falta de seguimiento suele resultar en el incumplimiento de cualquier programa, aun cuando sus objetivos sean muy loables y su diseo parezca muy apropiado. Por el contrario, el seguimiento de las acciones de mejora transmite un sentido de importancia al esfuerzo que en comn se ha determinado, y estimula a los participantes a cumplir sus metas y compromisos.

14