Beruflich Dokumente
Kultur Dokumente
Rafael Vidal
Director general del Ceneval.
Ex director general adjunto del INEE.
Ex administrador nacional del Proyecto PISA en Mxico.
Ex director tcnico del Ceneval.
NDICE
Introduccin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5
I.
Algunos antecedentes
de la evaluacin educativa . . . . . . . . . . . . . . . . . . . . .7
II.
Nace la cultura
de la evaluacin en Mxico . . . . . . . . . . . . . . . . . . . .9
III.
Rasgos o aspectos clave
de los instrumentos de evaluacin
en el mbito educativo . . . . . . . . . . . . . . . . . . . . . .13
IV.
Enlace, Exani, Excale o PISA
para la educacin media superior? . . . . . . . . . . . . .23
V.
Comentarios finales . . . . . . . . . . . . . . . . . . . . . . . .29
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
INTRODUCCIN
ntes de 1980 prcticamente no haba evaluacin educativa en Mxico. Sin duda, cada
profesor evaluaba a sus estudiantes y comunicaba sus calificaciones pero no se contaba con
instrumentos estandarizados de uso generalizado para evaluar el desempeo de grandes poblaciones de estudiantes; mucho menos era pensable utilizar los resultados agregados de las
evaluaciones para conocer la situacin del sistema educativo nacional o la eficacia de algn
programa. Tampoco haba evaluacin externa de instituciones ni programas de incentivos para
docentes o investigadores ligados a evaluaciones.
En la educacin nacional se haban realizado algunas acciones aisladas de evaluacin pero
no de manera sistemtica. Sin embargo, a partir de los aos ochenta se comenz a ver la necesidad de contar con la evaluacin como una herramienta clave para el mejoramiento de la educacin, y ya en los noventa se desarrollaron y establecieron varios programas e instrumentos de
evaluacin educativa. Ahora, cuando la primera dcada del siglo XXI est en su etapa final hay
quien se queja de que son muchas las evaluaciones y que incluso nos abruman, que son redundantes y que no queda claro para qu sirve cada una.
Este trabajo tiene como propsito presentar algunos antecedentes de la evaluacin en
Inglaterra y Estados Unidos, una breve crnica de lo que ha sido la evaluacin en el mbito
educativo nacional, una explicacin de las principales caractersticas de aquellos instrumentos
de evaluacin que implican respuestas de estudiantes y, a manera de ejemplo, un anlisis de los
propsitos y la utilidad de los cuatro instrumentos ms importantes que se utilizan actualmente en la educacin media superior de nuestro pas: Enlace, Exani, Excale y PISA.
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
eguramente la evaluacin de los educandos y sin duda la de los aprendices ha estado presente en los gremios profesionales desde tiempos muy remotos. Sin embargo, la evaluacin a gran escala realizada de manera sistemtica y peridica es mucho ms reciente. Sabemos
que en Inglaterra Oxford (1857) y Cambridge (1858) se establecieron los primeros Consejos
de Evaluacin, y que en 1918 se introdujo por primera vez un examen de certificacin escolar
al trmino de lo que all se llama educacin secundaria (16 aos).
Por otra parte, el proceso de evaluacin del sistema educativo ingls, denominado el Inspectorado de su Majestad (Her Majesty Inspectorate of Education) surge en 1840. El College
Entrance Examination Board de los Estados Unidos se funda en 1900. El establecimiento de
la prueba estandarizada Stanford Binet data de 1923; y las primeras versiones de la famosa
prueba SAT (Scholastic Aptitude Test), que es el instrumento ms utilizado para ayudar a las
decisiones de admisin a la universidad, se aplicaron de principios del siglo XX. El Educational Testing Service (ETS), la corporacin ms grande dedicada a la evaluacin, nace en 1948.
La IEA (International Association for the Evaluation of Educational Achievement), el ms antiguo organismo internacional de evaluacin educativa, se origina en 1958 aunque sus estatus
legal es de 1967; la IEA llev a cabo un primer estudio piloto sobre matemticas (1959-1962)
y un primer estudio formal internacional (12 pases) en 1964. Luego, en 1980-81 elabor un
segundo estudio (20 pases) y en 1995 un tercer estudio de matemticas y ciencias (45 pases,
incluido Mxico). Asimismo, la evaluacin del sistema educativo nacional de Estados Unidos,
en la que se utilizan los datos que proporciona la prueba denominada Evaluacin Nacional del
Progreso Educativo (NAEP), data de 1969.
En Mxico, sin embargo, antes de 1990 prcticamente no haba evaluacin a gran escala ni
existan instancias u organismos dedicados a la evaluacin de la educacin. Como escasos antecedentes, en los aos sesenta la UNAM y luego algunas otras universidades comenzaron a aplicar pruebas para ayudar a los procesos de admisin; por otro lado, hacia el final de la siguiente dcada se cre en la Secretara de Educacin Pblica (SEP) la Direccin General de
Evaluacin, que comenz a realizar algunas evaluaciones aunque ms con propsitos de acreditacin y certificacin de estudios. Se puede decir, entonces, que antes de los aos ochenta, la
evaluacin de la educacin en Mxico es casi una pgina en blanco.
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
ntes de los aos ochenta y noventa, la nica forma de saber cmo se encontraba la educacin nacional era preguntndole a algn experto en asuntos educativos; la estadstica educativa era magra y las evaluaciones del sistema educativo, de las IES y de los diversos
programas de educacin eran prcticamente inexistentes. Desde luego haba ideas, anlisis y
textos con juicios acuciosos y acertados de la situacin de la educacin nacional y seguramente coincidentes con las ideas que permean ahora; sin embargo, no haba mediciones propiamente dichas ni datos duros sobre la educacin mexicana.
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
10
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
que fue (y sigue siendo) elaborada y aplicada con la colaboracin de muchos expertos
internacionales, sin duda representa la primera medicin confiable del desempeo del sistema educativo mexicano.
11. Ante el surgimiento de numerosos organismos para la acreditacin (y no slo la evaluacin) de programas acadmicos en las IES, en 2000 se cre el Consejo para la Acreditacin
de la Educacin Superior (Copaes). Este organismo es el acreditador de los acreditadores,
cuya funcin principal es asegurar que las acreditaciones otorgadas por cada organismo
sean tcnicamente slidas.
12. En agosto de 2002 se cre, por decreto presidencial, el Instituto Nacional para la Evaluacin de la Educacin (INEE), dedicado fundamentalmente a la evaluacin del sistema educativo nacional. El INEE se ha propuesto evaluarlo de manera ms amplia que como lo
hace PISA, abarcando ms grados (preescolar, tercero y sexto de primaria, tercero de
secundaria y tercero de educacin media superior) y dando ms amplitud en los dominios
explorados. Para ello, el INEE ha desarrollado el grupo de instrumentos mencionado lneas arriba: los Excale.
13. Finalmente, con objeto de proporcionar a cada alumno, profesor, escuela y padre o madre
de familia resultados confiables y comparables de cada estudiante, a principios de 2006 la
SEP decidi lanzar el proyecto de la prueba Enlace (Evaluacin Nacional del Logro Acadmico en Centros Escolares); este es un instrumento de aplicacin masiva dirigido a todos
los estudiantes de educacin bsica (primaria y secundaria) y a los jvenes que cursan el
ltimo grado de la educacin media superior (EMS). En el caso particular de la EMS, se
aplica a ms de 800 mil estudiantes cada ao desde 2008 y evala los dominios de habilidad lectora y matemtica de los jvenes que estn por egresar del bachillerato.
La tabla 1 resume los principales organismos, programas e instrumentos dedicados a la
evaluacin educativa.
11
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
Instrumento
o programa
Descripcin
1984
SNI
1989
Conaeva
1989
IDANIS
1991
CIEES
1994
EXANI
Instrumento para ayudar a tomar las decisiones de admisin a la educacin media y superior
1994
EGEL
1995
TIMSS
1997
LLECE
1998
Estndares
nacionales
1998
PISA
2000
Copaes
2003
Excale
2006
Enlace
12
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
1. Propsito general
Todos los instrumentos de evaluacin a los que se hace alusin en este texto los responden personas, pero no todos los instrumentos estn destinados a evaluar a las personas; hay pruebas
cuyo propsito es evaluar programas, centros escolares, sistemas educativos, etctera.
Ejemplo
Con las respuestas de los estudiantes de la muestra de PISA no se pretende evaluar a los sujetos que responden la prueba sino a los sistemas educativos nacionales.
Posibles propsitos generales de un instrumento:
1. Evaluar personas
2. Evaluar programas educativos
3. Evaluar centros escolares
4. Evaluar sistemas educativos
2. Propsito especfico
Todas las pruebas tienen un propsito especfico; es decir, responden a lo que se quiere hacer
con la evaluacin. Se busca un diagnstico? Se pretende clasificar? Quiz se desea rendir
cuentas a alguna instancia o admitir personas a una institucin o un programa? El objetivo es
certificar un centro escolar? Etctera.
13
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
Ejemplo
Enlace es una prueba que proporciona un diagnstico de cada estudiante de educacin bsica;
Exani, en cambio, ayuda a las instituciones a tomar las decisiones de admisin.
Posibles propsitos especficos de un instrumento:
1. Diagnstico de personas, centros escolares o programas
2. Certificacin de personas o centros
3. Admisin a un centro escolar
4. Clasificacin de centros
5. Jerarquizacin (ranking) u ordenamiento de centros, de estados o subsistemas
6. Rendicin de cuentas
3. Dominio explorado
En trminos generales, en las pruebas utilizadas en educacin se suelen explorar dos tipos de
dominios: los que estn ligados al currculo o plan de estudios y los que exploran habilidades
genricas. En lo particular, las pruebas que examinan aspectos de currculo se utilizan para evaluar el cumplimiento de ste. Sin embargo, si la poblacin evaluada no comparte un currculo
se recomienda aplicar instrumentos que exploren conocimientos o habilidades genricas.
Ejemplo
La prueba PISA explora habilidades genricas ya que no est asociada a ningn currculo nacional. Las pruebas Excale (INEE) utilizadas en la educacin bsica nacional estn ligadas al currculo, ya que evalan el nivel de cumplimiento de ste en cada uno de los grados explorados.
Posibles dominios por explorar:
1. Alineadas al currculo
2. Conocimientos o habilidades genricas
3. Habilidades especficas de un puesto o profesin
4. Cobertura del dominio
Sera deseable que en una evaluacin pudiera preguntarse exhaustivamente todo lo que queremos averiguar sobre las capacidades, conocimientos o habilidades de alguien; sin embargo, en
la prctica esto es casi imposible. Restricciones de tiempo y cansancio del evaluado orillan a
14
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
seleccionar solo una pequea muestra de los conocimientos o habilidades que un estudiante
debi haber aprendido o practicado, e inferir sus niveles de dominio a partir de los datos de esa
muestra de conocimientos o habilidades.
Si se desea comparar los niveles de ejecucin de un grupo de sustentantes, todos deben de
responder instrumentos de evaluacin iguales o equivalentes, de manera que la comparacin
sea equitativa; esto implica que los aspectos por evaluar sean pocos, ya que un sustentante solo
podr responder un conjunto limitado de ellos. Lo anterior se conoce como cobertura homognea del dominio y es en general limitada o restringida a pocos aspectos.
Por otro lado, si se desea evaluar un sistema educativo se pueden preguntar aspectos distintos a muestras distintas de sustentantes y la cobertura de los dominios por evaluar puede ser
mayor. Esto se consigue preparando diferentes bateras o mdulos de preguntas (en cuadernillos o por la va de la computadora). En este caso, los resultados son incomparables de persona a persona porque las bateras son diferentes en dificultad y en temtica, pero se logra tener
una visin ms amplia de lo que una poblacin sabe o domina. Este tipo de evaluacin es pertinente para medir no a las personas sino a los sistemas o grupos.
Ejemplo
El Exani es un caso de cobertura homognea del dominio; es decir, todos los sustentantes
deben responder a las mismas preguntas. Por su parte, las pruebas PISA y Excale son casos de
cobertura amplia del dominio.
Dos tipos o formas de cubrir el dominio por evaluar:
1. Homogneo (restringido)
2. Modular (amplio)
5. Referencia para reportar los resultados
Existen dos formas bsicas para calificar y reportar los resultados de una evaluacin; por norma
o por criterio. Los instrumentos se estructuran y planean segn estas dos formas. En la calificacin con referencia a una norma lo que se hace es ordenar a las sustentantes segn el desempeo en la prueba (se le llama norma porque las frecuencias de los puntajes de los sustentantes crean una curva normal). En este caso, no existe una calificacin de corte que indique
aprobado/reprobado; en todo caso, se pueden proporcionar los percentiles a manera de informacin comparativa. La referencia fundamental es el grupo que ha presentado la prueba.
15
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
16
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
Tipos de poblacin
1. Ciertos grados
2. Cierta edad
3. Todos los aspirantes o solicitantes
4. Otro criterio
7. Cobertura de la poblacin
El propsito de la evaluacin es sin duda el referente principal para decidir la cobertura que
debe tener la aplicacin de un instrumento, ya sea censo, muestra o algn otro nivel de cobertura. Un censo resulta pertinente si todos los evaluados deben recibir informacin de los resultados de las mediciones o si por alguna razn es necesario medir a todos y cada uno de los
miembros de una poblacin; sin embargo, el censo resulta ocioso y caro si lo que se pretende
conocer o medir puede obtenerse con una muestra de sustentantes.
Ejemplo
La prueba Enlace se aplica a todos los estudiantes de ciertos grados, porque la idea es entregar
a cada estudiante un reporte (medicin) de su desempeo en las variables o dominios del instrumento. En cambio, la prueba PISA se aplica solo a una muestra de estudiantes de 15 aos
de edad, porque en sentido estricto no evala a las personas sino al sistema educativo nacional
y, por ello, no es necesario sino medir a un reducido grupo de sujetos para conocer el desempeo del grupo completo; de hecho, con alrededor de una muestra de 6 mil sujetos PISA es capaz
de decir con una razonable exactitud la medida de un pas en las tres variables fundamentales
de la prueba. Finalmente, los Exani no son ni censos ni muestras (en la acepcin tcnica de esta
palabra), sino mediciones de grupos de aspirantes segn la demanda. Estos instrumentos y su
cobertura de la poblacin son muy pertinentes para su propsito (ayudar a las decisiones de
admisin y ofrecer diagnsticos de la poblacin de nuevo ingreso) pero, dada la naturaleza de
su cobertura, no es posible hacer sino inferencias de la poblacin que solicita dichos servicios.
Cobertura de la poblacin
1. Censo
2. Muestra
3. De acuerdo con la demanda
17
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
8. Tipos de reactivos
Todos los tipos de reactivos, tems o preguntas tienen ventajas y desventajas. Generalmente, el
propsito de la evaluacin y sus condiciones de aplicacin determinan el tipo de reactivo que
se va a utilizar.
En principio, un reactivo que explore ms a fondo los dominios o que apele a niveles cognitivos ms elevados parece mejor opcin que otros ms simples; sin embargo, las condiciones
de aplicacin y de cobertura pueden hacer ms pertinente formas menos ambiciosas como los
reactivos de opcin mltiple. Como es sabido, con stos es posible evaluar a centenares de
miles de personas en lapsos muy cortos.
Los reactivos de respuesta construida (como las pruebas de ensayo) apelan, en cambio, a
niveles cognitivos complejos pero pueden ser tambin muy complejos de calificar. Por ejemplo,
en una prueba de ensayo en la que un sustentante debe demostrar sus habilidades para redactar e integrar ideas en un escrito, el proceso de calificacin implica la elaboracin de una gua
de calificacin (llamada rbrica), el entrenamiento de grupos de calificadores (sinodales), la
evaluacin de dos calificadores independientes por cada ensayo y, si sus observaciones son discordantes, la de un tercer evaluador.
Ejemplo
Las pruebas Enlace y Exani se aplican a grupos muy grandes de sustentantes (millones) y sus
resultados se entregan o difunden en tiempos muy cortos. Para esas condiciones de aplicacin,
la prueba objetiva (opcin mltiple) es la adecuada. Por otro lado, las pruebas PISA y Excale,
que se aplican a grupos relativamente pequeos de sustentantes (muestras poblacionales), utilizan una combinacin de reactivos de opcin mltiple y de respuesta construida. En Mxico,
con sus casi 40 mil sustentantes de la prueba PISA, el nmero de preguntas abiertas ronda en
ms de 1 milln; esto conduce a la seleccin y entrenamiento de un gran grupo de calificadores
y a un proceso de calificacin de preguntas que se extiende a varias semanas de duracin.
Tipos de reactivos
1. Opcin mltiple
2. Respuesta construida
3. Portafolio de evidencias
4. Examen oral
18
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
9. Control de la aplicacin
En principio, toda aplicacin de una prueba debera garantizar que los sustentantes u otras instancias interesadas no vulneren la seguridad, de manera que se garantice que los resultados
individuales y agregados corresponden con la realidad. Sin embargo, no toda administracin de
una prueba exige los mismos niveles de seguridad al momento de la aplicacin. Ciertos instrumentos que se aplican a distancia (en lnea) o que son solo elementos de diagnstico no requieren un alto control en la aplicacin o administracin. Sin embargo, en otras aplicaciones de examen, el aspecto de seguridad es un elemento crtico; por ejemplo, si el resultado de un examen
implica la admisin a un programa, una certificacin o una clasificacin, es imprescindible asegurarse que la prueba no ha sido vulnerada.
Ejemplo
La prueba Enlace, que es fundamentalmente un instrumento de diagnstico y de informacin
para los estudiantes, padres de familia, maestros y escuelas, no debera de requerir niveles altos
de control en la aplicacin. Se supone que se participa en Enlace con el inters de obtener un
diagnstico de cada estudiante y, por lo tanto, no tiene caso alterar ese diagnstico. Si se vulnera la prueba, es tanto como ir al laboratorio de anlisis clnicos y entregar una muestra de sangre que no es la propia, sino de otra persona que se encuentra en mejor estado de salud. Ello
supondra que el diagnstico no sera de uno mismo sino de la otra persona y se estara uno
haciendo tonto a s mismo. A menos, claro est, que haya un inters en mostrar datos de salud
mejores por otras razones (obtener un empleo, engaar a una compaa de seguros, pasar una
prueba antidoping, etctera). Esto puede llegar a ocurrir si a Enlace se le asocian ordenamientos clasificatorios (rankings) o estmulos econmicos; en ese caso, la tentacin de vulnerar la
prueba ser muy grande y el nivel de control pasar de bajo a alto. Sin embargo, por el volumen tan grande de sustentantes (millones en educacin bsica) la probabilidad de que la prueba sea vulnerada es muy alta.
Por otro lado, el Exani, que apoya a las decisiones de admisin de las IES, requiere de un
alto nivel de control para garantizar que los reportes de resultados correspondan estrictamente
con las medidas de los sustentantes.
Niveles de control de la aplicacin
1. Alto
2. Bajo
19
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
20
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
Rasgo
Tipo
Propsito general
Propsito especfico
Dominio explorado
Referencia para
reportar los resultados
Tipo de poblacin
Cobertura de la poblacin
Tipos de reactivos
Control de la aplicacin
Alto, bajo
10
Impacto sobre
los sustentantes
Alto, bajo
11
Periodicidad
21
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
23
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
truida, o si uno cubre con amplitud el dominio y otro no, esos rasgos no son caprichosos ni
accidentales: obedecen a su funcin y propsito.
Enlace
Este instrumento tiene como finalidad dar informacin del rendimiento de cada estudiante que
est por terminar la EMS. Enlace es el primer instrumento instituido como tal a partir de un
objetivo de poltica pblica. Su carcter es, fundamentalmente, diagnstico/informativo y, por
ende, no sirve para certificar o hacer ordenamientos. Dadas las condiciones de aplicacin su
propsito (diagnstico) y el carcter masivo de su aplicacin (para EMS ms de 900 mil sustentantes), esta prueba tiene un bajo nivel de control sobre su administracin y, por ello, es
fcilmente vulnerable; la idea es que el instrumento sirva como diagnstico y no tiene caso vulnerarlo. Esto, sin embargo, no es un defecto sino una caracterstica propia de una prueba; si el
estudiante o las autoridades de la escuela alteran artificialmente los resultados, equivale reitero a hacerse tontos a s mismos. Debido a estas caractersticas, Enlace no es un instrumento que sirva para certificar estudiantes o escuelas y no sustituye las calificaciones que cada
docente y escuela emiten sobre sus estudiantes. La informacin de Enlace est disponible para
cada estudiante, maestro, director de escuela, padre de familia, autoridad local y la sociedad y
la opinin pblica en general. Es un instrumento estandarizado que, aplicado como es debido,
rinde informacin inigualable y nica. Es sin duda un hito en la evaluacin en Mxico. Nunca
antes se haba contado en el pas con algo equivalente.
Exani
Este instrumento tiene ya una larga trayectoria en nuestro pas. Es la herramienta ms utilizada como apoyo para las decisiones de admisin a las instituciones de educacin media superior
y superior. Es el prototipo de una prueba de las llamadas de alto impacto. Su caracterstica principal es que se trata de un instrumento predictivo, de amplia aplicacin, que ordena en forma
decreciente, en funcin del rendimiento en la prueba, a los aspirantes a cada una de las instituciones que lo solicitan. Al ser elaborado con referencia a una norma, este instrumento no tiene
calificacin de corte y no existe el criterio aprobado/reprobado. Una condicin bsica para que
el Exani sea equitativo es que todos los sustentantes (aspirantes a una misma institucin) respondan las mismas preguntas o preguntas equivalentes en grado de dificultad; esta condicin
necesaria lleva a una cobertura del dominio de la prueba (temas o reas del examen), ms restringida que otros instrumentos (slo se pregunta lo que se puede responder en las tres o cua-
24
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
tro horas que dura el examen) pero ms justa para la muy crtica decisin de admisin/no admisin. Estas caractersticas y su externalidad a la institucin usuaria lo convierten en una herramienta idnea para los procesos de admisin.
Recientemente, el Consejo Tcnico de los Exani llev a cabo una renovacin de esta prueba y ahora ofrece, adems, dentro de la misma aplicacin, la opcin de tomar el instrumento ya
clsico de seleccin con las caractersticas aqu descritas ms un instrumento de diagnstico
que ofrece a las instituciones educativas informacin concerniente a la situacin acadmica de
los aspirantes.
A lo largo de sus 15 aos de existencia no ha faltado la tentacin de utilizar este instrumento para hacer lo que no puede hacer; por ejemplo, rankings (ordenamientos) de escuelas o certificacin de personas, etctera. Ya que el Exani generalmente no se aplica como censo ni como
una muestra propiamente dicha y no tiene necesariamente una cobertura restringida del dominio (todos responden las mismas preguntas), no es pertinente usarlo con la finalidad de evaluar
al sistema educativo o para rendir cuentas.
Excale
Con objeto de conocer el nivel de desempeo de los estudiantes mexicanos, antes de 2003 la
SEP haba comenzado ya la aplicacin anual de las llamadas Pruebas Nacionales o Estndares
Nacionales; tambin con ese propsito, se haba llevado a cabo la primera aplicacin de la prueba PISA. Sin embargo, los instrumentos nacionales no tenan una cobertura suficiente del currculo, adolecan de algunos problemas tcnicos y no exista un plan de largo plazo para que sus
aplicaciones y mediciones dieran suficiente informacin del sistema educativo nacional. Adems, PISA no est diseada para evaluar el sistema educativo nacional en su conjunto y sus distintas expresiones sino slo a los ciudadanos que estn a punto de ingresar a la vida productiva (15 aos de edad) en tres variables fundamentales para la vida y el trabajo.
En 2003, el INEE, con la ayuda de su consejo tcnico de expertos nacionales y extranjeros,
propuso la creacin del Programa de las Pruebas Excale como un instrumento de evaluacin de
alta calidad y tambin como un proceso de medicin peridico y de largo plazo que ofrezca a
las autoridades educativas federales y locales, as como a la opinin pblica en general informacin vlida y confiable del desempeo del sistema educativo nacional en su conjunto y en
varios de sus subsistemas ms relevantes. Excale mide el desempeo de los sistemas y subsistemas educativos en tercero de primaria y al final de cada uno de los ciclos de la educacin
bsica y media superior (sexto de primaria, tercero de secundaria y tercero de educacin media
25
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
superior). A diferencia de los otros instrumentos, Excale est alineado al currculo y, como est
dirigido a muestras relativamente pequeas de estudiantes, y no mide ni entrega resultados a los
sujetos evaluados, puede cubrir el dominio por evaluar de una manera muy amplia con reactivos de respuesta construida (ms complejos y que apelan a niveles cognitivos ms elevados) y,
por lo tanto, entregar a autoridades educativas y a la opinin pblica informes muy detallados
del comportamiento del sistema educativo nacional. Por supuesto, Excale no puede (ni debe)
dar resultados de los sujetos evaluados (Enlace), ni sirve tampoco como instrumento para la
admisin a los ciclos inmediatamente posteriores a los que evala (Exani).
PISA
Este instrumento tiene como propsito fundamental ofrecer una visin general de cmo Mxico educa y capacita a los jvenes que estn por ingresar a la vida productiva. PISA no es un
reporte del sistema educativo mexicano sino ms bien un reporte de la manera como el pas, en
su conjunto (sistema educativo, idiosincrasia, tradiciones, medios de comunicacin, familia,
etctera), educa a sus jvenes.
Por el propsito y la manera como est diseado, PISA abarca o explora los dominios o
temas a profundidad. Esto lo hace aplicando mltiples cuadernillos, formas o versiones (alrededor de 14 o 15 formas diferentes), las cuales no son equivalentes en dificultad ni en temticas exploradas; la idea es que muestras aleatorias de estudiantes con altos y bajos niveles de
dominio respondan las diferentes versiones de la prueba para que, con esta informacin, se puedan obtener conclusiones sobre el rendimiento de cierta poblacin (en este caso, la poblacin
nacional de estudiantes de 15 aos). Por lo anterior, sera ocioso y equivocado pretender hacer
un ranking u ordenamiento de estudiantes o escuelas con una prueba como PISA, ya que: 1) no
se cuenta con los datos de toda la poblacin y 2) las diferentes formas o versiones no son equivalentes en dificultad y por lo tanto no es posible saber quin es el ms capaz o apto. Por otra
parte, ya que la prueba no es curricular o no est alineada al currculo, no es posible hacer inferencias sobre el nivel de dominio de un cierto plan de estudios. La tabla 3 muestra de manera
sucinta los rasgos y diferencias entre los cuatro instrumentos aludidos.
26
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
Enlace
Exani
Propsito general
Evaluar sujetos
Evaluar sujetos
Propsito especfico
Diagnstico
Admisin
Dominio explorado
Competencias disciplinares
Habilidades genricas
Restringido
Restringido
Criterial
Normativa
Tipo de poblacin
Egresados de EMS
Aspirantes
Cobertura de la poblacin
Censo
Tipo de reactivos
Opcin mltiple
Opcin mltiple
Control de la aplicacin
Bajo
Alto
Impacto
Bajo
Alto
Periodicidad
Anual
Observaciones
Excale
PISA
Rasgo
Propsito general
Propsito especfico
Diagnstico
Diagnstico
Dominio explorado
Alineada al currculo
Amplio
Amplio
Criterial
Criterial
Tipo de poblacin
Sujetos de 15 aos
Cobertura de la poblacin
Muestra
Muestra
Tipo de reactivos
Respuesta construida
Respuesta construida
Control de la aplicacin
Alto
Alto
Impacto
Bajo
Bajo
Periodicidad
Observaciones
27
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
COMENTARIOS FINALES
1. Evidentemente, los cuatro instrumentos que aqu nos ocupan (Enlace, Exani, Excale y
PISA) cumplen propsitos muy diferentes y atienden funciones distintas del quehacer evaluativo. No parece fcil, ni correcto, ni acertado utilizar uno para el propsito del otro. Por
ejemplo, no se debe utilizar la prueba PISA para admitir estudiantes a una institucin (se
violara el principio de equidad y homogeneidad del dominio) y tampoco es correcto aprovechar los resultados del Exani para hacer inferencias sobre el sistema educativo nacional
(el dominio restringido de esta prueba lo hace poco adecuado para tal propsito). Tampoco es aconsejable utilizar Enlace (cuya funcin es dar informacin a los sujetos) para las
funciones de Excale (ofrecer un diagnstico amplio del sistema educativo nacional).
2. Quiz la manera ms fcil de darnos cuenta de la utilidad de cada uno de estos instrumentos es imaginar qu sucedera si no contsemos con ellos (o con uno equivalente en caractersticas y calidad que cumpliera esas funciones). Por supuesto que podemos vivir sin
PISA, pero entonces no tendramos la informacin que ese instrumento nos ha brindado,
careceramos de mediciones internacionales del sistema educativo nacional y dependeramos de opiniones, sospechas, corazonadas, declaraciones, etctera, de expertos y polticos para saber el lugar de la educacin mexicana en el mundo y adems dejaramos fuera a
Mxico de la riqueza tcnica de ese instrumento. Lo mismo ocurrira sin la presencia del
Exani (o cualquier otro instrumento de su tipo que cumpla esas funciones): regresaramos
a las viejas prcticas de admisin que no siempre conjugaban criterios acadmicos sino criterios de otro tipo (llegar primero a sacar la ficha, recomendaciones, grupos de presin,
admisin por cuotas sociales, entre otros), o bien utilizaramos el promedio en estudios previos, que puede llegar a corromperse muy fcilmente si se toma como nico criterio.
Habra que imaginarse tambin qu sucedera sin Enlace y Excale.
3. Hay quien sostiene que estas evaluaciones de gran escala se repiten o son redundantes.
Pienso que no es as. No, al menos con los cuatro instrumentos que aqu se han analizado.
Probablemente, en el mbito local (en una escuela, en una regin, en un estado) se lleguen
a dar repeticiones y, en algn caso, se den dos evaluaciones con el mismo objetivo.
4. Otras personas dicen que estamos sobreevaluados. Considero que no. Ms bien estamos
abrumados porque no se ha comprendido bien para qu es cada evaluacin. Si se utilizan
los resultados de una evaluacin para los propsitos de otra, con mucha facilidad nos
29
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
30
E N L A C E ,
E X A N I ,
E X C A L E
P I S A ?
lo tanto, es baja). Por otro lado, si se dan todas esas condiciones, el estudiante no participar durante su ltimo ao en la EMS, ya que una inmensa proporcin de quienes sustentan
la prueba PISA tienen 15 aos de edad cuando cursan el primer ao de EMS o el tercero de
secundaria, solo unas decenas de estudiantes estn al final de la EMS a esa edad. El caso
del Excale es parecido al de PISA, solo que este instrumento se aplica cada cuatro aos,
eso s, a una muestra de estudiantes al final de la EMS. Las probabilidades de ms de dos
evaluaciones de este tipo al final de la educacin media superior son francamente bajas;
desde luego que hay algunos individuos que tienen que responder a dos o ms evaluaciones en el ao que terminan su educacin media, pero son muy pocos comparados con los
ms de 900 mil que terminan la EMS cada ao.
6. De cul instrumento hay que prescindir? De ninguno. Cada uno sirve a propsitos diferentes. Definir el instrumento que se debe utilizar depende del propsito que se persiga.
7. Qu hemos aprendido despus de 25 aos de evaluacin educativa? Hemos aprendido a
hacer evaluaciones, a hacerlas mal, a tenerles miedo, a ocultarlas, a huirles, a desacreditarlas y a anatematizarlas. Pero tambin hemos aprendido a hacerlas bien, y muy bien!, a perderles el miedo, a exhibirlas, a publicarlas, a exigirlas e incluso a presumirlas y convertirlas en bandera de la accin institucional y de la autoridad educativa. As, poco a poco, nos
hemos dado cuenta de la gran utilidad de la evaluacin en la mejora de la calidad educativa de nuestro pas.
Ceneval /Mxico
Junio de 2009
31
Ceneval, A.C.
Av. Camino al Desierto de los Leones 19,
Col. San ngel, Deleg. lvaro Obregn, C.P. 01000, Mxico, D.F.
www.ceneval.edu.mx
El Centro Nacional de Evaluacin para la Educacin Superior es una asociacin civil sin fines de
lucro constituida formalmente el 28 de abril de 1994, como consta en la escritura pblica nmero
87036 pasada ante la fe del notario 49 del Distrito Federal. Sus rganos de gobierno son la Asamblea General, el Consejo Directivo y la Direccin General. Su mxima autoridad es la Asamblea
General, cuya integracin se presenta a continuacin, segn el sector al que pertenecen los asociados, as como los porcentajes que les corresponden en la toma de decisiones (voto ponderado):
Asociaciones e instituciones educativas (40%): Asociacin Nacional de Universidades e Instituciones de Educacin Superior, A.C. (ANUIES); Federacin de Instituciones Mexicanas Particulares de Educacin Superior, A.C. (FIMPES); Instituto Politcnico Nacional (IPN); Instituto Tecnolgico y de Estudios Superiores de Monterrey (ITESM); Universidad Autnoma del Estado de
Mxico (UAEM); Universidad Autnoma de San Luis Potos (UASLP); Universidad Autnoma
de Yucatn (UADY); Universidad Nacional Autnoma de Mxico (UNAM); Universidad Popular
Autnoma del Estado de Puebla (UPAEP); Universidad Tecnolgica de Mxico (UNITEC).
Asociaciones y colegios de profesionales (20%): Barra Mexicana Colegio de Abogados, A.C.;
Colegio Nacional de Actuarios, A.C.; Colegio Nacional de Psiclogos, A.C.; Federacin de Colegios y Asociaciones de Mdicos Veterinarios y Zootecnistas de Mxico, A.C.; Instituto Mexicano de Contadores Pblicos, A.C.
Organizaciones productivas y sociales (20%): Academia de Ingeniera, A.C.; Academia Mexicana de Ciencias, A.C.; Academia Nacional de Medicina, A.C.; Fundacin ICA, A.C.
Autoridades educativas gubernamentales (20%): Secretara de Educacin Pblica.
Ceneval, A.C., EXANI-I, EXANI-II son marcas registradas ante la Secretara de Comercio y Fomento Industrial con el nmero 478968 del 29 de julio de 1994. EGEL, con el nmero 628837 del 1 de julio de 1999, y EXANI-III, con el nmero 628839 del 1 de julio de 1999.
Inscrito en el Registro Nacional de Instituciones Cientficas y Tecnolgicas del Consejo Nacional de Ciencia y Tecnologa con el nmero 506 desde el 10 de marzo de 1995.
Organismo Certificador acreditado por el Consejo de Normalizacin y Certificacin de Competencia Laboral (CONOCER) (1998).
Miembro de la International Association for Educational Assessment.
Miembro de la European Association of Institutional Research.
Miembro del Consortium for North American Higher Education Collaboration.
Miembro del Institutional Management for Higher Education de la OCDE.