Programa de Promocin de la Reforma Educativa en Amrica Latina y el Caribe

Partnership for Educational Revitalization in the Americas

DOCUMENTOS
No 40
Las evaluaciones educativas
que Amrica Latina necesita*
Marzo 2008
Pedro Ravela, Uruguay
Patricia Arregui, Per
Gilbert Valverde, Estados Unidos
Richard Wolfe, Canad
Guillermo Ferrer, Argentina
Felipe Martnez Rizo, Mxico
Mariana Aylwin, Chile
Laurence Wolff, Estados Unidos

Los autores de este documento son los miembros del Comit Gestor del Grupo de Trabajo sobre Estndares y Evaluacin del PREAL.

Las opiniones vertidas en este trabajo son responsabilidad de los autores y no comprometen a PREAL ni a las instituciones que lo patrocinan.

 2008 Programa de Promocin de la Reforma Educativa en Amrica Latina y el Caribe (PREAL)

Todos los derechos reservados
Si desea solicitar copias adicionales, contacte al PREAL y al Inter-American Dialogue.
Este estudio puede ser descargado de: www.preal.org/publicacion.asp
Inter-American Dialogue
1211 Connecticut Avenue, NW, Suite 510
Washington, DC 20036
202-822-9002
iad@thedialogue.org
www.thedialogue.org y www.preal.org
Para citar: Ravela, Pedro; Arregui, Patricia; Valverde, Gilbert; Wolfe, Richard;
Ferrer Guillermo; Martnez Rizo, Felipe; Aylwin, Mariana; Wolff, Laurence,
Las evaluaciones educativas que Amrica Latina necesita
(PREAL, Santiago 2008).
ISBN: 0-9772271-8-9
Primera Edicin
Publicado en Chile
Diseo e Impresin:
Editorial San Marino
esm.cl

NDICE

Presentacin
I.

II.

Por qu son importantes las evaluaciones nacionales de logros

educativos?

La situacin de la evaluacin estandarizada en Amrica Latina

III. Los propsitos y los usos de los resultados de las evaluaciones

estandarizadas

12

Evaluaciones para la certificacin de los aprendizajes de los

estudiantes

12

Evaluaciones de carcter diagnstico y formativo

13

Uso de las evaluaciones para establecer incentivos

15

Criterios bsicos para la divulgacin y uso de los resultados

15

Advertencias sobre la comparacin de resultados entre escuelas

16

Itinerario para la toma de decisiones

17

IV. Los desafos de calidad tcnica de las evaluaciones

19

V.

20

Sobre la constitucin de las Unidades de Evaluacin

VI. Diez recomendaciones acerca de las evaluaciones que la regin

necesita

22

como son las evaluaciones del desempeo docente, de las polticas educativas, de los centros
educativos o aquellas que realizan los docentes
en las aulas, entre otras. Tampoco se pretende
incursionar en la evaluacin en el nivel terciario
ni en las pruebas de seleccin para el mismo.

PRESENTACIN
Este documento aborda la importancia, propsitos y usos de las evaluaciones estandarizadas a
gran escala de aprendizajes y/o logros educativos en Amrica Latina y el Caribe, bsicamente
en los niveles primario y medio. Est dirigido a
quienes formulan polticas educativas, docentes,
acadmicos, empresarios, sindicatos, organizaciones sociales, agencias de financiamiento y
medios de prensa, con el fin de aportar al debate y decisiones sobre la evaluacin estandarizada en los sistemas educativos.

Los contenidos de esta publicacin ayudarn a

quienes toman decisiones de poltica educativa
a comprender y analizar las diversas opciones
existentes en cuanto a los propsitos y usos de
los sistemas de evaluacin y las implicancias de
cada una de ellas, de modo de orientarlos en
cmo concebir una estrategia de evaluacin.

Se entiende por evaluacin estandarizada en

gran escala a aquella que permite producir informacin comparable acerca de los desempeos
de estudiantes pertenecientes a distintos contextos culturales y regionales e, incluso, a distintos pases, y que ofrece un panorama de la situacin de un pas o de un estado o provincia,
aun cuando ello se haga a veces a travs de
una muestra no demasiado grande (por ejemplo,
5.000 estudiantes)1.

Es preciso evitar el simplismo y la ingenuidad

con que muchos piensan en la evaluacin, lo
que genera sistemas mal concebidos y deficientemente implementados y, como consecuencia
de ello, efectos perversos para el sistema educativo, malgasto de recursos y descrdito de la
evaluacin externa entre los docentes. Por el
contrario, se debe reconocer la gran variedad de
aspectos que deben considerarse al momento
de implementar un sistema de evaluacin o reformar uno existente. Para que la inversin en
evaluacin valga la pena, debe tener propsitos
claros, una filosofa orientada a construir una
visin de responsabilidad compartida en relacin a la educacin, un diseo tcnico de calidad y adecuado a los propsitos, una orientacin fuerte a apoyar a los docentes en su tarea
y una voluntad poltica manifiesta de encarar acciones dirigidas a resolver los problemas y deficiencias que la evaluacin ponga de manifiesto.
Asimismo, requiere de una inversin importante
para construir una unidad tcnica competente y

El documento se centra en evaluaciones de

aprendizaje definido como el cambio ocurrido
en los conocimientos y capacidades de cada estudiante a lo largo del ao lectivo y/o de logro
educativo, entendido como la acumulacin de
conocimientos y capacidades a lo largo de toda
la vida del estudiante. No se pretende orientar
aqu acerca de otros aspectos tambin importantes de la evaluacin del quehacer educativo,

El trmino en gran escala no se emplea como sinnimo de

evaluaciones censales.

un plan de largo plazo, lo cual lleva tiempo y no

puede ser improvisado.

La evaluacin estandarizada ayuda a

visualizar los resultados educativos del
conjunto de estudiantes

I.

La educacin es una actividad opaca, en el

sentido de que sus resultados no son directa ni
inmediatamente observables. Un buen docente
puede apreciar si sus estudiantes estn aprendiendo o no y cmo, pero no todos los docentes
tienen los mismos criterios de valoracin, los
cuales estn fuertemente vinculados a su experiencia profesional: su formacin general y especfica, su conocimiento de la disciplina que ensea, su capacidad para percibir los procesos y
dificultades de los estudiantes, su familiarizacin con diversos tipos de alumnos, etc. Dada la
heterogeneidad del cuerpo docente de un pas,
no es posible obtener una visin de la situacin
del conjunto por la mera agregacin de los puntos de vista individuales. La evaluacin estandarizada apunta a lograrlo.

POR QU SON IMPORTANTES LAS

EVALUACIONES NACIONALES DE LOGROS EDUCATIVOS?

La realizacin de evaluaciones estandarizadas

como forma de conocer mejor la dinmica de
procesos y resultados en los sistemas educativos es cada vez ms frecuente a nivel regional
y mundial, en pases de muy diversas culturas
y orientaciones ideolgicas de gobierno. Prueba de ello es la creciente participacin de los
pases en las evaluaciones internacionales
como PISA, TIMSS y PIRLS, y regionales como
SERCE (en Amrica Latina) y SACMEQ (en
frica), as como el desarrollo de diferentes tipos de sistemas nacionales y subnacionales de
evaluacin.

Las evaluaciones entregan informacin

sobre el real acceso al conocimiento y a las
capacidades que alcanzan los alumnos, ms
all de la cantidad de aos de estudio que
tengan

En algunos casos, la evaluacin est motivada

por una preocupacin por la formacin ciudadana y la consolidacin de una sociedad democrtica; en otros, por la productividad de la fuerza
de trabajo y la competitividad de la economa
nacional, por las oportunidades para el desarrollo integral de las personas y sus posibilidades
de participacin en la sociedad del conocimiento, o por la equidad y la visin de la educacin
como uno de los caminos para superar la pobreza. Muchos sistemas de evaluacin parten de
una combinacin de los intereses anteriores. En
casi todos los casos se asume que la evaluacin puede servir:

como base para adoptar polticas educativas mejor fundamentadas;

para mejorar la gestin de los sistemas educativos;

como instrumento para la colaboracin y el

aprendizaje continuo al interior de los mismos.

En dcadas pasadas, la equivalencia entre permanencia en el sistema educativo y acceso al

conocimiento y a las capacidades simblicas se
daba por descontada y los indicadores para valorar a los sistemas educativos estaban relacionados con el acceso (matrcula, cobertura, retencin, etc.). En esos tiempos, las mayoras
ms pobres y con menor capital cultural no accedan al sistema educativo o apenas cursaban
unos pocos aos de educacin bsica. Con la
progresiva universalizacin del acceso al sistema educativo, hoy muchos estudiantes procedentes de los sectores sociales ms desfavorecidos llegan en desventaja en trminos de
manejo del lenguaje oral (oficial) y escrito, con
lo cual la equivalencia entre aos de estudio y
acceso al conocimiento y a las capacidades ya
no es tal. Por otra parte, el crecimiento del acceso a la profesin docente no fue acompaado
por garantas de calidad en su formacin, lo cual
tambin cuestiona la mencionada equivalencia.

A continuacin se destacan los aportes principales de este tipo de evaluaciones.

Un sistema de evaluacin de aprendizajes

y/o logros educativos puede aportar
informacin importante a diversos actores
sociales

As, ms aos en el sistema educativo no necesariamente significa que todos los nios y jvenes estn incorporando los conocimientos, actitudes y capacidades necesarias para la vida
personal y social, los que son cada vez ms
sofisticados y complejos. Las evaluaciones buscan dar luces sobre lo que est ocurriendo al
respecto.

En la medida que el sistema produzca y comunique adecuadamente informacin sobre los aspectos antes indicados, puede ser un instrumento clave de mejora, enriqueciendo la
comprensin de la situacin educativa y la toma
de decisiones en diversos mbitos:

Las evaluaciones estandarizadas ayudan a

hacer visibles un conjunto de aspectos
centrales de la labor educativa

Entre otras cosas, las evaluaciones estandarizadas aportan informacin sobre:

en qu medida los alumnos estn aprendiendo lo que se espera de ellos al finalizar

ciertos grados o niveles;

cul es el grado de equidad o inequidad en

el logro de dichos aprendizajes;

cmo evolucionan a lo largo de los aos,

tanto los niveles de logro como la equidad
en el acceso al conocimiento por parte de
los diversos grupos sociales;

en qu medida y cmo las desigualdades sociales y culturales inciden sobre las oportunidades de aprendizajes de los estudiantes;

cul es la diversidad de prcticas educativas existentes en escuelas y maestros y

cmo las mismas se relacionan con los
aprendizajes de los estudiantes en diversos
contextos sociales;

cmo influyen las condiciones de la enseanza (situacin de los maestros, recursos

disponibles, tiempos de estudio, etc.) en los
progresos de los alumnos;

Las autoridades y los encargados de formular polticas educativas pueden comprender

mejor los problemas de la enseanza y del
aprendizaje; hacerse cargo de las carencias
en que se desarrolla la labor docente y desarrollar polticas pertinentes para apoyar el
trabajo de las escuelas. Las evaluaciones
tambin les permiten valorar, sobre una
base de evidencia emprica slida, el impacto de las polticas y programas que han impulsado y los probables efectos de las que
se proponen impulsar.

Los directivos y docentes pueden, a partir de

una mirada externa sobre los logros educativos en el conjunto del sistema, comprender
mejor lo que estn logrando y lo que no estn logrando sus propios estudiantes, cmo
estn aprendiendo y qu dificultades tienen.
Pueden aprender de las experiencias de
otros docentes y escuelas que trabajan con
estudiantes de caractersticas tanto similares
como diferentes a los propios. Pueden tomar
decisiones ms apropiadas acerca de qu
aspectos del currculo enfatizar y enriquecer
sus propios modos de evaluar el aprendizaje
de sus estudiantes.

Los supervisores y encargados de la formacin de docentes pueden apoyarse en la informacin sobre los logros y dificultades
educativas en el conjunto del sistema para
estudiar en profundidad las debilidades en
el enfoque o en la prctica de la enseanza
que probablemente generan algunas de las
insuficiencias constatadas en los aprendizajes. Desde esa nueva perspectiva, pueden

qu efecto tienen en los logros educativos

las inversiones en programas educativos,
los cambios en la estructura del sistema, los
cambios curriculares, los programas de formacin, la adquisicin de material educativo, etc.

mejorar su labor tanto de orientacin a los

docentes como de formacin de los mismos. En particular, los supervisores pueden
beneficiarse de contar, como instrumento de
apoyo para su labor, con un mapa de las
escuelas que las caracterice tanto en trminos de la composicin sociocultural de su
alumnado como de sus logros educativos.

Para no confundir
Al desarrollar estos sistemas nacionales de
evaluacin, es necesario explicitar tanto el
rol que estos cumplen as como las funciones que no cumplen y cules son sus limitaciones, para evitar as los riesgos de mala
interpretacin respecto a lo que son y la informacin que recogen y difunden.

Los padres y madres de estudiantes, adecuadamente informados, pueden comprender mejor qu se espera que sus hijos
aprendan, qu es lo que estn logrando y
qu pueden hacer para colaborar con la escuela y con el aprendizaje de sus hijos.

La ciudadana en general estar mejor informada sobre lo que acontece al interior del
sistema educativo y, por tanto, estar ms
atenta a los temas y problemas de la educacin. Estar, adems, en mejores condiciones para exigir, tanto a los poderes pblicos
como a los profesionales de la docencia, la
mejora continua de la educacin que se
brinda a los nios, nias y jvenes, y el uso
responsable de los recursos que se destinan a la educacin.

Una evaluacin estandarizada aporta

informacin fundamental e indispensable sobre la calidad educativa,
aunque no sea un indicador completo
de la misma. No todos los objetivos valiosos de la educacin estn incluidos
en este tipo de evaluaciones. Hay una
gran cantidad de saberes, actitudes, valores y aprendizajes relevantes que no
pueden por la dificultad de medirlos de
esta manera o no deben porque son
propios de cada entorno local y, por tanto, no son exigibles a todos los estudiantes del pas formar parte de una
evaluacin estandarizada.

La evaluacin estandarizada de
aprendizajes y/o logros educativos es
un componente esencial de un sistema integral de evaluacin educativa,
pero no es el nico tipo de evaluacin
relevante. Tambin tienen importancia
la evaluacin realizada en el aula por
los docentes, la evaluacin del desempeo docente, la evaluacin de los centros educativos, la evaluacin de las polticas educativas, la evaluacin del uso
de los recursos, la evaluacin de la relevancia del currculo, etc.

La evaluacin es condicin necesaria,

pero no suficiente, para mejorar la educacin. Si bien existe alguna evidencia de
que la mera existencia y difusin de informacin tiene algn impacto sobre ciertos
actores, es necesario recordar que la evaluacin es apenas uno de varios elementos clave de la poltica educativa que debe
procurarse estn adecuadamente alinea-

El desarrollo de un sistema nacional de

evaluacin estandarizada puede obligar a
realizar una discusin informada sobre qu
aspectos del currculo formal son exigibles a
todos los estudiantes y a definir con claridad
qu es lo que todos los estudiantes deberan
haber aprendido al final de cada ciclo
educativo
La mayora de los currculos en la regin estn
constituidos por largas listas de objetivos y temas, todos deseables pero no todos realizables.
La elaboracin de pruebas nacionales obliga a
definir qu es lo que debe ser considerado
como fundamental y, por tanto, lo que todos los
estudiantes deben saber y ser capaces de hacer. Se pueden usar distintos trminos para designar a estas definiciones: estndares, competencias fundamentales, indicadores de logro,
niveles de desempeo, metas de aprendizaje,
criterios de suficiencia, entre otros.

dos: la formacin docente inicial y en servicio, la carrera y condiciones para el trabajo docente, la gestin escolar, la supervisin, los diseos curriculares, los libros y
materiales educativos, una inversin de
recursos proporcional a las necesidades
de las diversas poblaciones y una accin
decidida por parte de los responsables
educativos para resolver los problemas
detectados, entre otros.

II.

menzar prcticamente desde cero en repetidas

oportunidades o tendrn que hacerlo en el futuro prximo. Adems de ello, actualmente:

La evaluacin estandarizada externa

solo tendr efectos positivos sobre la
educacin si es concebida, percibida y
empleada como un mecanismo de responsabilizacin pblica de todos los
actores vinculados al quehacer educativo. Existe siempre el riesgo de que la
poltica educativa se concentre en la implementacin de evaluaciones, pero que
luego no se tomen acciones concretas
para enfrentar y resolver los problemas
que las mismas ponen de manifiesto.
Muchas veces las autoridades se limitan
a informar de los resultados y transferir
toda la responsabilidad por la solucin de
los problemas detectados a las escuelas
y familias. Otras veces, toda la responsabilidad se atribuye a los docentes, quienes, por su parte, tienden a transferir
toda la responsabilidad a los padres o al
contexto. Lo importante es evitar ingresar
en una dinmica de culpabilizacin y, por
el contrario, intentar construir una lgica
de responsabilidad compartida en torno a
la educacin.

LA SITUACIN DE LA EVALUACIN
ESTANDARIZADA EN AMRICA LATINA

Diecisis pases estn participando en el Segundo Estudio Regional en 3 y 6 de primaria que lleva adelante la OREALC/UNESCO:
Argentina, Brasil, Chile, Colombia, Costa
Rica, Cuba, Ecuador, El Salvador, Guatemala, Mxico, Nicaragua, Panam, Paraguay,
Per, Repblica Dominicana y Uruguay.

Seis de estos pases participan en PISA

2006 y otros tres se incorporaran al ciclo
PISA 2009.

Algunos pases de la regin han participado

adems (o lo estn haciendo) en los estudios
de Matemtica y Ciencias (TIMSS), Lectura
(PIRLS) y Educacin Cvica que lleva adelante la International Association for the Evaluation of Educational Achievement (IEA).

Durante los ltimos 12 aos ha estado activa en la regin la red de los sistemas de
evaluacin organizada en torno al Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin (LLECE) de OREALC/
UNESCO, en la que participan actualmente
casi todos los pases latinoamericanos. Esta
red se rene dos veces al ao y es un espacio de intercambio de experiencias y formacin en el mbito de la evaluacin.

Ms recientemente se ha constituido el Grupo Iberoamericano de PISA, integrado por

Argentina, Brasil, Chile, Colombia, Espaa,
Mxico, Portugal y Uruguay.

Las evaluaciones a gran escala en la regin

no solo son ms frecuentes sino tambin
estn mejorando

Los sistemas nacionales de evaluacin estandarizada se desarrollaron con fuerza en toda la

regin durante los aos 90. Algunos pases han
mantenido sus sistemas en funcionamiento con
continuidad, aun cuando se produjeran cambios
de enfoque o variaciones en la institucionalidad
de los mismos. Otros pases han tenido importantes discontinuidades y han tenido que co-

Los principales cambios y mejoras que se observan en los ltimos aos incluyen:

Mayor transparencia en la difusin de los

resultados . Parece haberse superado la
etapa en que las autoridades en varios pa-

ses interferan en la divulgacin de los resultados de las evaluaciones cuando estos

no les parecan favorables.

cin y en la construccin de hiptesis sobre

cmo las dinmicas de la gestin de los sistemas educativos, los procesos escolares,
las prcticas de enseanza y las decisiones
de poltica educativa influyen en las oportunidades de aprendizaje de los nios y nias.

Tendencia creciente a pasar de pruebas

normativas que tienen como propsito
principal ordenar comparativamente a los
estudiantes a pruebas de criterios, que se
enfocan en qu es lo que los estudiantes
saben y son capaces de hacer. Asimismo,

consecuencias positivas en las Unidades de

Evaluacin y en la calidad de su trabajo: ha
contribuido a la construccin y acumulacin
de capacidad tcnica en evaluacin, ha facilitado el intercambio y el desarrollo de un
lenguaje comn entre pases y ha ayudado a
mejorar la calidad de diversos procesos tcnicos (elaboracin de pruebas, incorporacin
de preguntas de respuesta abierta, muestreo, control de las aplicaciones, anlisis de
datos, modos de difusin, entre otros).

crecientemente se incluye en las pruebas

de criterios una definicin de cul es el resultado que todos los estudiantes deberan
alcanzar para que su desempeo pueda ser
considerado satisfactorio.

Mejora de las capacidades tcnico-metodolgicas para la construccin de pruebas y

para el procesamiento de los datos. Existen
esfuerzos por desarrollar pruebas que evalen un rango de conocimientos y capacidades ms amplio y que incluyan preguntas
de respuesta construida. Se han ido incorporando tambin metodologas ms sofisticadas para el tratamiento de datos, como la
Teora de Respuesta al tem y el Anlisis
Multinivel.

Las principales debilidades presentes en los

sistemas de evaluacin estandarizada en la
regin se observan en la estrategia de
difusin, en el uso de los resultados y en la
calidad tcnica de las evaluaciones
A pesar de las mejoras previamente mencionadas, persiste un conjunto importante de debilidades que es preciso abordar:

Creciente atencin a la difusin y uso de los

resultados. Se ha ido comprendiendo que
no basta con implementar una evaluacin y
publicar un informe, sino que es necesario
desarrollar una estrategia de divulgacin y
un conjunto de reportes apropiados a cada
una de las audiencias a las que se quiere
llegar. Las Unidades de Evaluacin tienen
una mayor conciencia acerca de los usos
apropiados e inapropiados para cada tipo
de evaluacin, aunque esto muchas veces
no est suficientemente claro entre quienes
toman decisiones de poltica.

Creciente participacin de los pases en evaluaciones internacionales . Esto ha tenido

Mayor preocupacin por la investigacin de

los factores que inciden sobre los aprendizajes. Si bien falta mucho por hacer en trminos metodolgicos e interpretativos para
producir buenos trabajos de investigacin,
en la mayora de los pases hay conciencia
de que es preciso avanzar en la investiga-

10

Es frecuente que desde el nivel poltico se

demande la implementacin de grandes
operativos de evaluacin sin propsitos claramente definidos y en tiempos y con recursos absolutamente insuficientes para hacerlo tcnicamente bien.

An no se tiene claro que no cualquier evaluacin sirve para cualquier propsito y que
es necesario disear cuidadosamente el
sistema de evaluacin para el largo plazo,
en funcin de propsitos y usos claramente
establecidos. Esto es determinante para las
decisiones relativas a la utilizacin de censos o muestras, a los grados y disciplinas
que sern evaluados, la periodicidad de las
evaluaciones, el tipo de pruebas y escalas
de reporte, entre otros.

Falta una mayor discusin pblica sobre

qu debe ser evaluado y qu aspectos del
currculo deben haber sido enseados a todos los estudiantes al concluir determinados
niveles educativos. Como resultado de ello,
las metas y/o estndares de aprendizaje no
son claros. Mientras no exista claridad al
respecto, tampoco existir claridad ni para
la enseanza ni para la evaluacin. Esta tarea requiere de un amplio debate social y
de un trabajo tcnico coordinado entre las
unidades de currculo y de evaluacin.

Para mejorar la investigacin sobre los factores que explican los resultados, falta mejorar mucho los instrumentos complementarios que se aplican junto con las pruebas y
concebir diseos de investigacin ms ambiciosos: estudios longitudinales, estudios
de valor agregado y estudios cualitativos,
entre otros.

Los Ministerios de Educacin han tenido, por

lo general, una limitada capacidad para concebir, formular e implementar polticas que
den respuesta a los problemas identificados
en las evaluaciones. Falta para ello mayor articulacin entre las Unidades de Evaluacin y
otros actores educativos relevantes, dentro y
fuera de los Ministerios de Educacin, y mayor articulacin entre la evaluacin, el desarrollo curricular, la formacin inicial y el desarrollo profesional de los docentes.

de dichas instituciones o subsistemas. Para

ello es necesario realizar evaluaciones de
valor agregado, que implican dos mediciones sobre una misma poblacin en distintos
momentos. Sobre este aspecto la experiencia en la regin es mnima.

Las acciones para la divulgacin y uso de

los resultados de las evaluaciones an son
insuficientes, en particular para lograr que
los docentes los comprendan y utilicen y
para que los resultados se incorporen a la
cultura escolar.

En muchos pases persisten importantes

debilidades tcnicas en el diseo de las
evaluaciones: excesiva simplicidad de la
mayor parte de las preguntas y dificultad
para elaborar preguntas que permitan evaluar capacidades cognitivas complejas; focalizacin de las evaluaciones en los logros
educativos correspondientes a un grado especfico, lo que impide saber qu han
aprendido quienes an no logran lo esperado para dicho grado; deficiencias en la conformacin de las muestras y en la forma de
estimar y reportar los errores de medicin; y
debilidades para establecer mediciones que
sean comparables en el tiempo.

No hay suficientes profesionales calificados

para disear y conducir este tipo de evaluaciones, lo que se agrava por la falta de continuidad de los equipos tcnicos de los pases, muchas veces por razones de ndole
poltico-partidaria. Esto dificulta la acumulacin de conocimiento y experiencia en la regin y ha dado lugar a que muchos pases
tengan que comenzar desde cero con sus
sistemas de evaluacin, algunos aos despus de haber tenido uno en funcionamiento y haberlo desmantelado.
El riesgo de las malas evaluaciones
Solo una evaluacin tcnicamente buena y
cuyos resultados sean conocidos y utilizados
de manera apropiada, puede tener algn impacto en la mejora de los aprendizajes. Como
es obvio, una evaluacin cuyos resultados
son poco conocidos y utilizados supone un
ejercicio estril y un desperdicio de recursos.

En la mayora de los pases perdura la prctica de divulgar resultados de tipos de escuela, escuelas individuales, estados o provincias, sin una adecuada consideracin de
los contextos socioculturales en que operan
las instituciones y subsistemas educativos.
Esto conduce a interpretaciones y conclusiones errneas sobre la eficacia educativa

Ms graves an son aquellas situaciones en

que evaluaciones tcnicamente malas son
ampliamente difundidas o en que las evalua-

11

ciones son empleadas para fines diferentes

de aquellos para los cuales fueron concebidas y diseadas, lo cual puede tener efectos
dainos para el sistema educativo. El razonamiento segn el cual lo que importa es evaluar y difundir resultados como mecanismo de
rendicin de cuentas, sin importar la calidad
de la evaluacin, es una falacia que puede
hacer retroceder los sistemas de evaluacin e
imposibilitar una discusin seria de las ventajas y desventajas de la rendicin de cuentas
o responsabilizacin por los resultados.

establecer quines han alcanzado los conocimientos y desempeos necesarios para

aprobar un curso o nivel y, en consecuencia, aprueba o reprueba.

Es necesario tambin establecer un

adecuado balance entre la implementacin
de pruebas nacionales y la participacin en
pruebas internacionales
Las pruebas nacionales pueden ofrecer una mirada ms apropiada acerca de qu aprenden los
estudiantes de aquello que se les est enseando, mientras que las pruebas internacionales
pueden servir para ubicar la situacin del pas
en relacin a lo que saben y son capaces de
hacer los estudiantes en otras sociedades y enriquecer el debate sobre el currculo nacional y
el enfoque de la enseanza. Los pases deberan analizar cuidadosamente en qu pruebas
internacionales participar, teniendo en cuenta lo
que cada una pretende evaluar y su pertinencia
en relacin a los objetivos nacionales. Parece
recomendable participar peridicamente en al
menos una evaluacin regional o internacional,
en el marco de la poltica de prioridades que
cada pas defina.

III. LOS PROPSITOS Y LOS USOS DE LOS

RESULTADOS DE LAS EVALUACIONES
ESTANDARIZADAS
Sea en la implementacin de un sistema de evaluacin o en su reforma, es necesario considerar algunas opciones bsicas de acuerdo a lo
que se espera de l.

El primer paso es definir cul ser el

propsito del sistema de evaluacin y para
qu se usarn sus resultados
Es preciso considerar diversas opciones, que
no son necesariamente excluyentes. Un sistema puede combinar varias de ellas, pero es
importante tener conciencia de que cada opcin requiere de un determinado diseo y tiene
exigencias tcnicas y de costos diferentes. Se
debe analizar si el sistema nacional de evaluacin ser:

EVALUACIONES

PARA LA CERTIFICACIN DE LOS

APRENDIZAJES DE LOS ESTUDIANTES

Un sistema de evaluacin para certificar los

aprendizajes de los estudiantes a travs de
exmenes nacionales de alta calidad tcnica
tiene ventajas asociadas a la transparencia y
responsabilidad por los resultados

de carcter diagnstico (para alumnos, escuelas o sistema educativo), sin consecuencias directas para los estudiantes, cuya finalidad principal es enriquecer con
informacin de calidad las percepciones,
decisiones y acciones de diversos actores
del sistema autoridades y cuerpos tcnicos, supervisores, directivos, docentes, estudiantes y sus familias para mejorar la enseanza y el aprendizaje.

Hoy es comn que dos estudiantes que han

aprobado un mismo nivel educativo en dos regiones distintas de un pas, posean en realidad
niveles de conocimiento muy diferentes. Los sistemas de evaluacin para la certificacin dan
transparencia al valor de los certificados educativos ante la sociedad. Adems, dichos sistemas
hacen responsables tanto a los docentes como
a los propios estudiantes por alcanzar los conocimientos y capacidades que evala el examen,
lo cual tiene impactos positivos sobre el aprendizaje. En todo caso, la evaluacin externa con

de certificacin de los logros educativos de

los estudiantes, cuyo propsito central es

12

propsitos de certificacin es ms apropiada

para los ciclos superiores del sistema educativo,
sobre todo hacia el final de la educacin media.

evaluacin empleados por los docentes, es

una forma de combinar la evaluacin externa y la interna, e incluso de aportar a los
docentes una mirada externa que les permita reflexionar sobre sus propios criterios.

Un sistema de evaluacin para la

certificacin implica algunos requerimientos
que son costosos

Por una parte, las pruebas deben ser de carcter censal y cada estudiante debe tener ms de
una oportunidad para rendirla, lo cual requiere
implementar varios operativos de evaluacin
cada ao. Por otra parte, las pruebas deben tener una amplia cobertura curricular, lo cual requiere que sean extensas, en lo posible con preguntas de respuesta construida (que tienen un
importante costo de codificacin) y deben abarcar varias asignaturas o disciplinas.

Establecer un perodo de transicin hacia estndares nicos y universalmente aplicables.

Durante dicho perodo, el foco principal se
centra en la mejora o progreso de los estudiantes de cada escuela respecto a su situacin anterior, y no nicamente en el cumplimiento del estndar absoluto de certificacin.

La peor respuesta que podra darse a este problema sera establecer un porcentaje fijo de reprobacin, por ejemplo, no debe reprobar ms
del 10% de los estudiantes. Ello implica utilizar
pruebas ms fciles y, por lo tanto, enviar a estudiantes, familias y educadores una seal equivocada respecto a las expectativas de aprendizaje.

Un sistema de evaluacin para la

certificacin puede generar tensiones
importantes que es necesario anticipar

EVALUACIONES
Si las pruebas son exigentes, ello puede conducir
a niveles de reprobacin muy altos, que afectaran principalmente a los sectores sociales ms
vulnerables y podran agudizar problemas como
la desercin y el desempleo juvenil, lo cual las
hara insostenibles desde el punto de vista social
y poltico. Por ello, es preciso acompaar este
tipo de evaluaciones (en realidad todo tipo de
evaluaciones, pero estas en particular) con acciones pedaggicas de carcter complementario y
compensatorio. Proponer estndares altos implica asumir responsabilidad sistmica por proporcionar todas las oportunidades para aprender:
textos, materiales, instalaciones y preparacin de
maestros, entre otros. Existen diversos caminos
para enfrentar este problema:

DE CARCTER DIAGNSTICO

Y FORMATIVO

Un sistema de evaluacin de tipo formativo y

sin consecuencias directas para los
estudiantes tiene ventajas en trminos de
costos, posibilidades de diseo y de
establecimiento de estndares altos, y aporte
a una cultura de evaluacin
Los costos de aplicacin de estas pruebas pueden ser menores, dado que pueden hacerse en
base a muestras y aplicarse solo en algunos grados claves y cada cierto nmero de aos. Por
otra parte, las pruebas pueden disearse con carcter matricial, en que no todos los estudiantes
responden a las mismas preguntas, sino a bloques de las mismas, lo cual permite trabajar con
una cantidad muy grande de preguntas y obtener
un anlisis ms detallado de los distintos aspectos del currculo. Estos sistemas permiten definir
estndares o niveles de expectativa exigentes sin
que ello produzca un fracaso generalizado. Asimismo, ayudan a construir una cultura de la evaluacin y a acumular capacidad tcnica, de modo
que, cuando se analice la posibilidad de establecer un sistema con consecuencias, existan las

Establecer que la evaluacin estandarizada

constituya solo una parte del proceso de
certificacin de aprendizajes de los estudiantes (por ejemplo, el 40% de su calificacin final). El resto de la nota correspondera a las evaluaciones que realizan los
docentes a cargo de los estudiantes. Si bien
en este caso se mantiene el problema respecto a la heterogeneidad de los criterios de

13

condiciones para hacerlo apropiadamente. Una

de las alternativas a considerar entre los usos de
carcter formativo es la de liberar una prueba
completa para que sea aplicada en forma autnoma por parte de los maestros, con el fin de ayudarles a identificar dificultades de alumnos individuales y de enriquecer su repertorio de
instrumentos de evaluacin.

debe ser realizado tanto por especialistas en

la didctica de las reas evaluadas como por
los docentes, creando para este ltimo efecto espacios permanentes y sistemticos de
formacin en servicio y de trabajo colectivo
al interior de las escuelas. Es muy importante que los maestros puedan analizar la mayor cantidad posible de temes para poder
identificar cules revelan un bloqueo importante para el desarrollo de nuevos conceptos
o capacidades. Sin embargo, siempre ser
necesario conservar el carcter confidencial
de una parte de los temes para poder realizar mediciones comparables en el tiempo.

El principal problema de estas evaluaciones

es que pueden carecer de impacto si no se
toman algunas acciones complementarias
Las evaluaciones de carcter diagnstico y formativo pueden resultar intrascendentes si no
van acompaadas de una estrategia precisa y
de una inversin importante para asegurar la divulgacin de los resultados y su uso en acciones educativas posteriores, puesto que su efectividad se juega en que los diferentes actores
reciban, comprendan y utilicen los resultados.
Por esto hay que tener presente que:

macin apropiada y comprensible acerca de

lo que se considera imprescindible haber
aprendido en cada grado o nivel educativo y
de las acciones que pueden contribuir al logro de dichos aprendizajes.

Para que los resultados de este tipo de evaluaciones tengan impacto sobre las polticas
educativas , se debe invertir tiempo en el

Evaluar con una perspectiva amplia

anlisis y discusin de los mismos por parte

de diversas reas del Ministerio de Educacin y otros actores relevantes, en la comprensin de los problemas y deficiencias
que los resultados ponen de manifiesto y en
la concepcin de acciones e inversiones
apropiadas para hacerles frente. Las autoridades deben estar dispuestas a someter
sus polticas y decisiones al escrutinio de la
ciudadana, para lo cual es necesario tambin invertir en la comunicacin apropiada y
permanente de los resultados a la opinin
pblica.

Para que los resultados tengan impacto sobre la motivacin de los estudiantes y sobre
la actitud de las familias hacia el aprendizaje escolar, es necesario proveerles de infor-

Es muy importante que las pruebas no se

limiten a evaluar los conocimientos y competencias correspondientes a un nico grado
(aquel en que se aplica la evaluacin), sino
que incluyan una perspectiva ms amplia de
niveles de desempeo desde ms bsicos
a ms complejos a lo largo de varios grados, de modo de identificar qu han aprendido los estudiantes en grados anteriores y
qu necesitan ahora. De este modo, los docentes podrn constatar y subsanar las deficiencias en los aprendizajes de cursos previos, que impiden a los estudiantes continuar
avanzando y los resultados sern tiles no
solo para los docentes del grado evaluado,
sino tambin para los de grados anteriores.
El nfasis no estar puesto en comunicar a
los docentes que los estudiantes aprueban
o desaprueban, sino en comunicar que estn en diferentes puntos de un continuo de
aprendizaje, en el que todos pueden y necesitan progresar.

Para que los resultados tengan impacto sobre las prcticas de enseanza, es imprescindible asimismo invertir tiempo en el anlisis e interpretacin de sus implicancias
didcticas: si los estudiantes no son capaces
de resolver cierto tipo de situaciones, qu
es lo que se est haciendo de manera insuficiente o inapropiada en las aulas y qu es lo
que se debera hacer? Este tipo de anlisis

14

Las pruebas de tipo diagnstico pueden tener

carcter muestral o censal, dependiendo de la
estrategia de cambio educativo
El carcter censal o muestral tiene diversas implicancias, aunque tambin es posible combinar
una aplicacin por muestras controlada con una
distribucin censal de las pruebas para su aplicacin en forma autnoma por parte de las escuelas, con fines formativos y de anlisis de resultados e identificacin de estudiantes que
necesitan apoyos complementarios.

USO

Las pruebas a base de muestras sirven

para tener un diagnstico global del sistema. Requieren de un cuidadoso diseo de
la muestra, de modo de obtener informacin
representativa para los niveles de desagregacin en los que se desee actuar y tomar
decisiones (regional, provincial, municipal;
urbano y rural; escuelas indgenas, etc.). El
impacto de los resultados de estas pruebas
depende principalmente de las medidas de
poltica educativa que se tomen a nivel central y de una estrategia de difusin apropiada que llegue a todas las escuelas.

Utilizar los resultados para construir rankings

de escuelas y hacerlos pblicos, como forma
de: fomentar la responsabilidad de las escuelas por sus resultados; entregar a las familias
informacin para la toma de decisiones sobre
la escuela a la cual enviar a sus hijos; promover la competencia entre los centros educativos por obtener mejores resultados.

Utilizar los resultados para entregar incentivos econmicos a las escuelas que obtienen
mejores resultados o mejoras en relacin a
sus resultados en evaluaciones anteriores.

Utilizar los resultados como indicador de la

calidad del trabajo de cada docente y como
criterio para otorgar incentivos econmicos.

Estos enfoques de uso de la evaluacin a

veces se constituyen, con o sin intencin
deliberada, en un mecanismo por el cual el
Estado renuncia a su responsabilidad por los
resultados del sistema educativo
En ocasiones, el Estado limita su accionar a la
realizacin de evaluaciones, la entrega de resultados y el establecimiento de incentivos en funcin
de estos resultados, transfiriendo la responsabilidad por los resultados a la relacin entre escuelas
y familias, como si se tratase de un asunto entre
actores privados, en lugar de ocuparse de crear
las condiciones para que la enseanza resulte
efectiva proveyendo los recursos necesarios,
constituyendo un elenco docente adecuadamente
formado y estableciendo mecanismos idneos
para la evaluacin y la orientacin de la labor de
las escuelas. Este modo de operar no considera la
complejidad de la labor educativa, en especial en
medios socialmente desfavorecidos, y la necesidad de invertir en la creacin de capacidades
como herramienta principal para la mejora de la
enseanza y el aprendizaje.

Las pruebas censales sirven para obtener informacin de cada una de las escuelas e incluso de los alumnos. El impacto de sus resultados depende de la devolucin de la
informacin a cada comunidad educativa, con
un enfoque y un formato adecuados para promover una mayor participacin y compromiso
a nivel local. La informacin tambin puede
resultar muy til para dirigir mejor las polticas
hacia distritos o escuelas con mayores problemas, ya que se puede contar con un
mapa de resultados de todas las escuelas,
zonas, provincias, tipos de escuela, etc.
DE LAS EVALUACIONES PARA ESTABLECER

INCENTIVOS

CRITERIOS

Adems de las opciones examinadas, existen

polticas de evaluacin estandarizada
dirigidas a establecer incentivos econmicos
en funcin de los resultados o a propiciar un
mercado competitivo entre las escuelas

BSICOS PARA LA DIVULGACIN Y USO

DE LOS RESULTADOS

La responsabilidad por los resultados debe

ser compartida por diversos actores
Debera evitarse todo uso de los resultados con
el fin deliberado o implcito de culpabilizar o res-

Tres son las principales modalidades en este

tipo de polticas:

15

ponsabilizar de manera exclusiva a ciertos actores. La responsabilidad debe ser compartida entre las autoridades nacionales y regionales, los
cuerpos docentes, los estudiantes y sus familias.

debieron resolver en las pruebas. Este criterio

debe combinarse adecuadamente con la necesidad de mantener el carcter confidencial de un
conjunto de preguntas que puedan emplearse
en futuras evaluaciones para establecer mediciones comparables en el tiempo. Si bien no se
pretende que los docentes utilicen pruebas estandarizadas para evaluar a sus estudiantes, el
conocimiento y la comprensin de las mismas
pueden contribuir a mejorar sus modos de evaluar y a desarrollar una cultura de la evaluacin.

La responsabilidad por los resultados

requiere de una adecuada combinacin entre
las exigencias y los apoyos a las escuelas y
a los docentes
Por un lado, es necesario que escuelas y docentes asuman su responsabilidad respecto al
objetivo de que todos los estudiantes aprendan
lo que se espera de ellos. Simultneamente, es
deber de las autoridades establecer las polticas
de apoyo necesarias para que escuelas y docentes puedan desarrollar su labor de manera
apropiada. Un esquema de exigencias altas sobre escuelas y docentes sin los correspondientes apoyos solo puede generar malestar y desnimo. Un esquema de apoyos sin contrapartes
y exigencias puede generar autocomplacencia.

Al reportar las diferencias de resultados en

funcin de la composicin sociocultural del
alumnado de las escuelas, se debe cuidar de
no crear un sistema de expectativas de logro
diferenciado por grupos sociales
En todo caso, las diferencias deberan producirse en las polticas para crear condiciones apropiadas para ensear a los grupos ms desfavorecidos. Se debera descartar tambin cualquier
tipo de uso de los resultados que, directa o indirectamente, propicie la seleccin de estudiantes
por parte de las escuelas a los efectos de mejorar sus resultados.

Es inapropiado utilizar los resultados de las

pruebas estandarizadas como indicador
principal de la calidad del trabajo del docente
o de la escuela

ADVERTENCIAS
Esto es importante, en particular si no se ha
controlado el efecto de otros factores internos y
externos al sistema educativo y si no se tiene en
cuenta que el aprendizaje depende tambin de
la motivacin y esfuerzo personal del estudiante. Adems, dado que los resultados de pruebas
estandarizadas no son el nico indicador de la
calidad de la educacin, es preciso considerarlos en conjunto con otros aspectos relevantes
como la retencin, la pertinencia y relevancia de
lo que se ensea, la formacin de valores y hbitos o la formacin ciudadana. Debe evitarse la
identificacin del trmino calidad con resultados de pruebas estandarizadas.

SOBRE LA COMPARACIN DE

RESULTADOS ENTRE ESCUELAS

Aunque los resultados de pruebas

estandarizadas no dan cuenta en forma
exhaustiva de la calidad educativa de una
escuela, s aportan informacin relevante de
los niveles de desempeo alcanzados
La informacin sobre resultados en dos pruebas
estandarizadas en general, lenguaje y matemtica no constituye por s misma una evaluacin
de la calidad educativa de las escuelas ni debera presentarse al pblico como tal. La calidad
de una escuela incluye otros aspectos relevantes
y valorados por los docentes, estudiantes y familias, tales como el desarrollo emocional, las relaciones interpersonales, la formacin cvica y en
valores, entre otros. Aun as, la informacin comparativa acerca de los niveles de desempeo alcanzados por los estudiantes en una diversidad
de escuelas puede ser relevante para los equi-

Para facilitar la comprensin y uso de los

resultados, no basta con ofrecer resultados
numricos
Es fundamental ilustrar a los distintos actores
acerca del tipo de tareas que los estudiantes

16

pos docentes de las escuelas, en la medida en

que enriquece la percepcin de la propia labor,
permitindoles ubicar los logros de sus estudiantes en el contexto de los alcanzados por los estudiantes en otras escuelas.

toda la vida del estudiante, lo cual incluye el

capital cultural familiar y sus experiencias en
otras escuelas o con otros docentes.
Debe tenerse siempre presente que el aprendizaje y el logro educativo de los estudiantes dependen tanto de lo que hacen las escuelas y
docentes, como del esfuerzo de los propios estudiantes, del apoyo de las familias a la tarea
escolar, del contexto comunitario y cultural y de
las polticas educativas. Los problemas educativos no pueden ser resueltos apelando exclusiva
ni principalmente a mecanismos de mercado.

Para que la comparacin entre los niveles de

desempeo de los estudiantes sea
apropiada, se deben considerar sus
condiciones sociales de origen
Los resultados acadmicos de las escuelas deberan poder compararse con los de escuelas
de similar composicin social, dado que los retos y dificultades que implica ensear a estudiantes de origen desfavorecido (o de lengua
materna indgena) son muy diferentes que en el
caso de estudiantes de familias con educacin
secundaria completa y/o terciaria. Tambin hay
que tener en cuenta las tasas de desercin de
las escuelas y sus polticas de seleccin de estudiantes, dado que una escuela puede mejorar
sus resultados a travs de la exclusin de estudiantes con dificultades.

Los resultados expresados en trminos de

rankings de escuelas deben ser mirados con
precaucin
La mayora de los rankings de escuelas transmiten una falsa imagen de ordenamiento. Una escuela puede ocupar el primer lugar y otra el nmero 40 y, sin embargo, las diferencias entre
sus promedios pueden no ser estadsticamente
significativos. Esto significa que no puede decirse si un promedio es realmente superior al otro,
porque las diferencias entran dentro de los mrgenes de error de la medicin. Pero aun cuando
las diferencias en los promedios sean estadsticamente significativas, pueden ser irrelevantes
en trminos de las proporciones de alumnos que
logran los niveles de desempeo esperados.

Las comparaciones entre escuelas deben

considerar la diferencia entre medir el logro
educativo y medir el aprendizaje
En rigor, si el propsito es entregar a las escuelas, familias y/o autoridades, informacin acerca
de la capacidad de ensear de los docentes y
las escuelas, es necesario medir el progreso de
los estudiantes a lo largo de un perodo lectivo
(aprendizaje) y no nicamente el resultado final (logro). Las diferencias entre estos dos trminos se expresan en que:

ITINERARIO

PARA LA TOMA DE DECISIONES

Considerando las alternativas existentes para

una poltica de evaluacin, antes de poner en
marcha un sistema de evaluacin (o de modificar uno existente) es indispensable seguir un
itinerario de decisiones para definir las caractersticas del sistema que incluya al menos las
siguientes preguntas bsicas:

El aprendizaje puede ser definido como el

cambio ocurrido en los conocimientos y capacidades de cada estudiante a lo largo del
ao lectivo. Su medicin requiere la aplicacin de dos pruebas, una al inicio y otra al
final. De este modo es posible constatar el
progreso realizado por cada alumno.
El logro educativo en cambio, se mide con
una nica prueba y refleja la acumulacin de
conocimientos y capacidades a lo largo de

17

Para qu se quiere evaluar? Quines

usarn los resultados y con qu propsitos?
Qu se espera saber que no se sepa ya?

Cules sern las unidades de anlisis para

el reporte de resultados: estudiantes individuales, grupo de clase/maestros, escuelas,

tipos de escuela, entidades subnacionales,

sistema educativo?

De acuerdo a los propsitos definidos, qu

es ms apropiado evaluar aprendizaje o
logro educativo al egreso de determinados
grados o ciclos?

Qu tipo de consecuencias tendrn los resultados y para quines?

De acuerdo a los propsitos definidos, es

necesario trabajar en forma censal o son suficientes evaluaciones en base a muestras?

Qu grados y qu disciplinas es importante evaluar?

Cada cunto tiempo es necesario y adecuado realizar las evaluaciones?

la hora de pensar en un sistema de evaluacin es importante considerar los riesgos de efectos no deseados y perjudiciales que la estrategia de evaluacin
diseada podra tener sobre el propio sistema educativo que se desea mejorar.

Las respuestas a estas preguntas deberan

plasmarse en un plan de evaluacin a corto,
mediano y largo plazo, claro y explcito. En la
elaboracin de dicho plan es muy importante
considerar los costos en dinero implicados en
cada opcin y los recursos humanos necesarios
para su adecuada implementacin. En particular, se debe balancear la inversin a realizar en
la recogida de informacin con la inversin en la
difusin y uso de los resultados. Muchos Ministerios de Educacin destinan importantes sumas
de dinero a recoger una gran cantidad de informacin todos los aos, que luego casi no se
analiza, ni se difunde ni se utiliza. Es absolutamente inconducente implementar un primer operativo de evaluacin si no se ha elaborado un
plan de trabajo de largo plazo.

Mandatos tiles al momento de tomar

decisiones polticas respecto al sistema
de evaluacin

No hars dao. Una de las primeras

normas del juramento hipocrtico seala
que el mdico se abstendr de todo
aquello que pueda generar dao o perjuicio a sus pacientes. Del mismo modo, a

18

El consumo excesivo de este producto puede resultar perjudicial para

la salud. La evaluacin no puede estar
por encima de la educacin. El exceso
de evaluaciones puede producir perjuicios para la salud del sistema educativo,
en especial si solo hay evaluaciones
pero no hay polticas para dar respuesta
a los problemas que estas ponen de manifiesto.

No evaluars en vano. Se debe evitar

recoger todos los aos informacin que
nunca ser analizada ni utilizada. Para
que un sistema de evaluacin tenga impacto, debe tener una periodicidad que
garantice que los datos puedan ser analizados, discutidos, comprendidos y utilizados. Incorporar la nueva informacin y
traducirla en decisiones y acciones lleva
tiempo. Los cambios en el sistema educativo requieren ms tiempo an.

Vsteme despacio, Sancho, que estoy

apurado. Es muy importante que quienes toman las decisiones en los Ministerios de Educacin desestimen la creencia
ingenua en la existencia de caminos fciles y rpidos. No es posible montar un
programa de evaluacin serio en tres
meses. No existe coyuntura ni ventana
de oportunidad que lo justifique: las consecuencias de la improvisacin se harn
sentir tarde o temprano. La evaluacin
requiere reflexin cuidadosa acerca de
sus fines y usos; discusin pblica sobre
qu es lo fundamental a evaluar; dilogo
e involucramiento de diferentes actores;
conformacin de equipos tcnicos competentes en diversos aspectos; e informacin previa para que los actores se
involucren con la evaluacin.

IV. LOS DESAFOS DE CALIDAD

TCNICA DE LAS EVALUACIONES

dos y experiencia. Especial atencin debe otorgarse a la decisin de utilizar la Teora Clsica o
la Teora de la Respuesta al tem para la construccin y el anlisis de las pruebas, lo cual requiere de programas de procesamiento modernos, analistas bien entrenados, anlisis
rigurosos y asesoramiento de alto nivel.

Una vez definida la poltica de evaluacin, es

necesario implementarla de acuerdo con diversos estndares apropiados de calidad tcnica.
Esto implica abordar los siguientes desafos:

Elaborar un referente o marco conceptual

que defina con precisin los conocimientos y
desempeos que son considerados
apropiados al finalizar el grado o ciclo
educativo que ser evaluado

Definir los puntos de corte que establecen

los lmites entre niveles de desempeo en
una prueba
Vinculado con esto, se debe definir la metodologa
a seguir para establecer cul de los niveles debe
ser considerado como aceptable para un estudiante al finalizar el grado o ciclo educativo evaluado.
Un rendimiento aceptable no puede ser establecido automticamente como equivalente al 51% o
ms del mximo posible en una prueba.

Si bien esta construccin exige antes que nada

un debate y decisiones de carcter poltico, las
definiciones tomadas en dicho terreno deben
luego ser adecuadamente traducidas en especificaciones y estndares de carcter tcnico. Asimismo, el debate poltico-educativo debe estar
alimentado por informacin sobre los avances
conceptuales recientes en cuanto a la enseanza y a los desempeos de los estudiantes en las
disciplinas consideradas.

Disear muestras apropiadas a los

propsitos de la evaluacin
Esto tiene por objeto evitar operaciones ms
grandes y costosas de las estrictamente necesarias y que, al mismo tiempo, tengan un nivel
de precisin adecuado. En relacin a este ltimo
aspecto debe incluirse, adems, la estimacin y
reporte de los mrgenes de error de las mediciones.

Incluir en las pruebas actividades con

diversos grados de complejidad
Se debe contemplar actividades cuya solucin requiera de competencias cognitivas suficientemente complejas, apropiadas a los desafos de la
sociedad del conocimiento, as como tambin actividades sencillas que permitan informar sobre el
punto en que se encuentran los estudiantes menos avanzados. Las actividades deben poseer
una serie de propiedades psicomtricas que es
necesario garantizar y cuyo control requiere
pruebas piloto y anlisis cuidadoso. Tambin es
importante, en la medida de lo posible, ampliar el
uso de preguntas de respuesta construida, con el
doble propsito de evaluar capacidades ms
complejas y de mejorar la articulacin entre la
evaluacin externa y la cultura docente y escolar.

Definir cmo se equipararn las

evaluaciones
La equiparacin de las evaluaciones se refiere a
la metodologa mediante la cual los resultados de
pruebas aplicadas en distintos aos se hacen
comparables. Este es uno de los desafos tcnicos ms importantes que los sistemas de evaluacin deben afrontar si uno de sus propsitos es
informar sobre los avances o retrocesos en los
logros educativos a lo largo del tiempo. Este proceso es indispensable para poder afirmar que los
eventuales cambios que se constaten responden
a cambios en la realidad educativa y no meramente a cambios en el instrumento de medicin.
Requiere tomar recaudos tanto desde el punto de
vista estadstico, como desde el punto de vista
de la continuidad de los conocimientos y compe-

Conformar las pruebas a partir de la

apropiada integracin de las actividades en
bloques y cuadernillos
Este es un desafo tcnico importante y complejo, que requiere de conocimientos especializa-

19

tencias evaluadas, y la estabilidad en la longitud

y la estructura de la prueba.

zar en los procesos escolares y los procesos

que ocurren en las aulas. Esta combinacin de
enfoques es el mejor modo de aportar informacin rica y compleja para pensar en las polticas
educativas y en las prcticas de enseanza.

Construir datos longitudinales que permitan

apreciar la evolucin en el tiempo de los
aprendizajes de un mismo conjunto de
estudiantes

La necesaria transparencia

Este tipo de datos, que exigen ms de una medicin en el tiempo, es el que evala el aprendizaje entendido como cambio y el que mejor
permite establecer cules son los procesos propiamente escolares que tienen influencia sobre
el mismo. Este enfoque es el que permitira obtener informacin ms relevante para la poltica
educativa y para la investigacin.

Sobre todos los procesos tcnicos debe

existir informacin transparente y accesible.
Es necesario dar un especial nfasis a la
documentacin de los procedimientos tcnicos seguidos en:

Establecer mecanismos de control del

cumplimiento de las condiciones
estandarizadas que deben regir durante la
aplicacin de las pruebas
El cumplimiento de las condiciones de aplicacin de las pruebas involucra aspectos tcnicos
complejos y muchas veces descuidados. Sin
embargo, son fundamentales para que la informacin sea confiable y comparable. Esto apunta
a temas como:

La calidad de la capacitacin de los aplicadores.

El establecimiento de controles de calidad

durante la aplicacin de las pruebas.

La motivacin a los estudiantes para realizar las pruebas.

La logstica de la distribucin.

El retorno seguro de los materiales.

La construccin de los instrumentos.

La estimacin de la precisin de las mediciones (y, por consiguiente, su margen

de error).

El diseo de las muestras y la cobertura

alcanzada.

La aplicacin y control de calidad de la

misma.

La definicin de niveles de desempeo y

puntos de corte.

La equiparacin y comparabilidad de los

resultados con mediciones anteriores.

V.

SOBRE LA CONSTITUCIN DE LAS

UNIDADES DE EVALUACIN

Para llevar adelante una poltica de evaluacin

de logros educativos o aprendizajes apropiada,
es necesario contar con Unidades de Evaluacin con las capacidades y los recursos adecuados que implica este complejo emprendimiento.

La puesta en marcha de un sistema de

evaluacin serio requiere de un tiempo
mnimo de entre dos y tres aos

Combinar las evaluaciones con estudios

cualitativos

Este periodo es necesario para llevar adelante

los siguientes procesos fundamentales:

Es importante combinar las evaluaciones nacionales estandarizadas, que ofrecen una mirada
sobre el conjunto del sistema, con la realizacin
de estudios cualitativos que permitan profundi-

20

Discusin, definicin y difusin pblica de

los propsitos del sistema de evaluacin,

del tipo de consecuencias, de los usos esperados y de qu debe ser evaluado.

Diseo del plan de evaluacin a largo plazo.

Conformacin de equipos tcnicos con la diversidad de capacidades requeridas (elaboracin de pruebas; elaboracin de cuestionarios; conocimiento de las disciplinas a
evaluar y de su didctica; currculo y estndares; muestreo; logstica de la aplicacin y
control de calidad de la misma; captura y
limpieza de datos; procesamiento y anlisis;
construccin de escalas; contextualizacin
sociocultural de los resultados y anlisis de
factores asociados; interpretacin de los datos en trminos de polticas educativas, de
didctica y de prcticas de enseanza).

Elaboracin de instrumentos, pilotaje y supervisin externa de los mismos.

estables e independientes dentro de los Ministerios de Educacin y otros con unidades inestables que no han logrado consolidar su trabajo
aun estando en una institucin externa. La respuesta a esta disyuntiva es que no importa tanto
el lugar institucional como la cultura de continuidad y transparencia que se cree en torno a la
evaluacin. Esto se logra cuando existe un mandato claro y una institucionalidad slida en relacin a la evaluacin, lo cual implica algn tipo
de estatuto jurdico para el sistema de evaluacin. Establecer esto por ley es uno de los caminos a considerar, dado que exige un acuerdo
amplio, en lo posible suprapartidario, que permita establecer un plan de evaluacin de la educacin de largo plazo. En este terreno, al igual que
en el econmico, se requiere de cierta estabilidad en las reglas de juego. Si la poltica de evaluacin cambia permanentemente, se genera
desconfianza y se pierde credibilidad.

Una institucionalidad slida requiere de

rganos de gobierno y de asesora tcnica
independientes y plurales, y de un
presupuesto apropiado y plazas de trabajo
que garanticen la operacin de la unidad con
la calidad tcnica requerida

Las Unidades de Evaluacin necesitan tener

una cierta estabilidad en el tiempo de sus
elencos tcnicos
El desarrollo de un sistema de evaluacin requiere
de una planificacin a 10 15 aos. Si los equipos
tcnicos cambian con frecuencia, se desperdicia
el conocimiento y la experiencia acumulada en un
rea compleja y se desacreditan los procesos de
evaluacin ante la sociedad y los educadores.

La independencia de la Unidad de Evaluacin

no debe dar lugar a su desvinculacin de la poltica educativa. Por el contrario, la evaluacin
debe responder a un proyecto poltico-educativo
con amplio respaldo y debe mantener una estrecha relacin con otras reas claves de la poltica educativa como la formacin docente, el desarrollo curricular, el planeamiento y formulacin
de proyectos, la evaluacin de programas y la
investigacin.

Las Unidades de Evaluacin necesitan tener

independencia para reportar los resultados
de su trabajo
Al igual que en el caso de las Unidades de Estadsticas sociales y econmicas, las unidades
que realizan las acciones de evaluacin y la divulgacin de los correspondientes resultados no
deben depender de los tiempos e intereses poltico-partidarios. Se ha discutido mucho respecto
a si las Unidades de Evaluacin deberan estar
dentro o fuera de los Ministerios de Educacin.
El argumento principal para esta ltima opcin
es justamente la necesaria independencia y
transparencia. Sin embargo, la experiencia en la
regin muestra casos de pases con unidades

Para que las evaluaciones estandarizadas

tengan impacto sobre las polticas y las
prcticas educativas, es necesario generar
nuevas interfases y modalidades de trabajo
que aseguren el alineamiento de los distintos
actores y mbitos de decisin
Las Unidades de Evaluacin deben asumir que
su tarea va ms all de producir datos. Si su
misin es producir informacin para otros acto-

21

res, se requiere de personas preparadas y con

tiempo para establecer lneas de dilogo con
instancias y actores responsables de:

puestos nacionales y con las inversiones alternativas. Pero cualquier inversin en evaluacin,
alta o baja, es intil si no se hace uso de los
resultados.

Anlisis de poltica educativa, con el fin de

mejorar tanto los diseos de las evaluaciones como los planes de procesamiento y los
reportes de resultados, teniendo en cuenta
preguntas relevantes para la poltica educativa (por ejemplo, la muestra puede ser diseada de modo que permita evaluar el impacto de polticas o programas especficos
en ciertos grupos de escuelas).

VI. DIEZ RECOMENDACIONES ACERCA DE

LAS EVALUACIONES QUE LA REGIN
NECESITA
La evaluacin debe concebirse como un
elemento articulado en un conjunto ms
amplio de acciones y polticas educativas. La evaluacin por s misma no produce
mejoras. Deben existir articulaciones estables entre el rea de evaluacin y las reas
de desarrollo curricular, formacin docente,
investigacin, diseo de polticas, comunicacin y prensa, entre otros.

2.

La evaluacin debe contemplar un proceso de reflexin colectiva sobre el estado

de la educacin y los caminos para mejorarla. El primer paso para ello es la consulta y el debate pblicos acerca de qu deben
aprender los estudiantes y acerca de los
propsitos y consecuencias de la evaluacin. Del mismo modo, es fundamental la
discusin pblica constructiva a partir de los
resultados, con el fin de encarar las insuficiencias e inequidades en el acceso al conocimiento por parte de los y las estudiantes. Para ello es necesario invertir en
comunicacin y difusin tantos o ms recursos que en la propia evaluacin, antes, durante y despus de la misma.

3.

La evaluacin debe estar al servicio del

desarrollo de un sentido de responsabilidad compartida por la educacin como
bien pblico. Debe promover el compromiso con la educacin de todos los actores,
cada uno segn su lugar y mbito de accin. Por este motivo, debe evitarse utilizar
la evaluacin para culpabilizar a actores especficos por los problemas detectados.

4.

Los sistemas de evaluacin de la regin

necesitan ampliar progresivamente el

Anlisis didctico, con el fin de interpretar

los resultados y los problemas de aprendizaje de los estudiantes desde la perspectiva
de la enseanza y la didctica de la disciplina evaluada, elaborar reportes con significado didctico para los docentes, disear
programas de formacin en servicio a partir
de los resultados, pensar la articulacin de
las evaluaciones estandarizadas con la evaluacin en el aula.

1.

Comunicacin, con el fin de elaborar una

diversidad de reportes de resultados, con
diversos formatos y lenguajes, que sean
apropiados y comprensibles para diversas
audiencias.

Evaluar bien requiere inversin

Ms vale no hacer ninguna evaluacin que hacer una evaluacin mala o deficiente. Esto debe
ser tenido en cuenta al tomar las decisiones
acerca del Plan de Evaluacin. Asimismo, ms
vale un sistema de evaluacin modesto pero
con costos asequibles y sostenibles en el tiempo, que una gran evaluacin, amplia y sofisticada, que solo podr realizarse una vez y que luego no podr replicarse.

La inversin en evaluacin debe ser valorada

en funcin del uso que se hace de sus
resultados, ms que a partir de otros
indicadores como el costo por alumno
Los costos de las evaluaciones son relativamente bajos cuando se los compara con los presu-

22

5.

6.

abanico de fines educativos que son objeto de evaluacin. Es importante en este

sentido incluir a la formacin ciudadana,
otras disciplinas adems de Lenguaje y Matemtica, as como un espectro ms amplio
de competencias y capacidades.

7.

Un buen sistema de evaluacin requiere

inversin, principalmente en la conformacin de equipos humanos calificados, as
como recursos econmicos suficientes para
una adecuada implementacin de todos los
procesos implicados.

Los sistemas de evaluacin de la regin

deberan progresivamente disear evaluaciones de progreso de los estudiantes,
dado que son las que pueden aportar mayor
informacin acerca del impacto de las polticas educativas, de las acciones de las escuelas y de las prcticas de enseanza, en
los aprendizajes de los y las estudiantes.

8.

El sistema de evaluacin debe sustentarse en una actitud firme de transparencia

en relacin a los resultados y de rendicin
de cuentas a la sociedad.

9.

Los ministerios de educacin deben

asumir un compromiso serio y consistente con los resultados de la evaluacin, lo cual implica promover el dilogo
acerca de los problemas detectados y los
modos de enfrentarlos, disear lneas de
accin apropiadas para resolver los problemas e invertir los recursos necesarios para
llevarlas adelante.

Un sistema de evaluacin es un proyecto

de largo plazo, por lo que requiere de un
compromiso del Estado y de una planificacin cuidadosa del diseo del sistema.
Ello exige tomar decisiones acerca de los fines, las consecuencias, los aspectos a evaluar, las reas y los grados, y la periodicidad
de las evaluaciones, entre otras cosas. Todo
ello exige tiempo, por lo que no es conveniente pretender la implementacin de sistemas de evaluacin en plazos reducidos.

10. Los sistemas de evaluacin deben ser

objeto de evaluacin peridica, con el fin
de analizar la calidad tcnica de la informacin que producen y su relevancia para diversos actores educativos y sociales.

23

Programa de Promocin de la Reforma Educativa en Amrica Latina y el Caribe

Partnership for Educational Revitalization in the Americas

El Programa de Promocin de la Reforma Educativa en

Amrica Latina y el Caribe es un proyecto conjunto del
Dilogo Interamericano, con sede en Washington, y la
Corporacin de Investigaciones para el Desarrollo, con
sede en Santiago de Chile.
Desde su creacin en 1995, el PREAL ha tenido como
objetivo central contribuir a mejorar la calidad y equidad
de la educacin en la regin mediante la promocin de
debates informados sobre temas de poltica educacional y
reforma educativa, la identificacin y difusin de buenas
prcticas y la evaluacin y monitoreo del progreso
educativo.
La ejecucin de las actividades se realiza a travs de
Centros Asociados de Investigacin y Polticas Pblicas
en diversos pases de la regin y comprenden la
realizacin de estudios, la organizacin de debates y la
promocin de dilogos pblicos sobre temas de poltica
educacional y reforma educativa.
Las actividades del PREAL son posibles gracias al apoyo
de la United States Agency for International Development
(USAID), el Banco Interamericano de Desarrollo (BID),
la International Association for the Evaluation of
Educational Achievement (IEA), GE Foundation, The
Tinker Foundation, entre otros.

Inter-American Dialogue 1211 Connecticut Ave. N.W. Suite 510

Washington, D.C. 20036 U.S.A. Tel: (202) 822-9002
Fax: (202)822-9553 E-mail: iad@thedialogue.org
Internet: www.thedialogue.org & www.preal.org

CINDE Santa Magdalena 75, Piso 10 Oficina 1002 Providencia

Santiago, Chile Tel: (56-2) 334-4302
Fax: (56-2) 334-4303 E-mail: infopreal@preal.org
Internet: www.preal.org

24