LA EVALUACIN DEL PROFESORADO

VII Jornadas de Cooperacin Educativa Iberoamericanas sobre Evaluacin

Felipe Martnez Rizo
Mxico, 6 de octubre de 2011

1. Antecedentes
1.1. Sistemas usuales e inters actual por el tema

Los sistemas educativos que funcionan actualmente en todos los pases del
mundo consumen recursos muy considerables, y el principal rengln del gasto es
el pago de los docentes.

Lo anterior se debe a que la educacin es un servicio intensivo en mano de obra

calificada, una actividad en la que, hasta ahora, el trabajo de los docentes no
puede ser sustituido por el de una mquina. Tal vez lo sea en el futuro, pero hasta
la fecha, en especial en los niveles educativos bsicos, los avances tecnolgicos
no pueden dar como resultado niveles superiores de aprendizaje sin la presencia
de maestros competentes que conduzcan procesos apropiados a las condiciones
de los estudiantes.

Por otra parte, la insatisfaccin con los sistemas usuales de evaluacin del trabajo
docente es muy amplia. Dichos sistemas suelen definir escalas de remuneracin
con base en puntuaciones basadas en la escolaridad y antigedad en el servicio
de los maestros, as como en evaluaciones hechas por directores y supervisores,
y hay una fuerte coincidencia en el sentido de que esos elementos no son los
mejores para distinguir los buenos docentes de los que no lo son.

Todo eso explica seguramente el inters que hay actualmente en muchos pases
en cuanto a la bsqueda de mejores acercamientos al estudio y la evaluacin de
la efectividad docente. Parece necesario tener informacin con la que se pueda
evaluar el desempeo de los maestros con mayor validez y confiabilidad que la
que permiten los sistemas prevalecientes, para que los considerables recursos
que se destinan a las remuneraciones de dicho personal se utilicen en formas que
reconozcan el desempeo de los buenos docentes y lo estimulen, distinguindolo
de manera objetiva del que tienen los maestros menos buenos.

1

 1.2. Las razones de las limitaciones: la evaluacin de bienes pblicos

En una reunin organizada en 1975 por el Educational Testing Service sobre los
indicadores de calidad de los sistemas educativos, el economista Mancur Olson
present unas reflexiones sobre las razones por las que es frecuente que no se
cuente con buenas mediciones de la calidad de los servicios pblicos.

En su opinin los mecanismos del mercado suelen ser inadecuados para evaluar
bienes pblicos. No sirven para evaluar polticas de defensa o proteccin del
ambiente, por ejemplo. Y si no se tienen los medios para valorar en forma fiable la
eficiencia, los incentivos para promover esta pueden llevar a los directivos de una
organizacin a parecer eficientes y no a mejorar, invirtiendo ms en relaciones
pblicas que en cuestiones sustantivas. Para ilustrar su idea, Olson planteaba:

Se han preguntado ustedes por qu se espera que los oficiales del ejrcito
tengan el calzado especialmente lustroso? Obviamente se puede pelear
igual con zapatos sin lustrar, y en el fragor de la batalla se puede tolerar. Si
mi punto de vista tiene aunque sea la mitad de la razn, la respuesta a esa
pregunta tiene que ver con que el lustrado del calzado es una medida
aproximada (proxy) de la dedicacin al deber y la efectividad de los oficiales
y, en pocas de paz, tal vez sea una aproximacin tan buena como otras
posiblemente disponibles. (1975: 49)

Olson sealaba que las agencias que producen bienes pblicos suelen tener
sistemas de evaluacin rudimentarios, con a) sistemas de servicio civil de carrera
o mritos; b) credencialismo; c) excesivo cuidado por apegarse a reglamentos y
procedimientos; o d) para evitar problemas con los superiores. Y aada:

Me parece que la razn de todo esto no es porque en esas instituciones

haya personas que, por motivos perversos, usan formas inadecuadas de
evaluar el desempeo; la razn, simple y sencillamente, es que en esas
instituciones es especialmente difcil disponer de las medidas adecuadas.
Por eso he dicho que se usa el criterio de las 4 "eses": Schooling
(escolaridad), Seniority (antigedad), Shoeshining (aseo del calzado) y
Sycophancy (sicofancia, adulacin). (Olson, 1975: 50)

2

Este provocativo prrafo sugiere que hay razones tcnicas que explican el uso de
criterios similares a las 4 eses de Olson en sistemas tradicionales de evaluacin
como los que se utilizan para valorar a los maestros.

1.3. Y qu haba antes?

Al sealar las limitaciones de algo con los que nos enfrentamos es fcil que pasen
desapercibidas las razones que llevaron a su desarrollo, que en ocasiones
buscaban justamente corregir deficiencias prevalecientes en el pasado de las que
hoy no tenemos conciencia, y que podan ser an ms graves que las que en un
momento posterior observamos que no resolvi la solucin anterior.

En lo que se refiere a los criterios de remuneracin de los maestros, es importante

recordar que el uso de criterios como los que hoy se cuestionan generalmente
represent, en su momento, un avance respecto a las prcticas que prevalecan
anteriormente.

A principios del siglo XX se estableci una escala nica de salarios para los
docentes (single-salary schedule), buscando erradicar la prctica de pagar salarios
diferentes a los maestros segn el nivel educativo en que trabajaran (pagar en
primaria menos que en secundaria); segn su gnero (a los maestros ms que a
las maestras); y su pertenencia a minoras tnicas (a los blancos ms que a otros
grupos). Segn Prostik (1996):

Esta escala nica utiliza las unidades y grados de escolaridad y los aos de
experiencia como base para pagar un salario diferente a cada maestro. La
idea subyacente es que un maestro con ms escolaridad y antigedad tiene
ms competencia (expertise) que los dems y, por consiguiente, debe
recibir mejores remuneracin. (En Porter, Youngs y Odden, 2004: 288)

El caso estadounidense puede parecer peculiar, dada la segregacin racial que

prevaleci hasta mediados del siglo XX en los estados sureos. En realidad en el
mundo iberoamericano haba prcticas similares, en otro contexto cultural. Cmo
se formaban el maestro en la Nueva Espaa, durante los siglos XVII y XVIII?
Qu requisitos se exigan para ejercer el oficio?

3

Para llegar a ser maestro un joven deba ser aceptado como aprendiz por quienes
ya lo fueran, puesto que se trataba de un gremio. Viviendo en casa de su
maestro, como aprendiz y sirviente, el joven adquira los conocimientos que le
permitan ser admitido a su vez en la corporacin. En Nueva Espaa era la
Cofrada de San Casiano, cuyas ordenanzas databan de los siglos XVI y XVII. Los
requisitos para ser aceptado en el gremio eran:

Demostrar limpieza de sangre, en otras palabras, ser de raza blanca pura:

el que hubiere de ser maestro no ha de ser negro ni mulato ni indio

Demostrar ser cristiano viejo, no slo que el interesado mismo profesara la

religin catlica, sino tambin que sus padres y sus abuelos lo hubieran
sido, lo que exclua en particular a los judos conversos, ya que los
indgenas estaban descartados por el requisito anterior: y siendo espaol
ha de dar informacin de cristiano viejo de vida y costumbres

Slo despus vean los requisitos de conocimientos y habilidades:

Saber leer y escribir y manejar la aritmtica elemental: ha de saber leer

romance en libros y cartas misivas y procesos, y escribir las formas de
letras siguientes: redondillo grande y ms mediano y chico, bastardillo
grande y ms mediano y chico y ha de saber las cinco reglas de
cuenta guarisma, que son sumar, restar, multiplicar, mediopartir y partir por
entero (En Gonzalbo Aizpuru, 2001: 240-241.

Las mujeres, desde luego simplemente no podan aspirar a ser maestras.

Frente a los criterios prevalecientes en el sistema estadounidense en el siglo XIX,

o los de la Cofrada de San Casiano, la escala nica fue un avance, pero el uso de
aos de escolaridad o de experiencia como criterio tampoco es perfecto:

Las modalidades ms usuales de la escala nica no apoyan la necesidad

de los maestros de ampliar o cambiar sus conocimientos y habilidades
profesionales la investigacin muestra que, en promedio, despus de
unos cuantos aos de trabajo docente una mayor experiencia no se asocia
con ms capacidad o ms xito del maestro en el aula. (Prostik, 1996)

4

Hoy es claro que los sistemas basados en la escolaridad y antigedad tampoco
bastan para distinguir los mejores docentes de los menos buenos y reconocerlo en
las remuneraciones, pero recordar que en su momento esas escalas fueron un
avance en direccin de la racionalidad weberiana, frente a los privilegios de los
gremios y otros sectores en el antiguo rgimen, evitar que al querer cambiar lo
que hoy no es satisfactorio se pierda de vista qu es y cmo es, qu fue y cmo
fue lo que quieren transformar. (Savater, 1997: 193)

2. Una alternativa de moda: los modelos de valor agregado

Hasta hace pocos aos ningn sistema educativo grande contaba con informacin
de buena calidad para sustentar sistemas de remuneracin de los docentes que
no se basaran en indicadores como los de las cuatro eses de Mancur Olson.

La aplicacin de pruebas estandarizadas de rendimiento a grandes muestras de

alumnos, o incluso a todos los de ciertos grados escolares, que se ha extendido
en muchos pases en la dcada de 1990 y en la primera del siglo XXI, ha llevado a
proponer una forma alternativa de valorar el desempeo de los maestros, sin tener
que observar a cada uno en su saln de clases ni basarse slo en escolaridad y
antigedad.

La idea bsica es sencilla y a primera vista indiscutible: el fin ltimo del trabajo
docente es que los alumnos alcancen ciertos aprendizajes; por tanto, si se cuenta
con informacin comparable y confiable sobre el rendimiento de los alumnos, no
debera ser necesario observar el trabajo de cada maestro para valorar su propio
desempeo: bastara inferirlo a partir del rendimiento de sus alumnos.

A la objecin que seala que unos alumnos comienzan el curso en una posicin
mejor que otros, y que por ello es injusto comparar simplemente los resultados de
todos al final del ciclo escolar, se responde diciendo que lo que se debe comparar
no son los resultados mismos de cada alumno al fin del curso, sino la diferencia
entre lo que saba al inicio y lo que sabe al fin del mismo. Esa diferencia se
designa precisamente con la expresin de valor agregado (value added), que s
sera atribuible al trabajo del docente.

5

Pese al atractivo de la idea a primera vista, un anlisis cuidadoso muestra que
esos modelos tampoco dan informacin suficiente sobre el desempeo de los
maestros, y menos sobre sus prcticas. Aunque hay diferencias en puntos
menores, la afirmacin anterior refleja el consenso actual de los especialistas en el
sentido de que en la prctica, en el contexto real de los sistemas educativos
actuales, no es factible implementar un sistema confiable de evaluacin de
docentes basado en modelos de valor agregado, por varias razones:

Limitaciones de las pruebas en gran escala, que no miden aspectos

importantes del rendimiento de los alumnos, incluyendo actitudes pero
tambin competencias cognitivas complejas.

Imprecisin de las mediciones y su inestabilidad en el tiempo, que hace que

los mrgenes de error de las estimaciones del valor supuestamente
agregado por los maestros sean demasiado grandes para servir de base
slida para la toma de decisiones sobre individuos.

Dificultad prctica para contar con bases de datos completas, en especial

para seguir individualmente a los alumnos que cambian de escuela.

Dificultad de principio para atribuir el avance de los alumnos en un grado a

un solo maestro, dado que alumnos y/o maestros pueden cambiar, puede
haber ms de un maestro, y en los resultados de un grado cuenta la
influencia de los maestros anteriores.

Un argumento ms sobre la insuficiencia de los acercamientos de valor agregado

es que, incluso suponiendo que la informacin que proporcionan fuera confiable
para distinguir maestros ms y menos eficaces, lo que bastara para propsitos de
evaluacin sumativa, no lo sera para propsitos de mejora, puesto que no
permitira saber en qu consisten las mejores prcticas, para tratar de extenderlas.

Las escalas tradicionales de salarios no son pues satisfactorias, y la complejidad

tcnica de los modelos de valor agregado hace que tampoco sean una alternativa
viable para el propsito en cuestin.

6

Por ello es necesario explorar el potencial de otros acercamientos para estudiar
las prcticas de los maestros en una forma que permita valorar de manera objetiva
su desempeo y sea una base slida para desarrollar escalas de salarios basadas
en la competencia real de los docentes y no en indicadores de dudosa validez.

3. En busca de alternativas

En algunos estados norteamericanos el requisito para aspirar a una plaza docente

es aprobar pruebas de habilidades bsicas (Pre-Profesional Skills Test, PPST), del
conocimiento de materias (National Teacher Examination, NTE), y conocimientos
pedaggicos (batera bsica del NTE). La investigacin muestra reducida validez
predictiva de esas pruebas, poca relacin con el desempeo docente observado.

En la dcada de 1980 se desarrollaron evaluaciones de ejecucin o desempeo,

con instrumentos de baja inferencia (con las que slo se registra la frecuencia de
ciertas conductas, v. gr. Florida Performance Measurement System), o con
herramientas de alta inferencia (con las que el observador evala las conductas a
medida que observa, v. gr. Teacher Performance Assessment Instruments y Texas
Appraisal System). Estas herramientas dan informacin ms fina, pero suponen un
solo modelo de buenas prcticas.

Los modelos ms elaborados combinan elementos como los anteriores con una
herramienta muy utilizada en sistemas de evaluacin de alumnos: los portafolios,
que consisten en conjuntos de evidencias del trabajo del evaluando. En el caso de
los portafolios para evaluacin de maestros, las evidencias consisten en planes de
clase, cuadernos de alumnos, registros de clases, entre otros materiales que en
general son seleccionados por el sujeto sometido a evaluacin, que tambin debe
hacer una autoevaluacin, seguida por la evaluacin externa.

El sistema Praxis, desarrollado por el Educational Testing Service desde 1988,

incluye la preparacin de un portafolios por parte de cada maestro a evaluar, y su
anlisis posterior, adems de pruebas de opcin mltiple (para evaluar niveles
bsicos de lectura, escritura y matemticas) pruebas con preguntas cerradas y
abiertas (sobre conocimientos complejos pedaggicos y de reas curriculares),
entrevistas y observaciones en aula.

7

En 1987 California y Connecticut lanzaron el Interstate New Teacher Assessment
and Support Consortium y desarrollaron estndares para la prctica profesional de
los maestros y un sistema de evaluacin de la prctica que incluye un portafolios.
Otros estados americanos se aadieron a la iniciativa. En la misma fecha el
National Board for Professional Teaching Standards desarroll estndares para 30
reas y seis niveles de edad, as como evaluaciones basadas en el desempeo de
los maestros, uno de cuyos elementos bsicos es un portafolios.

Tanto el ETS como el consorcio INTASC y el NBPTS hacen regularmente estudios

para valorar la confiabilidad y la validez de sus instrumentos de evaluacin.

En el mbito latinoamericano destaca el sistema de evaluacin de docentes del

Ministerio de Educacin de Chile, que forma parte de un conjunto mayor de
polticas en pro de la mejora de la calidad educativa, dentro de las cuales tienen
un peso especfico las que se refieren a la superacin profesional de los maestros.

El Sistema de Evaluacin del Desempeo Profesional Docente (SEDPD) comenz

a desarrollarse en 2003, con base en un conjunto de estndares que forman el
Marco para la Buena Enseanza. El trabajo tcnico se encomend a una agencia
reconocida, el Centro de Medicin de la Universidad Catlica de Chile (MIDE-UC),
en colaboracin con el Centro de Perfeccionamiento, Experimentacin e
Investigaciones Pedaggicas (CPEIP) del Ministerio de Educacin de ese pas.

Los documentos del SEDPD definen con precisin sus elementos centrales: para
qu se evala; qu se evala; qu consecuencias tiene la evaluacin para los
docentes; quines deben evaluarse; y que instrumentos y fuentes de informacin
deben utilizarse. En cuanto a esto ltimo, los instrumentos de la evaluacin son
cuatro: una autoevaluacin; una entrevista por un evaluador par; un informe de
referencia de terceros (el Director y el Jefe de la Unidad Tcnico Profesional de la
escuela); y un portafolio de desempeo pedaggico. Para cada uno existen pautas
perfectamente definidas y son aplicadas por personal entrenado para ello.

El cuidadoso trabajo de diseo y validacin de los instrumentos de dicho Sistema

hace de l un caso ejemplar en la regin, que se compara favorablemente con los
sistemas anlogos de los sistemas educativos ms desarrollados.

8

Conclusin

La insatisfaccin con sistemas de evaluacin de maestros basados en indicadores

como antigedad y escolaridad, as como los lmites de los que utilizan medidas
del valor que se supone agregan el maestro y la escuela al aprendizaje de los
alumnos, explican el inters por buscar mejores maneras de observar y/o medir la
instruccin efectiva, sobre todo con propsitos de evaluacin sumativa y rendicin
de cuentas, en concreto sustentando sistemas de remuneracin.

Conviene adems no perder de vista la dimensin formativa que puede tener la

evaluacin de maestros, al identificar deficiencias particulares de unas prcticas y
fortalezas de otras, para disear actividades de actualizacin y otras formas de
intervencin que mejoren el trabajo de los maestros menos experimentados y/o
menos eficaces.

Para contar con evaluaciones sumativas vlidas y confiables de la eficacia de los

maestros, y para tener buenas evaluaciones formativas que permitan ayudarles a
mejorar, se necesitan sistemas mejores que los tradicionales y ms robustos que
los modelos de valor agregado que pueden dar elementos tiles para el diseo de
polticas, pero son insuficientes para la evaluacin individual.

Para el diseo de este tipo de sistemas se deber partir de un marco que precise
lo que se entender por buenas prcticas de enseanza, ya que esta expresin se
refiere a un conjunto multidimensional de elementos, cuya observacin implica una
gama de acercamientos, cada uno de los cuales tiene alcances y lmites que los
avances de la investigacin permiten precisar.

Experiencias como la de Chile son sin duda un ejemplo a seguir en este sentido.

N. B. Para ver los argumentos a favor y en contra de los modelos de valor agregado
pueden consultarse Rubin, Stuart y Zanutto, 2004; Braun, 2005; Glazerman et al.,
2010; Leckie y Goldstein, 2009; McCaffrey et al., 2003; y Rothstein, 2011. La
informacin del apartado 3 del texto se basa principalmente en Porter, Youngs y
Odden, 2001. Sobre el sistema chileno puede consultarse la reciente obra de
Manzi, Gonzlez y Sun, 2011.

9

Referencias

Braun, Henry I. (2005). Using Student Progress To Evaluate Teachers: A Primer

on Value-Added Models. Princeton, ETS. Policy Information Perspective.
Glazerman, Steven et al. (2010). Evaluating Teachers: The Important Role of
Value Added. Washington. Brown Center on Education Policy at Brookings.
Gonzalbo Aizpuru, Pilar (2001). Educacin y colonizacin en la Nueva Espaa
1521-1821.Mxico, Universidad Pedaggica Nacional.
Leckie, George y H. Goldstein (2009). The limitations of using school league tables
to inform school choice. University of Bristol.
Manzi, Jorge, R. Gonzlez y Y. Sun (2011). La evaluacin docente en Chile.
Santiago, MIDE-Universidad Catlica.
McCaffrey, Daniel F. et al. (2003). Evaluating Value-Added Models for Teacher
Accountability. Santa Monica, Rand Co.
Olson, Mancur (1975). Measurement and Efficiency in Education. En Educational
Indicators: Monitoring the State of Education. Proceedings of the ETS 1975
Invitational Conference. Princeton. Educational Testing Service, pp. 41-53
Porter, Andrew C., Youngs, P. y Odden, A. (2001). Advances in teacher
assessments and their uses. En Richardson, Virginia, ed. Handbook of
Research on Teaching. Washington, AERA, pp. 259-297.
Prostik, J. (1996). History of teacher pay and incentives reform. Journal of School
Leadership, Vol. 6 (3): 265-289.
Rothstein, J. (2011). Review of Learning About Teaching: Initial Findings from the
MET Project. Boulder, National Education Policy Center.
Rubin, Donald B., E. A. Stuart y E. L. Zanutto (2004). A Potential Outcomes View
of Value-Added Assessments in Education. Journal of Educational and
Behavioral Statistics, 29 (1): 103-116.
Savater, Fernando (1997). El valor de educar. Mxico. Instituto de Estudios
Educativos y Sindicales de Amrica.

10