Proyecto de medición de efectividad docente:

La evaluación como herramienta de mejora del sistema

Alejandro J. Ganimian
Facultad de Educación/Facultad de Gobierno,
Universidad de Harvard

Seminario “Ajustes a los sistemas de evaluación docente,”

Banco Interamericano de Desarrollo
Bogotá, Colombia, 18 de junio, 2014
 proyecto
MET

¿Qué es el proyecto MET?

Una alianza de académicos, docentes y organizaciones, impulsada por la
Fundación Gates, para identificar y desarrollar docentes efectivos.

o University

   

   
of

   Washington
University

   of

   

   
Dartmouth

   
University
Mejorar
o
Michigan Cambridge

   Education los sistemas
de evaluación
o oo RAND
Harvard University docente
Stanford
New Teacher
o o oo ETS New York City
University

o Empirical Denver Center ooo Pittsburgh Rutgers University Fortalecer

Education
o
o o
University of
oo
o NBPTS
The Danielson Group
University of Virginia
el apoyo a los
docentes
o University of
Tulsa
Chicago Westat AIR Prince George’s County

o
Southern California
o Memphis o o Charlotte-
Informar
o
o Teachscape
University of Dallas o Atlanta
Mecklenburg
decisiones de
contratación
para el éxito
Los Angeles
Charter Network
Texas

o o Hillsborough
County
Reconocer y

o Organización o National Math

and Science Initiative
o
o recompensar
la docencia
de investigación efectiva

o Distrito
MET o Distrito
asociado
proyecto
MET

¿Por qué enfocarse en los docentes?

Los docentes son el factor escolar que mejor predice el desempeño
estudiantil. Un docente efectivo puede impactar resultados de largo plazo.

!
(en percentiles)
Desempeño estudiantil

)
Dos
(mejor 20% 90
alumnos
nte efectivo percentil
ce
promedio
do a un do
gna
diante asi
Estu
53

!
!
percentiles
Estud en 3 años
iante
asign
ado a

!
un docen
te ine
fectivo
(peor
37
50 20%) percentil
percentil 8 años 11 años
Edad

   
Fuente: Sanders & Rivers (1996). (en

   años)
proyecto
MET

¿Por qué enfocarse en la evaluación?

El objetivo principal es recolectar información para mejorar el desempeño
del sistema, desde el reclutamiento hasta la desvinculación de docentes.
Desarrollo profesional
Mejorar la calidad de los
docentes en el sistema.

!!! 2 Retención docente

Retener docentes efectivos
y maximizar su impacto.

!!!!!!!
Efectividad de nuevos docentes
1
Mejorar la calidad de los
3
!!!!!!!!!!!
ingresantes a la profesión.

!!!!!!! !!!!!!!!!!
!!!
!!!
!!!!! !!!!!!!!!!
!! !!
!
!!!!
!!!!!!!!!!! !!!!!!!!!!!!!!! !!!!
5 Desvinculación de docentes
Identificar a docentes de mal
Distribución equitativa
Asegurar que los alumnos 4
desempeño crónico para su más pobres tienen acceso a
salida del aula. los docentes más efectivos.
proyecto
MET

¿Qué medimos?
Nos enfocamos en la interacción entre estudiantes, docentes y
contenido y en el “centro de enseñanza” (es decir, el aula).

nos

Pru
lum

eba
Relación entre
ea Docente diferentes

sd
sd
clases el
mismo año

ed
one

Observaciones

oce
pci

nte
Relación entre
rce

Aula diferentes

s
Pe

años la misma
clase

Alumno Contenido

Pruebas de alumnos
proyecto
MET

¿Cómo medimos las percepciones de alumnos?

Usamos la Encuesta Tripod, desarrollada por Ron Ferguson en Harvard,
que le pregunta a los alumnos acerca de sus docentes y aula.
Componentes clave Indicadores de bienestar
Medidos por múltiples como por ejemplo si un estudiante
indicadores: Interés, Control, es feliz en el aula, si está confiado
Claridad, Desafío, Elocuencia, en sus habilidades, etc.
Discusión y Consolidación.

Declaraciones Escala
componentes del estilo Likert
claves
proyecto
MET

¿Como realizamos las observaciones de clase?

Usamos videos para grabar las clases y reclutamos a docentes para que
las califiquen usando uno de cinco protocolos de observación populares.

Sistema de
Evaluación de Protocolo de
Clase (CLASS) Observación para
la Enseñanza de
Lectura (PLATO)
Protocolo de
Observación de
UTeach (UTOP)

Calidad de
Enseñanza
Matemática (MQI)

Marco para la
Buena Enseñanza
(FFT)
proyecto
MET

¿Cómo medimos el conocimiento de los docentes?

Usamos las Pruebas de Conocimiento de Contenido desarrolladas por
ETS, que incluyen preguntas sobre conocimiento pedagógico por materia.

Matemática Lectura

Las preguntas se
enfocan en cómo
enseñar un
concepto, no en el
concepto mismo.

Las pruebas
incluyen preguntas
de opción
múltiple y
respuesta abierta.
proyecto
MET

¿Por qué MET es diferente?

No tiene precedente en su escala, en la variedad de resultados de alumnos
y docentes estudiados y en su uso de asignación aleatoria.

ESCALA INSTRUMENTOS DISEÑO

2 años observaciones de clase asignación aleatoria

3,000+ docentes —cinco protocolos de docentes a
10,000+ alumnos diferentes alumnos en el año 2
encuestas de alumnos
encuestas de docentes
encuestas de directores
3,120 calificaciones de pruebas de desempeño identificación de
docentes por directores estudiantil—estatales y efectos causales de
suplementales docentes efectivos
22,500 calificaciones de
docentes por pares pruebas de
conocimiento
44,500 calificaciones de pedagógico por materia
docentes por alumnos
proyecto
MET

¿Qué encontramos?
#1: Cada medida de efectividad docente tiene su “súper-poder.”

(correlación con desempeño estudiantil)

Poder predictivo
0.6 Desempeño
estudiantil

0.5 o
0.4
Encuestas
de alumnos
0.3
Observaciones
de clase
o
0.2
o
0.1

0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7

Confiabilidad
(correlación entre divisiones del mismo curso, “A” y “B”)
proyecto
MET

¿Qué encontramos?
#1: Cada medida de efectividad docente tiene su “súper-poder.”

Fortaleza
Potencial para
Poder predictivo Confiabilidad
Medida retroalimentación

Desempeño
Alto Media Bajo
estudiantil

Encuestas de
Medio Alta Medio
alumnos

Observaciones de
Bajo Media Alto
clase
 proyecto
MET

¿Qué encontramos?
#2: Las pruebas docentes tienen bajo valor predictivo en su formato actual.

Relación entre pruebas de docentes y desempeño estudiantil

Matemática Lectura

(en desviaciones estándares)

Desempeño estudiantil
(en desviaciones estándares)
Desempeño estudiantil

(prueba estatal) (prueba estatal)

0.15 0.15

0.10 0.10

0.05 0.05

0 0

-0.05 -0.05

-0.10 -0.10

-0.15 Grados 4-5 Grados 6-8 -0.15 Grados 4-5 Grados 6-8

0 20 40 60 80 100 0 20 40 60 80 100

Desempeño en prueba docente en matemática Desempeño en prueba docente en lectura

(en percentiles) (en percentiles)
 proyecto
MET

¿Qué encontramos?
#3: Los directores saben quiénes son sus docentes (in)efectivos.

Relación entre calificación del director y desempeño estudiantil

Matemática Lectura

(en desviaciones estándares)

Desempeño estudiantil
(en desviaciones estándares)
Desempeño estudiantil

(prueba estatal) (prueba estatal)

0.15 0.15

0.10 0.10

0.05 0.05

0 0

-0.05 -0.05

-0.10 -0.10

-0.15 -0.15

0 20 40 60 80 100 0 20 40 60 80 100

Calificación del director Calificación del director

(en percentiles) (en percentiles)
proyecto
MET

¿Qué encontramos?
#4: Hay varias formas de hacer las observaciones de clase confiables.

Confiabilidad
Los directores son buenos observadores
califican a sus docentes mejor, pero sus
calificaciones están altamente
Agregar un observador vale mucho correlacionadas con la de otros
más que agregar otra clase. observadores. clases de 45 minutos
0.72 observadas por director propio
0.67 0.67 0.66 0.69

0.58 clases de 45 minutos

A observadas por par
0.51
B tres clases de 15 minutos
observadas pro tres pares
A adicionales (45 min. en total)

B A y B denotan observadores
diferentes del mismo tipo
Las observaciones cortas son eficientes Los docentes pueden elegir sus clases
ofrecen más información que una sola esto no hace más difícil identificar los docentes
observación de la misma duración. efectivos; de hecho, lo hace más fácil.
proyecto
MET

¿Qué encontramos?
#5: Combinar múltiples medidas maximiza sus “súper-poderes.”

(correlación con desempeño estudiantil)

Poder predictivo
Combinación
0.6 Desempeño (ponderación de criterio)
estudiantil

0.5 o o Combinación
(ponderación igual)

0.4
o
Encuestas
de alumnos
0.3
Observaciones
de clase
o
0.2
o
0.1

0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7

Confiabilidad
(correlación entre divisiones del mismo curso, “A” y “B”)
proyecto
MET

¿Qué encontramos?
#6: A nuestra combinación le va mejor que a métricas tradicionales.

Meses de aprendizaje ganados/perdidos

Matemática Lectura
(prueba estatal) (prueba estatal)

Tiene +0.9 -0.4

Maestría
No tiene -0.1 +0.2

12 años o más +0.2 +0.3

Experiencia
3 años o menos -0.3 -0.4

Combinación Mejor 25% +4.5 +1.2

(ponderación igual) Peor 25% -3.1 -1.3

Docente promedio Docente promedio

 proyecto
MET

¿Qué encontramos?
#7: Los docentes que les va mejor en la combinación tienen mayor impacto.

Desempeño anticipado y observado en clases aleatorias

Matemática Lectura
(en desviaciones estándares)
Desempeño observado

0.15 0.15
(pruebas (pruebas
0.10 estatales) 0.10 estatales)
Anticipado = Anticipado =
0.05 0.05
Observado Observado
0 0

-0.05 -0.05

-0.10 -0.10

-0.15 -0.15
-0.10 -0.05 0 0.05 0.10 -0.10 -0.05 0 0.05 0.10
Desempeño anticipado Desempeño anticipado
(en desviaciones estándares) (en desviaciones estándares)
proyecto
MET

¿Qué encontramos?
#8: Diferentes combinaciones maximizan diferentes “súper-poderes.”

Desempeño estudiantil Encuestas de alumnos Observaciones de clase

Modelo 1 Modelo 2 Modelo 3 Modelo 4

17% 25% 25% 25%

2% 33% 33%
50%
81% 25%
33% 50%

Ponderación para Ponderación de 50% Ponderaciones Ponderación de 50%

maximizar poder para desempeño iguales para observaciones
predictivo estudiantil de clase
de desempeño (pruebas estatales)
estudiantil
(pruebas estatales)
proyecto
MET

¿Qué encontramos?
#8: Diferentes combinaciones maximizan diferentes “súper-poderes.”

Correlación
con desempeño Confiabilidad
estudiantil en
pruebas estatales
Correlación 0.76 0.75
0.69 con desempeño
estudiantil en 0.66
0.63
pruebas
0.53 suplementales 0.51
0.43
0.34 0.33
0.29 0.32

Modelos 1 2 3 4 1 2 3 4 1 2 3 4
 proyecto
MET

¿Se ha hecho algo similar en América Latina?

En el 2014, Enseñá por Argentina adoptó un enfoque similar al de MET
en su selección, formación y evaluación, con apoyo del BID.

1
7 Potenciar
su impacto Reclutar a Uso de clases de
cuando se graduados
gradúan universitarios prueba como
herramienta de
Apoyarlos 2 selección
para Seleccionar
mejorar su
Procesos de a los de
6
enseñanza mayor Administración de
Enseñá por
Administración de potencial observaciones de
Argentina
observaciones de clases, encuestas de
clase, encuestas de Evaluar alumnos y notas de
alumnos y directores, su efectividad Capacitarlos los alumnos durante
docente 3 práctica clínica para
notas de los alumnos, y certificarlos
Asignarlos para enseñar proveer diagnóstico y
encuestas de
a escuelas retroalimentación
habilidades socio- 5 vulnerables
emocionales durante tempranos
los dos años en aula 4

20
proyecto
MET

¿Qué hicimos en el proceso de selección?

Enseñá por Argentina agregó una instancia al proceso de selección del
programa en la que los postulantes realizan clases de prueba.
1 2 3 4 5

Postulación Actividad Entrevista Clases de Aceptación

en línea grupal individual prueba al programa
con datos con otros con con otros y oferta
básicos postulantes miembros postulantes laboral
personales al programa del staff al programa

• Preparación de dos clases de una hora.

• Elección libre de materia y grado.
• Enseñanza de los primeros 15 minutos de
cada clase.
• Dos observadores por clase.
• Filmación de clases con consentimiento.

21
proyecto
MET

¿Qué hicimos en el proceso de formación?

Enseñá por Argentina usó observaciones de clase, encuestas de alumnos
y notas de desempeño en sus dos semanas de práctica clínica inicial.
1 2
• Agrupación de profesionales en parejas o tríos con los que
Formación Práctica comparten una clase por dos semanas.
inicial clínica • Los profesionales se turnan para enseñar.
durante las en escuela
vacaciones de verano • Los observan quienes no les toca enseñar y su tutor.
de verano • Cada profesional realiza pruebas diagnóstico y final.
• Para cada profesional, los alumnos responden una encuesta.

• Presentación de las múltiples medidas de efectividad docente.

• Talleres sobre cada elemento evaluado en la rúbrica de
observación de clase.

22
proyecto
MET

¿Qué hicimos en el proceso de evaluación?

Enseñá por Argentina está administrando todas las medidas de
efectividad docente al menos dos veces por año para cada profesional.
1 2 3 4 5

Observaciones Encuestas Notas de Encuestas de Habilidades

de clase de alumnos alumnos directores socio-
5 veces por año 2 veces por 3 veces por 2 veces por emocionales
con 5 cursos año con 2 año con 2 año con 2 2 veces por año
diferentes cursos cursos cursos con 2 cursos

Usando una rúbrica Usando la versión Usando las notas Midiendo sus Usando el boletín
que combina los de primaria de que asignan los percepciones en los escolar de
elementos de las de Tripod, la encuesta profesionales a sus mismos aspectos personalidad de las
MET y Teach for utilizada por MET. alumnos (no hay que evalúa la escuelas Knowledge
America que pruebas rúbrica de Is Power Program
predicen el estandardizadas observación de (KIPP).
desempeño censales/anuales). clase.
estudiantil.

23
proyecto
MET

¿Para qué estamos usando estas mediciones?

Enseñá por Argentina utiliza todas estas mediciones para identificar
mejores candidatos, apoyar a sus profesionales y mejorar sus datos.

1. ¿Qué indicadores de
7. ¿En qué aspectos cada proceso de
necesitan mayor reclutamiento
apoyo los predicen la
profesionales? efectividad docente?
8. ¿Cuáles son metas
Apoyarlos 2 2. ¿Cómo podemos
de mejora para medir más y mejor
razonables en estos Seleccionar estos indicadores?
mejorar su
aspectos? enseñanza Procesos de a los de
6 mayor
Enseñá por potencial
Argentina 3. ¿Qué medidas de la
5. ¿Qué medidas son clínica práctica
más confiables? Evaluar predicen la
6. ¿Cuántos su efectividad efectividad docente?
Capacitarlos 3
observadores, docente y certificarlos 4. ¿Cuáles deberían ser
instancias de para enseñar las prioridades de
observación e ítems desarrollo
se necesitan para 5 profesional?
lograr confiabilidad?
proyecto
MET

¿Qué rol debería jugar la evaluación?

Creemos que los sistemas de evaluación docente pueden jugar un rol clave
en la mejora del sistema educativo, informando decisiones de política.

MEDIR EFECTIVIDAD DOCENTE

• Fijar expectativas
• Usar múltiples medidas
• Balancear las ponderaciones

INVERTIR EN LA MEJORA ASEGURAR CALIDAD DE DATOS

• Hacer distinciones relevantes • Monitorear la validez
• Priorizar apoyo y retroalimentación • Asegurar la confiabilidad
• Usar datos para decisiones claves • Verificar la precisión
proyecto
MET

¿Dónde puedo averiguar más?

El proyecto MET produjo resúmenes de política pública, así como
artículos de investigación y guías sobre temas prácticos.

RESÚMENES INVESTIGACIONES GUÍAS

www.metproject.org
 ¡Muchas gracias!
Alejandro J. Ganimian | alejandro_ganimian@mail.harvard.edu
http://scholar.harvard.edu/alejandro_ganimian
!

collegeready.gatesfoundation.org
proyecto
MET

¿Como realizamos las observaciones de clase?

Enseñá por Argentina combinó los elementos de diferentes rúbricas
de MET y Teach for America que predecían el desempeño estudiantil.

Sistema de Marco para

Evaluación la Buena
de Clase Enseñanza
(CLASS) (FFT)
Enseñar es Enseñar es
Liderar Liderar Plus
(TAL) (TAL-Plus)
Protocolo de
Observación Calidad de
para la Enseñanza
Enseñanza Matemática Teach for America Enseñá por Argentina
de Lectura (MQI)
(PLATO)

Proyecto MET
proyecto
MET

¿Como realizamos las observaciones de clase?

La rúbrica de observación de clases se estructura alrededor de cinco
pasos en el trabajo docente. Cada uno se refiere a diferentes acciones.

A. PLANIFICACIÓN

A1. Planificar para el año y cada clase

A2. Ofrecer oportunidades para practicar
A3. Evaluar el progreso de los estudiantes

E. SUPERACIÓN B. EJECUCIÓN
Enseñar es
E1. Explorar activamente formas de mejorar Liderar Plus B1. Presentar contenido claramente
E2. Ajustar la enseñanza de acuerdo a la (TAL-Plus) B2. Verificar entendimiento del material
evidencia B3. Manejar el comportamiento estudiantil

D. REFLEXIÓN C. MOTIVACIÓN

D1. Analizar resultados de las evaluaciones C1. Crear un ambiente para el aprendizaje
D2. Identificar acciones del estudiante y C2. Desarrollar un sentido de posibilidad y
del docente asociadas al aprendizaje voluntad en los estudiantes
proyecto
MET

¿Como realizamos las observaciones de clase?

A su vez, cada acción se refiere a varios indicadores que cualquier
observador puede observar fácilmente.

A. PLANIFICACIÓN

A1. Planificar para el A2. Ofrecer oportunidades A3. Evaluar el progreso

año y para cada clase para practicar de los estudiantes

A.1.1 El docente ¿tiene una planificación para el

año y para la clase que están alineadas?
A.1.2 Las metas de aprendizaje para el año y/o
para la clase ¿reflejan expectativas altas?
A.1.3 Las metas de aprendizaje para el año y/o
para la clase ¿especifican lo que los alumnos
deben saber y hacer?
A.1.4 Las metas de aprendizaje para el año y/o
para la clase ¿pueden ser alcanzadas en el
tiempo asignado?
A.1.5 Las metas de aprendizaje para el año y/o
para la clase ¿tienen un orden lógico?
A.1.6 Las metas de aprendizaje para el año y
para la clase ¿están alineadas?
proyecto
MET

¿Como realizamos las observaciones de clase?

Y por último, para cada indicador, el observador puede calificar al
docente de acuerdo a explicaciones para cada nivel de desempeño.

A. PLANIFICACIÓN

A1. Planificar para el

año y para cada clase

A.1.1 El docente ¿tiene una

planificación para el año y para
la clase que están alineadas?

(1) PRE-NOVATO (2) NOVATO (3) INTERMEDIO (4) AVANZADO (5) EJEMPLAR

No, ni planificación Sí, una planificación Más o menos; tiene Sí, una planificación Sí, una planificación
anual ni de clase. anual o una de clase una planificación anual y una de clase anual y una de clase
(no ambas). anual y una de clase, y están claramente y están claramente
pero no están alineadas. alineadas entre ellas
claramente y con planificaciones
alineadas. de otras clases.