Sie sind auf Seite 1von 19

Consideraciones para Fortalecer el

Mejoramiento de los Establecimientos


en el marco del Sistema de
Ordenamiento de las Escuelas Chilenas
Juan Pablo Valenzuela
Cristin Bellei
Xavier Vanni

CIAE-Universidad de Chile

I. Contexto de la Poltica de Ordenamiento de


Establecimientos: Por qu, para qu un sistema de
aseguramiento?

Educacin escolar: bien pblico, sistema descentralizado. Estado debe tener


mecanismos para evaluar y garantizar la calidad del servicio educativo
Demanda de aumento en la rendicin de cuentas/responsabilizacin por
resultados en las escuelas, dado que se financian con recursos pblicos
Chile hasta el momento: centrado en competencia y eleccin de familias.
Cambio a partir de ley SEP.
Es casi imposible mejorar sin evaluar, sin informacin objetiva sobre cmo lo
estamos haciendo.Permite a las escuelas/sostenedores identificar sus
fortalezas y debilidades y trabajar sobre ellas.recibir recomendaciones
expertas externas y participar de un proceso de mejoramiento continuo.
Las escuelas que se crean no son mejores que las existentes: mejorar el sistema de
reconocimiento oficial y acceso a fondos pblicos
Las escuelas que entregan prolongadamente un servicio de mala calidad pueden permanecer
en el sistema sin mayores presiones para mejorar ni sanciones que cambien su inercia
Hasta la ley SEP, las escuelas pblicas y privadas no haban mejorado en promedio los logros
de aprendizaje de sus alumnos: Necesidad de una agenda de reforma y polticas de
mejoramiento; agenda de creacin de capacidades.

I. Contexto de la Poltica de Ordenamiento de


Establecimientos: Una nueva institucionalidad

Ley de Aseguramiento de la Calidad (2011): Crea la Agencia de la Calidad


tiene como objeto evaluar y orientar el sistema educativo para que propenda
al mejoramiento de la calidad y equidad de las oportunidades educativas,
para lo cual tiene entre sus funciones:
i) Evaluar los logros de aprendizaje de los alumnos, de acuerdo al grado de
cumplimiento de los Estndares de Aprendizaje referidos a los objetivos
generales sealados en la ley y sus respectivas bases curriculares, por medio
de instrumentos y procedimientos de medicin estandarizados y externos a
los establecimientos
ii) Realizar evaluaciones de desempeo de los establecimientos educacionales
y sus sostenedores en base a estndares indicativos (mejoramiento de los
establecimientos)
iii) Ordenar los establecimientos educacionales en funcin de las mediciones
de los resultados de aprendizaje y de los Otros Indicadores de Calidad
Educativa con la finalidad entre otras, de identificar, cuando corresponda, las
necesidades de apoyo. Es un instrumento de evaluacin e informacin, por lo
cual es un principal mecanismo de accountability o responsabilizacin,
tambin servir para identificar los requerimientos de apoyo tcnico a las
escuelas (focalizacin y fortalecimiento de las capacidades)
Iv) Proporcionar informacin a la comunidad en general y promover su
correcto uso (Transparencia)

I. Contexto de la Poltica de Ordenamiento de


Establecimientos: Incorporando nuevos elementos
para el mejoramiento escolar
Esta poltica es un cambio considerable en un sistema escolar altamente
desregulado que sostena que el mejoramiento operara principalmente
por medio de la eleccin de las familias y la competencia entre escuelas
(contrario a lo concluido por OECD, 2010, basado en PISA 2009).
Este cambio conlleva incluir factores de responsabilidad/accountability y
de la conviccin que las escuelas pueden mejorar su desempeo por
medio de mecanismos de apoyo y la generacin de capacidades en sus
comunidades educativas.
Este mecanismo se suma a las polticas estructurales implementadas entre
2008-2013 en el sistema educativo: a) Recursos diferenciados (SEP); b)
Mayor selectividad de directores de establecimientos pblicos; c) Avance
parcial para la regulacin en la formacin de profesores, ejercicio
profesional y mejores condiciones de trabajo; d) declaracin de una
poltica de fortalecimiento de la educacin pblica pero, dado su carcter
retrico, su deterioro est en una fase crtica-

II. El sistema de ordenamiento de los establecimientos


La ordenacin afecta a todos los establecimientos con reconocimiento del
MINEDUC y debe distribuir cada ao a los colegios en cuatro categoras de
desempeo: Alto, medio, medio-bajo e insuficiente. Para ello debe
considerar i) los resultados de aprendizaje en todas las reas evaluadas a
nivel nacional (en promedios mviles de 3 aos); ii) la distribucin de
resultados en funcin de los estndares de aprendizaje (slo existen para
4 y 8 bsico)-la ley indica que su peso en el Indice Agregado debe ser de
al menos 67%-; iii) el grado de cumplimiento de otros indicadores de
calidad (incluye algunos relativos al SIMCE); iv) caractersticas de los
alumnos del establecimiento, incluida su vulnerabilidad; v) indicadores de
progreso o de valor agregado (si es posible)
Con todo, gradualmente, la ordenacin de los establecimientos
propender a ser realizada de manera independiente de las caractersticas
socioeconmicas de los alumnos y alumnas, en la medida que el sistema
corrija las diferencias atribuibles a dichas caractersticas en su
desempeo.

II. El sistema de ordenamiento de los establecimientos


Objetivos y uso de los resultados del Ordenamiento de los Establecimientos
Entregar informacin a toda la comunidad escolar respecto del desempeo de los
establecimientos. Divulgar los resultados del ordenamiento, especialmente a las
familias.
Responsabilizar a los establecimientos y sostenedores, al tener que cumplir con los
estndares de aprendizaje
Identificar los establecimientos que requieren apoyo tcnico (prioridad para los
ubicados en desempeo Insuficiente y Medio-Bajo).
Definir la regularidad de la elaboracin de la evaluacin de desempeo de los
establecimientos (pues determina la frecuencia de las visitas evaluativas que son parte
de los insumos necesarios): los de desempeo Insuficiente: al menos cada 2 aos; los de
desempeo Medio-Bajo al menos cada 4 aos; los de desempeo Medio no se
especifica, pero con menor frecuencia que los de Medio-Bajo; para los de desempeo
Alto slo cuando el sostenedor lo solicite (al igual que los particulares pagados).
Reconocimiento: los establecimientos de desempeo Alto pueden ser ATE
Los establecimientos nuevos sern clasificados temporalmente como Medio-Bajo
(neutro sobre calidad)

II. El sistema de ordenamiento de los establecimientos


Objetivos y uso de los resultados del Ordenamiento de los Establecimientos
Cada vez que un establecimiento se encuentre en desempeo Insuficiente la Agencia
informar a los padres y apoderados y al Consejo Escolar de dicha situacin.
Qu sucede con los que reiteradamente se sitan en desempeo Insuficiente?:
a) Cuando el establecimiento se encuentra en desempeo insuficiente por tres aos
consecutivos y sin presentar una mejora significativa se debe informar a las familias
sobre esta situacin, el MINEDUC facilitar el transporte a los estudiantes y sus familias
a otros establecimientos.
b) Tambin podr recibir apoyo tcnico por 4 aos ampliable en uno adicional si se
mantiene en dicha condicin pero muestra mejoras significativas-.
c) Prdida del reconocimiento oficial (se han mantenido en Desempeo Insuficiente, han
recibido apoyo tcnico por cuatro aos y no han mostrado un cambio significativo, pero
si cumplen un quinto ao sin avanzar de la condicin de Desempeo Insuficiente
tambin perdern el reconocimiento oficial)

III. Sistema Internacional

Creciente incorporacin de pruebas estandarizadas para evaluar desempeo


de escuelas y/o de todo el sistema escolar (a Estados Unidos, Inglaterra no en
general en UK- se le han sumado diversos pases desarrollados y en vas de
desarrollo (reforma a la gestin del sector pblico; exigencia de mayores
estndares y mayores demandas civiles a los servicios pblicos).
Pero es menos usual la publicacin de los resultados por escuela (aunque
creciente -, y en casi ninguno se le enva la informacin a las familias).
La informacin es mucho ms orientada al dispositivo de aseguramiento de la
calidad y orientacin del proceso de mejoramiento de los establecimientos y al
seguimiento y evaluacin del sistema escolar en su conjunto y de las polticas
pblicas implementadas (Eurydice, 2012).
Ninguna realiza ranking de escuelas, se reconoce lo equivocado de tal medida
y el dao que genera para todo el sistema escolar. No se pueden hacer
rankings de colegios, pues stos no dicen nada respecto de por qu los
resultados son altos o bajos, al contrario, ellos generan comparaciones
equivocadas y simplistas que ignoran las particulares circunstancias que
afectan el logro de cada escuela, tienden a distraer a los educadores y al
pblico respecto de definir cmo mejorar el desempeo de todos los
estudiantes (Ontario, 2010)

Evaluaciones con pruebas estandarizadas en Sistemas Europeos: 32/37 tienen


alguna; dos tercios aplican para evaluar escuelas o sistema en su conjunto (la mitad
durante la primaria y generalmente solo en un grado). Slo en 10 se publican los
resultados de las escuelas (en otros 4 depende de la escuela) y en 3 se enva
informacin a los padres (Inglaterra, Hungra y Rumania)

III. Sistema Internacional


Es frecuente que los sistemas escolares que pasan de condiciones bsicas
a buenas en la trayectoria que podra alcanzar Chile en los prximos aos
(McKinsey, 2010) se caractericen por: incluir metas para escuelas y
estudiantes, realizar inspecciones a las escuelas, mantener responsables a
las escuelas por el mejoramiento y contar con buenos sistemas de
informacin sobre el desempeo, as como analizar los desafos en funcin
de estos resultados. Al mismo tiempo actan sobre la estructura de la
organizacin escolar, el sistema de financiamiento y elementos del modelo
de enseanza.
Inicial, aunque creciente evidencia, sobre rol de los mecanismos de
evaluacin de desempeo de las escuelas y de los reportes basados en
ellos (Figlio y Loeb, 2011 para Estados Unidos; Karsten et al, 2010 sobre el
diseo de estndares para los reportes; Acquah, 2013, para Inglaterra)

III. Problemas que genera en el sistema escolar el


publicar indicadores de desempeo
Figlio y Loeb (2011) sealan que los reportes y poltica de accountability a las escuelas no son
neutros sobre los profesores y alumnos y que su implementacin puede ser negativa si no es
cuidadosamente diseada y monitoreada
Cuatro tipos de problemas a ser considerados en la publicacin de indicadores de desempeo
para evaluar escuelas
A) Tcnico-analtico (que los indicadores sean vlidos para reflejar la calidad de la escuela)
Reconocer que no existe slo un indicador de calidad; se debe ser efectivo no slo en el
promedio, sino que tambin para diferentes grupos (NSE, gnero, minoras); comparaciones
entre escuelas pblicas y privadas podra ser injusta; debe ser basado en tamaos
muestrales mnimos y entregar intervalos de confianza de los resultados; reconocer que
mejores alumnos entran a mejores escuelas; si los colegios no cuentan con los recursos
adecuados (o capacidades tcnicas suficientes), imponer estndares altos es injusto y
pierde sentido el diseo de la poltica; combinar adecuadamente el logro de estndares
absolutos y de valor agregado; identificacin de quienes son evaluados (nios con NEE;
estudiantes que ingresaron recientemente); centrarse en logros en el corto plazo, mientras
que muchas prcticas y polticas que las escuelas deben implementar requieren de plazos
ms largos.
B) Problemas del uso de la informacin:
Publicaciones deben responder a los requerimientos y comprensin de los padres
(especialmente por las ms vulnerables); deben orientarse a la mejora continua, evitar que
los resultados generen que las de mejor desempeo no hagan mayores esfuerzos y que los
de menor desempeo se sientan desmotivados; equipos de las escuelas no entiendan lo
que est mal (no se indica qu procesos o factor organizacional se debe mejorar);
resultados deben permitir conocer tendencias de logro de las escuelas

III. Problemas que genera en el sistema escolar el


publicar indicadores de desempeo
C) Problemas polticos-ticos y sociales
Existe un debate internacional sobre lo tico de entregar indicadores o resultados
basados en informacin con alto nivel de error; centrarse en la publicacin de failing
schools es negativo para todo el sistema escolar, lo ms relevante es indicar cmo
avanzan hacia el cumplimiento de las metas; escuelas tienden a ser ms homogneas
social y acadmicamente; publicaciones generan tensiones entre evaluacin y
mejoramiento escolar: escuelas se focalizan slo en estudiantes de alto desempeo;
realizan una conducta estratgica (seleccionar estudiantes; ensear para el test;
reducen el curriculum; se concentran en estudiantes ms cercanos a cumplir el
estndar); que la clasificacin sea justa, es decir que el sistema de accountability hace
responsable a la escuela de aquella parte del desempeo que pueda controlar; que
estos indicadores terminen siendo los objetivos del sistema escolar.
D) Implementacin de la propuesta de ordenamiento
Propuestas deben ser comprendidas por los diversos actores, ser legitimada y tener
claridad de cul es el foco principal de la poltica (informacin a los padres?,
mejoramiento de las escuelas?); debe existir una evaluacin constante y ajustes al
sistema y sus instrumentos, de tal forma que cumpla adecuadamente los objetivos
planteados y evite efectos no deseados (error de NCLB y un atributo del sistema de
Ontario).

III. Efectos de la poltica


Qu sucede cuando se cierran las escuelas por la aplicacin de
estndares de desempeo?
No es frecuente, incluso en los pases donde se permite esta alternativa.
En Estados Unidos (Informe Bolder, 2013) las experiencias de cierre indican que los
alumnos se trasladan a escuelas de similares condiciones de calidad y ms alejadas, que
tampoco mejoran su desempeo o slo un mnimo porcentaje En Inglaterra se permite la creacin de un nuevo establecimiento en el lugar del cerrado
a new fresh start, modificando la credibilidad de las familias, pero sin tener que
alejarse de su localidad.

Mejoran los aprendizajes por la publicacin de estndares de desempeo


de las escuelas/accountability de escuelas basado en desempeo de
establecimientos.?
La evidencia no es muy sustantiva, aunque en Estados Unidos se ha desarrollado ms en
los ltimos aos. Evidencia indica que efectos a nivel de escuela seran <0.20 sd (hasta
5-6 puntos SIMCE en Chile), con un efecto menor en lectura y en 8 grado que en 4
grado.
Mayor efecto entre escuelas vulnerables socialmente, pero ms en alumnos de mejor
desempeo. No se observa reduccin en la brecha racial.
Existen efectos de mayor abandono de profesores (y de mejor calidad) entre las escuelas
peor evaluadas al implementar esta poltica.
No existen estudios sobre efectos de largo plazo (productividad e ingreso a la
Universidad), ni tampoco de efectos sobre resultados no cognitivos

IV. Anlisis del Sistema de Ordenamiento y


Mejoramiento Escolar
Actualmente la ley prioriza la identificacin de las escuelas de bajo
desempeo en forma sistemtica y define procedimientos para cerrarlas
en un periodo de hasta 5 aos
Si una escuela est en desempeo Insuficiente inmediatamente la Agencia enva
informacin a todas las familias sobre su condicin (expectativa que familias se cambien
de establecimiento), reduciendo la posibilidad que la escuela entre en un proceso de
mejoramiento.
Por lo tanto, no es un tecnicismo trivial cmo el mecanismo de ordenamiento controle o
corrija las condiciones socioeconmicas de los estudiantes. Est demostrado que
diferentes mtodos determinan distintas escuelas en desempeo Insuficiente.

IV. Un ordenamiento justo: que las escuelas


respondan de la parte del desempeo que pueden ser
responsables

Mobile cluster
average
2002/2005

Movilidad entre Grupos (Escuelas NSE Bajo A-) (Desde Nivel 5 se encuentra un
desempeo Intermedio)
Mobile cluster average 2009/2010
2
3
4
22
17
3
24
25
5
7
10
10
1
3
2
0
0
1
54
55
19

1
63
15
3
0
0
81

1
2
3
4
8
Total

5
0
3
2
0
1
6

6
1
0
1
0
0
2

Total
106
72
33
6
2
217

Mobile
cluster
average 2002/2005

Movilidad entre Grupos (Escuelas NSE Medio-Alto D-) (Desde Nivel 5 se encuenta un
desempeo Intermedio)

2
3
4
5
6
7
8
Total

2
0
1
3
1
0
0
0
5

3
1
3
11
6
2
1
0
24

Mobile cluster average 2009/2010


4
5
6
1
1
0
6
6
7
26
41
10
30
65
52
14
43
74
0
8
17
0
0
0
77
164
160

7
0
1
0
13
27
13
2
56

8
0
0
0
2
6
4
2
14

9
0
0
0
0
0
1
0
1

Total
3
24
91
169
166
44
4
501

IV. Un ordenamiento justo: que las escuelas


respondan de la parte del desempeo que pueden ser
responsables
Esta metodologa no conlleva eliminar la posibilidad de cierre de las
escuelas de muy bajo desempeo crnico. En la realidad este dispositivo
ya est vigente (Ley SEP), pero el nuevo ordenamiento podra conllevar un
cambio (equivocado) al castigar en mayor medida la vulnerabilidad social.
Esta situacin se ve reflejada con mayor fuerza al comparar el efecto que
ha tenido la ley SEP en el incremento de los puntajes SIMCE de las
escuelas ms vulnerables del pas (40%): entre aquellas que llevan 4 aos
en el programa el efecto es de entre 10-20 puntos (Mizala y Torche, 2013),
mientras que en el trabajo de Villarroel y Valenzuela (2013) es de entre 712 para estos mismos grupos, aunque dichos resultados son diferenciados
si la escuela es autnoma (mayor) respecto de las emergentes. Estos
resultados duplican o ms el efecto observado para Estados Unidos de
NCLB

IV. Anlisis del Sistema de Ordenamiento y Mejoramiento


Escolar: Cmo mejora la mayora de las escuelas?

El Indice de Ordenamiento es complejo y poco informativo para orientar medidas


especficas para el mejoramiento de la escuela. Se hace indispensable disear informes
especficos para orientar decisiones (exit voice) de las familias y de acciones de
mejoramiento de las escuelas y sostenedores (pero stos requieren de las visitas de la
Agencia a las escuelas para incluir aspectos cualitativos e indicadores de proceso, as
como las sugerencias contenidas en el informe de desempeo.
Cmo se hace la orientacin al mejoramiento escolar al conjunto de las escuelas?

Es dbil en los componentes de creacin de capacidades y dispositivos de apoyo al mejoramiento


escolar
La elaboracin de los informes de desempeo, generados por un activo proceso de autoevaluacin y
de la visita de la Agencia al establecimiento y una devolucin sobre conclusiones y debilidades y
fortalezas se realiza en forma muy espordica (puede ser cada 4 aos para los de desempeo MedioBajo y sin claridad o inexistente para los Medio y Alto, respectivamente, por lo cual no existen
mecanismos regulares para generar capacidades en este grupos de escuelas (Medio y Alto)), juegan
un rol secundario.
Los recursos de apoyo tcnico del MINEDUC estarn concentrados en las escuelas de menor
desempeo.
En este sentido, para muchas escuelas el mecanismo de mejoramiento nuevamente ser la decisin
de las familias de presionar (va exit-voice) porque ello ocurra (pero esto es relativamente similar a la
situacin actual, donde las familias pueden acceder a una rica informacin sobre el desempeo de
este grupo de establecimientos y no ha implicado la generacin de procesos de mejoramiento
continuo.
La brecha de capacidades institucionales y profesionales es la clave del mejoramiento, y cada vez
ms se entiende que son centrales de las polticas de accountability.

V. Propuestas para Fortalecer el Sistema de


Aseguramiento

No hacer responsable a las escuelas por la parte del desempeo que corresponde al sistema escolar en
su conjunto
Ordenamiento debiese estar en relacin a escuelas de similar NSE (de lo contrario los establecimientos con desempeo
insuficiente sern mayoritariamente reflejo de su vulnerabilidad social)
Inconsistencia entre apoyo tcnico para establecimientos en desempeo Insuficiente e incentivo al retiro de las familias

Resguardar que no se realicen rankings con el Indice elaborado para el ordenamiento, ms all de la
distribucin de los establecimientos en las 4 categoras definidas.
Disear un mecanismo alternativo para la situacin de cierre de escuelas pblicas en casos especficos
(a modo de A New Fresh Start) asegurar provisin mixta- .
Acotar las expectativas del efecto que tendrn los mecanismos de eleccin de las familias en el
mejoramiento escolar (y del cierre de las escuelas de menor desempeo), reconociendo la relevancia de
las polticas estructurales para el mejoramiento de todo el sistema escolar (mejorar polticas de
profesores; reduccin de la segregacin socioeconmica y fortalecimiento de la educacin pblica)
Desarrollar un seguimiento sistemtico de los resultados del sistema de aseguramiento, de tal forma de
identificar tempranamente requerimientos de ajustes administrativos, cambios legales (no sera ms
adecuado tener mayor nmero de categoras de desempeo?, es necesario replicar el ordenamiento
todos los aos?) o el fortalecimiento de los equipos territoriales de la agencia. Es recomendable que en
cada regin la Agencia promueva la conformacin de consejos que representen a los actores del sistema
educativo para identificar estos elementos en forma oportuna y determinar la consistencia a lo largo del
pas de las necesidades de perfeccionamiento.
Modificar la regulacin de entrada de los nuevos establecimientos educacionales (modificacin a la
LGE), de tal forma que sean establecimientos con alta probabilidad de ser de Medio o Alto Desempeo
para ello sera relevante desarrollar los estndares sobre sostenedoresParece poco adecuada la posibilidad que los establecimientos de desempeo Alto sean ATE. En el marco
de la actual legislacin asegurarse que stas sean aquellas que presentan una mayor eficiencia
educativa dado su contexto NSE, ms que slo una mayor proporcin de alumnos de en un estndar
adecuado de desempeo debido a su NSE.

V. Propuestas para Fortalecer el Sistema de


Aseguramiento

Poner el foco en el mejoramiento de todos los establecimientos, no slo los ms


vulnerables (Schleicher, 2011).
La mayor parte de las familias no se cambiar de establecimiento: Priorizar y fortalecer
la funcin de orientacin del mejoramiento de los establecimientos, por medio de las
evaluaciones de desempeo de la Agencia y la generacin de capacidades al interior de
los establecimientos

Asegurar un plan de visitas ms extensivo e intensivo que el propuesto por la ley


Generar capacidades en los directivos y docentes de las escuelas para el uso de los resultados
Mayor nfasis en comprender las causas de esos bajos resultados, para posteriormente generar
sugerencias de mejoramiento
Incentivos para directivos y profesores efectivos que estn dispuestos a ir a trabajar a escuelas
clasificadas como de nivel insuficiente
Asegurar la calidad de las ATEs que potencialmente debieran ayudar a estas escuelas a mejorar.

Es crtico disear los reportes de informacin para las familias y para las escuelas
(pertinentes y comprensibles; que den cuenta de la trayectoria de los indicadores;
como de las fortalezas y debilidades del establecimiento)
Paulatinamente ir desarrollando un mayor nmero de indicadores de calidad de la
educacin, incluyendo ms aspectos no cognitivos y procesos relevantes de la gestin
educativa.
La Agencia ser neutra sobre la desaparicin de la educacin pblica?