Beruflich Dokumente
Kultur Dokumente
resultados y prospecciones
Uruguay en el TERCE:
resultados y prospecciones
Comisin Directiva
Alex Mazzei (presidenta)
Carmen Caamao
Edith Moraes
Robert Silva
Marcelo Ubal
Mara Ins Vzquez
Direccin Ejecutiva
Panamb Abadie
Carmen Haretche
Federico Rodrguez
La redaccin de este informe estuvo a cargo de Carmen Haretche (coord.), Cecilia Alonso, Daro Padula
y Vanessa Anfitti.
Correccin de estilo: Mercedes Prez
Fotos: Rafaela Lahore (INEEd)
Diagramacin: Lateral Diseo
Montevideo 2015
ISBN 978-9974-8480-6-1
Instituto Nacional de Evaluacin Educativa (INEEd)
Edificio Los Naranjos, planta alta, Parque Tecnolgico del LATU
Av. Italia 6201, Montevideo, Uruguay
(+598) 2604 4649 2604 8590
ineed@ineed.edu.uy
www.ineed.edu.uy
Cmo citar: INEEd (2015), Uruguay en el TERCE: resultados y prospecciones, INEEd, Montevideo.
En la elaboracin de este material se ha buscado que el lenguaje no invisibilice ni discrimine a las
mujeres y, a la vez, que el uso reiterado de /o, /a, los, las, etctera, no dificulte la lectura.
ndice
Prlogo
Antecedentes
11
Prospecciones
31
Bibliografa
35
Anexo
37
Prlogo
El Instituto Nacional de Evaluacin Educativa (INEEd), persona jurdica de derecho pblico no estatal,
fue creado por la Ley de Educacin n 18.437. La misin institucional del INEEd es aportar informacin
que enriquezca la discusin sobre polticas educativas, que sea relevante para la gestin y las prcticas
educativas, y que nutra los debates pblicos sobre la educacin.
Las evaluaciones estandarizadas internacionales de logros educativos en las que participa nuestro
pas, el Tercer Estudio Regional Comparativo y Explicativo (TERCE) y el Programa para la Evaluacin
Internacional de Alumnos (PISA), son realizadas por la Administracin Nacional de Educacin Pblica
(ANEP) a travs de la Divisin de Investigacin, Evaluacin y Estadstica (DIEE). Estas evaluaciones
aportan informacin sobre el desempeo de los estudiantes y la perspectiva comparada, as como
tambin relevan informacin sobre aspectos del contexto en que se aplican. La informacin del
contexto, a la vez que da cuenta de mltiples aspectos de las condiciones en que se desarrolla la
educacin del pas, es necesaria para comprender las diferencias en los desempeos que se observan
entre estudiantes.
La Comisin Directiva del Instituto, a travs de la Unidad de Evaluacin de la Aprendizajes y Programas,
se ha propuesto difundir y realizar estudios en base a la informacin que surge de las evaluaciones
internacionales aplicadas en Uruguay. Este informe, realizado a partir del TERCE llevado a cabo por
el Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin (LLECE), sistematiza y
presenta de forma ordenada para nuestro pas los anlisis que el LLECE ha realizado hasta el momento.
Se describe brevemente qu es el TERCE y cmo se realiza la evaluacin. En trminos de los
resultados, se problematiza la nocin de ranking, se presentan los resultados segn niveles de
desempeo y se describen brevemente los hallazgos del anlisis preliminar sobre factores asociados
a los desempeos que realiz el LLECE.
Ms all de la riqueza de las evaluaciones internacionales, se seala la necesaria articulacin que
deben tener con evaluaciones nacionales que contemplen el currculo nacional y los perfiles de egreso
que en este momento se estn elaborando en el pas. En el informe se adelanta informacin sobre las
evaluaciones nacionales que realizar el INEEd para el monitoreo de los resultados de desempeo.
Esta publicacin es parte de una serie de estudios que estamos difundiendo con el propsito de
contribuir a generar ms conocimiento sobre las evaluaciones que se realizan en el pas. En particular,
realizaremos ms anlisis sobre los resultados del TERCE.
Antecedentes
El Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin (LLECE) fue creado en
1994. Se constituy desde sus comienzos como una unidad de medicin y evaluacin de la calidad
de los sistemas educativos de los pases de Amrica Latina, con el objetivo de ser referente para la
cooperacin entre los pases de la regin en la promocin de la elaboracin de polticas educativas
basadas en evidencia emprica vlida.
El primer estudio regional explicativo y comparativo (PERCE) se desarroll en el ao 1997, con la
participacin de 13 pases. En esa oportunidad se evaluaron los logros de aprendizaje de los
estudiantes de tercer y cuarto grado de educacin primaria, en matemtica y lectura. En el ao 2006
se realiz el segundo estudio (SERCE), que evalu las reas de matemtica y lectura en tercer y sexto
grado, y el rea de ciencias naturales1 en sexto grado. En esa edicin participaron 16 pases, ms el
Estado mexicano de Nuevo Len. El tercer estudio (TERCE) se aplic en 2013. Evalu las mismas reas
y grados que el SERCE, y participaron los mismos pases. Uruguay ha participado en las ltimas dos
ediciones del estudio.
El TERCE tiene por objetivo evaluar la calidad de la educacin en trminos de logro de aprendizaje
en los pases participantes e identificar factores asociados a ese logro. De esta manera, el estudio
se constituye no solo en un diagnstico para la regin, sino que tambin busca aportar a la mejora
educativa bajo el supuesto de que conocer los factores asociados ayuda en la formulacin de polticas
pblicas y a la revisin de prcticas educativas (LLECE, 2015a).
1
2
En estas pginas se sintetizan los principales resultados para Uruguay publicados hasta ahora por el
LLECE.3 La reciente liberacin de las bases de datos del estudio permitir llevar a cabo anlisis ms
detallados.
Boletines del Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin (LLECE), disponibles en: http://www.
unesco.org/new/es/santiago/press-room/newsletters/newsletter-laboratory-for-assessment-of-the-quality-of-education-llece/.
10
Desempeos
Puntajes
En trminos generales, los puntajes obtenidos por los estudiantes uruguayos estn sobre la media
regional (700 puntos) para todas las reas, con excepcin del resultado en escritura5 de sexto grado,
que se encuentra igual que la media.
Cuadro 1. Comparacin de los resultados de Uruguay en las pruebas del TERCE con el promedio
regional
Grado
Tercer grado
Sexto grado
rea curricular
Matemtica
Lectura
Escritura
Matemtica
Lectura
Escritura
Ciencias Naturales
Puntaje promedio
en la prueba
Comparacin con
promedio de pases
742
728
3,18
765
736
3,21
725
Media significativamente superior al promedio de pases
Media no difiere significativamente del promedio de pases
Media significativamente inferior al promedio de pases
Fuente: LLECE (2015b).
Una primera lectura indica que el pas se encuentra en una buena posicin en relacin a los resultados
de la regin. Sin embargo, cuando lo que comparamos son posiciones relativas en una distribucin (en
este caso, la ubicacin de los pases en la escala de puntajes) todo depende de quines se incluyan
en la comparacin. Por ejemplo, es notorio que el hecho de que en TERCE no haya participado Cuba
(que s particip del SERCE) facilita a los pases subir en su posicin, ya que deja libre el primer lugar.
Esto informa algo acerca de la mejora de los desempeos? No, simplemente nos ordena en relacin
a otros pases. Lo sustantivo aqu es tener un criterio relevante para seleccionar con cules pases
establecer la comparacin, de manera que surja informacin pertinente para la poltica y no un simple
ordenamiento que depende fundamentalmente de con quin se realiza la comparacin.
Una comparacin algo ms pertinente sera la que se enfoca en el progreso del propio pas en el tiempo.
Ello es posible ya que las escalas del SERCE y el TERCE fueron equiparadas en una mtrica comn.
Esto fue posible porque previamente al desarrollo del TERCE se consider la pertinencia de que los
resultados obtenidos a partir de esta prueba pudieran ser comparables con los resultantes del SERCE.
En este sentido, era necesario tener certeza de que ambas pruebas resultaban comparables en cuanto
De acuerdo a los anlisis realizados hasta ahora por el LLECE, disponibles en: http://www.unesco.org/new/es/santiago/terce/.
Dado que la correccin de las producciones escritas se realiz a partir de una rbrica, el puntaje obtenido se presenta en una
escala completamente distinta a la del resto de las reas. La escala vara de 1 a 4 segn las categoras de correccin de la rbrica
(LLECE, 2015c).
4
5
11
a su grado de dificultad y aspectos evaluados. A partir de una serie de procedimientos estadsticos6 los
resultados de ambos estudios pudieron ser presentados en la misma mtrica y comparar el avance,
teniendo como punto de referencia la lnea de base que se estableci en el SERCE. En suma, lo que
se hizo fue, manteniendo los resultados del SERCE, estimar las diferencias con el TERCE generando
una escala comparable (LLECE, 2014: 21), que para el SERCE mantiene el promedio en 500 puntos y el
promedio del TERCE refleja el cambio en relacin a la medicin anterior.
Sin embargo, cuando se presentan los resultados del TERCE sin comparacin con el SERCE la escala se
fija en un promedio de 700 puntos. Ello no quiere decir que haya habido un progreso de 200 puntos. La
escala es absolutamente arbitraria y se puede fijar en cualquier valor. Lo cierto es que las evaluaciones
estandarizadas internacionales, como PISA y el SERCE, nos han acostumbrado a que la media se centre
en 500. El TERCE la fij en 700. El lector deber ser cauto para poder interpretar un valor de, por ejemplo,
728 puntos no en relacin a 500 (como probablemente est acostumbrado a hacerlo), sino en relacin a
700. Asimismo, deber considerar que si est comparando el TERCE con el SERCE (cuando los puntajes
fueron equiparados), all s el promedio se fij en 500 para el SERCE, por lo que un puntaje en el TERCE
de, por ejemplo, 534 puntos indicar una mejora en relacin al SERCE de 34 puntos en la prueba.
El monitoreo de los desempeos de los logros de los estudiantes en tercero y sexto grado de educacin
primaria permite afirmar que en Uruguay, con la excepcin de ciencias en sexto, no ha habido cambios
significativos entre 2006 y 2013. En el mismo perodo los desempeos en ciencias de los estudiantes
de sexto grado muestran un descenso estadsticamente significativo (de 533,1 a 516,8 puntos).
Cuadro 2. Comparabilidad puntajes promedios SERCE-TERCE
SERCE
TERCE
Diferencia
SERCE - TERCE
Lectura en tercero
Matemtica en tercero
Lectura en sexto
Matemtica en sexto
522,6
538,5
542,1
578,4
524,2
550,5
531,8
566,6
1,5
12,0
-10,4
-11,8
Ciencias en sexto
533,1
516,9
-16,3*
Niveles de desempeo
Un aporte sustantivo de las evaluaciones estandarizadas de desempeo es que, adems de brindar
un puntaje, realizan descripciones de lo que los alumnos son capaces de hacer en distintos niveles de
la escala. A diferencia de los promedios, que como vimos nicamente nos informan una posicin en
relacin a otros (la que depender de con quines nos comparemos), los niveles de desempeo ponen
el foco en lo que los alumnos son capaces de hacer.
All debe estar la principal preocupacin en la interpretacin y planificacin de acciones. Antes de
pensar en qu lugar del ranking o cunto se mejor en relacin al SERCE, la preocupacin central
debera estar puesta en comprender qu es lo que se est evaluando. Ms cuando se trata de una
evaluacin internacional que no se encuentra alineada con el currculo nacional (lo cual podra ser en
s mismo una explicacin de las diferencias en los logros entre pases).
Para comprender qu es lo que se est evaluando, el lector cuenta con distintos tipos de informacin:
el marco conceptual de la evaluacin (LLECE, 2015c), la tabla de especificaciones de la prueba y la
descripcin de los niveles de desempeo.
6
12
Antes de presentar los resultados para Uruguay cabe aclarar que los niveles de desempeo definidos
en el TERCE no son comparables a los del SERCE, ya que se establecen sobre escalas diferentes.
En el grfico que sigue es posible observar que ms de un 40% de estudiantes de tercero (en lectura y
matemtica) se ubica en los dos niveles ms altos de desempeo, al igual que los estudiantes de sexto
en lectura. En ciencias naturales dicha proporcin desciende a 30%.
Sin embargo, los desempeos en lectura y matemtica de los estudiantes de tercero, as como los
desempeos en matemtica y ciencias de los estudiantes de sexto, indican que entre algo ms de una
cuarta parte y casi la tercera parte de ellos se ubica en el nivel de desempeos ms bajo de la prueba.
Grfico 1. Distribucin porcentual de estudiantes de sexto ao en niveles de desempeo
definidos en el TERCE para lectura, matemtica y ciencias7
100
90
16,7
13,6
22,1
80
70
31,5
13,2
24,3
31,7
9,6
19,6
21,4
60
38
50
40
23,3
36,5
22,8
45,2
30
20
10
28,5
31,9
26
32,8
11,3
0
Lectura 3
Matemtica 3
Nivel I
Nivel II
Lectura 6
Nivel III
Matemtica 6
Ciencias 6
Nivel IV
Ms adelante se presenta la descripcin de los niveles de desempeo para cada rea evaluada.
13
Si adicionamos esta evidencia a la anterior, podramos decir que si bien Uruguay presenta un promedio
de puntajes superior a la media regional (que no present variaciones relevantes desde 2006), cerca
de un tercio de sus estudiantes se ubica en el nivel ms bajo de desempeo. Esto ltimo debera ser
foco de atencin, ya que se trata de los alumnos que no estn alcanzando los logros ms sencillos. Por
tanto, es posible sostener que:
Estos resultados muestran de modo elocuente que hay an importantes desafos en los sistemas
educativos de la regin [y particularmente en Uruguay] para promover aprendizajes de pensamiento de
orden superior, que entreguen a los estudiantes la capacidad de interpretar textos, resolver problemas
matemticos complejos y desarrollar el pensamiento cientfico, habilidades imprescindibles para
comprender el mundo que los rodea (LLECE, 2015d: 139).
Adicionalmente, el lector interesado puede conocer ejemplos de las actividades representativas de cada nivel de desempeo, que
se encuentran publicadas en LLECE (2015c).
14
Proporcin de
estudiantes
Nivel I
Puntaje
(hasta 675)
28,6
Nivel II
Puntaje
(676 - 727)
23,3
Nivel III
Puntaje
(728 - 812)
31,5
Nivel IV
Puntaje
(desde 813)
16,7
15
31,9
22,8
Nivel III
Puntaje
(751 - 842)
31,7
Nivel IV
Puntaje
(desde 843)
13,6
Nivel I
Puntaje
(hasta 687)
Nivel II
Puntaje
(688 - 750)
16
Proporcin de
estudiantes
Nivel I
Puntaje
(hasta 612)
Nivel II
Puntaje
(613 - 754)
Nivel III
Puntaje
(755 - 809)
Proporcin de
estudiantes
11,3
45,2
21,4
17
Nivel de
desempeo
Nivel III
Puntaje
(755 - 809)
Nivel IV
Puntaje
(desde 810)
18
Proporcin de
estudiantes
21,4
22,1
Nivel I
Puntaje
(hasta 685)
Nivel II
Puntaje
(686 - 788)
Nivel III
Puntaje
(789 - 877)
Nivel IV
Puntaje
(desde 878)
Proporcin de
estudiantes
26,1
36,5
24,3
13,2
19
Proporcin de
estudiantes
Nivel I
Puntaje
(hasta 668)
32,8
Nivel II
Puntaje
(669 - 781)
38,0
Nivel III
Puntaje
(782 - 861)
19,6
Nivel IV
Puntaje
(desde 862)
9,6
Como se mencion anteriormente, el TERCE tambin evalu escritura. Esta evaluacin se hizo en tres
dimensiones. La discursiva comprende todas aquellas marcas de la situacin comunicativa en el texto.
Implica que el producto demuestra que se han ledo adecuadamente las claves del contexto y se han
plasmado en el texto. La dimensin textual involucra todos los elementos de estructura interna del
texto, tales como coherencia (mantencin de la unidad temtica y la progresin informativa) y cohesin
(conexin). Por su parte, la dimensin convenciones de legibilidad involucra todas las convenciones
que incluyen aspectos caligrficos, de extensin (constitucin de los prrafos) y ortogrficos (LLECE,
2015c: 88).
Los cuadros que se presentan a continuacin reportan los resultados obtenidos por los estudiantes
uruguayos en ambos grados evaluados.
20
Dominio discursivo
Dominio textual
Convenciones de legibilidad
Nivel I
Nivel II
Nivel III
Nivel IV
21,7
7,0
10,2
12,8
8,9
4,3
24,4
17,8
26,0
41,1
66,4
59,5
Dominio discursivo
Dominio textual
Convenciones de legibilidad
Nivel I
Nivel II
Nivel III
Nivel IV
17,1
1,6
5,8
15,9
15,5
6,6
22,3
28,9
22,8
44,8
54,0
64,8
21
Grfico 2. Perfiles escolares para Uruguay: relacin entre el desempeo promedio de las
escuelas y su nivel socioeconmico promedio9
800
Puntaje lectura 3
700
600
500
400
300
-3
-1
900
700
600
500
400
300
-3
800
Puntaje lectura 6
700
600
500
400
300
-3
-1
+ ++++++
++++ +++
++++++
++
+
+
+
++
+
+ +++++ ++
+ ++++
+++ +
++
+
+
+ ++ ++
+
+
+
+
+
+
+
+
+
+
+
+
++++++++++ +
+++
++++++
+++++++++
++
+++++++
+
+
+
+ + ++
+++++++
800
700
600
++
++
++
++++++++ ++
+
+++
+++ +
++++++
+
+
+
+
+
++++++ +
+
+ ++++++++
+
+
+++++
++++++++
+++
+ ++
++++++++++++++
++++++
+
+
+
+
++++
+
+
+
+
+
+
+
++
+
+++ +
+
+
800
700
600
500
400
300
-1
ndice socioeconmico
y = -9,84x2 + 98,95x + 701,05 R2 = 0,59
Niveles de desempeo
900
900
-3
ndice socioeconmico
y = 6,23x2 + 73,54x + 672,06 R2 = 0,61
1000
1000
Puntaje matemtica 6
900
Niveles de desempeo
Niveles de desempeo
+
++++++ +
+
+
+
+
+
+++
+
++
+++++++++++++++
++
+
+
+
+ ++
+
+
+
+
+
+
+
++++++
+ +++++
+
++++
+ ++++
+ +++
++++++++++++
+
++++++
+
++++
++
+
-1
ndice socioeconmico
y = 4,77x2 + 79,66x + 677,37 R2 = 0,58
ndice socioeconmico
y = 8,3x2 + 58,11x + 674,83 R2 = 0,52
1000
+ +
+ + +++
++ +++++++++++++++++ +
+++ +++++ +
+++ + +
++++++++
++
++++++++
++
+++
++
+++
+
+ + ++++++++
+
+++ ++
+++++++++
+ ++
+
+
+
+
+
+
+
+
+
+++++ ++
++
+
800
Puntaje matemtica 3
+
+ +
++++
++
+
++++++++++++++
+
+
+
+ +++++++
++++ +++++
+++++
+++++
++++ +
++
+
+
+
+
+
+
+
+
+++++
+ +++
+++++++++
++++++ +
++++++++
+
++ ++++
+ +
+
1000
Niveles de desempeo
900
Niveles de desempeo
1000
500
400
300
-3
-1
ndice socioeconmico
y = -7,81x2 + 89,57x + 675,69 R2 = 0,46
Los perfiles escolares grafican la relacin entre el ndice socioeconmico promedio de cada escuela evaluada en Uruguay y el
puntaje promedio obtenido por los estudiantes de cada escuela en cada grado en el TERCE.
22
Grfico 3. Impacto de la composicin sociocultural del centro educativo sobre los desempeos
en matemtica de sexto
> Inequidad
120
99,0
100
80
60
40
20
> Equidad
Costa Rica
Argentina
Paraguay
Chile
Panam
Dominicana
Nicaragua
Mxico
Ecuador
Brasil
Per
Uruguay
Fuente: Elaboracin propia a partir de los datos de los informes de factores asociados de cada pas.
Grfico 4. Impacto de la composicin sociocultural del centro educativo sobre los desempeos
en ciencias naturales de sexto
> Inequidad
120
100
89,6
80
60
40
20
Argentina
Costa Rica
Chile
Mxico
Nicaragua
Panam
Paraguay
Ecuador
Brasil
R. Dominicana
> Equidad
Per
Uruguay
Fuente: Elaboracin propia a partir de los datos de los informes de factores asociados de cada pas.
23
Grfico 5. Impacto de la composicin sociocultural del centro educativo sobre los desempeos
en matemtica de tercero
> Inequidad
120
100
79,7
80
60
40
20
> Equidad
Argentina
Costa Rica
Paraguay
Chile
Ecuador
Mxico
R. Dominicana
Panam
Nicaragua
Per
Uruguay
Brasil
Fuente: Elaboracin propia a partir de los datos de los informes de factores asociados de cada pas.
Los logros ms equitativos se observan cuando se evala el desempeo en lengua de los estudiantes de 3
(el rea en la cual se encuentra la mayor proporcin de estudiantes en los niveles de desempeo ms altos).
Grfico 6. Impacto de la composicin sociocultural del centro educativo sobre los desempeos
en lectura de tercero
> Inequidad
120
100
80
58,1
60
40
20
Fuente: Elaboracin propia a partir de los datos de los informes de factores asociados de cada pas.
24
Argentina
Costa Rica
Chile
Paraguay
Uruguay
Mxico
Panam
Ecuador
Nicaragua
R. Dominicana
> Equidad
Uruguay
Brasil
Otro aspecto que tambin es necesario considerar es el grado en el cual los estudiantes que asisten a
cada centro educativo son similares entre s y distintos a los de otros en trminos de sus caractersticas
socioeconmicas de origen. En este sentido, un sistema educativo puede diferenciarse de otro por
el hecho de que no hayan diferencias en dicha composicin, porque a todos los centros educativos
asisten estudiantes de diferentes orgenes socioeconmicos (este sera el sistema ms inclusivo
posible), mientras que en el otro extremo, en otro sistema educativo los estudiantes se nuclean en
cada centro de acuerdo a sus caractersticas socioeconmicas de origen, lo cual lleva a que sean
centros homogneos en su interior y heterogneos entre ellos (este sistema sera el menos inclusivo
o ms segregado).
Dado que, especialmente en educacin primaria, los padres tienden a mandar a sus hijos a centros
educativos prximos a sus hogares, este fenmeno se vincula de manera importante con la segregacin
residencial. El dato del TERCE para Uruguay lo presenta como uno de los menos inclusivos o ms
segregados de la regin (LLECE, 2015e).
Este aspecto es de particular relevancia en Uruguay al comparar los resultados de los centros
educativos pblicos y privados, ya que su composicin sociocultural aparece sumamente diferenciada.
As se evidencia en el grfico que sigue. Ello implica que toda comparacin en los desempeos segn
tipo de escuela deber realizarse tomando en cuenta las caractersticas socioeconmicas y culturales
del alumnado que atiende, ya que de no hacerse las diferencias observadas podran deberse a este
aspecto y no a lo que se pretende identificar (que en este caso seran diferencias en los desempeos
segn tipo de centro). Cabe destacar que esta importante diferenciacin sociocultural segn tipo de
centro se refleja tambin en educacin media (INEEd, 2014: 90).
Grfico 7. Distribucin porcentual de los centros educativos de acuerdo a las caractersticas
socioculturales de su alumnado segn tipo de centro10
100
9,6
90
26,8
19,5
80
4,2
70
60
96,2
30,1
50
37,5
40
30
20
20,9
38,9
10
12,5
3,8
Rural
Quintil 1
Urbano - privado
Quintil 2
Quintil 3
Urbano - pblico
Quintil 4
Quintil 5
Se consider el ndice socioeconmico que el LLECE construy para cada estudiante. En una segunda instancia, tomando en
cuenta tanto a los estudiantes de tercero como de sexto, se calcul el promedio de dicho ndice para cada centro educativo. Luego
se definieron los quintiles para el total de la muestra nacional.
10
25
Los modelos multinivel son muy adecuados para la realidad educativa, ya que permiten analizar
los datos tomando en cuenta su estructura anidada (los estudiantes se agrupan en escuelas).
Y surge tambin de las sucesivas evaluaciones nacionales en sexto ao de primaria, en las que cada vez resulta ms difcil
comparar los desempeos entre centros educativos pblicos y privados, ya que son muy pocos los que tienen una composicin
sociocultural similar. Como sabemos, no tiene sentido hacerlo sin tomar en cuenta este aspecto, ya que la diferencia en los
desempeos obedecera fundamentalmente al efecto composicional del estatus socioeconmico de la poblacin que asiste a cada
tipo de centro educativo.
12
Es muy razonable que el LLECE no haya estimado un modelo multinivel multivariado (incluyendo a todos los factores en l)
porque debera haber especificado el mismo para todos los pases, y claramente esa no es la mejor estrategia a seguir. Este es un
trabajo que deberan abordar los especialistas de cada uno de los pases.
11
26
El hecho de considerar el efecto de cada variable antes y despus de controlar segn el ndice
socioeconmico puede llevar a confundir al lector: como decamos previamente, cuando hacamos
alusin a la comparacin entre escuelas pblicas y privadas, deberamos intentar comparar
cosas comparables. Por lo tanto, ser ms adecuado considerar el efecto una vez que se han
controlado las diferencias socioculturales que antes de haberlo hecho. Las diferencias que se
observen antes de tomar en cuenta la composicin socioeconmica y cultural pueden en realidad
ser reflejo de las caractersticas socioeconmicas y no de diferencias en los aspectos que se
buscan medir. Por tal motivo, en esta sntesis nos referiremos nicamente a los efectos luego de
que han sido controlados segn el estatus socioeconmico individual y composicional.
A continuacin se presentan los principales resultados acerca del efecto de cada factor sobre el
puntaje en cada una de las reas (LLECE, 2015e) y grados evaluados para los estudiantes uruguayos.
Salvo algunas excepciones, se sigue el mismo orden en que los presenta el LLECE en su informe sobre
factores asociados.
En lo que sigue es importante que el lector tenga presente que los resultados variaran si se especificara
un modelo multivariado que contemplara varios factores conjuntamente en vez de analizar el efecto de
cada uno de ellos por separado. Lo que se presenta a continuacin es el efecto de cada factor una vez
que se descuenta el efecto del origen socioeconmico de los estudiantes y del entorno sociocultural
de los centros educativos. Como se vio previamente, dada la gran inequidad en los desempeos, ello
es particularmente relevante para Uruguay.
En el texto que sigue, cuando no se hace una referencia explcita a algn pas la informacin
corresponde a Uruguay.
Caractersticas de los estudiantes y sus familias
En primer lugar, se observa un importante efecto negativo de la repeticin sobre los desempeos.
Uruguay es el pas en el que dicho efecto es mayor, en todas las reas y grados evaluados (con la nica
excepcin de Mxico en matemtica de tercero).
El ausentismo de los estudiantes parece tener un efecto negativo ms relevante sobre los desempeos
en matemtica que en lectura (donde el efecto se evidencia nicamente entre los estudiantes de
tercero) y ciencias.
El que los alumnos hayan asistido a educacin preescolar presenta un efecto positivo sobre los
desempeos en todas las reas y grados evaluados. En Uruguay se observa uno de los mayores
efectos en la regin.
Las familias con altas expectativas de estudio sobre las trayectorias educativas de sus hijos parecen
incidir favorablemente sobre sus desempeos, ya que en todas las reas y grados se observa un efecto
positivo relevante (en Uruguay es de los mayores en la regin). Asimismo, el apoyo de las familias a
sus hijos luego de haber recibido informacin sobre su desempeo tambin incide favorablemente
sobre sus logros (en este aspecto, la magnitud del efecto tambin es algo mayor en Uruguay que en
el resto de los pases). Sin embargo, el hecho de que las familias supervisen que los hijos estudien en
sus casas presenta un efecto positivo sobre el puntaje (en lectura y en matemtica) nicamente entre
quienes cursan tercer grado.
El dedicar al estudio 30 minutos o ms por da, comparativamente a hacerlo menos, genera un impacto
positivo en el puntaje en todas las reas y grados evaluados en Uruguay.
A partir de una serie de preguntas sobre los hbitos de lectura, el LLECE construy un ndice que los
sintetiza. La relacin entre dichos hbitos y los desempeos muestra efectos de magnitud claramente
27
ms baja a los anteriores. Al comparar Uruguay con el resto de los pases, llama la atencin que
nicamente en ciencias se observa un efecto significativo.
En cuanto al uso recreativo del computador, si bien en la mayora de los pases se observa un efecto
negativo sobre los desempeos, en nuestro pas no se observa que dicho hbito tenga algn tipo de
efecto sobre los desempeos (ni positivo ni negativo).
Uruguay es el pas en donde el trabajo infantil remunerado presenta el efecto negativo ms
importante sobre los desempeos (ser necesario indagar la proporcin de estudiantes que trabajan
remuneradamente).
No se observan diferencias por gnero en los desempeos en ciencias ni en matemtica, mientras que
en lectura las nias obtienen puntajes mayores a los de los varones.
Las aulas de clase
Uruguay es, junto con Mxico y Brasil, de los pases en donde se encuentra un mayor efecto positivo
asociado al hecho de que los docentes sean puntuales y asistan a clase.
En Uruguay, el tener libro de ciencias presenta una asociacin positiva con el puntaje, de una
magnitud similar a la observada en otros pases. Sin embargo, no se encuentra efecto en lengua ni en
matemtica. Tal vez, la disponibilidad de textos a travs de la biblioteca Ceibal sea un motivo para ello,
ya que facilita el acceso para todos los estudiantes.
Los resultados asociados al uso del computador en el aula son de particular relevancia para Uruguay,
ya que es el nico pas de la regin que cuenta con la experiencia una computadora por alumno, al
menos en el sector pblico en donde se nuclea la amplia mayora de la matrcula. A su vez, en el sector
privado el acceso a este tipo de bienes es frecuente.
El LLECE evalu el efecto sobre el puntaje de utilizar la computadora un da, dos das y ms de dos
das por semana. Es necesario tener presente que esto no dice cmo se utiliza, sino nicamente si
se utiliza. Sera relevante, por tanto, avanzar en conocer cmo se utiliza. Sin embargo, de acuerdo a
los datos de lo que podramos denominar exposicin al estmulo, es posible sostener que en la mayora
de los pases a medida que aumenta la cantidad de das por semana que se utiliza la computadora,
se incrementa la magnitud del efecto negativo sobre el puntaje. Sin embargo, ello no se observa en
Uruguay. En nuestro pas el uso de la computadora en el aula no tiene efecto negativo sobre el puntaje
en ningn rea ni grado evaluado. Por el contrario, presenta un efecto positivo y relevante sobre el
puntaje en matemtica cuando se la utiliza dos das por semana.
Prcticas docentes
El LLECE construy dos ndices de clima de aula, uno de acuerdo a las respuestas de los docentes y
otro de acuerdo a las respuestas de los alumnos. Segn el primero, en Uruguay se registra un efecto
positivo sobre el puntaje en lengua y matemtica entre los estudiantes de tercero y nicamente en
matemtica entre los de sexto. De acuerdo a las respuestas de los estudiantes de tercero, el clima de
aula presenta un efecto positivo sobre el puntaje nicamente en matemtica.
Por otra parte, se construy un ndice sobre prcticas docentes para el desarrollo del aprendizaje, que
no presenta efecto significativo de ningn tipo sobre los desempeos de los estudiantes uruguayos.
Ser necesario revisar cules indicadores lo constituyen e indagar si es posible que para Uruguay
ajuste mejor otro ndice de manera que sea posible conocer cules prcticas se asocian con mejores
desempeos.
28
En el grfico del anexo se presenta la distribucin del ndice para cada tipo de centro. All es posible observar la superposicin
entre ellos. Asimismo, se indican los puntos de corte para cada quintil.
13
29
30
Prospecciones
Las evaluaciones estandarizadas internacionales son sumamente tiles para el pas, ya que no
solamente brindan evidencia de lo que los estudiantes son capaces de hacer, sino que tambin aportan
la perspectiva comparada. Adicionalmente, al relevar informacin sobre aspectos contextuales
permiten no solo conocer los desempeos, sino entender diferencias entre los logros de los pases
de acuerdo a ellos. Se recomienda que el lector recuerde el texto PISA ms all del ranking: siete
claves para pensar el futuro de la educacin en Uruguay en donde se ilustra qu informacin provee
la evaluacin, independientemente de los desempeos de los estudiantes (Ravela, 2013). El TERCE
aporta informacin similar.
Sin embargo, estas evaluaciones no miden el currculo de ningn pas en particular. El hecho de que
existen diferencias entre los marcos de contenidos de las pruebas regionales e internacionales y
los currculos nacionales representa una complicacin adicional que puede hacer que la medicin y
comparacin de las pruebas internacionales resulten de alguna manera sesgadas (Wolfe, 2007: 2).
Dicho sesgo puede favorecer a algn pas, segn el grado en el cual el diseo de la prueba se aproxime
en mayor medida a su currculo, o puede significar un problema de medicin en algn nivel de la
escala de habilidades de los estudiantes que se intenta relevar.
Por ejemplo, Uruguay presenta proporciones importantes de alumnos que en la evaluacin PISA
no alcanzan a ubicarse en el nivel de desempeo inferior que mide la prueba, y por ello quedan
clasificados en el nivel bajo I. Ello tiene dos interpretaciones sustantivas: la primera y habitual pone el
foco en las habilidades de los estudiantes sealando que no alcanzan los logros ms bajos que define
PISA (nivel 1). La otra interpretacin, menos habitual, pero sin embargo muy relevante para la poltica,
tiene que ver con qu se est midiendo. El nivel bajo 1 representa un nivel de habilidad en el que la
prueba no incluye suficiente cantidad de tems como para describir lo que los alumnos son capaces de
hacer y, por ello mismo, la medida tiene un error mayor.
Ello ha llevado a que PISA disee para algunos pases la prueba PISA en Desarrollo,14 que permite equiparar
los resultados con la prueba general, pero se focaliza en medir con menor error el nivel de habilidades en el
que se encuentran los estudiantes de menores logros. Esto es particularmente relevante en Latinoamrica.
Los resultados de los estudiantes uruguayos evaluados por PISA en 2012 mostraron que, de acuerdo
a su desempeo en matemtica, un 29% se ubica en el nivel bajo 1 y un 26% en el nivel 1 (OCDE, 2014:
298). En ciencias un 20% se encuentra en el nivel bajo 1 y un 27% en el nivel 1 (OCDE, 2014: 392). Para
el rea de lectura los resultados se desagregan an ms que en los dominios anteriores: nivel 1a, 1b
y debajo de 1b. El 6% de los estudiantes evaluados se encuentran debajo del nivel 1b, un 15% en el 1b,
y un 26% en el nivel 1a (OCDE, 2014: 375).
Estos resultados llaman la atencin sobre la pertinencia de continuar aplicando la misma prueba
que los pases de la OCDE o si, al igual que estn haciendo algunos pases latinoamericanos, aplicar
una versin de prueba que mida mejor las habilidades de nuestros estudiantes y que, por ello
mismo, permita brindar evidencias de sus desempeos ms indicadas para la mejora. Asimismo, las
equiparaciones en el tiempo de las series de resultados tendrn menor error.
El TERCE presenta esta limitacin en menor medida porque est adecuado a la realidad latinoamericana
e incluye tems de menor nivel de dificultad. Por tanto, es posible describir los desempeos de la
mayora de los estudiantes evaluados.
Lo anterior nos debera hacer reflexionar acerca del papel de la evaluacin nacional de desempeo
estandarizado de los estudiantes que se ocupa del monitoreo de los logros, de forma tal que sea
posible hablar de representatividad a nivel del sistema (tal como lo hacen el TERCE o PISA).
Ms informacin en: http://www.oecd.org/pisa/aboutpisa/pisafordevelopment.htm.
14
31
15
16
32
relevamiento de las oportunidades de aprendizaje que se les brindan efectivamente a los estudiantes
en las aulas, as como un anlisis centrado en el monitoreo de la equidad y segregacin entre centros
de estudio, ya que la mejora de los desempeos requerir una reduccin de estas brechas.
No cabe duda de que el currculo es una herramienta para mejorar el desempeo de los estudiantes.
Tambin lo es el alineamiento curricular: el grado en el cual las acciones se orientan a la consecucin
de aquello que se entendi como el logro bsico para el egreso de cada ciclo o grado escolar.
En Uruguay se estn dando pasos muy relevantes para definir dichos niveles de logro. El plan de
evaluaciones diseado por el INEEd proveer informacin vlida acerca del grado de cumplimiento de
dichos objetivos, as como, a su vez, contribuir a su retroalimentacin, a travs de la generacin de
evidencias especficas sobre los desempeos de los estudiantes.
Frente a una situacin que muestra que no hubo mejora en los desempeos de los estudiantes de
primaria entre 2006 y 2013, a la vez que se registra una gran inequidad en los logros, la definicin de
perfiles de egreso no solo debera mejorar el nivel de aprendizaje de los estudiantes, sino tambin
disminuir las inequidades. En la medida que se fije un horizonte comn y se implementen acciones
para que se consiga un efectivo alineamiento curricular a travs, por ejemplo, de materiales y
capacitacin para docentes que proporcionen herramientas para el trabajo en diversos contextos
educativos orientadas a la consecucin de los desempeos establecidos es razonable pensar no
solo que mejoren los logros, sino que tambin se reduzcan las inequidades.
Las evidencias sobre el grado de consecucin de los objetivos propuestos solo podrn conocerse y
monitorearse si se disea un sistema de evaluaciones nacionales orientado a ello. Asimismo, de all
surgir informacin vlida para la retroalimentacin de las polticas educativas.
33
34
Bibliografa
Bender Sebring, Penny; Allensworth, Elaine; Bryk, Anthony S.; Easton, John Q. y Luppescu, Stuart
(2006), The essential supports for school improvement, Consortium on Chicago School Research at de
University of Chicago.
LLECE (2014), Primera entrega de resultados Tercer Estudio Regional Comparativo y Explicativo,
Santiago de Chile.
LLECE (2015a), Informe de resultados: Antecedentes iniciales (Relato del TERCE), Santiago de Chile.
LLECE (2015b), Uruguay. Factores asociados TERCE, Santiago de Chile.
LLECE (2015c), Informe de resultados Tercer Estudio Regional, Comparativo y Explicativo. Cuadernillo
n 2. Logros de aprendizaje, Santiago de Chile.
LLECE (2015d), Logros de Aprendizaje. Uruguay, Santiago de Chile.
LLECE (2015e), Informe de resultados Tercer Estudio Regional, Comparativo y Explicativo. Cuadernillo
n 3. Factores asociados, Santiago de Chile.
OCDE (2014), PISA 2012 Results: What Students Know and Can Do: Student Performance in Mathematics,
Reading and Science (Volume I), OEDC Publishing.
Ravela, Pedro (2013), PISA ms all del ranking: siete claves para pensar el futuro de la educacin
en Uruguay, en Boletn del Instituto Nacional de Evaluacin Educativa, n 9.
Reimers, Fernando (2000), Educacin, desigualdad y opciones de poltica en Amrica Latina en
el siglo XXI, en Revista Latinoamericana de Estudios Educativos, vol. XXX, n 2, Centro de Estudios
Educativos, Mxico D.F.
Wolfe, Richard (2007), Cuestiones tcnicas que condicionan las interpretaciones de los datos generados
por las evaluaciones de logros de aprendizaje escolar en Amrica Latina, PREAL, Grupo de Trabajo
sobre Estndares y Evaluacin.
35
36
ANEXO
37
Impacto de los factores asociados en los desempeos por rea evaluada y grado
Tercer grado
Uruguay
Factores asociados
Caractersticas
del estudiante
y las familias
Factores del
docente y
prcticas
de aula
Factores
de la escuela
Repeticin de grado
Inasistencia del estudiante a clases
Asistencia a educacin inicial
Expectativas parentales
Involucramiento parental
Supervisin de estudios en el hogar
Tiempo de estudio en el hogar
Hbitos de lectura del estudiante
Uso recreativo del computador
Nivel socioeconmico de la familia
Subvencin condicionada
Trabajo infantil
Nia
Poblacin inmigrante
Asistencia y puntualidad del docente
Disponibilidad de cuaderno escolar
Disponibilidad de libro
Uso del computador en la escuela
1 da por semana
Uso del computador en la escuela
2 das por semana
Uso del computador en la escuela
3 o ms das por semana
Uso del computador fuera de la escuela
1 da por semana
Uso del computador fuera de la escuela
2 das por semana
Uso del computador fuera de la escuela
3 o ms das por semana
Clima de aula segn el docente
Clima de aula segn los estudiantes
Prcticas docentes para el desarrollo
del aprendizaje
Nivel socioeconmico de la escuela
Escuela rural
Escuela privada
Sexto grado
Lectura
Matemtica
Lectura
Matemtica
+
+
+
+
+
+
+
//////
+
+
//////
+
+
+
+
-
//////
+
//////
+
Ciencias
naturales
+
+
-
//////
+
+
+
+
Variables significativas al 5% en su relacin bivariada con el aprendizaje, controlando por estatus socioeconmico y cultural de los
estudiantes y la escuela
Variable no existe para el grado, no se incluye en el modelo
///////// No existen casos vlidos suficientes para calcular el modelo
+ = Relacin positiva con el aprendizaje
- = Relacin negativa con el aprendizaje
Fuente: LLECE (2015b).
38
Distribucin del ndice de nivel socioeconmico para cada tipo de centro educativo
Q2 Q3
Q1
Q4
Q5
1.5
Densidad
1.0
-1
1,8
1,1
0.0
0,8
0,5
0.5
Rural
Urbano - pblico
Urbano - privado
39
www.ineed.edu.uy