Calidad de La Educ

Estudios internacionales sobre la calidad de la educacin:
la planificacin de su diseo y la gestin de su impacto
Estudios internacionales sobre

la calidad de la educacin:
la planicacin de su diseo
y la gestin de su impacto
Editado por
Kenneth N. Ross
e
Ilona Jrgens Genevois
Instituto Internacional de
Planeamiento de la Educacin
Las designaciones empleadas y la presentacin del material en este

volumen no implican la expresin de ningn juicio de parte de la UNESCO
o el IIPE sobre la condicin jurdica de ninguno de los pases, territorios,
ciudades o zonas citados, o de sus autoridades, ni respecto de la delimitacin
de sus fronteras.
Los costos de publicacin de este informe fueron cubiertos por una
contribucin de la Internationale Weiterbildung und Entwicklung, Capacity
Building International, Germany (InWEnt), una subvencin ofrecida por la
UNESCO y contribuciones voluntarias efectuadas por diversos Estados
Miembros de la UNESCO, cuya lista figura al final de este volumen.
Ttulo original: Cross-national studies of the quality of education. Planning

their design and managing their impact, Paris: IIEP-UNESCO, 2006.
Publicado por:
Instituto Internacional de Planeamiento de la Educacin
7-9 rue Eugne Delacroix, 75116 Pars
Correo electrnico: info@iiep.unesco.org
Sitio del IIPE en la Web: www.iiep.unesco.org
Diseo de la portada: Sabine Lebeau

Composicin: Linale Production
Traduccin en espaol: Alfonso E. Lizarzaburu
ISBN: 978-92-803-3289-6
UNESCO 2008
4
ndice
Sobre los autores
10
Lista de abreviaciones y siglas
16
Lista de cuadros, grficos y recuadros
19
Prefacio
21
1.
Introduccin: orgenes y contenido del Foro de Poltica

Kenneth N. Ross, Laura Paviot e Ilona Jrgens Genevois
25
Introduccin
Inters creciente en la calidad de la educacin
El surgimiento de redes para monitorear la calidad de la educacin
Las fuentes de las conexiones entre investigacin y poltica
El proceso subyacente en las conexiones entre investigacin y poltica
Condiciones previas esenciales para lograr conexiones exitosas
entre investigacin y poltica
El Foro de Poltica
Los documentos del Foro de Poltica
Conclusin: los principales mensajes del Foro de Poltica
Bibliografa
25
26
27
28
30
Parte I: Antecedentes de los estudios internacionales sobre la calidad

de la educacin
2.
39
Qu es la calidad de la educacin? (Desde la perspectiva de la UNESCO) 41

Mary Joy Pigozzi
Introduccin
Qu motiva hoy los objetivos de la educacin?
La calidad de la educacin como un concepto dinmico
La educacin basada en derechos como soporte conceptual de la calidad
de la educacin
El concepto de calidad de la educacin en relacin con el mundo moderno
Conclusin
Bibliografa
3.
31
32
33
36
37
41
41
43
44
45
53
53
Qu mecanismos de monitoreo se pueden utilizar para efectuar estudios

internacionales comparados y estudios nacionales?
Thomas Kellaghan
54
Introduccin
Preocupacin acerca de lo que los estudiantes aprenden
Exmenes pblicos (externos)
Evaluaciones nacionales
Evaluaciones internacionales
Responder a las preguntas de los responsables de la formulacin de poltica
54
55
58
59
61
62
ndice
4.
5.
6.
Conclusin
Bibliografa
68
69
Cules son los principales estudios internacionales comparados?

Aletta Grisay y Patrick Griffin
71
Introduccin
Evaluaciones nacionales e internacionales del rendimiento de los estudiantes
Principales evaluaciones internacionales comparadas
Los estudios de la IEA
Los estudios de la IAEP
Los estudios del IALS
Los estudios del PISA
Los estudios del SACMEQ
Retos planteados a la validez de los estudios internacionales comparados
Presentacin de los resultados de los estudios internacionales comparados
Conclusin
Bibliografa
Apndice: estudios internacionales publicados desde la dcada de los sesenta
71
72
76
76
79
80
81
83
84
90
97
100
103
Qu es un buen estudio internacional comparado?

T. Neville Postlethwaite
111
Introduccin
Desde el punto de vista de un responsable de la toma de decisiones
Desde el punto de vista de un investigador
Conclusin
Bibliografa
111
112
117
127
127
Qu es lo que piensan realmente los ministros de educacin

sobre los estudios internacionales comparados?
Saul Murimba
128
Introduccin
128
Comprender el papel y la posicin de los ministros de educacin
129
Preocupaciones de los ministros sobre los estudios internacionales comparados 130
Conclusin
138
Bibliografa
139
Parte II: Planificacin del diseo de estudios internacionales comparados
sobre la calidad de la educacin
141
7.
Qu se debe medir en un estudio internacional comparado?

Rainer Lehmann
143
Introduccin
Una taxonoma de los estudios internacionales comparados: beneficios y
justificaciones
Variables explicativas que se deben medir
Productos educacionales que se deben medir
143
144
148
151
ndice
8.
9.
Capacidades mentales de orden superior que se deben medir

reas afectivas que se deben medir
Nuevas tendencias en evaluacin
Validez del currculo frente a validez del contexto
Conclusin
Bibliografa
153
155
156
159
160
161
A quin se debe medir en un estudio internacional comparado?

Pierre Foy
165
Introduccin
Definicin de la poblacin objetivo
Principales aspectos del diseo muestral
La determinacin del tamao de la muestra
Ponderaciones muestrales
Errores de muestreo
Conclusin
Bibliografa
165
166
171
182
186
192
196
197
Cules son los costos nacionales de un estudio internacional comparado?

Maria Teresa Siniscalco
199
Introduccin
Recursos humanos
Reuniones internacionales
Recursos materiales
Fases del trabajo y operaciones
Lecciones aprendidas
Conclusin
Bibliografa
199
200
203
204
204
221
225
225
Parte III: Administrar el impacto de los estudios internacionales comparados

227
10.
Cmo pueden pasar los pases de los resultados de la investigacin

internacional comparada a la difusin y, despus, a la reforma poltica?
(Los estudios de caso de Kenya y Namibia)
Juliana Nzomo y Demus Makuwa
Introduccin
Qu resultados de la investigacin encontraron importantes
o controvertibles los ministerios de educacin?
Estrategias de difusin de la investigacin utilizadas
por los ministerios de educacin
Retroalimentacin a partir de la difusin
Reformas de la poltica y de la prctica basadas en los resultados
de la investigacin
Conclusin
Bibliografa
229
229
230
235
237
239
242
243
ndice
11.
Cmo pueden utilizar los pases los resultados de los estudios internacionales
comparados para enfrentarse a las grandes cuestiones polticas?
246
(Estudios de caso del frica francfona)
Jean Marc Bernard y Katharina Michaelowa
Introduccin
La gestin de una evaluacin tpica del PASEC
Estudios de caso de pases
Conclusin
Bibliografa
12.
Cmo puede manejar un pas el impacto de resultados excelentes

de investigaciones internacionales comparadas?
(El estudio de caso de Finlandia)
Pirjo Linnakyl
246
247
249
256
257
259
Introduccin
259
Tensiones entre los resultados nacionales e internacionales de las evaluaciones 259
Variaciones en los niveles de inters: la prensa y los sindicatos de profesores 260
La atencin internacional aumenta los niveles de inters en Finlandia
262
La atencin internacional aumenta los niveles de inters en otros pases
participantes en el PISA
263
Importantes hallazgos de investigacin para Finlandia
264
Retos para las polticas y prcticas de reforma
266
Mejora de la cooperacin en investigacin entre los pases nrdicos
267
Conclusin
269
Bibliografa
271
13.
Cmo puede un pas manejar el impacto de resultados pobres

en un estudio internacional comparado? (El estudio de caso de Alemania)
Jeanne Rubner
Introduccin
Qu resultados consider importantes el ministerio y por qu?
Qu tipo de dilogo, presentacin de resultados y grupos destinatarios utiliz
el ministerio y por qu?
Qu reformas de poltica y prctica ministeriales derivaron de los resultados?
Conclusin
Bibliografa
14.
274
276
280
280
282
283
Cmo pueden trabajar las organizaciones internacionales con los medios

de comunicacin para manejar los resultados de los estudios internacionales
comparados?
(El estudio de caso de la OCDE)
284
Andreas Schleicher
Introduccin
Qu sabemos acerca de la calidad de la educacin?
Algunas implicaciones polticas debidas al PISA
274
284
285
286
ndice
En qu se concentraron los medios de comunicacin?

Conclusin
Bibliografa
289
294
295
Parte IV: Conclusin
297
15.
Principales mensajes del Foro de Poltica

Kenneth N. Ross, Carola Donner-Reichle, Ingrid Jung,
Ulrike Wiegelmann, Ilona Jrgens Genevois y Laura Paviot
299
Introduccin
El Foro de Poltica y este libro
Cinco grupos de mensajes del Foro de Poltica
Mensajes del Grupo 1: planificar el diseo de la medicin de los estudios
internacionales comparados
Mensajes del Grupo 2: planificar los diseos muestrales de los estudios
Mensajes del Grupo 3: planificar el diseo logstico de los estudios
Mensajes del Grupo 4: gestionar el impacto de los estudios internacionales
comparados
Mensajes del Grupo 5: necesidades y modalidades del fortalecimiento de
capacidades
Comentarios finales
Bibliografa
299
300
301
302
311
317
321
330
335
336
Apndice: Lista de participantes
339
ndice alfabtico
348
Sobre los autores

Carola Donner-Reichle (Alemania) es directora de la Divisin de
Desarrollo Social de la Internationale Weiterbildung und Entwicklung
gGmbH, Capacity Building International, Alemania (InWEnt). Tambin es
responsable de la poltica global de la InWEnt en relacin con los Objetivos
de Desarrollo del Milenio. Anteriormente fue subjefa del Gabinete del
Ministro en el Ministerio de Cooperacin Econmica y Desarrollo, antes
de lo cual fue responsable de las negociaciones relativas al seguimiento
de la Cumbre Mundial sobre Desarrollo Social de las Naciones Unidas
en el Ministerio de Cooperacin Econmica. Fue investigadora en el
Institute of Development Studies en Dar Es Salaam (Tanzania) y experta
de la OIT en la Oficina Regional para Asia y el Pacfico en Bangkok
(Tailandia). Tiene un doctorado en Ciencias Polticas de la Universidad
Libre de Berln.
Pierre Foy (Canad) es investigador principal en el Centro de
Procesamiento de Datos [Data Processing Center] de la IEA en Hamburgo.
Tiene una maestra en Estadstica y una vasta experiencia en el campo de
encuestas por muestreo y en estudios internacionales comparados en
educacin. Trabaj durante muchos aos para Statistics Canada (STATCAN)
en el desarrollo de mtodos para encuestas y muestreo de diversas encuestas
nacionales. Durante los ltimos 12 aos ha participado como experto en
muestreo en el Tercer Estudio Internacional en Matemtica y Ciencias
[Third International Mathematics and Science Study] (TIMSS) y en el
Estudio Internacional de Competencia Lectora [Progress in International
Reading Literacy Study] (PIRLS). Tambin es consultor en materia de
muestreo de otros estudios de la Asociacin Internacional de Evaluacin
del Rendimiento Escolar [International Association for the Evaluation of
Educational Achievement] (IEA) y proyectos de la UNESCO.
Patrick Griffin (Australia) es catedrtico de Educacin en la University of
Melbourne y director del Australian Assessment Research Centre. Tiene
un doctorado en Medicin Educacional por la Florida State University y
ha publicado muchos informes de investigacin y artculos en los campos
de la evaluacin de la educacin y el aprendizaje. Sus intereses actuales en
materia de investigacin incluyen la evaluacin de competencias lingsticas,
la alfabetizacin en el sector industrial, la alfabetizacin y la matemtica
bsica en la escuela, la concepcin de perfiles y la evaluacin de portafolios.
Ha dirigido una serie de proyectos internacionales de investigacin en el
Pacfico, Asia y Europa.
10
www.iiep.unesco.org
Sobre los autores
Aletta Grisay (Blgica), graduada en Filosofa y Letras, efectu la mayor

parte de su carrera en el Service de pdagogie exprimentale de lUniversit
de Lige. En su calidad de miembro del equipo de investigacin a cargo
de la recoleccin de datos para la IEA en la comunidad francfona de
Blgica, particip en varias encuestas de la IEA (comprensin de lectura,
literatura, ingls como lengua extranjera, competencia en lectura y el
Segundo Estudio sobre Educacin Cvica). Tambin dirigi el diseo y la
implementacin de varias evaluaciones nacionales en Blgica, Francia y
en pases en desarrollo. Actualmente es miembro del Grupo de Asesora
Tcnica [Technical Advisory Group] del programa de Investigacin PISA
de la OCDE.
Ingrid Jung (Alemania) es Directora de la Divisin de Educacin de la
Internationale Weiterbildung und Entwicklung gGmbH, Capacity Building
International, Alemania (InWEnt). Tiene un doctorado en Lingstica por la
Universidad de Osnabrck. Trabaj durante muchos aos como asesora en
educacin, oficial de programas y consultora en Amrica Latina. Sus
actividades de investigacin se concentran en la oferta educativa en
sociedades plurilinges de Amrica Latina y frica. Ha publicado artculos
y libros sobre educacin bilinge, alfabetizacin y la formacin de
profesores.
Ilona Jrgens Genevois (Alemania) es especialista adjunta de programa en
el Instituto Internacional de Planeamiento de la Educacin (IIPE-UNESCO).
Anteriormente trabaj para diversas organizaciones internacionales en
proyectos relacionados con el desarrollo de medidas de evaluacin de acciones
polticas y econmicas. Tiene un Diplme dtudes approfondies (DEA) en
Ciencias Econmicas del Institut dtudes politiques de Pars y un DiplomVolkswirtin obtenido en Alemania. Ha publicado estudios sobre un enfoque
para medicin del bienestar y su contribucin al debate socioeconmico.
Sus intereses actuales de investigacin incluyen la financiacin de la
educacin y la medicin de la transferencia de ayuda en educacin del
Norte al Sur.
Thomas Kellaghan (Irlanda) es director del Educational Research Centre
en Dubln. Tiene un doctorado en Educacin de la Queens University
(Belfast) y es miembro de la International Academy of Education (IAE).
Sus reas de inters incluyen la evaluacin, la evaluacin de programas
y las desventajas educativas. Ha trabajado en diversos pases de frica,
Asia y Amrica Latina. Es coeditor del International Handbook of
Educational Evaluation.
11
www.iiep.unesco.org
Sobre los autores
Rainer Lehmann (Alemania) es catedrtico de Medicin e Investigacin

Educacional en la Humboldt Universitt (Berln). Tiene un doctorado en
Teologa y otro en Educacin de la Universidad de Hamburgo (Alemania).
Ha publicado informes y artculos sobre evaluacin educacional y la
evaluacin del rendimiento educativo en diferentes campos (composicin
escrita, historia, comprensin de lectura, educacin cvica, entre otros).
Sus actividades de investigacin incluyen evaluaciones a gran escala,
tanto a nivel nacional como regional, diseadas para monitorear y mejorar
los sistemas educativos. Algunos de estos estudios han seguido diseos
longitudinales verdaderos destinados a establecer relaciones causales.
Pirjo Linnakyl (Finlandia) es profesora de Evaluacin Educacional en
la Universidad de Jyvskyl (Finlandia) y subdirectora del Institute for
Educational Research. Tiene un doctorado en Ciencias de la Educacin de
la Universidad de Turku (Finlandia). Sus campos de pericia son las
evaluaciones internacionales en gran escala, la evaluacin de sistemas
educativos y la investigacin educacional comparada. Fue la coordinadora
finlandesa del Estudio sobre Competencia Lectora [Reading Literacy Study]
y la Encuesta Internacional sobre Alfabetizacin de Adultos [International
Adult Literacy Survey] de la IEA y ha sido responsable de la evaluacin de
la lectura en la parte finlandesa del programa PISA. Tiene tambin ms de
30 aos de experiencia como profesora de lengua materna, formadora de
profesores, investigadora y profesora universitaria.
Demus Makuwa (Namibia) es un planificador de alto nivel en la Divisin
de Monitoreo y Evaluacin del Ministerio de Educacin Bsica, Deportes
y Cultura de Namibia. Concluy una maestra en Ciencias Sociales en la
Universidad Karl Marx y se gradu en el Harvard Programme in
Educational Policy and Planning. Ha sido Coordinador Nacional de
Investigacion del SACMEQ en Namibia durante los ltimos cuatro aos
y su muy exitosa ejecucin de la recoleccin de datos en el SACMEQ II
tuvo como resultado que Namibia fuera uno de los primeros pases cuyos
datos estuvieran preparados para el anlisis.
Katharina Michaelowa (Alemania) es directora del Program on
Development and Integration en el Hamburg Institute for International
Economics. Tiene un doctorado en economa de la Universidad de
Hamburgo y sus intereses en materia de investigacin incluyen desarrollo,
economa de la educacin y economa de la ayuda. Antes de incorporarse
al Hamburg Institute, trabaj en la OCDE en las reas de desarrollo y
educacin. Es miembro del Consejo Cientfico del Programme danalyse
12
www.iiep.unesco.org
Sobre los autores
des systmes ducatifs de la CONFEMEN (PASEC), un programa que realiza

sondeos regularmente sobre el desempeo educativo en el frica Subsahariana
francfona.
Saul Murimba (Zimbabwe) es director del Consorcio del frica Meridional
y Oriental para el Monitoreo de la Calidad de la Educacin [Southern and
Eastern Africa Consortium for Monitoring Educational Quality] (SACMEQ.
Tiene una maestra en Gestin de la Educacin de la Universidad de
Zimbabwe y ha trabajado en el Ministerio de Educacin de Zimbabwe
como investigador y evaluador en su Seccion de Poltica y Planificacin.
Tiene especial inters en la investigacin por sondeos a gran escala para
el desarrollo poltico y ha participado en investigacin de poltica en
colaboracin con otros planificadores de la educacin en el frica Oriental
y Central.
Juliana Nzomo (Kenya) es coordinadora del Programa Regional (Evaluacin
Educacional) en la Fundacin Aga Khan.. Previamente se desempe como
economista principal en el Departamento de Planificacin del Ministerio de
Educacin, Ciencia y Tecnologa de Kenya. Concluy una maestra en
Administracin de la Educacin en la Universidad de Nairobi y se gradu en
el Programa de Formacin Avanzada (PFA) en Planificacin y Administracin
de la Educacin del IIPE. Fue coordinadora nacional de investigacin del
SACMEQ durante cinco aos y ha sido miembro de equipos keniatas de
investigacin para la preparacin de los anlisis sectoriales de educacin a escala
nacional.
Laura Paviot (Argentina) es investigadora residente del Instituto
Internacional de Planeamiento de la Educacin (IIPE-UNESCO). Empez
su carrera como profesora de educacin primaria y secundaria en la
Argentina. Tiene una maestra en Desarrollo Internacional con
especializacin en el Diseo y Monitoreo de Programas por la Universidad
de La Sorbonne (Francia). Ha trabajado en el IIPE en las reas de educacin
en situaciones de emergencia y de reconstruccin despus de conflicto. Antes
de incorporarse al IIPE trabaj para una organizacin sin fines de lucro en
calidad de coordinadora de proyectos educativos en asociacin con el Banco
Interamericano de Desarrollo (BID). Sus intereses actuales en investigacin
incluyen la cobertura y el aumento de las clases particulares en los pases en
desarollo.
Mary Joy Pigozzi (Estados Unidos de Amrica) fue directora de la
Divisin para la Promocin de la Calidad de la Educacin en la UNESCO,
donde supervis el trabajo en los campos de la educacin para el desarrollo
13
www.iiep.unesco.org
Sobre los autores
sostenible, educacin para la paz y los derechos humanos, educacin para

enfrentar la pandemia del VIH y el SIDA y educacin para la salud. Tiene un
doctorado de la Michigan State University. Antes de incorporarse a la
UNESCO fue responsable del desarrollo de la Iniciativa de las Naciones
Unidas para la Educacin de las Nias (UNGEI) y el Programa Mundial
de Educacin para las Nias del UNICEF. Entre odtras de sus contribuciones
profesionales est el desarrollo de enfoques estratgicos para la educacin
en situaciones de emergencia y la formulacin de poltica sobre la relacin
entre educacin y trabajo infantil.
T. Neville Postlethwaite (Reino Unido) es catedrtico (Emrito) de
Educacin Comparada en la Universidad de Hamburgo (Alemania) y
miembro de la International Academy of Education (IAE). Tiene un
doctorado en Educacin Comparada por la Universidad de Estocolmo
(Suecia) y es autor de muchos informes de investigacin y artculos en el
campo de los estudios internacionales comparados sobre la calidad de la
educacin. Fue coeditor principal de la primera y segunda ediciones de la
International Encyclopedia of Education en doce volmenes. Ha recibido
varios premios de universidades y gobiernos para honrar sus contribuciones
al avance de la investigacin educacional. Actualmente trabaja para la
UNESCO y el Banco Mundial como consultor en educacin en frica y
Asia.
Kenneth Ross (Australia) es coordinador de Gestin de Proyectos
Tcnicos en el Instituto Internacional de Planeamiento de la Educacin
(IIPE-UNESCO). Concluy sus estudios de doctorado en el Centre for
the Study of Higher Education (University of Melbourne) y es miembro
de la International Academy of Education (IAE). Trabaj como investigador
educacional en la Survey Section del Australian Council for Educational
Research y posteriormente se desempe como profesor adjunto de
educacin [Reader in Education] en la Deakin University (Australia). Sus
intereses en materia de investigacin cubren dos campos principales:
mtodos cuantitativos de investigacin de poltica educativa y el uso de
enfoques de frmulas de financiacin para modelos de financiacin
escolar.
Jeanne Rubner (Alemania) es editora principal del Sddeutsche Zeitung en
Mnich, el diario de mayor circulacin nacional de Alemania. Sigui sus
estudios secundarios en Francia; estudi Fsica en Francia, Alemania y
los Estados Unidos, y concluy su doctorado en Fsica en la Universidad
Tcnica de Mnich. En el Sddeutsche Zeitung trabaja en la seccin que
14
www.iiep.unesco.org
Sobre los autores
cubre la poltica nacional y se ocupa fundamentalmente de temas

educacionales y cientficos. Es miembro de varios consejos y comits
asesores, entre los cuales est el consejo de la Universidad de Ratisbona
[Regensburger Universitt] y el Transatlantic Science and Humanities
Program de la Fundacin Humboldt.
Andreas Schleicher (Alemania) es director de la Divisin de Indicadores
y Anlisis de la Direccin de Educacin de la OCDE. En el ejercicio de
esta funcin es responsable de la elaboracin y el anlisis de puntos de
referencia [benchmarks] sobre el desempeo de los sistemas educativos.
Esto incluye la gestin del Programa Internacional de Evaluacin de
Estudiantes [Programme for International Student Assessment] (PISA) de
la OCDE, el Programa de Indicadores de la Educacin [Education Indicators
Programme] (INES) de la OCDE, as como del Programa Mundial de
Indicadores de la Educacin [World Education Indicators Programme] de
la OCDE y la UNESCO. Antes de incorporarse a la OCDE fue director
de anlisis de datos en la Asociacin Internacional de Evaluacin del
Rendimiento Escolar [International Association for the Evaluation of
Educational Achievement] (IEA). Estudi Fsica en la Universidad de
Hamburgo y recibi una maestra en Matemtica de la Deakin
University.
Maria Teresa Siniscalco (Italia) es consultora en investigacin
educacional. Tiene un doctorado en Educacin por la Universidad de Roma
(La Sapienza). Fue administradora nacional del proyecto PISA de la OCDE
en el Istituto Nazionale per la Valutazione del Sistema dell Istruzione
(INValSI) en Frascati. Sus intereses de investigacin cubren los campos de la
comprensin de textos, apreciacin televisiva e indicadores internacionales
de educacin. Ha trabajado como consultora para diversas organizaciones
nacionales e internacionales.
Ulrike Wiegelmann (Alemania) es administradora principal de proyectos en
la Internationale Weiterbildung und Entwicklung gGmbH, Capacity Building
International, Alemania (InWEnt). Tiene un doctorado en Filosofa de la
Universidad de Mnster (Alemania) y ha realizado investigaciones sobre
el rendimiento educativo de los estudiantes que asisten a escuelas primarias
rabes y francfonas en Senegal. En la InWEnt es responsable del diseo
e implementacin de los programas de dilogo y formacin en los campos
de la calidad de la educacin, as como del VIH, el SIDA y la educacin.
15
www.iiep.unesco.org

Espaol
Ingls o francs
ABC
Evaluacin de
Competencias Bsicas
ABC
Assessing Basic
Competencies
APN
Administrador(a) del
Proyecto Nacional
NPA
National Project
Manager
BRR
Rplica Repetida
Equilibrada
BRR
Balanced Repeated
Replication
CI
Correlacin Intraclase
(coeficiente)
IC
Intraclass Correlation
CINE
Clasificacin
Internacional
Normalizada de la
Educacin
ISCED
International Standard
Classification of
Education
CONFEMEN
Conferencia de Ministros
de Educacin de los
Pases Francfonos
CONFEMEN
Confrence des
ministres de
lducation des pays
ayant le franais en
partage
CNI
Coordinador Nacional de
Investigacin
NRC
National Research
Coordinator
DIF
Funcionamiento
Diferencial del tem
DIF
Differential Item
Functioning
EPT
Educacion para Todos
EFA
Education for All
ETS
Servicios de Pruebas
Educativas
ETS
Educational Testing
Services
FIMS
Primer Estudio
Internacional de
Matemtica
FIMS
First International
Mathematics Study
FISS
Primer Estudio
Internacional de Ciencias
FISS
First International
Science Study
IAEP
Evaluacin Internacional
del Progreso Educativo
IAEP
International
Assessment of
Educational Progress
IALS
Estudio Internacional
de Alfabetizacin de
Adultos
IALS
International Adult
Literacy Study
16
www.iiep.unesco.org
IEA
Asociacin Internacional
para la Evaluacin del
Rendimiento Escolar
IEA
International
Association for the
Evaluation of
Educational
Achievement
IIPE
Instituto Internacional
de Planeamiento de la
Educacin
IIEP
International Institute
for Educational
Planning
INES
Indicadores
Internacionales de los
Sistemas Educativos
INES
International
Indicators of
Education Systems
INRA
Instituto Nacional
de Investigacin
Agronmica
INRA
Institut national
de la recherche
agronomique
JRR
JRR
Rplica Repetida
Herramental o Jack-knife
KIE
Instituto de Educacin de
Kenya
KIE
Kenya Institute of
Education
LLECE
Laboratorio
Latinoamericano de
Evaluacin de la Calidad
de la Educacin
LLECE
Latin American
Laboratory for
Assessment of the
Quality of Education
MDT
Medida del tamao
MOS
Measure of Size
MLA
Monitoreo del
Rendimiento del
Aprendizaje
MLA
Monitoring Learning
Achievement
NAEP
Evaluacin Nacional del

Progreso Educativo
NAEP
National Assessment
of Educational
Progress
ODM
Objetivos de Desarrollo
del Milenio
MDO
Millenium
Development Goals
OCDE
Organizacin para
la Cooperacin y el
Desarrollo Econmicos
OECD
Organisation for
Economic Cooperation and
Development
ONG
Organizacin No
Gubernamental
NGO
Non-governmental
organization
OREALC
Oficina Regional de
Educacin para Amrica
Latina y el Caribe de la
UNESCO
PASEC
Programa de Anlisis de
los Sistemas Educativos
de la CONFEMEN
PASEC
Programme danalyse
des systmes ducatifs
de la CONFEMEN
Jack-knife Repeated
Replication
17
www.iiep.unesco.org
PIRLS
Estudio Internacional
sobre Competencia
Lectora
PIRLS
Progress in
International Reading
Literacy Study
PISA
Programa Internacional
de Evaluacin de
Estudiantes
PISA
Programme for
International Student
Assessment
PNUD
Programa de las Naciones UNDP

Unidas para el Desarrollo
PPT
Probabilidad
Proporcional al Tamao
PPS
Probability
Proportional to Size
RCS
Estudio sobre
Comprensin Lectora
RCS
Reading
Comprehension Study
RLS
Estudio sobre
Competencia Lectora
RLS
Reading Literacy
Study
SACMEQ
Consorcio del frica

Meridional y Oriental
para el Monitoreo de la
Calidad de la Educacin
SACMEQ
Southern and Eastern

Africa Consortium
for Monitoring
Educational Quality
SIMS
Segundo Estudio
Internacional de
Matemtica
SIMS
Second International
Mathematics Study
SISS
Segundo Estudio
SISS
Second International
Science Study
TIC
Tecnologa(s) de
la Informacin y la
Comunicacin
ICT
Information and
Communication
Technology
TIMSS
Tercer Estudio
Internacional de
Matemtica y Ciencias
TIMSS
Third International
Mathematics and
Science Study
TRI
Teora de la Respuesta
al tem
IRT
Item Response Theory
UNESCO
Organizacin de las
Naciones Unidas para la
Educacin, la Ciencia y
la Cultura
UNESCO
United Nations
Education, Science
and Culture
Organization
UNICEF
Fondo de las Naciones

Unidas para la Infancia
UNICEF
United Nations
Childrens Fund
United Nations
Development
Programme
18
www.iiep.unesco.org
Lista de cuadros, grficos y recuadros

Cuadro 12.1 Cobertura de prensa en los pases participantes en el
PISA un mes despus aproximadamente de la difusin
de los resultados de la investigacin
Grfico 2.1
Un marco de referencia para la calidad de la educacin
Grfico 4.1
Comparaciones mltiples de los puntajes nacionales

promedios de la escala en matemtica del TIMSS
Grfico 4.2
Comparacin de los resultados nacionales en matemtica

en el TIMSS, que ilustra el uso de la distribucin
de los puntajes como base para la comparacin
Grfico 4.3
Niveles de competencia de los estudiantes y profesores

del 6 grado en el proyecto SACMEQ II
Grfico 8.1
Cobertura y exclusiones
Grfico 8.2
Mtodo sistemtico de muestreo mediante la PPT
Grfico 8.3
Cuadro para el diseo muestral del PIRLS 2006
Grfico 8.4
Errores de muestreo
Grfico 14.1 La calidad y la equidad de la educacin

Recuadro 1.
Recuadro 2.
Los niveles de competencia en ciencias de la IAEP

Criterios del PISA 2003 para las exclusiones dentro
de las escuelas
19
www.iiep.unesco.org
Prefacio
La conciencia que existe en el mundo sobre la necesidad de lograr la
Educacin para Todos (EPT) ha venido acompaada por el reto consistente
en asegurar que se posibilite una mayor y mejor participacion en la
educacin, junto con mejores condiciones de escolarizacin y rendimiento
de los estudiantes. Esta intensa concentracin en la calidad de la educacin
ha sido estimulada por la creencia en que los sistemas educativos pueden
actuar como vas para el desarrollo econmico nacional en un mundo
crecientemente globalizado y competitivo.
Estas pautas, cuando se toman junto con los enormes gastos de los
gobiernos en educacin, han precipitado demandas de ms informacin y
rendicin de cuentas en relacion con la calidad de la educacin. Una
respuesta de los gobiernos en los pases industrializados ha sido la
instauracin de sistemas para monitorear y evaluar la calidad basndose en
estudios internacionales comparados organizados por la Asociacin
Internacional de Evaluacin del Rendimiento Escolar (IEA) y la Organizacin
para la Cooperacin y el Desarrollo Econmicos (OCDE).
Los gobiernos de los pases menos desarrollados han mostrado inters
en la instauracin de mecanismos de monitoreo y evaluacin similares.
En algunos casos, lo han hecho con un enfoque regional en el que grupos
de pases vecinos con similares niveles de desarrollo social y econmico
han trabajado juntos para implementar estudios internacionales
comparados. Los casos ms destacados son los proyectos organizados por
el Consorcio del frica Meridional y Oriental para el Monitoreo de la
Calidad de la Educacin (SAQMEC), el Laboratorio Latinoamericano de
Evaluacin de la Calidad de la Educacin (LLECE) organizado por la
Oficina Regional de Educacin para Amrica Latina y el Caribe (OREALC)
de la UNESCO, y el Programme dAnalyse des Systmes Educatifs
(PASEC), organizado por la Confrence des Ministres de lducation
ayant le franais en partage [Conferencia de Ministros de Educacin
Francfonos] (CONFEMEN).
A comienzos de 2004, varios miembros del Instituto Internacional de
Planeamiento de la Educacin (IIPE) y de la Internationale Weiterbildung
und Entwicklung gGmbH Capacity Building International (InWEnt) de
Alemania se reunieron en Pars para discutir las implicaciones del aumento
del inters a nivel mundial entre gobiernos y organismos internacionales en
estudios internacionales comparados de la calidad de la educacin. En esta
21
www.iiep.unesco.org
Prefacio
reunin se acord que los ministerios de educacin especialmente aquellos

pases menos avanzados slo deberan participar en estos estudios si se
comprometan activamente en todos los pasos apropiados para planificar el
diseo y gestionar el impacto de la investigacin.
Por consiguiente, el IIPE y la InWEnt decidieron unir sus fuerzas
para organizar un Foro Internacional de Poltica que facilitara el
intercambio de conocimientos y experiencias nacionales en relacin con
el tema de los Estudios internacionales sobre la calidad de la educacin:
la planificacin de su diseo y la gestin de su impacto. El Foro de Poltica
se celebr en la sede del IIPE en Pars, el 17 y el 18 de junio de 2004, y
asistieron alrededor de 50 participantes provenientes de Alemania,
Argentina, Australia, Canad, Finlandia, Francia, Guinea, India, Irlanda,
Italia, Japn, Kenya, Malawi, Mozambique, Namibia, Noruega, Per,
Reino Unido, Sudfrica, Suecia, Uganda, Yemen, Zambia y Zimbabwe.
Entre los participantes haba ministros de educacin, altos funcionarios,
planificadores e investigadores de la educacin, profesores universitarios,
especialistas de los organismos proveedores de fondos y personal de alto
nivel de organizaciones internacionales.
Este libro se basa en las ponencias presentadas en el Foro de Poltica y
en el intenso debate que se produjo sobre ellas durante las Sesiones abiertas
que cerraron el foro.
Las ponencias del Foro de Poltica abordan tres temas principales:
Antecedentes. Estas ponencias comienzan con una visin de conjunto

de la terminologa, los conceptos y las definiciones relacionados con
los estudios internacionales comparados de la calidad de la educacin,
para luego abordar lo que se ha logrado y cmo los investigadores
y los responsables de alto nivel de la toma de decisiones evalan lo
que se ha logrado.
Planificacin del diseo. Estas ponencias examinan las tres preguntas
clave para el diseo de la investigacin en poltica educacional que
deben ser adecuadamente respondidas para proceder al diseo e
implementacin de estudios internacionales comparados cientficos de
la calidad de la educacin: A quin se mide?, Quin es medido?
y Cules son los costos financieros y logsticos?.
Manejo del impacto. Estas ponencias presentan estudios de caso que
ilustran cmo los ministerios de educacin y las organizaciones
internacionales han manejado la difusin de los resultados de estudios
internacionales comparados de la calidad de la educacin.
22
www.iiep.unesco.org
Prefacio
Las Sesiones Abiertas del Foro de Poltica consistieron en grupos

pequeos y flexibles de debate en los que los participantes podan
reflexionar, criticar y sintetizar las cuestiones clave que iban surgiendo.
Estas sesiones abordaron muchos temas y diversas experiencias nacionales.
Tambin permitieron que surgieran muchos Mensajes y recomendaciones
del Foro de Poltica, documentados en el captulo final de este libro,
relativos a la orientacin que se debe dar a los ministerios de educacin
a fin de asegurar que obtengan el mximo posible de beneficios de los
estudios internacionales comparados de la calidad de la educacin.
Los mensajes y las recomendaciones del Foro de Poltica constituyen
una rica cantera para discusiones ms productivas, tanto en los ministerios
de educacin como entre ministerios y con diversos asociados externos.
Por consiguiente, el IIPE y la InWEnt se complacen en ofrecer este libro
como una contribucin a la ampliacin y el fortalecimiento de las
oportunidades de intercambios nacionales e internacionales, que sirvan
para fortalecer las capacidades de los pases y sus sistemas educativos en
la planificacin y gestin de la calidad de la educacin.
Mark Bray
Director
Instituto Internacional de Planeamiento de la Educacin (IIPE)
Organizacin de las Naciones Unidas para la Educacin,
la Ciencia y la Cultura (UNESCO)
Pars, Francia
Carola Donner-Reichle
Directora
Divisin de Desarrollo Social
Internationale Weiterbildung und Entwicklung
Capacity Building International, Alemania (InWEnt)
Bonn, Alemania
23
www.iiep.unesco.org
Captulo 1
Introduccin: orgenes y contenido

del Foro de Poltica
Kenneth N. Ross, Laura Paviot e Ilona Jrgens-Genevois
Introduccin
En 1958, un grupo de educadores (incluyendo a Bill Wall, del National
Foundation for Educational Research in England and Wales; Arnold
Anderson y Benjamin Bloom, de la Universidad de Chicago; Robert
Thorndike, de la Universidad de Columbia, y Torsten Husn, de la
Universidad de Estocolmo) sostuvieron una serie de reuniones en el
Instituto de Educacin de la UNESCO (UIE) en Hamburgo (Alemania).
El propsito de estas reuniones era explorar cmo se podra utilizar la
investigacin para hacer comparaciones ms vlidas en cuanto a la calidad
de la educacin que se estaba impartiendo en los sistemas escolares del
mundo.
Estos educadores crean que la investigacin sobre la calidad de la
educacin requera una perspectiva internacional porque las variaciones
entre los pases en relacion con las polticas educativas, las prcticas y las
tradiciones ofrecan un laboratorio natural para el estudio de aquellos
aspectos del entorno educacional que tenan probabilidades de tener un
impacto sustancial y consistente sobre la mejora del aprendizaje de los
estudiantes. Tambin sostenan que los estudios internacionales comparados
sobre la calidad de la educacin ofrecan mucho ms que los estudios
nacionales, porque la costumbre y la ley definen lo que es aceptable desde
el punto de vista educativo en un pas, [mientras que] los sistemas
educativos que estn allende las fronteras nacionales sugieren lo que es
posible desde el punto de vista educativo (Foshay et al., 1962: p. 2).
A partir de estos modestos comienzos, Wall y sus colegas lanzaron la
Asociacin Internacional para la Evaluacin del Rendimiento Escolar (IEA),
que posteriormente se desarroll hasta convertirse en una organizacin no
gubernamental independiente con unos 60 pases miembros. La primera
iniciativa de investigacin de la IEA durante 1959-1961 fue un estudio piloto
en pequea escala sobre la calidad de la educacin en 12 pases. sta fue la
primera ocasin en la que se recolectaron datos de una manera sistemtica
sobre sistemas educativos, aplicando las mismas pruebas (traducidas a
25
www.iiep.unesco.org
Estudios internacionales sobre la calidad de la educacin
distintos idiomas) a los estudiantes en diferentes pases. Durante los 45 aos

siguientes, el IEA realiz muchos otros estudios internacionales comparados
de la calidad de la educacin (vase Postlethwaite, 2004).
Inters creciente en la calidad de la educacin

Hasta fines de la dcada de los ochenta, los resultados de buena parte
de los programas de investigacin de la IEA se compartieron principalmente
entre investigadores y educadores interesados en educacin comparada,
currculo y metodos de investigacin cuantitativa. Los informes de
investigacion a nivel internacional redactados para los estudios de la IEA
se basaban a menudo en complejos anlisis estadsticos y se formulaban
en un estilo acadmico formal que la gente comn consideraba ms bien
como algo de difcil acceso. Por consiguiente, los gobiernos slo compartan
o discutan ocasionalmente el uso de los resultados de la investigacin de
la IEA con fines polticos, excepto en pases como los Estados Unidos,
donde los comentadores sucitaban la inquietud acerca de una crisis nacional
de la educacin basndose en tablas de clasificacin de los puntajes de
rendimiento de los estudiantes.
Las cosas empezaron a cambiar en la dcada de los noventa, cuando
los gobiernos y no slo la comunidad acadmica se interesaron en el
monitoreo y la evaluacion de la calidad de la educacin. Este creciente
inters de los gobiernos tuvo su origen en: (a) la emergencia de una creencia
ampliamente compartida de que el rendimiento relativo comparado de los
sistemas educativos nacionales era un elemento clave en las estrategias
diseadas para lograr mejoras en el desarrollo econmico nacional y (b) la
preocupacin de la opinin pblica en el sentido de que los enormes gastos
del gobierno consagrados a la educacin requeran ser acompaados de
ms altos niveles de supervisin y rendicin de cuentas en relacin con la
calidad de la educacin.
Importantes foros organizados por organismos internacionales
tambin volcaron su atencin hacia cuestiones relacionadas con la calidad
de la educacin. Las declaraciones de la Conferencia Mundial sobre la
Educacin de Jomtien en 1990 y el Foro Mundial sobre la Educacin de
Dakar en 2000 convocaron a los pases del mundo a ampliar su visin de
la Educacin para Todos (EPT), ms all de la concentracin en el aumento
del acceso a la educacin. Estas declaraciones hicieron hincapi en que
para lograr la EPT en 2015, se requerira que todos los pases, adems de
una mayor participacin en la educacin, mejoraran [...] todos los aspectos
cualitativos de la educacin, garantizando los parmetros ms elevados
26
www.iiep.unesco.org
para conseguir resultados de aprendizaje reconocidos y mensurables [...]

(UNESCO, 2000).
El inters creciente por la calidad en la educacin y la aceptacin general
de su papel esencial asociado a la educacin en el contexto de un mundo
globalizado y competitivo se reflej tambin en los influyentes informes
publicados por organismos internacionales. Por ejemplo, el informe de 2004
con los resultados del Programa Internacional de Evaluacin de Estudiantes
(PISA), dirigido por la Organizacin para la Cooperacin y el Desarrollo
Econmicos (OCDE), empezaba con la afirmacin siguiente: [...] la
prosperidad de los pases deriva ahora en gran medida de su capital humano
y para tener xito en un mundo rpidamente cambiante, las personas
necesitan mejorar sus conocimientos y competencias a lo largo de sus
vidas (OECD, 2004, p. 3). Asimismo, en el Informe de Seguimiento de
la EPT en el Mundo 2005. Educacin para todos: el imperativo de la
calidad de la UNESCO, se afirma que: Todo parece indicar que la calidad
de la educacin tal como se mide por las puntuaciones obtenidas en los
tests influye en la rapidez con que las sociedades pueden enriquecerse y
en la medida en que las personas pueden mejorar sus ingresos y su
productividad (UNESCO, 2004: p. 43).
El surgimiento de redes para monitorear la calidad

de la educacin
Hacia fines de la dcada de los noventa y al ingresar al nuevo milenio,
los crecientes niveles de dilogo nacional e internacional sobre la
importancia de la calidad de la educacin generaron decisiones en muchos
pases para participar en redes que efectuaran investigaciones educacionales
internacionales comparadas en gran escala. El propsito de estos estudios
era recolectar, analizar, interpretar y comparar datos acerca de la calidad
de los sistemas educativos en relacin con las condiciones generales de
escolarizacin, el rendimiento escolar de los estudiantes, as como de la
equidad en la oferta y los resultados de la educacin.
Los programas ms destacados de investigacin fueron: el Tercer
Estudio Internacional de Tendencias en Matemtica y Ciencias y sus
versiones replicadas [Third International Mathematics and Science Study]
(TIMSS y TIMSS-R), organizados por la Asociacin Internacional para
la Evaluacin del Rendimiento Escolar (IEA), que cubren alrededor de
60 pases desarrollados y cinco en desarrollo; el Programa Internacional
de Evaluacin de Estudiantes [Programme for International Student
Assessment] (PISA), organizado por la Organizacin para la Cooperacin
27
www.iiep.unesco.org
y el Desarrollo Econmicos (OCDE), que cubre alrededor de 30 pases

de la OCDE y 10 que no pertenecen a ella; los proyectos organizados por
el Consorcio del frica Meridional y Oriental para el Monitoreo de la
Calidad de la Educacin [Southern and Eastern Africa Consortium for
Monitoring Educational Quality] (SACMEQ), que cubren 14 pases en
desarrollo; el Laboratorio Latinoamericano para la Evaluacin de la Calidad
de la Educacin (LLECE), organizado por la Oficina Regional de Educacin
para Amrica Latina y el Caribe (OREALC) de la UNESCO, que cubre a
13 pases en desarrollo; y el Programme danalyse des systmes ducatifs
de la CONFEMEN (PASEC), organizado por la Conferencia de Ministros de
Educacin Francfonos [Confrence des Ministres de lducation ayant le
franais en partage] (CONFEMEN), que cubre a 15 pases en desarrollo
(Postlethwaite, 2004).
Estos programas de investigacin han utilizado mtodos de
investigacin cada vez ms avanzados en los campos de la (1) medicin
educacional, utilizando nuevos enfoques relacionados con la teora moderna
de respuesta al tem; (2) muestreo, utilizando diseos computarizados y la
seleccin de muestras probabilistas multietpicas complejas y (3) anlisis
de datos, utilizando la modelizacin multinivel para examinar vnculos
entre las variables contextuales de la educacin y el rendimiento educativo
de los estudiantes (National Research Council, 2002).
Las fuentes de las conexiones entre investigacin y poltica

Antes de comprometer recursos sustanciales para participar en una
costosa investigacin internacional comparada en gran escala sobre la
calidad de la educacin, los ministerios de educacin necesitan justificar
su participacin en relacin con los beneficios potenciales polticos para
sus sistemas educativos. Estos beneficios se pueden agrupar en tres reas
amplias, dependiendo si derivan de resultados de investigacin descriptiva,
resultados de investigacin inferenciales o si provienen de fuentes
indirectas que aparecen gracias a la participacin en la investigacin.
Los beneficios polticos pueden provenir de fuentes basadas en
resultados de investigacin descriptiva que presenten sistemticamente
las caractersticas comunes y distintivas, estructuras y funcionamiento de
diferentes sistemas educativos. Por ejemplo:
a)
Comparar las caractersticas ms destacadas de los sistemas educativos

entre pases puede magnificar aspectos particulares de un sistema
nacional de educacin que sean problemticos o inusualmente
excelentes porque difieren de otros pases similares.
28
www.iiep.unesco.org
b)
c)
Definir como puntos de referencia aspectos del contexto educacional

puede permitir que los responsables de la toma de decisiones juzguen
su sistema educativo en relacin a ejemplos de la mejor prctica o
el alto rendimiento que prevalezcan en otros pases.
Monitorear tendencias en el contexto educacional y resultados de la
escolarizacion durante un perodo puede ofrecer informacin sobre
mejoras o mermas en uno o muchos pases, brindando as informacin
para propsitos de rendicin de cuentas o para formular juicios
comparativos y evaluativos slidos.
Tambin se pueden obtener beneficios polticos a partir de fuentes

basadas en resultados de investigacin inferencial, que requieren una
comprensin ms profunda de las pautas de relaciones entre los factores
que describen las caractersticas de los estudiantes, los contextos
educacionales y las mediciones del rendimiento de los estudiantes. Por
ejemplo:
a)
b)
La comprensin de las diferencias en las condiciones de escolarizacin

y el rendimiento educativo de estudiantes de grupos socialmente
definidos puede aportar evaluaciones sistemticas relacionadas con la
equidad en la oferta y los resultados educativos.
La interpretacin de las relaciones entre los factores vinculados a las
condiciones de escolarizacin y el rendimiento educativo de los
estudiantes se puede utilizar a fin de identificar enfoques ms eficaces
para la organizacin escolar y la asignacin de recursos.
Finalmente, los beneficios polticos pueden provenir de fuentes

indirectas, tales como el fomento de debates productivos y el
aprovechamiento de oportunidades de diversas formas de interaccin
profesional. Por ejemplo:
a)
b)
La participacin en debates eruditos sobre resultados de investigacin

dentro y fuera de los sistemas educativos puede ayudar a los
responsables de la toma de decisiones a esclarecer problemas y
destacar prcticas exitosas en otros sitios y, a partir de aqu, estimular
gradualmente una reforma poltica basada en la informacin ms que
en ancdotas y especulaciones.
La integracion de sistemas educativos nacionales, que previamente
estaban aislados en redes regionales y mundiales, puede conducir a
los gobiernos a realizar intercambios internacionales que los
estimulen a reformar polticas y prcticas improductivas, y tambin
brindar a los tcnicos oportunidades para desarrollar competencias
29
www.iiep.unesco.org
conceptuales y tcnicas avanzadas gracias al trabajo con colegas ms

experimentados.
El proceso subyacente en las conexiones entre investigacin

y poltica
La discusin previa sobre las tres fuentes de orientacin poltica
basada en la investigacin, ofrece slo una visin limitada de los procesos
mediante los cuales se conectan la investigacin y la poltica de manera
tal que sea probable que conduzcan a la accin. Durante los ltimos
50 aos, han habido cambios significativos en teoras que tratan de explicar
estos procesos.
Las primeras concepciones lineales de las conexiones entre
investigacin y poltica se concentraron mayormente en los aspectos
mecnicos, que consistan en el mero traspaso de informacin por parte
de los investigadores a los responsables de la toma de decisiones. Esto
supona una secuencia directa de ocurrencias que comenzaba con la
identificacin del problema y la falta de conocimientos, y entonces se
pasaba a la investigacin que aportara hallazgos y recomendaciones y,
finalmente, producira la evaluacin y la revisin de las polticas vigentes
o la formulacin de nuevas polticas.
Sin embargo, muchos acadmicos aceptan ahora las conclusiones de
Weiss (1982) acerca de la naturaleza difusa de las conexiones entre
investigacin y poltica, segn la cual las ideas que emergen de la
investigacin se conectan gradualmente con la toma de decisiones, al
suministrar marcos de referencia con los que los responsables de la
formulacin poltica son capaces de dar sentido a la experiencia e
interpretar los problemas y las prioridades. Este modelo iluminador de
los procesos mediante los cuales la investigacin se conecta con la poltica
sugiere que la investigacin fortalece el entorno en el que tiene lugar la
reforma de poltica mediante varios procesos: generando la clarificacin
de nuevos conceptos, brindando indicios de posibles alternativas,
estimulando perspectivas innovadoras, y alterando gradualmente el
lenguaje y las cuestiones debatidas en los crculos donde se formula la
poltica.
Esto quiere decir que la investigacin ofrece un trasfondo de datos,
generalizaciones empricas e ideas que iluminan la manera como los
responsables de la formulacin de poltica piensan los problemas. Influye
sobre la conceptualizacin de los problemas que tratan; incide sobre
aquellas facetas del problema que consideran inevitables e inmodificables,
30
www.iiep.unesco.org
as como sobre las que perciben como propicias para la accin poltica;
ampla el rango de las opciones que toman en consideracin y desafa
algunos supuestos aceptados sobre los objetivos y actividades
adecuados.
Condiciones previas esenciales para lograr conexiones

exitosas entre investigacin y poltica
En 1989, el IIPE organiz un seminario internacional (Ross y Mhlck,
1990) que examin cuestiones relativas a los procesos con los que los ministerios
de educacin podan recolectar, analizar y utilizar informacin basada en
investigaciones previas, para mejorar el contexto de la reforma poltica
relacionada con la planificacin de la calidad de la educacin. El IIPE y un
grupo de ministerios de educacin utilizaron posteriormente el informe del
seminario para guiar el diseo y la gestion de programas de formacin e
investigacin de una serie de estudios internacionales comparados de la calidad
de la educacin (Ross et al., 2004).
En las conclusiones de este seminario se examinaron las necesidades
fundamentales en materia de investigacin y formacin que requeran ser
abordadas por los ministerios de educacin para ayudar a los planificadores
e investigadores de la educacin a brindar el tipo de informacin que los
responsables de la toma de decisiones consideraran accesibles y
pertinentes. Algunas de estas conclusiones se asociaron con el contenido
o la estructura de los sistemas de informacin para la gestin de la
educacin (SIGE). Sin embargo, muchas de las sugerencias tambin
implicaron que haba dos condiciones previas esenciales para emprender
el tipo de investigacin que el modelo iluminador de Weiss reconocera
como capaz de mejorar el entorno en el que ocurre una reforma de poltica
productiva.
La primera condicin previa era que las investigaciones de poltica
educativa destinadas a generar beneficios polticos relacionados con la
calidad educativa requeran ministerios de educacin que estuvieran
participando muy de cerca en la planificacin del diseo de la investigacin
segn los ms altos estndares tcnicos posibles, de modo que a la hora de
tomar decisiones se incorporaran slo los datos vlidos y tiles.
La segunda condicin previa aada que estos estudios tambin
requeran que los ministerios de educacin participaran muy de cerca en
la gestion del impacto de la investigacion mediante un dilogo abierto y
significativo, de modo que los proveedores y usuarios de la informacin
31
www.iiep.unesco.org
fueran capaces de trabajar juntos para reflexionar sobre el significado

subyacente a los resultados de la investigacin, y as optimizar las
posibilidades de que se usaran con fines polticos productivos.
El Foro de Poltica
A comienzos de 2004, varios miembros del personal del Instituto
Internacional de Planeamiento de la Educacin (IIPE) y de la Internationale
Weiterbildung und Entwicklung gGmbH Capacity Building International
(InWEnt) de Alemania se reunieron en Pars a fin de debatir el creciente
inters a escala mundial entre gobiernos y agencias internacionales en la
realizacin de estudios internacionales comparados para la calidad de la
educacin. Observaron que esta tendencia era evidente tanto en pases
desarrollados como en desarrollo, y que se haba manifestado concretamente
en una importante expansin de las redes creadas especficamente para
emprender estos estudios.
El IIPE y la InWEnt destacaron que los ministerios de educacin
deberan hacer todo lo posible para asegurar que su participacin en esos
estudios les brindaran informacin vlida que se pudiera utilizar en
beneficio del desarrollo y la reforma de la poltica educacional. Concordaron
con las importantes conclusiones del Seminario Internacional del IIPE de
1998 descrito previamente, que haba advertido que la participacin pasiva
de los pases en estudios internacionales comparados de la calidad de la
educacin comportaba peligros de participar en una iniciativa que podra
revelarse costosa y dispendiosa de tiempo si fracasaba en su intento de
(a) emplear diseos de investigacin que aportaran datos pertinentes para
la poltica y (b) aplicar mtodos de gestin de resultados que comprometieran
a los actores interesados en intercambios destinados a esclarecer la reforma
de poltica. En sntesis, convinieron en que los ministerios de educacin
slo deberan participar en estudios internacionales comparados si lo hacan
participando activamente en todos los pasos relacionados con la
planificacin del diseo y la gestin del impacto de la investigacin.
Dado el alcance y crecimiento de las mltiples iniciativas para
monitorear, evaluar y comparar la calidad de la educacion impartida por
los sistemas educativos, se decidi que el IIPE y la InWEnt conjugaran
sus esfuerzos para organizar un Foro Internacional de Poltica que facilitara
el intercambio de conocimiento y experiencias nacionales en esta rea. El
Foro de Poltica (denominado Estudios internacionales comparados sobre
la calidad de la educacin: la planificacin de su diseo y la gestin de su
impacto) se celebr en la sede del IIPE en Pars, los das 17 y 18 de junio
32
www.iiep.unesco.org
de 2004, y a l asistieron 50 participantes provenientes de pases

desarrollados y en desarrollo: Alemania, Argentina, Australia, Canad,
Finlandia, Francia, Guinea, India, Irlanda, Italia, Japn, Kenya, Malawi,
Mozambique, Namibia, Noruega, Per, Reino Unido, Sudfrica, Suecia,
Uganda, Yemen, Zambia y Zimbabwe. Entre los participantes haba
ministros de educacin, altos funcionarios de ministerios de educacin,
planificadores e investigadores de la educacin, profesores universitarios,
especialistas de las agencias proveedoras de fondos y el personal de alto
nivel de organizaciones internacionales.
Los documentos del Foro de Poltica

El Foro de Poltica se estructur alrededor de una serie de ponencias
de los participantes invitados y el debate en grupos pequeos, posibilitando
as que reflexionaran, criticaran y sintetizaran las cuestiones que haban
surgido durante las presentaciones formales en el foro.
Para su presentacin en este libro, las ponencias del Foro de Poltica
se han agrupado de modo tal que sigan los tres temas que estructuraron
la secuencia de las sesiones del Foro de Poltica: Antecedentes,
Planificacin del diseo y Gestin del impacto.
a)
Tema 1: Antecedentes de los estudios internacionales comparados

(5 ponencias)
Las dos primeras ponencias del Tema 1 mapearon el terreno mediante
el examen de las definiciones y conceptos, e ilustraron cuntos debates en
esta rea surgen debido a desacuerdos con la terminologa bsica. Pigozzi
analiz la rica diversidad de interpretaciones asociadas con el concepto de
calidad de la educacin y aport algunos marcos de referencia
interpretativos cuyo uso ha sido aceptado en los programas de educacin
de la UNESCO. Kellaghan esclareci los tres enfoques principales de la
evaluacin de la calidad (evaluaciones nacionales, evaluaciones
internacionales comparadas y exmenes) mediante la presentacin de una
lista de las preguntas ms frecuentes de los responsables polticos y
mostrando luego qu enfoque brindaba las mejores respuesas a estas
preguntas.
La tercera ponencia, de Grisay y Griffin, brind una historia de
conjunto sobre los orgenes de los estudios internacionales comparados
sobre la calidad de la educacin, para luego explorar y clasificar lo que
haban logrado los estudios ms importantes.
33
www.iiep.unesco.org
Las dos ponencias finales del Tema 1 exploraron los puntos de vista
de los actores olvidados en la mayora de las iniciativas de investigacin
en materia de poltica educacional: los ministros de educacin y los
responsables de tomar decisiones de alto nivel en los ministerios de
educacin. En primer lugar, Murimba aport algunos anlisis perspicaces
de lo que los ministros piensan realmente acerca de los estudios
internacionales comparados incluyendo algunas observaciones muy
interesantes sobre sus preocupaciones respecto de los resultados finales de
la investigacin y cmo deberan ser manejados por los investigadores.
Postlethwaite present luego una visin global de los diferentes criterios
con los que los responsables de alto nivel y los investigadores juzgan si
un estudio internacional comparado es un buen estudio, con el propsito
de facilitar la discusin entre estos dos grupos, de manera que puedan
entender mejor los puntos de referencia polticos y cientficos para el
enjuiciamiento.
b)
Tema 2: Planificacin del diseo de estudios internacionales

comparados (3 ponencias)
Las tres ponencias del Tema 2 abordaron las grandes cuestiones
que hay que plantearse en el diseo inicial de todos los estudios
internacionales comparados de la calidad de la educacin: Qu se va a
medir?, A quin se debe medir? y Cules son los costos financieros
y losgsticos?
Lehmann examin la cuestin de lo que se va a medir presentando
una lista inicial de las principales categoras de comparacin que los
estudios internacionales tratan de examinar (promedio de rendimiento,
productividad, distribucin de la alfabetizacin, criterios mltiples y
equidad) en asociacin con los supuestos que se asumen respecto de las
variables explicativas pertinentes. Luego explor los dos grupos
principales de variables: insumo y producto (incluyendo las capacidades
mentales de orden superior y mediciones de la afectividad). Dentro de
estos dos grupos identific problemas y retos para los gobiernos en relacin
con las decisiones que se requieren para optimizar los impactos polticos
beneficiosos a partir de la investigacin.
La ponencia de Foy mostr que pequeas diferencias en las decisiones
acerca de a quin se debe medir producen importantes cambios en el
alcance de la investigacin, la capacidad de ser comparado y la validez
de los estudios internacionales comparados sobre la calidad de la
educacin. Su anlisis sistemtico de los principales puntos de decisin
en el diseo de la muestra brind un mapa para el muestreo cientfico que
34
www.iiep.unesco.org
tiene el potencial para su aplicacin en todo el campo de la investigacin

educacional mediante encuestas.
La ltima ponencia del Tema 2, presentada por Siniscalco, abord
los costos financieros y logsticos desde la perspectiva de una oficina de
investigacin en un pas que particip en un estudio internacional
comparado en gran escala de la calidad educativa. El punto fuerte de esta
ponencia es que describe lo que realmente sucedi en lugar de lo que
debera haber sucedido en cada fase del proyecto. La seccin final sobre
lecciones aprendidas se debera leer en todas las oficinas de investigacin
y planificacin de la educacin.
c)
Tema 3: Gestin del impacto de los estudios internacionales

comparados
Cada una de las ponencias del Tema 3 adopt el enfoque estudio de

caso a partir de uno de dos puntos de vista ventajosos. Las tres primeras
ponencias abordaron estudios de caso sobre la gestin del impacto de los
estudios internacionales comparados sobre la calidad educativa desde una
perspectiva nacional, mientras que las dos ltimas se concentraron en una
perspectiva internacional.
La perspectiva nacional se examin en las ponencias relacionadas
con dos pases en desarrollo (Kenya y Namibia) y dos pases desarrollados
(Alemania y Finlandia).
Nzomo y Makuwa iniciaron el abordaje de Kenya y Namibia con una
interesante visin de conjunto de Qu resultados de la investigacin se
consideraron importantes o controvertidos en los ministerios de educacin?
A continuacin, la ponencia describa las diferentes estrategias de difusin de
la investigacin que se adoptaron en cada pas, para luego discutir la poltica
y las prcticas de las reformas basadas en los resultados de la investigacin.
Las ponencias sobre Alemania y Finlandia ofrecieron una muy
contrastada presentacin de las reacciones de los gobiernos sobre la
experiencia de su xito nacional o su fracaso nacional en estudios
internacionales comparados sobre la calidad de la educacin.
En el caso de Alemania, Rubner describi cmo el inesperado bajo
desempeo de los estudiantes en los proyectos de la IEA y el PISA provoc
una importante conmocin en la opinin pblica, los profesores, los
directores, los ministros de educacin estatales y federal, y los jefes de
gobierno. El resultado fue la implementacin de una serie de anlisis sobre
la estructura y el contenido del sistema educativo alemn, as como el
35
www.iiep.unesco.org
lanzamiento de una extensa lista de reformas educacionales estatales y

federal.
Por el contrario, la ponencia de Linnakyl describi las reacciones
oficiales en Finlandia como un inesperado excelente desempeo en el
rendimiento de los alumnos en los proyectos de la IEA y el PISA. El
gobierno finlands respondi inicialmente con desagrado e incredulidad,
para luego, paulatinamente, debido a la intensa presin del inters
internacional por la frmula secreta del xito educativo de Finlandia,
pasar a la aceptacin y el sentimiento de orgullo.
La perspectiva internacional comparada del Tema 3 se examin en
dos ponencias que cubran diferentes contextos (pases en desarrollo y
una agencia internacional) y diferentes grupos objetivo (gobiernos y los
medios de comunicacin).
Bernard y Michaelowa abordaron la gestin de los resultados de
la investigacin del PASEC en Senegal, Togo y Guinea con el propsito
de analizar algunos de los resultados comunes de los estudios internacionales
comparados que los gobiernos utilizaron en materia poltica. Los autores
concluyeron que el potencial que tienen los resultados de la investigacin
para incidir en la poltica educacional es influido en gran medida por el
grado de estabilidad de los equipos de investigacin y el contexto donde
se elabora la poltica, combinados con la adecuada capacidad para
movilizar recursos que financien las reformas educativas.
Schleicher present los puntos de vista de una agencia internacional
mediante el anlisis de la manera en que el proyecto PISA era capaz de hacer
que los periodistas pasaran de la simple descripcin de una tabla de
clasificacin de puntajes promedio de pruebas nacionales, a un debate ms
ilustrado en el que los peridicos y la televisin empezaran a buscar los
mensajes polticos ms importantes que se pudieran extraer de los resultados
de la investigacin.
Conclusin: los principales mensajes del Foro de Poltica

La ltima tarde del Foro de Poltica, cuando ya se haban presentado
y discutido todas las ponencias, se realizaron dos Sesiones abiertas en
las que los problemas se pudieron analizar ms intensamente en grupos
de inters pequeos y flexibles. Todo tema objeto de discusion en un grupo
era informado por una audiencia flotante de participantes y los temas
escogidos para debate en cualquier grupo tendan a mostrar un flujo y
reflujo segn quien estuviera presente.
36
www.iiep.unesco.org
Las sesiones abiertas del Foro de Poltica abordaron temas muy

diferentes y diversas experiencias nacionales. En algunos casos, los
participantes en el Foro de Poltica compartan una misma visin acerca
de las sugerencias que se deberan hacer a los ministerios de educacin en
lo relativo a las decisiones, acciones y mtodos requeridos para lograr los
mximos beneficios polticos de la participacin en los estudios
internacionales comparados sobre la calidad educativa. En otros casos, los
participantes en el Foro identificaron problemas particulares o complejidades
relacionadas con esos estudios que se utilizaron para elaborar sugerencias
sobre la gestin de la investigacin, enfoques sobre la difusin y estrategias
de formacin. Todas estas sugerencias se presentan y debaten en el captulo
final de este libro en forma de Mensajes del Foro de Poltica y
Recomendaciones asociadas que cubren cinco reas: planificacin de los
diseos de medicin, planificacin de los diseos muestrales, planificacin
de los diseos logsticos, gestin del impacto de los resultados de la
investigacin y necesidades en materia de fortalecimiento de
capacidades.
Bibliografa
National Research Council (Board on International Comparative Studies in
Education). 2002. Methodological advances in cross-national surveys
of educational achievement, Washington, DC: National Academy
Press.
Postlethwaite, T.N. 2004. Monitoring educational achievement, Paris:
IIEP-UNESCO (Fundamentals of Educational Planning n. 81).
OECD. 2003. Education at a glance, Paris: OECD.
OECD. 2004. Learning for tomorrows world: first results from PISA 2003,
Paris: OECD. Existe versin en espaol: OCDE, Informe PISA 2003:
Aprender para el mundo de maana, Madrid: Santillana, 2005.
UNESCO, 2000. Informe Final. Foro Mundial sobre la Educacin. Dakar
(Senegal), 26-28 de abril de 2000. Pars: UNESCO, p. 36.
UNESCO. 2004. Education For All Global Monitoring Report 2005:
Education for All: the quality imperative, Paris: UNESCO. Existe
versin en espaol: Informe de Seguimiento de la EPT en el Mundo
2005: Educacin para todos, el imperativo de la calidad, Pars:
UNESCO, 2005, p. 48.
37
www.iiep.unesco.org
PARTE I
Antecedentes de los estudios internacionales
www.iiep.unesco.org
Captulo 2
Qu es la calidad de la educacin?
(Desde la perspectiva de la UNESCO)
Mary Joy Pigozzi
Introduccin
Se requiere un nuevo enfoque para comprender el concepto de calidad
de la educacin, porque su significado tradicional ya no es adecuado en
relacin con las necesidades educativas que surgen en el nuevo milenio.
Adems, en mltiples casos el tipo de educacin que se ofrece en muchos
sistemas educativos ya no es pertinente para las sociedades en las que
vivimos. Estos dos retos sugieren que ha llegado el momento de repensar
este concepto de manera ms integral, particularmente en lo relacionado
a entender la necesidad en el siglo XXI de centrarnos en el
aprendizaje.
Qu motiva hoy los objetivos de la educacin?

En la mayora de los pases del mundo, los juicios acerca de la calidad
de la educacin han sido un asunto interno colocado bajo la responsabilidad
de las autoridades educativas a nivel gubernamental e institucional. Hoy,
sin embargo, las cuestiones relacionadas con la calidad de la educacin
no constituyen el coto privado de las autoridades educativas. Otros
ministerios han empezado a mostrar inters en la educacin. Lo mismo
es cierto para las ONG, las empresas y el pblico en general, que han
ejercido diferentes tipos de presin sobre los sistemas educativos. Las
ramificaciones de estas tendencias se extienden ms all de las paredes
de los ministerios o de las instituciones considerados individualmente.
Para explicar por qu ocurre esto y por qu la calidad de la educacin se
ha convertido en una cuestin tan destacada es necesario considerar
diversos factores clave.
En primer lugar, los puntos de vista acerca de la importancia de la
calidad de la educacin no se pueden desligar del aumento de la importancia
de la poltica educativa y la reforma de la educacin dentro del amplio
abanico de la poltica pblica, debido principalmente al reconocimiento
amplio de los vnculos entre educacin y desempeo econmico nacional.
Buena parte de la preocupacin de los gobiernos sobre la calidad de la
41
www.iiep.unesco.org
educacin deriva de la difundida creencia de que la mala calidad frustrar

los esfuerzos para utilizar la educacin como una palanca eficaz sobre el
crecimiento econmico y el desarrollo en un momento de la historia
mundial que experimenta la aceleracin de la globalizacin.
En segundo trmino, la naturaleza del problema ha sido redefinida.
Los enfoques tradicionales de la calidad de la educacin a menudo se
basaron en mediciones indirectas [proxy measures], tales como aumento
de la financiacion y de otros insumos en cuanto a la oferta educativa. Si
bien no totalmente impertinentes o intiles, esos desembolsos pueden no
ser decisivos cuando se utilizan otros criterios para definir y medir la
calidad de la educacin, a saber, resultados educativos medibles
(conocimientos, competencias, habilidades y comportamientos). Los
gobiernos y los ciudadanos estn cada vez ms preocupados por la brecha
entre los desembolsos y lo que se aprende, lo que necesariamente lleva a
plantear preguntas adicionales acerca de Qu es lo que funciona? en
el proceso de enseanza-aprendizaje.
En tercer lugar, esas interrogantes estn alimentando en los gobiernos
la tendencia creciente hacia un mayor inters en pruebas, y el uso de esas
pruebas, mediante las cuales se pueda monitorear el rendimiento del
aprendizaje de los estudiantes, tanto a nivel nacional como internacional.
Este inters tiene dos dimensiones importantes. La primera, si los
estudiantes estn aprendiendo lo adecuado para llevar una vida decente
en un mundo rpidamente cambiante. La segunda, ntimamente relacionada
con la primera, se refiere al monitoreo del desempeo del estudiante en
el tiempo y en una perspectiva comparativa internacional, a fin de brindar
informacin para evaluar cun bien, o mal, los sistemas educativos estn
preparando a los jvenes en su papel de adultos del futuro como ciudadanos
creativos y pensantes, capaces de mantenerse a s mismos y contribuir al
bienestar de sus familias, comunidades y sociedades.
En cuarto lugar, esa informacin se est convirtiendo en algo ms
sensible polticamente, dado que apunta hacia la desigualdad de la calidad,
tanto dentro como entre sistemas educativos. Los niveles de calidad varan
ampliamente de un sistema educativo a otro y, dentro de un mismo sistema,
pueden haber grandes variaciones en la calidad (por ejemplo, entre escuelas
pblicas y privadas, entre escuelas rurales y urbanas, as como entre la
educacin destinada a la mayora o a las minoras). Incluso en las mismas
aulas, los nios y las nias pueden tener experiencias de aprendizaje
significativamente diferentes. Por consiguiente, la desigualdad educativa
42
www.iiep.unesco.org
es una cuestion crtica que afrontan los sistemas educativos y es

particularmente importante en lo que respecta a la creciente brecha
econmica entre los pases y su impacto sobre los retos del desarrollo, as
como los efectos de las desigualdades internas sobre la cohesin social
nacional.
En quinto lugar, la creciente diversificacin de las sociedades (como
resultado de la migracin, la urbanizacin y el cambio cultural) y una mayor
sensibilidad hacia las identidades individuales y grupales (basadas en
clasificaciones nacionales, regionales, de gnero, culturales, tnicas y religiosas)
estn planteando conjuntamente nuevas demandas a los sistemas educativos
y, por consiguiente, desafiando los supuestos acerca de los fines y las
funciones de la educacin. Las cuestiones relativas a la calidad de la
educacin no se pueden separar de estas tendencias porque pueden generar
problemas de discriminacin, racismo y violencia, los cuales tienen una
incidencia importante sobre el entorno de aprendizaje que ofrecen las
escuelas y otros espacios de aprendizaje.
En sexto lugar (y directamente relacionadas con todas las cuestiones
planteadas previamente) estn las preguntas relativas a los fines
fundamentales de la educacin. Las desigualdades en la calidad de la
educacin a menudo reflejan otras desigualdades que se pueden ver como
directamente ligadas a la realizacin de los derechos humanos y otros
derechos. Por tanto, a la educacin se le pide que se convierta en un
instrumento, entre muchos otros, que pueda construir sociedades basadas
en la paz, la equidad y la prctica democrtica.
La calidad de la educacin como un concepto dinmico

Esas diferentes presiones han dado como resultado que el concepto
de calidad de la educacin ingrese al foro en la medida en que educandos,
padres de familia y comunidades, educadores, dirigentes y paises
reconozcan que lo que se aprende (y el cmo se aprende) es tan importante
como el acceso a la educacin. La dificultad estriba en que si bien la
mayora de las personas comprende intuitivamente qu es lo que
personalmente quieren decir cuando se refieren a calidad de la educacin,
puede no haber una comprensin comn del trmino. Esto es especialmente
cierto ahora, a comienzos del siglo XXI, cuando la educacin es entendida
como algo ms que lectura, escritura y aritmtica y abarca una visin
ampliada de la educacin, tal como fue formulada en la Conferencia de
Jomtien sobre la Educacin para Todos (WCEFA, 1990) y reafirmada
43
www.iiep.unesco.org
posteriormente en el Foro Mundial de Dakar sobre la Educacin (UNESCO,

2000).
Por tanto, la comprensin de lo que constituye la calidad de la
educacion est evolucionando. Las definiciones convencionales incluan
la alfabetizacin, la aritmtica bsica y las competencias para la vida
corriente ligadas directamente a componentes tan importantes como
profesores, contenidos, mtodos, currculo, sistemas de exmenes, poltica,
gestin y administracin. Sin embargo, tambin existe la exigencia de
reflexionar sobre la pertinencia de la educacin en el mundo moderno.
Mientras que en el pasado buena parte del nfasis en la educacin estaba
relacionado con la comprensin y el desarrollo cognitivos, ahora existe
la necesidad de abordar, entre otras, la dimensin social de la educacin.
Se espera que la educacin haga una contribucin al desarrollo humano
sostenible, la paz y la seguridad, los valores universales, la toma de
decisiones informada y la calidad de vida a nivel individual, familiar, de
la sociedad y del mundo.
La educacin basada en derechos como soporte conceptual de

la calidad de la educacin
La UNESCO promueve una educacin de alta calidad entendida
como un derecho humano y apoya un enfoque basado en derechos para
implementar todas las actividades educacionales. Hay tres aspectos
importantes de la educacin como derecho humano: (a) La participacin
en una educacin de calidad como un fin importante en s mismo; (b) la
prctica de los derechos humanos en la educacin y (c) la educacin como
un derecho que facilita la realizacin de otros derechos.
El trabajo de la UNESCO en esta rea se basa en varios instrumentos
internacionales incluyendo la primera Declaracin de Derechos Humanos
(Naciones Unidas, 1948) que considera la educacin como un derecho
humano. Varios de estos instumentos internacionales han explicitado la
naturaleza deseable o la calidad de este tipo de educacin. Cuando vemos
estos instrumentos en su conjunto y los interpretamos, trascendemos las
cuestiones aisladas para encontrarnos con una red de compromisos que hablan
de la profundidad y la amplitud de cmo debemos empezar a comprender el
concepto de calidad de la educacin.
La interpretacin de estos instrumentos debe inscribirse tambin en los
contextos nacional y mundial actuales, as como entre las expectativas
existentes sobre la educacin. Es decir, la educacin debe ser colocada y
44
www.iiep.unesco.org
comprendida en relacin con un contexto ms amplio que refleje el aprendizaje

en relacin con el educando como persona, miembro de una familia y una
comunidad, ciudadano y parte de una sociedad mundial.
La calidad de la educacin debe reconocer el pasado, ser pertinente
para el presente y tener una visin del futuro. Tambin debe relacionarse
con la construccin del conocimiento y la aplicacin competente de todas
las formas de conocimiento por parte de individuos nicos que actan
independientemente y en relacin con otros. Una educacin de alta calidad
siempre permitir reflejar la naturaleza dinmica de la cultura y las lenguas,
el valor de la persona en relacin con el contexto ms amplio y la
importancia de vivir de manera tal que promueva la equidad en el presente
y fomente un futuro sostenible.
El concepto de calidad de la educacin en relacin con

el mundo moderno
Nuestra primera preocupacin es el aprendizaje; por consiguiente, la
relacin entre el educando y el profesor es clave. Sin embargo, los insumos,
procesos, entornos y resultados que rodean y promueven (o impiden) el
aprendizaje tambin son importantes. Se puede percibir que estos inciden
sobre la calidad de la educacin a dos niveles: (a) del educando en su entorno
de aprendizaje y (b) del sistema educativo que crea y sostiene la experiencia
de aprendizaje. Cada uno de estos dos niveles se puede dividir para formar
diez dimensiones relacionadas con la calidad de la educacin, como se ilustra
en el Grfico 2.1 El aprendizaje est en el centro y est rodeado por el
nivel interno del educando y el nivel externo del sistema. Ambos niveles
operan dentro de un contexto especfico, que puede variar considerablemente
de un lugar a otro.
Elementos a nivel del educando
Trata de incorporar a todos los educandos
La educacin debe estar disponible sin discriminacin. Esto destaca

el compromiso de la UNESCO para llegar a quienes tradicionalmente han
sido descuidados, incluyendo a los pobres, las nias, los nios que trabajan,
los nios en situaciones de emergencia, los nios discapacitados y aquellos
que viven en comunidades nmadas. Sin embargo, no se trata simplemente
de una preocupacin por la cantidad. Los educandos tienen derecho a una
educacin que les servir de base para una educacin a lo largo de toda
la vida.
45
www.iiep.unesco.org
Por consiguiente, una educacin de alta calidad implica un entorno

que busca activamente a todos los educandos y los ayuda a aprender
utilizando una amplia gama de modalidades, reconociendo que el
aprendizaje est ligado a la experiencia, la lengua y las prcticas culturales,
los talentos, las caractersticas y los intereses. Un enfoque semejante
reconoce que las personas aprenden de maneras diferentes y que cada quien
hace hincapi en diferentes sentidos y aptitudes.
Una educacin de alta calidad tambin favorece la adaptacin del
educando al logro de sus necesidades de aprendizaje. Asimismo, es
inclusiva y procura asegurar que todos los educandos, independientemente
de su sexo, edad, lengua, religin y etnia, sean atendidos, y tengan la
posibilidad de participar y aprender de las actividades de aprendizaje
organizadas.
Lo que trae consigo el educando
Lo que el educando aporta a su propio aprendizaje, y al del grupo,

es de mxima importancia. Puede variar de competencias laborales hasta
experiencias traumticas; de excelentes oportunidades de desarrollo en la
primera infancia hasta enfermedades o hambre. Una educacin de alta
calidad tiene que considerar al educando como participante activo y
elemento central de los esfuerzos educativos. Los educandos aportan a su
aprendizaje, y al del grupo en el que participan, una gran diversidad de
experiencias, caractersticas, habilidades y condiciones que reflejan su
situacin previa y actual, y plantean obstculos y oportunidades a la manera
en que aprenden.
Todas estas caractersticas determinan cmo un educando aprende,
se comporta en clase, interacta con el grupo y el profesor, y cmo
interpreta el conocimiento que se le presenta. Por tanto, una educacin de
alta calidad debe reconocer, responder activamente y aprovechar la
diversidad de los educandos.
Contenido
El contenido de la educacin debe ser reexaminado a la luz de los

cambios que han ocurrido en el mundo. Gran parte de lo que se ensea
actualmente en el mundo podra ser menos pertinente para las generaciones
futuras de educandos. En muchos pases se necesitan currculos y
materiales modernos y pertinentes que cubran reas tales como
alfabetizacin, aritmtica bsica y hechos y competencias para la vida
(lo que incluye educacin en derechos, igualdad entre los sexos, respeto
46
www.iiep.unesco.org
por la tierra y otras formas de vida, salud, nutricin, VIH y SIDA, paz,
as como respeto y valoracin de la diversidad).
Los educandos tienen derecho a una educacin de calidad que les
servir de base para su aprendizaje a lo largo de toda la vida.
El acceso a suficiente material educativo ha sido reconocido desde
hace tiempo como algo esencial para el aprendizaje. La disponibilidad de
material de enseanza y aprendizaje a bajo costo puede facilitar el
aprendizaje, tanto como el material costoso. No obstante, el material debe
ser revisado a la luz de lo que vehiculan en trminos de derechos,
obligaciones y responsabilidades en relacin con la problemtica de
gnero, estereotipos y religin.
Procesos
Los procesos educativos constituyen a menudo un aspecto descuidado

de la calidad de la educacin. Cmo se posibilita que los educandos
planteen y resuelvan problemas, cmo se trata a diferentes educandos en
el mismo grupo, cmo son tratados y se comportan los profesores y los
administradores, y cmo participan las familias y las comunidades en la
educacin son procesos que inciden sobre la calidad de la educacin. El
tratamiento diferenciado de los nios en la primera infancia sita en primer
plano la idea de que algunas personas no tienen los mismos derechos que
otras, lo que puede alentar la intolerancia hacia las minoras.
Los procesos educativos de alta calidad requieren profesores bien
formados, capaces de utilizar mtodos de enseanza-aprendizaje y
enfoques de competencias para la vida corriente centrados en el educando.
Por consiguiente, incluso el trmino centrado en el educando se debe
reformular para abordar cuestiones de desigualdad y discriminacin en
relacin con, por ejemplo, la cultura, la lengua y el gnero.
Cmo se transmiten y adquieren el conocimiento, las competencias y
los valores es una parte tan importante del currculo como lo es aquello que
se aprende, porque de hecho el proceso es parte de lo que se aprende. En
el contexto del aprendizaje, los educandos deben ser capaces de expresar
sus puntos de vista, pensamientos e ideas para participar plenamente,
asociarse libremente y sentirse a gusto por ser quienes son, venir de donde
vienen, su sexo y aquello en lo que creen. Necesitan ser dignificados.
Con estos procesos de ayuda colocados en el lugar que le
corresponden, los educandos pueden desarrollar la autoestima, que es
esencial para la toma de decisiones a lo largo de la vida, y un sentido de
la autodisciplina que los ayudar a proseguir sus objetivos personales.
47
www.iiep.unesco.org
Grfico 2.1 Un marco de referencia para la calidad de la educacin
Sistema administrativo
y de gestin
Implementacin
de buenas
polticas
Lo que trae consigo

el educando
Incorpora
a todos los
educandos
Procesos
Marco
legislativo
de apoyo
Aprendizaje
Contenido
Contexto
Recursos
Medios para medir

los resultados
del aprendizaje
Contexto
Cada vez hay ms pruebas de que un entorno de aprendizaje apropiado

tambin se puede considerar como un elemento que contribuye a lograr una
educacin de calidad. Es necesario disponer de instalaciones sanitarias
accesibles a todos y, de ser posible, servicios de salud y nutricin en la
vecindad. Las polticas escolares y su implementacin deben promover la
seguridad, as como la salud fsica y mental. Mientras que el entorno fsico
se comprende mejor, el psicosocial, que es igualmente importante, merece
seria atencin, de manera que prcticas como la discriminacin basada en el
gnero, la intimidacin, el castigo corporal y el trabajo forzado sean
eliminados.
48
www.iiep.unesco.org
La falta de seguridad puede ser evidente en trminos de peligros

fsicos, tales como golpizas o violacin. Sin embargo, ms insidiosas son
las formas invisibles de acoso y violencia. La investigacin efectuada
recientemente ha destacado la violencia en la educacin, especialmente
la violencia basada en el gnero. La violencia bajo todas sus formas,
cualquier accin que provoca daos emocionales o fsicos a una persona,
afectar evidentemente el aprendizaje. Los responsables a menudo son
otros estudiantes, pero tambin pueden ser profesores o administradores
escolares. Debe destacarse continuamente la particular vulnerabilidad de
las nias frente al espectro de violencia que pueden experimentar.
Elementos a nivel del sistema educativo
Sistema administrativo y de gestin
La estructura y organizacin del sistema educativo generalmente sirve

de sustento filosfico a lo que ocurre en su seno, ya se trate de una universidad,
una escuela o una unidad de desarrollo curricular de un ministerio de
educacin. De ah que los sistemas educativos presenten a menudo una cultura
que refleja (quiz inevitablemente) la cultura dominante en un pas.
Un sistema educativo debe estructurarse y organizarse de manera tal
que se centre en el educando. El sistema debe ser justo y transparente para
todos sus miembros. Las normas deben ser claras, con responsabilidades
y procedimientos bien formulados e implementados. Hay que facilitar el
trabajo de los profesores mediante un sistema administrativo y de gestin
diseado para promover la mejora del aprendizaje. Los horarios tambin
deben ser lo suficientemente flexibles como para evitar que los nios en
situacin de riesgo abandonen o pierdan su derecho a la educacin.
Las escuelas bien dirigidas disponen de espacios en los que se pueden
plantear problemas difciles, un primer paso clave para abordarlos. La
educacin debe ser accesible a los padres de familia y las comunidades.
Deben sentirse bien y tener una actitud positiva sobre sus papeles en el proceso
educativo. Esto no suceder si no se dispone de una adecuada estructura y
organizacin del sistema educativo en todos los niveles.
Es evidente que la estructura, organizacin y gestin de la educacin
desempean un papel importante en el control y el equilibrio necesarios
en cualquier sistema. Esto supone que las instituciones interesadas (como
las que forman a los maestros y los institutos de investigacin) tambin
deben desempear un papel clave en las actividades educativas.
49
www.iiep.unesco.org
Implementacin de buenas polticas
Generalmente, los ministerios de educacin establecen polticas que

pueden no haber sido conocidas y comprendidas ampliamente por todos,
especialmente a nivel del aula. Por consiguiente, un punto de partida til
es promover la toma de conciencia de estas polticas entre los
administradaores, profesores y estudiantes. El paso siguiente consiste en
asegurar que existan mecanismos para implementar y hacer cumplir esas
polticas, pues de nada sirve disponer de normas y procedimientos si no
se cumplen.
Algunos de los esfuerzos ms exitosos para promover, implementar
y hacer cumplir las buenas polticas son aquellos que se han construido
basndose en una amplia participacin de profesores y estudiantes. Todas
las polticas escolares deben ser congruentes con la legislacin nacional,
que debe revisarse y actualizarse regularmente para asegurar su
pertinencia.
La educacin no es independiente del resto de la sociedad, ni de las
otras polticas que se elaboran e implementan en el pas. Por ejemplo, una
educacin de alta calidad necesitara polticas coherentes y convergentes
en reas tales como medios de comunicacin responsables, educacin
sanitaria, juventud, programas para el desarrollo de la primera infancia y
oportunidades de aprendizaje a lo largo de toda la vida.
Marco legislativo de apoyo
La legislacin es esencial para asegurar que los principios reconocidos

y contenidos en el concepto de derecho a la educacin puedan ser
efectivamente puestos en prctica cotidiana y duraderamente. Como con
las polticas, se debe disponer de una legislacin educativa y de otra
legislacin ad hoc, que sean comprendidas por los expertos y el pblico en
general, e implementadas.
Debe haber un marco legislativo propicio que sea ms que pura
boquilla en relacin con el derecho a la educacin, definido ampliamente.
Debe facilitar los cambios necesarios en el sistema educativo, a nivel
macro y micro. Ciertamente, una educacin de alta calidad debe ser
accesible a todos los nios. Esto significa que en algunos pases el sistema
debe expandirse para asegurar que existan suficientes plazas. La legislacin
debe abordar las obligaciones relativas a la provisin de educacin
(definidas ampliamente para incluir el acceso y la calidad) y las expectativas
globales sobre el sistema.
50
www.iiep.unesco.org
Es importante obligar al Estado, el garante de la nacin, a brindar

educacin a todos. Muy frecuentemente, la educacin obligatoria es
percibida como un marco legal que coloca a los padres y a los nios,
especialmente a las nias, en el papel negativo de criminal o vctima.
Disponemos de otra legislacin igualmente importante. Por ejemplo, la
Convencin de los Derechos del Nio (Naciones Unidas, 1989) estipula
que los nios menores de 15 aos no deben verse privados de su aprendizaje
debido a su participacin directa en hostilidades. Asimismo, la legislacin
internacional tambin establece la edad mnima para trabajar a tiempo
completo, por lo que la legislacin laboral y educativa deben ser
congruentes con esos convenios.
En muchos casos se necesita una accin compensatoria para asegurar
la igualdad de oportunidades educativas. Los datos disponibles y la prctica
en curso en un creciente nmero de pases sugieren que debe prestarse un
slido apoyo a la disciminacin positiva, iniciada legalmente, para asegurar
las oportunidades educativas de quienes se ven afectados por la
discriminacin.
Recursos
Una educacin de alta calidad requiere recursos, reconociendo la

amplia gama de recursos humanos y materiales que se pueden aportar para
apoyar la educacin. Mientras algunos pases han sido capaces de
reestructurar sus presupuestos para hacer hincapi en la educacin como
un motor clave para el desarrollo nacional y un medio para construir
sociedades democrticas, otros no estn en condiciones de hacerlo. Asignar
recursos para apoyar una educacin de alta calidad requiere una visin a
largo plazo. Por ejemplo, la legislacin internacional establece la educacin
obligatoria gratuita. Se reconoce que esto podra no ser posible
inmediatamente, especialmente si se tiene en cuenta que la universalizacin
no es una realidad en muchos pases; pero se deben elaborar planes e iniciar
acciones con este fin. A corto plazo, es esencial que los costos de la
educacin se distribuyan equitativamente.
Medios para medir los resultados del aprendizaje
Esta ponencia empez subrayando la importancia del aprendizaje.

Por consiguiente, es apropiado que la ltima de las diez dimensiones de
la calidad cierre el crculo y aborde los resultados del aprendizaje. En este
sentido, la bsqueda de una mejor comprensin de lo que se quiere de una
educacin de alta calidad ha ampliado significativamente los resultados
51
www.iiep.unesco.org
esperados del aprendizaje. La siguiente clasificacin simple de los

principales tipos de resultados del aprendizaje perseguidos puede ser til:
(a) conocimiento: los niveles cognitivos esenciales que deben lograr todos los
educandos (incluyendo lecto-escritura, aritmtica bsica y un tronco comn
de conocimientos); (b) valores: solidaridad, igualdad entre los sexos,
tolerancia, comprensin mutua, respeto de los derechos humanos, no
violencia, y respeto por la vida y dignidad humanas; (c) competencias:
seguridad sobre cmo resolver problemas, experimentar, trabajar en equipo,
vivir juntos e interactuar con personas diferentes, y aprender a aprender; y
(d) comportamiento: capacidad para poner en prctica lo que se ha
aprendido.
Nuestra capacidad para medir el rendimiento del aprendizaje vara
considerablemente en relacin con los tipos de resultados que se miden.
Hay en uso muchos indicadores directos (o indirectos) del rendimiento del
aprendizaje y se cuenta con algunos sistemas para medir el rendimiento
del aprendizaje y utilizar los resultados para la implementacin y la
evaluacin de polticas, programas y prcticas educativos.
Sin embargo, se ha hecho ms esfuerzo para medir conocimientos y
competencias, que valores y comportamientos. Se cuenta con algunos
mecanismos para medir resultados del aprendizaje. Por ejemplo, el proyecto
Monitoreo del Rendimiento del Aprendizaje [Monitoring Learning
Achievement] (MLA) de la UNESCO, que trat de medir las competencias
para la vida corriente y la alfabetizacin, y el proyecto Niveles Mnimos
de Aprendizaje [Minimum Levels of Learning] (MLL) en la India y el
proyecto Evaluacin de Competencias Bsicas [Asseessment of Basic
Competencies] (ABC) en Bangladesh. Las investigaciones de los proyectos
MLL y ABC se concentran en el rendimiento cognitivo, aunque tambin se
han esforzado en medir valores, competencias y comportamientos.
Esto indica la necesidad de trabajo adicional. La paulatina
comprensin de las diversas dimensiones de la calidad sugiere que algunos
de los indicadores utilizados comnmente tambin deberan reconsiderarse.
Tambin indica que si bien las comparaciones internacionales son
importantes, no son las nicas en las que los pases deben concentrar su
atencin. En efecto, en algunos casos se podra necesitar la comparacin
dentro del pas y entre pases para fines polticos.
52
www.iiep.unesco.org
Conclusin
No se puede esperar que los sistemas de educacin y sus procesos
cambien de la noche a la maana. Pensar de esta manera es irrealista. Una
visin de la calidad que tiene en cuenta sus diversas dimensiones establece
el estndar. Si bien hay objetivos comunes y principios subyacentes, no
existe ningn enfoque talla nica. Diferentes contextos, circunstancias,
sistemas y recursos implican muy diversos puntos de entrada. Estos pueden
ser la formacin del personal docente, la elaboracin del currculo, material
pedaggico adicional o la introduccin de diferentes sistemas de
evaluacin. Profesores, escuelas, comunidades, sistemas y pases son
responsables de determinar cmo se debe interpretar esta visin y,
paulatinamente, hacerla realidad. Lo importante es que comprendan qu
es lo que esperan de la educacin y formulen esas expectativas de manera
tal que se puedan medir.
Bibliografa
Delors, J. 1996. Learning: the treasure within, Paris: UNESCO. Existe
versin en espaol: La educacin encierra un tesoro. Informe a la
UNESCO de la Comisin Internacional sobre la educacin para el
siglo XXI, Madrid: Santillana-Ediciones UNESCO.
Naciones Unidas. 1948. Declaracin Universal de Derechos Humanos,
Nueva York: Naciones Unidas. Cf.:
www.un.org/spanish/aboutun/hrights.htm
Naciones Unidas. OACDH. 1989. Convencin sobre los Derechos del
Nio. Cf.: www2.ohchr.org/spanish/law/crc.htm
UNESCO. 2000. The Dakar Framework for Action: Education for All
Meeting our collective commitments. World Education Forum, Dakar
(Senegal), 26-28 April. Paris: UNESCO. Existe versin en espaol:
Marco de Accin de Dakar. Cumplir nuestros compromisos comunes.
Foro Mundial sobre la Educacin, Dakar (Senegal), 26-28 de abril.
Pars: UNESCO, 2000.
WCEFA. 1990. World Declaration on Education for All: meeting basic
learning needs, New York: WCEFA. Existe versin en espaol:
WCEFA. 1990. Declaracin mundial sobre educacin para todos,
Nueva York: WCEFA.
53
www.iiep.unesco.org
Captulo 3
Qu mecanismos de monitoreo
se pueden utilizar para efectuar
estudios internacionales comparados
y estudios nacionales?
Thomas Kellaghan
Introduccin
Una novedad interesante y significativa en el rea de poltica de la
educacin en aos recientes ha sido la preocupacin creciente por lo que
los estudiantes aprenden como resultado de su experiencia educativa.
Aunque hasta hace muy poco el foco de la atencin en la evaluacin de
la calidad de la educacin eran los insumos (por ejemplo, infraestructura,
material pedaggico, textos escolares y formacin del personal docente),
esto ya no es as. Hoy, la pregunta que plantean muchos comentadores y
responsables de la formulacin de poltica es: Adquieren los estudiantes,
como resultado de su proceso educativo, los conocimientos, competencias,
actitudes y comportamientos adecuados?
La declaracion de ms peso, y probablemente ms influyente, de
preocupacin en cuanto al aprendizaje de los estudiantes se puede encontrar
en el documento adoptado por la Conferencia Mundial de Educacin para
Todos de Jomtien (Tailandia), en marzo de 1990. En ella se sostiene que
la oferta de educacin bsica para todos slo tiene sentido si los estudiantes
adquieren efectivamente conocimientos tiles, capacidad de raciocinio,
aptitudes y valores. Por tanto, el Artculo 4 de la Declaracin Mundial
sobre la Educacin para Todos afirma que la atencin de la educacin
bsica debe centrarse en: [...] las adquisiciones y los resultados efectivos
del aprendizaje, en vez de prestar exclusivamente atencin al hecho de
matricularse, de participar de forma continuada en los programas de
instruccin y de obtener el certificado final (WCEFA, 1990: p. 6 ). El
Marco de Accin de Dakar de 2000 renueva el compromiso de los
gobiernos nacionales, organizaciones y agencias donantes a fin de asegurar
que todos logren: [...] resultados de aprendizaje reconocidos y
mensurables, especialmente en lectura, escritura, aritmtica y competencias
prcticas esenciales (UNESCO, 2000: p. 8).
54
www.iiep.unesco.org
Qu mecanismos de monitoreo se pueden utilizar?
En esta ponencia har hincapi en algunas razones del aumento de

la preocupacin por el aprendizaje de los estudiantes. Luego describir
brevemente tres procedimientos para ofrecer informacin sobre lo que los
alumnos han aprendido: (a) exmenes pblicos (externos); (b) evaluaciones
nacionales y (c) evaluaciones internacionales comparadas (o estudios
comparativos internacionales del rendimiento).
Un anlisis superficial de las maneras en que los procedimientos son
similares podra sugerir que cada uno puede servir igualmente bien a una
variedad de funciones. Por ejemplo, los tres se interesan en los resultados
de la educacin o, ms precisamente, en el rendimiento de los estudiantes.
Adems, en los tres los estudiantes responden a las tareas de evaluacin
utilizando procedimientos formalizados administrados bajo condiciones
controladas. En efecto, alguien que observa a los estudiantes trabajando
podra no estar en condiciones de decir en qu tipo de ejercicio estn
participando. Sin embargo, la consideracin de las caractersticas
especficas de cada procedimiento indicar que su diseo y funciones
limitan el alcance de las respuestas que puede ofrecer a seis preguntas
(enumeradas ms abajo) que los responsables de la formulacin de poltica
podran plantear sobre la calidad del aprendizaje de los estudiantes.
Preocupacin acerca de lo que los estudiantes aprenden

Se puede identificar una gama de cuestiones que generan preocupacin
sobre el aprendizaje de los estudiantes. En primer lugar, no se puede
asumir que porque un nio ha frecuentado la escuela durante seis, siete u
ocho aos l o ella ha adquirido, en palabras de la Declaracin Mundial
sobre Educacin para Todos, conocimientos tiles, capacidad de
raciocinio, aptitudes y valores (WCEFA, 1990, p. 6, Artculo 4). En
efecto, las pruebas disponibles indican que muchos estudiantes
(especialmente aquellos que tienen una carrera educativa corta)
aparentemente se benefician poco de su experiencia educativa.
En segundo trmino, existe la preocupacin de que incluso las
competencias adquiridas por los estudiantes que permanecen en el sistema
educativo durante largo tiempo podran no ser adecuadas para satisfacer
las necesidades planteadas en el nuevo milenio por una economa global
competitiva y basada en la informacin. Dado que los cambios econmicos
y tecnolgicos, junto con la creciente libertad de comercio y competitividad
entre las naciones en la actividad econmica, exigen niveles ms altos de
conocimientos y competencias de los egresados de la escuela, un pas que
carece de un sistema educativo eficaz no dispondr de una fuerza de trabajo
55
www.iiep.unesco.org
competente, productiva y competitiva necesaria para mantener y mejorar

su desempeo econmico (Guthrie, 1991). Sin embargo, los gobiernos no
pueden saber si sus sistemas educativos son adecuados para satisfacer sus
objetivos econmicos a menos que los supervisen sistemticamente.
En tercer lugar, se requiere informacin sobre el rendimiento de los
estudiantes para monitorear la eficiencia de los sistemas educativos. Esta
necesidad surge porque en muchos pases los gobiernos han tenido que
afrontar la expansin de la matrcula al mismo tiempo que implementaban
programas de ajuste estructural que no permiten que los gobiernos
aumenten sus gastos en educacin. Esto ha dado como resultado la
percepcin de que a menudo el rendimiento de los estudiantes se deteriora.
En este contexto, es poco probable que la calidad de la educacin mejore
a menos que mejore la eficacia. Para obtener pruebas de si esto est
sucediendo o no, se requiere informacin sobre los resultados tanto como
sobre los insumos.
En cuarto lugar, el inters por obtener informacin sobre el
rendimiento de los estudiantes ha sido estimulado por el desarrollo de
enfoques empresariales y de gestin de la administracin pblica.
Fuertemente influidos por ideas provenientes del mundo de los negocios,
estos enfoques suponen la planificacin estratgica y operacional, la
definicin de metas, el uso de indicadores de desempeo y la concentracin
de la atencin en los resultados, todo lo cual requiere informacin sobre
los productos.
Una ltima razn del inters creciente por la evaluacin del aprendizaje
de los estudiantes es que, nuevamente, en muchos pases los servicios
pblicos se estn reorganizado a fin de permitir el uso de proveedores de
servicios descentralizados y relativamente autnomos. Esto ha dado lugar
a la necesidad de nuevos acuerdos contractuales, normas y la supervisin
de la conformidad, lo que a su vez requiere procedimientos para controlar
que las organizaciones (escuelas o autoridades locales de educacin) estn
prestando servicios flexibles y rentables a los usuarios. Vinculado a la
reorganizacin de los servicios, aunque no enteramente dependiente de ella,
existe una mayor exigencia en cuanto a la rendicin de cuentas, que durante
los ltimos aos ha alcanzado una creciente importancia en la administracin
pblica en muchos pases. Sin embargo, dada la complejidad y la escasa
comprensin de los contextos en que funcionan las escuelas, es difcil
especificar responsabilidades y ponerse de acuerdo sobre criterios aceptables
que indicaran que han sido cumplidas. Un enfoque que hasta cierto punto
56
www.iiep.unesco.org
evita estos problemas es el uso de informacin sobre los resultados de los

estudiantes (rendimiento) para ejercer presin a fin de impulsar el cambio
y el ajuste de la persona o institucin considerada responsable.
Qu tipo de informacin sobre calidad podran los responsables
polticos considerar til para abordar estas cuestiones? Parecera pertinente
responder al menos estas seis preguntas:
En primer lugar, cmo estn aprendiendo los estudiantes en el

sistema educativo (con referencia, por ejemplo, a las expectativas
generales, los objetivos de la Educacin para Todos, los propsitos
del currculo o la preparacin para la vida)?
En segundo trmino, hay pruebas de particulares fortalezas o
debilidades en los conocimientos y las competencias que los
estudiantes han adquirido?
En tercer lugar, difiere el rendimiento en subgrupos de la poblacin?
Se trata, por ejemplo, de desigualdades de rendimiento entre nios
y nias, de estudiantes en reas urbanas y rurales, con diferentes
idiomas o pertenecientes a distintas etnias, de diferentes regiones del
pas, o de estudiantes que abandonan tempranamente la escuela o
repiten grados?
En cuarto lugar, hasta qu punto el rendimiento est asociado con
las caractersticas del contexto de aprendizaje (por ejemplo, recursos
de la escuela, preparacin y competencia del profesor, y tipo de
escuela) o del entorno familiar y comunitario del estudiante?
En quinto lugar, el rendimiento de los estudiantes cambia con el
tiempo? Esto puede ser particularmente importante en un perodo de
cambios significativos en el sistema (por ejemplo, cuando aumentan
las tasas de participacin o cuando se implementan nuevas asignaturas
o currculos).
En sexto lugar, cmo se relaciona el rendimiento de los estudiantes en
un sistema con el rendimiento de los estudiantes en otros sistemas
educativos? (Kellaghan y Greaney, 2001b).
En la mayora de los pases (si no en todos) se aplican tres

procedimientos principales que podran ofrecer datos para responder a
estas preguntas: los exmenes pblicos (externos), las evaluaciones
nacionales y las evaluaciones internacionales comparadas.
57
www.iiep.unesco.org
Exmenes pblicos (externos)

En muchos pases de frica, Asia, Amrica Latina y Europa los
exmenes pblicos o externos han desempeado desde hace tiempo un
papel central en la evaluacin de los estudiantes considerados
individualmente, generalmente al fin de la escolarizacin primaria, tras
dos o tres aos de educacin secundaria y al final de la escolarizacin
secundaria.Cumplen algunas funciones importantes. En primer lugar,
ayudan a controlar la diversidad de elementos del sistema educativo al
especificar propsitos y estndares para la instruccin. En segundo trmino,
se utilizan para certificar el rendimiento de los estudiantes, aportando
pruebas que los estudiantes podran necesitar en el mercado laboral. En
tercer lugar y sta es probablemente su funcin ms obvia, los exmenes
se utilizan para seleccionar a los estudiantes a fin de que continen su
educacin, mediante lo que se considera una manera objetiva y no sesgada,
en situaciones en las que el nmero de vacantes escolares disminuye a
cada nivel sucesivo. En cuarto lugar, los exmenes, especialmente cuando
los resultados se publican, pueden servir a la funcin de rendicin de
cuentas de los profesores y las escuelas. Finalmente, los exmenes al final
de la escolarizacin secundaria pueden legitimar la pertenencia a la
sociedad global y facilitar la movilidad internacional (Keeves, 1994;
Kellaghan y Greaney, 1992; Kellaghan y Madaus, 2003).
Los pases que carecen de un sistema de exmenes pblico tendrn
a su disposicin otros procedimientos que sirvan a estas funciones (por
ejemplo, diplomas de educacin secundaria basados en la evaluacin
interna de la escuela), aunque en este contexto es importante notar que
muchos pases (por ejemplo, los Estados Unidos y los pases de Europa
Oriental) estn abandonando esta forma de evaluacin y adoptando las
evaluaciones externas, en la creencia de que esto conducir a mejorar los
estndares de rendimiento, as como a una mayor equidad y rendicin de
cuentas.
Muchos estudios e informes oficiales han indicado las limitaciones
de los exmenes pblicos. Entre ellas est el hecho de que una gran
dependencia de exmenes con papel y lpiz limita los conocimientos y
las competencias que se pueden evaluar; que los tems en los exmenes
miden el rendimiento a un nivel taxonmico bajo (incluyendo la
memorizacin o el reconocimiento de conocimiento fctico) y que los
exmenes contienen muy pocas referencias a la vida cotidiana de los
estudiantes fuera de la escuela. Estas deficiencias tienen importantes
58
www.iiep.unesco.org
consecuencias para la calidad de la enseanza y el aprendizaje en las

escuelas, en la medida en que los profesores y los estudiantes tendern a
concentrar sus esfuerzos en el contenido de los exmenes y a descuidar
importantes reas del currculo y formas de aprendizaje. Junto con otros
factores que se consideran ms adelante, esas pruebas tambin limitan el valor
de los exmenes para describir el aprendizaje del estudiante en el contexto de
los objetivos del currculo o de la preparacin para la vida futura.
Evaluaciones nacionales
Si bien los exmenes pblicos constituyen una caracterstica de larga
data de los sistemas educativos, las evaluaciones nacionales son
relativamente nuevas. Varias son las razones por las que se introdujeron
en los sistemas educativos. En primer lugar, la toma de conciencia de que
los datos sobre los insumos de la educacin que se haban recolectado
tpicamente en el pasado a menudo tenan poco valor para los responsables
polticos y los planificadores de la educacin, y que el supuesto de que el
aumento de los recursos estaba invariablemente asociado a la mejora de
la calidad del aprendizaje de los estudiantes no era sostenible (Kudjoh y
Mingat, 1993). En segundo trmino, los pases que carecan de un sistema
pblico de exmenes (por ejemplo, los Estados Unidos) no contaban con
datos confiables sobre el rendimiento de los alumnos a nivel nacional. En
tercer lugar, incluso en pases que tenan exmenes pblicos, se consideraba
que los datos que ofrecan, por algunas razones que abordar ms adelante,
no cubran las necesidades de los responsables polticos.
Fue en este contexto que se disearon las evaluacianes nacionales
para brindar informacin sobre los productos o resultados de la
escolarizacin (por ejemplo, el aprendizaje de los estudiantes y las
desigualdades en el sistema), que, se esperaba, podran utilizarse junto
con datos sobre los insumos para ofrecer una base ms slida para la
formulacin de poltica y la toma de decisiones. As, se puede decir que el
propsito de una evaluacin nacional era ofrecer a los responsables de la
toma de decisiones informacin pertinente y confiable, que pudiera
someterse a anlisis e interpretacin sobre la situacin del sistema
educativo, sus rendimientos y sus problemas (Greaney y Kellaghan, 1996;
Kellaghan y Greaney, 2001b).
Si bien la informacin se obtiene en una evaluacin nacional mediante
la realizacin de tareas de evaluacin de los estudiantes considerados
individualmente (como lo hacen en los exmenes pblicos), el inters
fundamental no est en el desempeo de los individuos, sino en lo que
59
www.iiep.unesco.org
nos dicen los agregados de sus desempeos acerca del sistema educativo
en su conjunto o de una parte claramente definida de l. Para obtener esta
informacin no se requiere que participen todos los estudiantes. Las
inferencias acerca del desempeo del sistema se puede efectuar a partir
del desempeo de una muestra de estudiantes. Algunas evaluaciones
nacionales y estatales se disean para ofrecer pruebas de los rendimientos
de escuelas, profesores e incluso alumnos considerados individualmente
(por ejemplo, en Chile, Francia y el Reino Unido), en cuyo caso todos
(o casi todos) los estudiantes de un grado especfico o nivel de edad toman
parte en la evaluacin.
Aunque la mayora de los pases industrializados ha contado con
sistemas nacionales de evaluacin algunos que datan de hace ms de 30
aos; otros creados sobre una base legal, como en Francia y el Reino
Unido, slo fue despus de la Conferencia de Jomtien que se hicieron
esfuerzos en la dcada de los noventa para desarrollar la capacidad de
administrar evaluaciones nacionales en los pases en desarrollo. A fines
de la dcada, ayudados por proyectos internacionales, la mayora de los
pases de frica y Amrica Latina haban realizado al menos una
evaluacin nacional (Kellaghan y Greaney, 2001a). Los proyectos de
Monitoreo del Rendimiento del Aprendizaje [Monitoring Learning
Achievement] de la UNESCO y el UNICEF evaluaban las competencias
bsicas en lecto-escritura, aritmtica bsica y competencias para la vida
corriente (concienciacin y conocimientos en materia de salud, nutricin,
sanidad e higiene) tras cuatro aos de escolarizacin y rendimiento en
ciencias en el 8 grado en ms de 70 pases (Chinapah, 1997; Chinapah et al.,
2000; UNESCO, 2000; UNESCO, 2003a).
El Instituto Internacional de Planeamiento de la Educacin (IIPE) facilit
la creacin del Consorcio del frica Meridional para el Monitoreo de la
Calidad de la Educacin [Southern Africa Consortium for Monitoring
Educational Quality] (SAQMEC), que se cre en 1995 como una red de
ministerios de educacin del frica Meridional y desde entonces se ha
extendido al frica Oriental (Ross et al., 2000; UNESCO, 2003b). El primer
estudio importante se realiz en 1995 en siete pases, en los que se recolectaron
datos sobre insumos educacionales, condiciones generales de escolarizacin
y los niveles de alfabetizacin de los alumnos del 6 grado. Catorce pases
participaron en el estudio sobre lectura y aritmtica bsica entre 1999 y
2002.
60
www.iiep.unesco.org
En el Programme dAnalyse des Systmes Educatifs des Pays de la

CONFEMEN (PASEC), los proyectos de evaluacin se concentraron en
el rendimiento en francs y matemtica entre el 2 y el 5 grados en 18 pases
francfonos del frica Subsahariana. Adems de los datos sobre
rendimiento, se recolectaron datos sobre una variedad de factores escolares
y relacionados con los antecedentes de estudiantes y profesores (Kulpoo
y Coustre, 1999).
En los pases de Amrica Latina y el Caribe tambin ha habido un
rpido desarrollo en la instauracin de evaluaciones nacionales durante
la dcada de los noventa, donde ahora prcticamente todos los ministerios
de educacin han incorporado las evaluaciones nacionales en su agenda.
Estas evaluaciones se asociaron a menudo con la provisin de datos que
sirvieran de puntos de referencia para las reformas educativas y fueron
apoyadas por el Banco Mundial, la UNESCO y la Agencia de los Estados
Unidos para el Desarrollo Internacional (USAID).
En Asia, las actividades de evaluacin se pueden encontrar en muchos
pases, incluyendo Camboya, India, Nepal, Sri Lanka, Tailandia y Viet Nam.
Algunas se han realizado con el apoyo del Banco Mundial, a veces en el marco
de programas de reforma en curso.
Evaluaciones internacionales
Las evaluaciones internacionales comparadas o estudios internacionales
comparados de rendimiento comparten muchas caractersticas
procedimentales con las evaluaciones nacionales y a menudo abordan
cuestiones similares. Sin embargo, difieren de ellas en diversos aspectos,
entre los cuales est, obviamente, que suponen la medicin de resultados
de varios sistemas educativos, generalmente de manera simultnea,
ofreciendo datos que permitan que los pases comparen los rendimientos
de sus estudiantes con los de los estudiantes de otros pases (Beaton et al.,
1999; Greaney y Kellaghan, 1996; Kellaghan y Greaney, 2001b).
Desde la dcada de los aos sesenta, ms de 60 pases han participado
en estudios internacionales comparados, en los que se ha comparado el
rendimiento de los estudiantes en una serie de reas escolares (por ejemplo,
lectura, matemtica, ciencias, escritura y lenguas extranjeras). Los estudios
fueron organizados por la Asociacin Internacional de la Evaluacin del
Rendimiento Escolar (IEA) y, ms recientemente, por la Organizacin para
la Cooperacin y el Desarrollo Econmicos (OCDE). La mayora de los
participantes fueron pases industrializados; pocos eran del mundo en
61
www.iiep.unesco.org
desarrollo. Con el tiempo, a medida que el nmero de participantes

aumentaba, la proporcin de pases de Europa (Oriental y Occidental)
creci, mientras que la proporcin de los menos desarrollados disminuy.
La falta de participacin de los pases en desarrollo no sorprende, dado
que los estudios fueron concebidos teniendo en mente las condiciones y
estndares de los pases del mundo industrializado.
La sensibilidad hacia el hecho de que las condiciones existentes en
los pases con los que se hara la comparacin son importantes para tomar
la decisin de participar en un estudio internacional de este tipo, condujo
en la dcada de los noventa a que algunos pases de una regin geogrfica
determinada decidieran realizar un estudio comparado. En uno de esos
estudios, organizado por la Oficina Regional de Educacin para Amrica
Latina y el Caribe (OREALC), se evaluaron las competencias bsicas en
lenguaje y matemtica en diez pases de Amrica Latina y el Caribe en 1997.
Dos proyectos en frica, mencionados previamente (PASEC y SACMEQ),
tambin se limitaron, si no a regiones, por lo menos a pases situados ms
o menos en la misma etapa de desarrollo econmico. Aunque concebidos
inicialmente como evaluaciones nacionales, basados en la cooperacin
internacional, los resultados fueron presentados de manera que permitieran
comparaciones del rendimiento de los estudiantes en diferentes sistemas
educativos.
Responder a las preguntas de los responsables

de la formulacin de poltica
Cmo puede la informacin obtenida a partir de los exmenes, las
evaluaciones nacionales y las evaluaciones internacionales comparadas
contribuir al conocimiento de la calidad de la educacin por parte de los
responsables de la formulacin poltica y brindar una base para las
decisiones que mejoren la enseanza y el aprendizaje? Esta interrogante
se puede abordar evaluando la capacidad de los exmenes y evaluaciones
(nacionales y internacionales comparados) para ofrecer respuestas a cada
una de las preguntas en que estn interesados los responsables polticos
y que acabo de plantear.
Dado que los exmenes y las evaluaciones se basan en el rendimiento
individual de los estudiantes, deberamos preguntarnos si un agregado de
rendimientos en los exmenes brindar el mismo tipo de informacin que
una evaluacin nacional o una evaluacin internacional comparada. El
hecho de que muchos pases que han realizado evaluaciones nacionales
o evaluaciones internacionales comparadas dispongan ya de sistemas de
62
www.iiep.unesco.org
exmenes pblicos, sugerira que la respuesta es no, que exmenes y

evaluaciones ofrecen diferentes tipos de informacin (Kellaghan, 1996).
Esta cuestin se explora en relacin con las preguntas planteadas
previamente.
Cmo estn aprendiendo los estudiantes en el sistema educativo?
Dos factores son pertinentes para considerar hasta qu punto los
exmenes y las evaluaciones ofrecen informacin sobre lo bien que los
estudiantes estn aprendiendo en el sistema educativo: la poblacin sometida
a exmenes y evaluaciones, y los rendimientos que se evalan.
Los exmenes brindan datos nicamente de poblaciones seleccionadas
en puntos predeterminados del sistema educativo y que partcipan
voluntariamente. Las evaluaciones, por otra parte, ofrecen informacin
sobre la poblacin total de estudiantes (o, ms a menudo, de una muestra
representativa de ellos) en otros puntos, permitiendo inferencias sobre el
sistema de educacin en general y no de una parte seleccionada de l. Ms
an, en el mundo existe consenso en el sentido de que la informacin que
se necesita para las evaluaciones es aquella obtenida antes de la edad en
la que los estudiantes son sometidos normalmente a examen pblico. Hay
dos razones para esto. En primer lugar, una evaluacin puede identificar
problemas y sealar la necesidad de una intervencin temprana en los
aos de educacin primaria. En segundo trmino, muchos estudiantes no
llegan al punto en que se les toma un examen pblico, pero sus rendimientos
interesan a los responsables polticos.
Al considerar los rendimientos que se evalan, debe tenerse en mente
que cualquier prueba contendr slo una muestra del contenido y el
conocimiento que se est midiendo. Cuando se comparan exmenes,
evaluaciones nacionales y evaluaciones internacionales comparadas es de
crucial importancia cmo se selecciona el contenido de los diferentes
ejercicios.
En el caso de los exmenes, no se requiere una cobertura amplia del
contenido para discriminar entre candidatos que tienen probabilidades de
desempearse bien en la prxima etapa de la educacin y quienes tienen
ms probabilidades de desempearse menos bien. En efecto, al tratar de
lograr la mxima discriminacin, las preguntas o tems que la mayora o
muy pocos estudiantes probablemente respondern correctamente no sern
incluidas en el examen. El nfasis estar ms bien en la seleccin de
preguntas o tems que se concentran en el nivel de competencia de los
estudiantes que tienen probabilidades de ser seleccionados. Obviamente,
63
www.iiep.unesco.org
las pruebas que incluyen tales tems o preguntas no cubrirn toda la gama
de conocimientos y competencias que se supone debe promover el
currculo.
Por otra parte, una evaluacin nacional se disea para encontrar lo que
todos los estudiantes saben y lo que no saben. Por tanto, deber brindar una
adecuada cobertura de lo que se espera que los estudiantes aprendan en relacin
con los objetivos del currculo o las expectativas generales. En este contexto,
los responsables polticos muy probablemente estarn interesados tanto en lo
que los estudiantes no saben como en lo que s saben.
Otro problema puede surgir en relacin con las inferencias que se
pueden hacer sobre el rendimiento de los estudiantes basndose en su
desempeo en los exmenes pblicos, si se asigna gran importancia al
rendimiento, lo que ser el caso cuando decisiones importantes se basan
en los resultados. Si, en esta situacin, la enseanza y el aprendizaje en
las escuelas se dirige ms hacia la satisfaccin de las exigencias del examen
que al logro de los objetivos del currculo, no ser posible interpretar el
rendimiento en el examen como una prueba del rendimiento en el ms
amplio dominio del rendimiento previsto en el currculo (Linn, 1983). Por
supuesto, un problema similar puede surgir si se asigna gran importancia
al rendimiento en un examen nacional. En ambos casos, las afirmaciones
sobre el aprendizaje de los estudiantes en relacin con los objetivos del
currculo sern problemticas.
Hay alguna prueba de las fortalezas y debilidades en el
conocimiento y las competencias de los estudiantes?
En muchos pases, los informes sobre los exmenes ofrecen
informacin sobre las fortalezas y las debilidades de un candidato en el
informe del responsable del examen o en una carta informativa dirigida a
las escuelas. Sin embargo, ese anlisis slo puede ofrecer informacin
basada en el contenido del examen que, como vimos, tiende a ser limitado
y la informacin tambin ser limitada para los estudiantes a los que se
les tom el examen. Por el contrario, una evaluacin nacional puede ofrecer
datos para un diagnstico sobre el currculo como un todo y para la
poblacin total de estudiantes.
Difieren los rendimientos de subgrupos de estudiantes?
Alguna informacin de carcter contextual (por ejemplo, relacionada
con el gnero, la localizacin de la escuela y el tipo de escuela) est
disponible para los exmenes pblicos, y algunos anlisis sobre el
64
www.iiep.unesco.org
rendimiento de los estudiantes pueden tomarla en consideracin.

Nuevamente, cualquiera de esos anlisis ser limitado por el rango
restringido de los conocimientos y competencias evaluados, y por la
naturaleza selectiva de las poblaciones a las que se les toma el examen,
por lo que no necesariamente revelarn los problemas del sistema educativo
en general (por ejemplo, en escuelas en las que el abandono temprano es
comn y en las que se toma el examen a una muy baja proporcin de
estudiantes).
Hasta qu punto el rendimiento est vinculado a
las caractersticas del contexto de aprendizaje o
con las carctersticas del hogar y la comunidad?
Si bien el propsito fundamental de un examen es formular juicios y
tomar decisiones sobre los estudiantes considerados individualmente, es
probable que una evaluacin nacional se interese en identificar los
determinantes del rendimiento, especialmente de aqullos que se podran
alterar mediante cambios en la poltica educativa. De ah que generalmente
se recolecten diferentes tipos de informacin. En primer lugar, interesa saber
lo que los estudiantes traen a la escuela de su familia y comunidad, que pueda
contribuir al xito o al bajo rendimiento en las escuelas. Un segundo tipo de
informacin contextual ms importante para decisiones sobre la distribucin
de los recursos educacionales se relaciona con la oferta en las escuelas, es
decir, hasta qu punto las escuelas brindan oportunidades para adquirir
diversos tipos de conocimiento y competencias. En trminos concretos,
podemos indagar acerca de las instalaciones en las escuelas, la variedad del
currculo ofrecido, la disponibilidad de material de apoyo para el aprendizaje,
tales como textos escolares, bibliotecas, laboratorios y su utilizacin, as
como sobre los aspectos menos materiales de las escuelas, en particular, la
calidad del liderazgo educativo y el estmulo institucional que la escuela
ejerce para que los estudiantes aprendan. En tercer lugar, dado que los
profesores son el componente clave de cualquier sistema educativo, se
requiere informacin sobre sus caractersticas y condiciones en una escuela
que pueda mejorar o limitar su capacidad para implementar los programas
de educacin.
Para maximizar la comprensin de los factores que inciden sobre el
rendimiento de los estudiantes, en las evaluaciones nacionales e
internacionales comparadas se dispone de ms informacin que en un
examen pblico gracias a cuestionarios administrados, por ejemplo, a
estudiantes, profesores, directores y padres de familia.
65
www.iiep.unesco.org
Cambia el rendimiento de los estudiantes con el tiempo?

Es importante estar en condiciones de decir si el rendimiento de los
estudiantes mejora con el tiempo (quiz como resultado de reformas de la
educacin) o se deteriora (quiz debido al aumento del nmero de estudiantes
en el sistema educativo). Para hacerlo, es necesario obtener informacin en
diferentes puntos en el tiempo y confiar en que ofrece una base vlida de
comparacin.
A veces escuchamos debido a las inferencias que se hacen a partir
del examen de la distribucin de las notas de los exmenes pblicos durante
ciertos aos que los estndares de rendimiento estn mejorando,
empeorando o permanecen estticos. Se pueden garantizar esas
inferencias? La respuesta parecera ser no. Hay varias razones para decir
que los exmenes no ofrecen datos que se puedan interpretar como
indicadores de cambio en el tiempo. La primera se relaciona con la
estandarizacin de los procedimientos de las pruebas. Cuando se aplican
pruebas es necesario imponer cierta estandarizacin a la muestra del
comportamiento del estudiante que se utiliza y en cmo se la interpreta,
si queremos que los rendimientos tengan un significado comparable para
estudiantes diferentes, en distintos lugares y en diversos momentos. Sin
embargo, los exmenes pblicos a menudo aparecen como relativamente
no estructurados (en todo caso en un nivel superficial) y sus procedimientos
de puntuacin a menudo carecen de una clara especificacin, confiando
en gran medida en los juicios de los examinadores individuales. Otra
desviacion evidente de la estandarizacion en los exmenes pblicos se
encuentra cuando los estudiantes tienen libertad para escoger las preguntas
que responden. En segundo trmino, es imposible decir que las pruebas
miden los mismos conocimientos y competencias, o que son equivalentes
en nivel de dificultad de un ao a otro. En tercer lugar, el puntaje de muchos
exmenes est, explcita o implcitamente, referido a normas y las
proporciones de estudiantes a las que se les asigna diversas notas
permanecen constantes de un ao a otro. Obviamente, este procedimiento
disfrazar cambios que podran estar ocurriendo en los rendimientos
efectivos de los estudiantes, por lo que no es posible decir si un aprobado
(o una nota especfica) en un ao representa un nivel equivalente de
rendimiento en otro ao. En cuarto lugar, el procedimiento tambin
disfrazar cualquier cambio que se produzca en el rendimiento por cambios
en las caractersticas de los candidatos. Por consiguiente, si las ampliaciones
de los nmeros estn asociadas con una disminucin en la capacidad
acadmica general de los estudiantes y esto no se refleja en las notas,
66
www.iiep.unesco.org
tenemos que concluir que las notas se han asignado ms indulgentemente

(Willmott, 1977).
La situacin en relacin con las evaluaciones nacionales y las
evaluaciones internacionales comparadas es muy diferente, ya que los
instrumentos y mtodos de puntuacin estn mucho ms estructurados y
el mismo instrumento (o uno de equivalencia demostrada) se utiliza a lo
largo del tiempo. Esto no quiere decir que no puedan surgir problemas.
Incluso cambios menores en un instrumento (como un cambio en el orden
en que se presentan los tems o en el contexto en el que estn inscritos)
pueden incidir sobre el rendimiento de los estudiantes (Beaton y Zwick,
1990). Adems, un cambio en el currculo escolar, en el lenguaje popular
o en las condiciones sociales generales podra significar que la adecuacin
de un instrumento cambia con el tiempo (Kellaghan y Madaus, 1982).
Cmo se relaciona el rendimiento de los estudiantes en un pas
con el rendimiento de los estudiantes en otros pases?
Los sistemas de exmenes estn interesados en que la medida del
rendimiento de sus candidatos sea aceptada internacionalmente. Con un
ojo en los estndares internacionales, algunos sistemas trabajan
cooperativamente en estudios internacionales comparados (por ejemplo,
el West African Examinations Council Consejo Examinador del frica
Occidental), otros mantienen una variedad de contactos con consejos de
examinadores en Europa, mientras que otros intercambian redactores de
tems [item writers], especialistas en calificacin [markers] y otro tipo de
personal tcnico.
El diseo de las evaluaciones nacionales tambin tiene una dimensin
internacional, ya que est influido por las prcticas de otros lugares.
Adems, en algunas evaluaciones se han incluido tems de las evaluaciones
internacionales para ofrecer datos comparativos entre pases.
Sin embargo, slo estudios nacionales comparativos diseados
especialmente pueden posibilitar la realizacin de comparaciones precisas
entre el rendimiento de estudiantes de diferentes sistemas educativos.
Incluso en las evaluaciones ms cuidadosamente diseadas pueden an
surgir problemas relacionados con la adecuacin de las pruebas utilizadas
en algunos sistemas educativos, la traduccin de los instrumentos o la
equivalencia de las poblaciones (y muestras) que son evaluadas.
67
www.iiep.unesco.org
Conclusin
Si bien el desempeo en los exmenes es susceptible de anlisis que
arroje alguna luz sobre la calidad del aprendizaje de los estudiantes, la
informacin se ver limitada por la naturaleza y el contenido de los
exmenes, la naturaleza selectiva de los candidatos al examen y el hecho
de que generalmente se le da gran importancia al rendimiento en el examen.
Adems, los exmenes slo pueden ofrecer informacin limitada sobre
los factores asociados con el rendimiento e incluso menos acerca de cmo
el rendimento de los estudiantes cambia con el tiempo o sobre cmo se
comparan los rendimientos con los de los estudiantes de otros pases. Por
el contrario, las evaluaciones nacionales se pueden disear para abordar
todas estas cuestiones, exceptuando las comparaciones con otros pases,
que es para lo que se disean los estudios internacionales comparados.
Mientras que los estudios nacionales y los estudios internacionales
comparados son bastante adecuados para describir aspectos sobre la calidad
de la educacin, con un claro foco de atencin en el aprendizaje de los
estudiantes, todava hay cierto margen de maniobra para concebir e
implementar enfoques en los que la informacin que brindan se pueda
utilizar para mejorar la calidad de la enseanza y el aprendizaje en las
escuelas. En gran medida, la informacin obtenida a partir de las
evaluaciones nacionales y las evaluaciones internacionales comparadas
se ha utilizado en el debate y la formulacin poltica en lugar de incidir
directamente sobre la prctica escolar, a pesar de que se han hecho muchos
esfuerzos para comunicar los hallazgos de la investigacin a las escuelas
y los profesores. Sin embargo, si la informacin obtenida en una evaluacin
se basa en una muestra de escuelas, no se pueden identificar los problemas
de una escuela en particular. Es quiz por esta razn que algunas
evaluaciones nacionales se administran en todas las escuelas y los
resultados se utilizan para intervenir a nivel de la escuela. Si bien una
evaluacin de carcter censal brinda una mejor base para la accin a nivel
de escuela que una de carcter muestral, si se asigna gran importancia al
rendimiento, podra ofrecer como en el caso de los exmenes pblicos
una visin distorsionada del rendimiento del estudiante, as como tener
efectos no deseables (si bien no intencionales) sobre la enseanza y el
aprendizaje en las escuelas.
68
www.iiep.unesco.org
Bibliografa
Beaton, A.E.; T.N. Postlethwaite; K.N. Ross; D. Spearritt; R.M. Wolf. 1999.
The benefits and limitations of international achievement studies, Paris:
IIEP-UNESCO, International Academy of Education.
Beaton, A.E.; R. Zwick. 1990. The effect of changes in the national
assessment: Disentangling the NAEP 1985-86 reading anomaly,
Princeton, NJ: Educational Testing Service.
Chinapah, V. 1997. Handbook on monitoring learning achievement.
Towards capacity building, Paris: UNESCO.
Chinapah, V.; E.M. Hddigui; A. Kanjee; W. Falayajo; C.O.Fomba;
O. Hamissou; A. Rafalimanana; A. Byamugisha. 2000. With Africa
for Africa. Towards quality education for all, Pretoria: Human Sciences
Research Council.
Greaney, V.; T. Kellaghan. 1996. Monitoring the learning outcomes of
education systems, Washington, DC: World Bank.
Guthrie, J.W. 1991. Globalisation of educational policy and reform, en
Husn, T. y T.N. Postlethwaite (Eds.), The international encyclopedia
of education, 2nd ed., Oxford: Pergamon, pp. 2.495-2.500.
Keeves, J.P. 1994. National examinations: design, procedures and
reporting, Paris: IIEP-UNESCO.
Kellaghan, T. 1996. Can public examinations be used to provide
information for national assessment?, en Murphy, P., V. Greaney,
M.E. Lockheed; C. Rojas (Eds.), National assessments: testing the
system, Washington, DC: World Bank, pp. 33-48.
Kellaghan, T.; V. Greaney. 1992. Using examinations to improve education. A
study in fourteen African countries, Washington, DC: World Bank.
Kellaghan, T.; V. Greaney. 2001a. The globalisation of assessment in the
20th century, Assessment in Education, n. 8, pp. 87-102.
Kellaghan, T.; V. Greaney. 2001b. Using assessment to improve the quality of
education, Paris: IIEP-UNESCO.
Kellaghan, T.; G.F. Madaus. 1982. Trends in educational standards in
Great Britain and Ireland, en G.R. Austin; H. Garber (Eds.), The
rise and fall of national test scores, New York: Academic Press,
pp. 195-214.
69
www.iiep.unesco.org
Kellaghan, T.; G.F. Madaus. 2003. External (public) examinations, en

Kellaghan, T.; D.L. Stufflebeam (Eds.), International handbook of
educational evaluation, Dordrecht: Kluwer Academic,
pp. 577-600.
Kudjoh, A.; A. Mingat. 1993. Towards a better understanding of the
functioning of school systems for better decision-making: The case
of primary schools in Togo, en Chapman, D.W.; L.O. Mhlck (Eds.),
From data to action: information systems in educational planning,
Paris: IIEP-UNESCO, pp. 147-174.
Kulpoo, D.; P. Coustre. 1999. Developing national capacities for
assessment and monitoring through effective partnerships, en
Partnerships for capacity building and quality improvements in
education, Paris: Association for the Development of Education in
Africa, pp. 131-138.
Linn, R.L. 1983. Testing and instruction: Links and distinctions, Journal
of Educational Measurement, n. 20, pp. 179-189.
Ross, K.N.; M. Saito; S. Leite. 2000. Translating educational assessment
findings into educational policy and reform measures: lessons from the
SACMEQ initiative in Africa, Paris: IIEP-UNESCO.
WCEFA. 1990. Declaracin mundial sobre educacin para todos, Nueva
York: WCEFA, p. 6.
UNESCO. 2000. Marco de Accin de Dakar, Pars: UNESCO, p. 8,
para. 7, VI.
UNESCO. 2003a. Monitoring Learning Achievement (MLA) Project.
Update, Paris: UNESCO.
UNESCO. 2003b. Southern Africa Consortium for Monitoring Educational
Quality (SACMEQ), Harare: UNESCO.
Willmott, A.S. 1977. CSE and GCE grading standards: the 1973
comparability study, London: Macmillan.
70
www.iiep.unesco.org
Captulo 4
Cules son los principales estudios

internacionales comparados?
Aletta Grisay y Patrick Grifn
Introduccin
El principal objetivo de este artculo es describir las caractersticas de los
ms importantes estudios internacionales comparados en gran escala que
se han ejecutado desde la dcada de los sesenta. Estos estudios se disearon
para evaluar el rendimiento de los estudiantes en diferentes niveles del
sistema escolar, en diversas asignaturas y en distintos pases. El foco de
la atencin est en las similitudes y diferencias en el diseo de estos
estudios, as como en las limitaciones conceptuales y operacionales dentro
de las cuales se implementaron.
Este artculo se ha limitado a los estudios internacionales que utilizan
instrumentos estrictamente equivalentes, definiciones comunes de las
poblaciones objetivo y procedimientos estandarizados a fin de medir el
rendimiento de los estudiantes en cada uno de los pases participantes. Algunos
ejemplos de estos estudios incluyen: (a) estudios de rendimiento en matemtica
y ciencias ejecutados por la Asociacin Internacional de Evaluacin del
Rendimiento Escolar (IEA); (b) el Programa Internacional de Evaluacin
de Estudiantes (PISA), implementado por la Organizacin para la
Cooperacin y el Desarrollo Eeconmicos (OCDE) y (c) los estudios sobre
poltica educativa ejecutados por el Consorcio del frica Meridional y
Oriental para el Monitoreo de la Calidad de la Educacin (SACMEQ).
Este artculo no incluir estudios que contengan pocos componentes
de evaluacin o muy marginales (tales como el Classroom Environment
Study de la IEA o el Preprimary Project de la IEA). Los programas
multinacionales que se concentraron principalmente en la asistencia al
desarrollo de evaluaciones nacionales, tales como el proyecto Monitoreo
del Rendimiento del Aprendizaje [Monitoring Learning Achievement]
(MLA) ejecutado por la UNESCO y el UNICEF, la Evaluacin de
Competencias Bsicas [Assessing Basic Competencies] (ABC) efectuada
por el Banco Mundial en Asia del Sur, el Programme danalyse des systmes
ducatifs (PASEC) implementado por la CONFEMEN (Confrence des
ministres de lducation ayant le franais en partage) y los estudios
71
www.iiep.unesco.org
realizados por el Laboratorio Latinoamericano de Evaluacin de la Calidad

de la Educacin (LLECE) tampoco estn dentro del alcance de este artculo,
dado que sus diseos muestrales o los instrumentos de recoleccin de datos
utilizados no se pueden considerar estrictamente equivalentes entre
pases.
Las referencias a todos los programas de investigacin listados
previamente se presentan en el Apndice.
Evaluaciones nacionales e internacionales del rendimiento

de los estudiantes
Los sistemas escolares del mundo han experimentado cambios
cuantitativos y organizativos sin precedentes durante los ltimos 50 aos.
En los pases industrializados se produjo un impresionante aumento de la
matrcula durante las dcadas de los aos cincuenta y sesenta, debido al
efecto combinado del boom de la natalidad [baby-boom] en la posguerra
y un rpido crecimiento de la demanda por parte de las familias y los
mercados de trabajo. Estas tendencias generaron presiones para lograr la
educacin secundaria universal y grandes aumentos de la matrcula en el
tercer nivel.
Este cambio de una educacion de lites a una educacin de masas,
especialmente en las escuelas secundarias, no slo requiri una inversin
pblica significativa, sino tambin enormes esfuerzos de adaptacin de los
sistemas educativos. Se extendi la duracin de la educacin obligatoria y
se efectuaron amplias reformas de las estructuras organizativas, los
currculos y los mtodos de enseanza, ya que muchos sistemas educativos
debieron pasar de una selectividad estricta, programas de estudios muy
restrictivos y discriminacin hacia las minoras desfavorecidas a una
retencin e instruccin no selectiva ms amplia para todos.
En los pases en desarrollo, el mismo perodo se caracteriz por un
movimiento hacia la independencia de muchos pases, acompaado por
la expansion de la matrcula en la educacin primaria y secundaria, as
como por reformas destinadas a reemplazar los sistemas escolares
coloniales con nuevas instituciones y currculos nacionales. En algunos
pases, ste fue tambin el perodo en el que se intentaron una serie de
innovaciones en gran escala (desde la Educacin popular de Paulo Freire
y la Escuela Nueva en Colombia, hasta programas basados en el uso de
la tecnologa, como la radio y la televisin), a menudo con el apoyo de
instituciones internacionales, para afrontar los mltiples retos planteados
72
www.iiep.unesco.org
por el lanzamiento de programas de alfabetizacin en pases con limitados

recursos humanos y econmicos.
La Conferencia de Jomtien en 1990 (WCEFA, 1990), el Marco de
Accin de Dakar de 2000 (UNESCO, 2000) y los Objetivos de Desarrollo
del Milenio ODM (United Nations, 2000) confirmaron el compromiso
casi universal de los gobiernos en hacer extensivo a todos los nios la
provisin de educacin primaria bsica gracias a la mejora del acceso, la
calidad y la equidad mediante el programa Educacin para Todos.
El movimiento mundial hacia la expansion del acceso a la educacin
bsica ha generado preocupacin, tanto en las esferas polticas como en
la comunidad cientfica, por el hecho de que amplios y rpidos aumentos
de la matrcula podran provocar la disminucin del nivel y la posibilidad
de una desigual distribucin de la calidad de la educacin ofrecida en las
escuelas. Esta cuestin se ha planteada especialmente en los pases en
desarrollo, que han estado luchando para lograr los objetivos (a veces
conflictivos) del Marco de Accin de Dakar (UNESCO, 2000).
La preocupacin por las potenciales compensaciones entre acceso,
equidad y calidad han generado la necesidad de disponer de informacin
emprica sobre el rendimiento de los estudiantes y su relacin con los
recursos invertidos y las caractersticas del contexto educativo. Inicialmente
realizadas como grandes (pero aisladas) encuestas destinadas a abordar
las principales preocupaciones polticas, como el bien conocido The
Equality of Educational Opportunity Study (Coleman, 1966), las evaluaciones
del rendimiento de los estudiantes se convirtieron en un componente regular
de los sistemas nacionales de monitoreo en algunos pases. Por ejemplo, en
los EE.UU., la National Assessment of Educational Progress (NAEP) se inici
en 1969.
En algunos pases, la ejecucin de evaluaciones nacionales de alta
calidad obtuvo mucho de su mpetu y muchas de sus tcnicas de la
investigacin emprendida a nivel internacional por la IEA. Esta organizacin
fue creada en 1958 por un grupo de instituciones lderes en investigacin a
nivel mundial, bajo los auspicios del Instituto de la UNESCO para la
Educacin con sede en Hamburgo (Alemania). Los miembros de la IEA
queran medir el rendimiento de muestras comparables de estudiantes en
diferentes asignaturas y en distintos sistemas educativos, con el propsito de
investigar las relaciones entre las diferencias en el rendimiento y las diferencias
en los insumos, procesos y contextos educativos.
73
www.iiep.unesco.org
Desde entonces, la IEA y otros organismos internacionales

emprendieron un gran nmero de estudios nacionales comparados. Los
resultados de estos estudios, ampliamente publicitados, generaron un gran
inters en la implementacin de evaluaciones nacionales y fue mediante
la participacin en estos estudios que muchos equipos nacionales de
investigacin desarrollaron las complejas competencias tcnicas requeridas
para efectuar sus propias evaluaciones nacionales. Recprocamente, los
avances tericos y tcnicos efectuados en algunos centros nacionales de
investigacin destacados tambin fueron demandados por los estudios
internacionales. A comienzos del siglo XXI, este proceso de fertilizacin
cruzada produjo una base de conocimientos impresionante acerca del
funcionamiento de los sistemas educativos y un conjunto de estndares
ampliamente compartido, mtodos y procedimientos cientficos para la
realizacin de evaluaciones rigurosas y vlidas. Uno de los beneficios
importantes de la cultura de evaluacin, comn entre expertos a cargo
de estudios internacionales y de sistemas nacionales de monitoreo, fue el
cambio que se produjo en los estudios internacionales, que orientaron ms
su foco de atencin hacia la poltica.
La mayor parte de la financiacin de los estudios de la IEA a nivel
nacional e internacional provino de ministerios de educacin y fundaciones
interesados en la investigacin bsica. Los equipos nacionales de
investigacin estaban compuestos casi exclusivamente por personal
acadmico de las universidades y si bien el objetivo consistente en
suministrar datos tiles a las autoridades educativas se consider
importante, la orientacin principal de los estudios fue claramente
cientfica. La idea como lo expres Benjamin Bloom, uno de los padres
fundadores de la IEA, a menudo repetida en los primeros informes de
los estudios de la IEA, era que los sistemas educativos en todo el mundo
se podan considerar como una suerte de laboratorio experimental
natural, donde los efectos de diferentes tratamientos (diferencias en la
organizacin escolar, el material educativo y las prcticas educativas)
sobre el rendimiento de los estudiantes se podan explorar ms eficazmente
que en estudios nacionales individuales, debido a la mayor diversidad que
se poda esperar a nivel internacional para cada uno de estos factores.
En un nmero cada vez mayor de pases participantes en los estudios
de la IEA, y en casi todos los participantes en el programa PISA, la
responsabilidad de la implementacin del proyecto pas progresivamente
de departamentos universitarios independientes a agencias
gubernamentales o a centros universitarios subcontratados directamente
74
www.iiep.unesco.org
por los ministerios de educacin para efectuar la investigacin. Si bien

contribuir al avance del conocimiento cientfico sigue siendo una
preocupacin fundamental, los estudios internacionales ms recientes
tratan de identificar en gran medida cuestiones de poltica que pueden ser
abordadas mediante el estudio de los resultados, as como concebir
sistemticamente estrategias para difundir la informacin recolectada entre
los actores interesados en todos los niveles de los sistemas educativos.
En este sentido, los estudios internacionales comparados se pueden
considerar complementarios de los sistemas nacionales de monitoreo:
Las evaluaciones nacionales tienen ms posibilidades de suministrar

informacin ajustada a las caractersticas especficas de un sistema
educativo que los estudios internacionales. Por ejemplo, son ms
adecuadas que los estudios internacionales para informar a las
autoridades educativas sobre: (a) si todos los aspectos de un nuevo
currculo se implementaron eficazmente en las escuelas; (b) la
proporcin de estudiantes que logra los estndares nacionales
especficos y (c) los posibles efectos negativos a nivel local de lo
que de otra manera podra ser una innovacin benficiosa en el plano
nacional. Tambin se pueden utilizar para abordar cuestiones tales
como: Cunto cuesta nuestro sistema de educacin, Quin paga
por la educacin? y Obtienen un buen producto por lo que
pagan?
Por otra parte, slo las evaluaciones internacionales pueden:
(a) informar a las autoridades nacionales sobre en qu medida otros
sistemas educativos lo hacen mejor que su propio sistema
educativo, en relacin con los resultados de los alumnos y en reas
tales como la provisin de educacin, la calificacin de los profesores
y la eficacia en el uso de los recursos; (b) indicar si la organizacin
escolar en otros pases produce menos desigualdades en la calidad
de la educacin ofrecida y un menor impacto del origen social, gnero
y etnia sobre los resultados de los estudiantes y (c) mostrar si la
evolucin en el tiempo de cualquiera de estos indicadores es positiva
(o negativa) en varios pases.
La mayora de los estudios internacionales nos permiten habitualmente

anlisis internacionales del conjunto de datos recolectados y anlisis
replicados de los datos de cada pas. Despus se pueden hacer
generalizaciones comparativas acerca de la educacin, as como
afirmaciones con anlisis nacionales ms especficos. Estos estudios
75
www.iiep.unesco.org
tambin estimulan el uso de opciones nacionales mediante las cuales un

pas puede agregar preguntas especficas a la recoleccin de datos
internacionales comparados.
Para algunos pases, participar en estudios internacionales no es un
complemento de las evaluaciones nacionales, sino un sustituto. Esto ocurre
a veces en pases muy pequeos o en pases con recursos humanos y
financieros limitados, que carecen de presupuesto para investigacin y de
los expertos altamente especializados necesarios para efectuar evaluaciones
rigurosas. Compartir con otros pases la elaboracin de marcos muestrales
vlidos, marcos de referencia de evaluacin e instrumentos para pruebas
es una manera eficiente para que estos pases puedan obtener informacin
poltica pertinente a un costo razonable, y dar acceso a la pericia
internacional a sus equipos nacionales de investigacin.
Finalmente, en algunos pases federales podra suceder que los
estudios internacionales comparados parezcan polticamente ms
aceptables que las evaluaciones nacionales. Este es el caso de pases
como Blgica, donde las comunidades flamenca y francfona participan
en los estudios de la IEA y el PISA como si fueran pases separados.
En este caso, las autoridades educativas belgas consideran que estos dos
conjuntos de estudio son neutrales, mientras que cualquier evaluacin
nacional, que incluya a las dos reas lingsticas, podra considerarse muy
sensible polticamente.
Principales evaluaciones internacionales comparadas

Durante los ltimos 50 aos, diferentes agencias han realizado ms
de 20 evaluaciones internacionales, en una gama de asignaturas y en un
gran nmero de pases industrializados y en desarrollo (vase el
Apndice).
Los estudios de la IEA

La Asociacin Internacional de Evaluacin del Rendimiento Escolar
[International Association for the Evaluation of Educational Achievement]
(IEA), una organizacin no gubernamental (ONG) fundada a fines de la
dcada de los cincuenta, fue la primera organizacin que efectu estudios
internacionales comparados del rendimiento de los estudiantes que siguen
siendo el modelo paradigmtico en relacin con el nmero de pases
participantes (de 12 pases en el primer estudio de la IEA en matemtica
a casi 50 en el ao 2000), la variedad de asignaturas exploradas y el rango
de edades o grados de los estudiantes cubiertos.
76
www.iiep.unesco.org
La mayora de las comparaciones de la IEA se basa en muestras

denominadas edad-grado. Esto quiere decir que en cada pas participante
la poblacin objetivo se define como todos los estudiantes que estn en
el grado en que se puede encontrar a la mayora de estudiantes de una
cohorte de edad dada. Por ejemplo, en el Estudio sobre la lectura [Reading
Literacy Study] de la IEA, efectuado a nivel de la escuela primaria (Elley,
1992), se obtuvo una muestra probabilstica de escuelas primarias en cada
pas; despus, en cada escuela muestreada se seleccion al azar una clase
intacta entre las clases del 4 grado (o de clases del 3er grado, dependiendo
de cul de estos dos grados era el grado modal al que asistan los estudiantes
de 9 aos de edad en ese pas especfico).
Otros estudios de la IEA han utilizado definiciones basadas nicamente
en la edad o el grado. Por ejemplo, en el Primer Estudio Internacional
de Matemtica [First International Mathematics Study] (FIMS) (Husn,
1967), realizado en 1964, hubo muestras separadas por grado y edad en el
primer ciclo de educacin secundaria: una muestra por edad (todos los
estudiantes de 13 aos de edad, independientemente de donde se encontraran
en el sistema y el grado en el que estuvieran) y una muestra por grado (el
grado modal para los estudiantes de 13 aos de edad), y en este caso se
seleccionaron una o dos clases intactas. Por otra parte, todas las evaluaciones
de la IEA efectuadas en el segundo ciclo de educacin secundaria definieron
su poblacin objetivo como estudiantes del ltimo ao de educacin
secundaria, independientemente de su edad. En el Tercer Estudio
Internacional de Matemtica y Ciencias [Third International Mathematics
and Science Study] (TIMSS), (Beaton et al., 1996), se utiliz una variante
compleja de diseo edad-grado para el primer ciclo de educacin
secundaria; la muestra incluy clases intactas obtenidas a partir de los dos
grados contiguos en los que estaban matriculados la mayora de los
estudiantes de 13 aos de edad (es decir, en la mayora de los pases, el 7
y el 8 grados).
Estos diferentes diseos estn relacionados con las variaciones en el
foco de la comparacin. Si el propsito principal es comparar sistemas
educativos en trminos de rendimiento (es decir, lo que un sistema ha
logrado con una cohorte de edad, el efecto acumulado de las experiencias
educativas de los estudiantes dentro y fuera de la escuela), la muestra ms
apropiada es una muestra basada en la edad. Todos los estudiantes
evaluados tienen la misma edad y las variaciones de grado (producto de
las diferencias entre pases en las regulaciones relativas a la edad de ingreso
a la educacin obligatoria o en la poltica relacionada con la repeticin de
77
www.iiep.unesco.org
grado) slo se consideran como uno de los factores relacionados con el

sistema que incide sobre su experiencia de aprendizaje.
Si, por otra parte, el foco es la comparacin de sistemas en relacin
con los efectos sobre el rendimiento debido a las diferencias en recursos,
currculo y prcticas pedaggicas, entonces es ms apropiado evaluar
clases intactas en grados que sean lo ms comparable posible entre
sistemas. El diseo edad-grado de la IEA se considera generalmente
como un compromiso razonable entre estas dos perspectivas.
Los estudios de la IEA que abordan las principales asignaturas del
currculo (lectura, matemtica y ciencias) se estructuraron flexiblemente,
en largos ciclos de aproximadamente 10 a 15 aos, con un primer ciclo
en la dcada de los sesenta y comienzos de los setenta (FIMS) (Husn,
1967), en 1966; el Primer Estudio Internacional de Ciencias [First
International Science Study] (FISS) en 1971 (Comber y Keeves, 1973) y
un primer Estudio de Comprensin de Lectura [Reading Comprehension
Study] (RCS) tambin en 1971 (Thorndike, 1973). Un segundo ciclo se
realiz en la dcada de los ochenta y comienzos de los noventa: el Segundo
Estudio Internacional de Matemtica [Second International Mathematics
Study] (SIMS) (Travers y Westbury, 1989) y el Segundo Estudio
Internacional de Ciencias [Second International Science Study] (SISS) en
1982 y 1984, respectivamente (Rosier y Keeves, 1991); y un Estudio sobre la
lectura [Reading Literacy Study] (RLS) en 1991 (Elley, 1992). Sin embargo,
algunos cambios en las definiciones de las poblaciones evaluadas, en los
instrumentos utilizados y en los conjuntos de pases participantes impidieron
el desarrollo de comparaciones rigurosas de series temporales. Este aspecto
se mejor en el tercer ciclo de los estudios de la IEA, gracias a la ejecucin
de reiteradas recolecciones de datos utilizando una pauta de cuatro aos, tanto
en el Tercer Estudio de Matemtica y Ciencias [Third Mathematics and
Science Study] (TIMSS en 1995 y TIMSS-Repeat en 1999) como en un
nuevo estudio sobre lectura (Estudio Internacional de Competencia en Lectura
[Progress in International Reading Literacy Study]) (PIRLS) en 1999 y
PIRLS-Repeat en 2004) (Mullis et al., 2004).
El primer ciclo de la IEA tambin inclua evaluaciones de algunos
campos conceptual u operacionalmente desafiantes educacin cvica,
literatura, lenguas extranjeras (ingls y francs). Un segundo estudio de
educacin cvica se realiz en el tercer ciclo, mientras que la falta de apoyo
financiero impidi completar una nueva evaluacin en lenguas extranjeras.
En el segundo ciclo se realiz un estudio sobre educacin para la utilizacin
78
www.iiep.unesco.org
de computadoras y en el momento de escribir esta ponencia est en curso

un segundo estudio.
Todos estos estudios fueron transversales. Se incluy un componente
estrictamente longitudinal (en el que la misma muestra de estudiantes fue
sometida a prueba dos veces, a fin de evaluar el aumento del rendimiento
en un ao escolar) como una opcin solamente en el SIMS y el TIMSS.
Debido a los altos costos de la recoleccin de datos longitudinales, slo
un pequeo subconjunto de pases particip en estas opciones. Sin
embargo, estudios transversales -como TIMSS, RLS o PIRLS- utilizaron
instrumentos de pruebas basados en muestras sucesivas por edad-grado,
que permitieron clculos razonables del aumento del rendimiento obtenido
por los estudiantes en un perodo dado.
Los estudios de la IAEP

La Evaluacin Internacional del Progreso Educativo [International
Assessment of Educational Progress] (IAEP) (Lapointe et al., 1989) fue
un estudio en dos fases realizado a fines de la dcada de los ochenta por la
institucin estadounidense Educational Testing Services (ETS). Era una
derivacin del National Assessment of Educational Progress (NAEP), un
estudio que se ejecuta regularmente en los Estados Unidos desde 1969.
Recibi un fuerte apoyo financiero de las autoridades federales de los Estados
Unidos, en un contexto en el que la publicacin del famoso informe titulado
Una nacin en peligro [A Nation at Risk] (National Commission on
Excellence in Education, 1983) provoc un gran alboroto en la opinin
pblica contra la educacin escolar en el pas. El informe, basado en datos
provenientes de la IEA y la NAEP, as como de los exmenes nacionales,
present un grave deterioro en el rendimiento en matemtica y ciencias
de los estudiantes estadounidenses e importantes brechas entre los
estudiantes estadounidenses y los de otros pases (especialmente el Japn).
Por tanto, el Gobierno de los Estados Unidos estaba muy interesado en
buscar informacin adicional comparativa para explorar estos problemas
ms detalladamente.
Este origen estadounidense fue probablemente la mayor debilidad
de los estudios de la IAEP, lo que puede explicar por qu se descontinuaron
despus de la segunda ronda. A diferencia de la mayora de otras
evaluaciones internacionales, en la que los materiales de las pruebas son
el producto del aporte cooperativo de varios pases y son cuidadosamente
revisados para su adecuacin cultural y curricular en cada pas participante,
los tems de evaluacin utilizados en el estudio de la IAEP se obtuvieron
79
www.iiep.unesco.org
del banco de tems de la NAEP (todos ellos en la IAEP I y una gran mayora
en la IAEP II). En este sentido, el estudio era cuestionable, tanto en
trminos de la validez del contenido como de la aceptabilidad poltica por
parte de otro pas que no fuera los Estados Unidos.
No obstante, algunos aspectos de la IAEP eran innovadores. En
particular, fue la primera ocasin en la que los resultados internacionales
se presentaron como escalas descriptivas basadas en la teora de la
respuesta al tem (TRI), en lugar de puntajes brutos de pruebas o porcentajes
promedio de respuestas correctas (vase ms abajo un anlisis de esta
tcnica). Las escalas descritas se utilizaron por primera vez en algunas de
las ms avanzadas evaluaciones nacionales durante la dcada de los ochenta.
Progresivamente se convirtieron en una forma estandarizada de presentar
los resultados del rendimiento en prcticamente todos los estudios
internacionales. Otra importante innovacin (estrictamente tcnica),
tambin aplicada por la IAEP por primera vez en un estudio internacional,
fue el uso de los as llamados valores plausibles, a fin de mejorar la
exactitud de la estimacion de los promedios nacionales y otros parmetros
estadsticos. De manera similar, el uso de valores plausibles se ha aplicado
a la mayora de los estudios internacionales subsecuentes.
Los estudios del IALS

El Estudio Internacional de Alfabetizacin de Adultos [International
Adult Literacy Study] (IALS) (Tuijnman et al., 1994) fue una encuesta
de hogares destinada a evaluar la lectura y la aritmtica bsica entre adultos
de 16 a 65 aos. Fue realizada por Statistics Canada (STATCAN) y
patrocinada por la Organizacin para la Cooperacin y el Desarrollo
Econmicos (OCDE). Comprendi dos evaluaciones, una en 1995 y otra
en 1998 (Tuijnman, 2000), en la que participaron 20 pases.
Las principales caractersticas del IALS fueron: (a) focalizacin en
una perspectiva de evaluacin orientada hacia el capital humano y el
aprendizaje a lo largo de toda la vida (en vez de una evaluacin de sistemas
escolares) y un fuerte inters en la relacin entre el conocimiento y las
competencias de las personas y el rendimiento en el mercado de trabajo;
(b) la naturaleza funcional de las tareas utilizadas en la evaluacin, basadas
todas ellas en materiales autnticos obtenidos de situaciones que las
personas encuentran en la vida diaria; (c) muestras detalladas de hogares,
representativas de la totalidad de la poblacin activa en cada pas y (d) a
diferencia de las evaluaciones basadas en la escuela donde a menudo
predominan los tems de eleccin mltiple, todos los tems del IALS
80
www.iiep.unesco.org
fueron abiertos, a fin de mantener la autenticidad de los materiales de la

prueba y del proceso cognitivo evaluado.
El IALS es un ejemplo tpico de un estudio internacional que se
benefici de los avances tericos y tcnicos logrados durante la
implementacin de encuestas nacionales anteriores en los Estados Unidos
y Canad. El marco de referencia utilizado para evaluar la lectura, en
particular, tuvo importantes fundamentos tericos y empricos provenientes
de aos de investigaciones realizadas en la ETS y STATCAN para la
Encuesta Nacional sobre Alfabetizacin de Adultos [National Adults
Literacy Study] (NALS), estudio nacional del cual el IALS fue su
prolongacin internacional.
Las encuestas de hogares son costosas, emplean mucha mano de obra
y son operacionalmente complejas; tambin son un reto en cuanto a las
responsabilidades institucionales. En muchos pases, estudios como el
IALS no se pueden ejecutar sin una efectiva cooperacin entre varios
ministerios. A menudo esto impide que algunos pases participen, lo que
es lamentable. Debido a la amplia cobertura del grupo de edad evaluado,
el IALS tiene una caracterstica singular: es el nico estudio internacional
que permite comparaciones de resultados globales de la educacin entre
varias generaciones en diversas culturas.
Los estudios del PISA

El Programa Internacional de Evaluacin de Estudiantes [Programme
for International Student Assessment] (PISA) (OECD, 2001, 2004;
OECD-UNESCO, 2003) se elabor inicialmente como parte de un Plan
Estratgico [Strategic Plan] implementado por la Organizacin para la
Cooperacin y el Desarrollo Econmicos (OCDE), con objeto de suministrar
indicadores sobre el rendimiento de los estudiantes hacia el final de la
educacin obligatoria a su proyecto Indicadores Internacionales de Sistemas
Educativos [International Indicators of Education Systems] (INES).
Una especificidad del PISA es que el programa est destinado
fundamentalmente a suministrar indicadores a los gobiernos de un grupo
especfico de pases: los pases industrializados miembros de la OCDE. Con
la excepcion de dos de los 30 pases, todos participaron en la primera
evaluacin en 2000 y todos lo hicieron en la de 2003. Si bien algunos
pases que no eran miembros de la OCDE tambin participaron en las
evaluaciones (unos 60 pases participaron en la encuesta en 2006), sus
81
www.iiep.unesco.org
delegados se desempeaban en el Consejo de Administracin del PISA

como observadores, sin capacidad de decisin.
El PISA utiliza una definicin pura basada en la edad de su
poblacin objetivo, objetivo por estudiantes de 15 aos, independientemente
del grado alcanzado. Este es el grupo mayor en edad y en el que cerca del
100 % de los estudiantes todava asiste a la escuela en la mayora de los
pases de la OCDE.
El PISA fue concebido como un programa peridico, en el que cada ciclo
de nueve aos incluye tres evaluaciones sobre el rendimiento de los estudiantes
en lectura, matemtica y ciencias, efectuado en el tercero, sexto y noveno ao
del ciclo. Cada una de las tres recolecciones de datos incluye las tres reas, pero
con una concentracin especial en una de ellas y con instrumentos de prueba
ms ligeros para las otras dos. En la primera evaluacion del PISA, efectuada en
2000, la lectura fue evaluada como rea principal, mientras que matemtica y
ciencias fueron las reas menores. En 2003, matemtica fue el rea principal,
siendo lectura y ciencias las reas menores. En 2006, el foco se concentr en
las ciencias, con lectura y matemtica como reas menores. En 2009, se ha
propuesto que se inicie un nuevo ciclo, con la lectura como rea principal
nuevamente. Este diseo permite monitorear regularmente las tendencias del
rendimiento en las tres reas.
Cada evaluacin incluye tambin un rea experimental, que no es
parte de la rotacion descrita previamente. En el PISA 2000, el rea
experimental fue el aprendizaje autoregulado; en el PISA 2003, la
resolucin de problemas; en el PISA 2006 el aprendizaje de ciencias
asistido por computadora.
Como en el caso de la IEA, los estudios del PISA se hacen a nivel
de escuela; pero, como los estudios del IALS, estn principalmente
orientados hacia la lecto-escritura en lugar del currculo escolar. El
propsito es suministrar informacin de poltica pertinente sobre el
rendimiento acumulado de los sistemas educativos hacia el fin de la
escolaridad obligatoria, medida en trminos de rendimiento de los
estudiantes en la aplicacin de los conocimientos y competencias que han
adquirido en reas disciplinarias clave. Los instrumentos de prueba del
PISA son similares a los utilizados en el IALS, en el sentido de que
focalizan su atencin en la habilidad de los estudiantes para aplicar sus
competencias en situaciones funcionales y contextos autnticos.
82
www.iiep.unesco.org
Los estudios del SACMEQ

El Consorcio del frica Meridional y Oriental para el Monitoreo de
la Calidad de la Educacin [The Southern and Eastern Africa Consortium
for Monitoring Education Quality] (SACMEQ) es una red de cooperacin
constituida por 15 ministerios de educacin. Fue creado en 1995 con la
cooperacin del Instituto Internacional de Planeamiento de la Educacin
de la UNESCO (IIPE). Su foco principal de atencin es el fortalecimiento
de capacidades en el rea de investigacin en materia de poltica
educativa. Utiliza la participacion en estudios internacionales comparados
como una va para ofrecer programas de formacin. Su vasto programa
de talleres de formacin intensiva incluye diseo de proyectos; elaboracin
de instrumentos; muestreo; recoleccin, introduccin y depuracin de
datos; anlisis computarizado de datos; produccin de archivos de datos
y difusin de resultados de investigacin. El SACMEQ se propone efectuar
el monitoreo y la evaluacin continuos de la calidad de la educacin y el
rendimiento del aprendizaje, planteando sugerencias polticas serias que
conduzcan al mejoramiento en la oferta de una educacin de calidad
mediante: (a) la evaluacin del rendimiento del aprendizaje al trmino de
la escuela primaria y los factores que inciden sobre el rendimiento del
aprendizaje de los nios en un nivel especfico de educacin; (b) la
recoleccin de datos e informacin para la evaluacin de las condiciones
de escolarizacin y cmo se comparan con los estndares de referencia
del ministerio, as como informar la poltica y la planificacin de la
educacin; finalmente, (c) la determinacin de los efectos relativos de los
insumos educativos que tienen un impacto significativo sobre el
rendimiento del aprendizaje y la determinacin de su nivel de distribucin
(incluyendo textos escolares y material pedaggico).
La primera encuesta del SACMEQ (SACMEQ I), en 1995, se
concentr en el rendimiento en lectura. La segunda etapa, 2000-2004
(SACMEQ II), se focaliz en la lectura y la aritmtica bsica. Una
caracterstica interesante del proyecto SACMEQ II fue que las muestras
de profesores fueron evaluadas utilizando instrumentos de prueba que se
superponan con las pruebas de sus propios estudiantes. Esto permiti
que se pudieran mapear los resultados de estudiantes y profesores en las
mismas escalas de competencia.
El SACMEQ difiere de otros estudios en que ha creado una estrategia
sistemtica para consultar a los gobiernos y a los responsables polticos a fin
de identificar las cuestiones polticas e investigar las preguntas que desean
83
www.iiep.unesco.org
responder. Son estas preguntas relacionadas con la investigacin obtenidas

por pqrte de responsables de alto nivel en los ministerios de educacin las que
constituyen la base de los estudios del SACMEQ.
Los estudios del SACMEQ tambin son innovadores en sus
procedimientos de informacin, que incluyen una combinacion equilibrada
de comparaciones internacionales e indicadores nacionales a medida.
En particular, si bien los estudios utilizan instrumentos estrictamente
equivalentes y escalas descritas comunes basadas en la teora de la
respuesta al tem (TRI) que permiten comparaciones internacionales,
tambin se elaboran procedimientos exactos para mapear las escalas
comunes contrapuestas a los estndares especficos de los pases en relacin
con el rendimiento aceptable o deseable de los estudiantes, tal y como
se definen en cada pas por grupos de expertos nacionales. Esto representa
un modelo bastante eficaz para otros pases en desarrollo que se enfrentan
a retos educativos similares y que estn interesados en aprender de la
experiencia de pases vecinos.
Retos planteados a la validez de los estudios internacionales

comparados
Los estudios de la OCDE, la IEA y el SACMEQ han tenido como
finalidades: (a) ofrecer informacin a los responsables de la formulacin
de poltica y de la ejecucin de programas de educacin acerca de sus
sistemas educativos en relacin con otros sistemas y (b) ayudarlos a
comprender las razones de las diferencias observadas en el rendimiento
de los estudiantes de diferentes sistemas educativos.
A fin de cumplir con estas finalidades, se ha exigido que estos estudios
aseguren la produccin de datos vlidos que se puedan utilizar para efectuar
comparaciones significativas entre pases. Algunos crticos de los estudios
internacionales comparados generalmente cuestionan la validez de sus
datos con respecto a tres dimensiones importantes:
Las pruebas de rendimiento de los estudiantes: son igualmente

adecuadas para todos los pases participantes y han sido diseadas
para enfrentarse a las variaciones de cultura y currculo?
Poblaciones objetivo y muestreo: son consistentes las definiciones de la
poblacin objetivo entre los pases y han sido muestreadas estas poblaciones
de manera que se evite la parcialidad?
Presentacin de los resultados: se han simplificado demasiado los
resultados de la investigacin en forma de tablas de clasificacin o
84
www.iiep.unesco.org
se han presentado de manera que informen y mejoren la enseanza en

el aula?
Pruebas de rendimiento de los estudiantes
Currculos diferentes
Los crticos de los estudios internacionales han sido activos desde

que la IEA empez sus estudios. Los problemas percibidos con los estudios
internacionales se han concentrado en la naturaleza de las mediciones, la
influencia de las variables contextuales, los vnculos del currculo, la
validez y fiabilidad de los puntajes, y las inferencias efectuadas como
resultado del enfoque comn. Russell (1981, 1982, 2004) ha criticado
coherentemente el uso de un puntaje absoluto de prueba, en pruebas que
se aplican en muchos pases diferentes para presentar el rendimiento de
los estudiantes entre esos pases. Afirm que las pruebas de la IEA no
seran vlidas debido a que la cobertura del currculo dista mucho de ser
perfecta y es desigual entre los pases participantes.
Otros investigadores (por ejemplo, Goldstein y Wood, 1999; Blum et al.,
2001) se preocuparon por el hecho de que las pruebas quiz no eran mediciones
coherentes de los mismos resultados del currculo en cada pas participante.
Es decir, que los estudiantes de los pases participantes tal vez no tenan todos
la misma oportunidad de adquirir las competencias que eran evaluadas y que
las tareas podan corresponder al currculo de algunos pases mejor que al de
otros. Esto se trata en las pruebas que se concentran en un cuerpo de
conocimientos y competencias convenido por los pases participantes.
Russell obtuvo apoyo de la crtica de Freudenthal (1975), basada en
la pertinencia y oportunidad del currculo para aprender en el Primer
Estudio Internacional de Matemtica [First International Mathematics
Study] (FIMS) de la IEA (Husn, 1967). Indic que se haba avanzado
muy poco en el abordaje de estas cuestiones en el momento de realizar el
segundo estudio (SIMS) en 1982 (Travers y Westbury, 1989). En el SIMS
se elabor un solo conjunto comprensivo de tems para las pruebas de
matemtica, pero los crticos vieron esto como una agravacin del
problema de la oportunidad de aprender y de la cobertura del currculo en
lugar de una solucin. El conjunto comprensivo de tems contena tems
que eran pertinentes slo para dos pases.
En el momento en que se efectuaba el TIMSS, nuevas tecnologas
relacionadas con el campo de la teora moderna de la respuesta al tem
suministraban una tcnica mediante la cual se podan obtener puntajes de
85
www.iiep.unesco.org
los estudiantes sobre el mismo constructo subyacente (por ejemplo,

matemtica), incluso si los estudiantes completaban diferentes (pero
superpuestos) conjuntos de tems. Este enfoque elimin la limitacin de
que cada estudiante debiera ser evaluado con una misma prueba, a fin de
efectuar comparaciones vlidas entre los estudiantes.
Los puntos de vista de Russell han sido rechazados por los
investigadores del TIMSS (Beaton et al., 1996). Mostraron que cuando
se asign el puntaje a los pases participantes mediante el uso de tems
concentrados en sus propios currculos, haba diferencias insignificantes
entre los puntajes especficos de estos pases y los puntajes de las pruebas
del conjunto del TIMSS. De manera similar, se puso de manifiesto que
las pruebas del SACMEQ tenan alta validez porque la correlacin entre
los puntajes de los estudiantes basados en los tems que cada coordinador
nacional del SACMEQ consider que estaba centrado en su propio
currculo nacional y los puntajes obtenidos de todos los tems utilizados
en toda la prueba variaban entre 0,98 y 1,00.
Similares hallazgos de investigacin fueron obtenidos por los
investigadores del PISA, al comparar los puntajes de los estudiantes en
todo el conjunto de tems internacionales con los puntajes de los estudiantes
computados utilizando nicamente el subconjunto de tems que los
expertos nacionales consideraron como ms apropiados en su contexto
nacional . Las correlaciones entre los puntajes se aproximaron a 1,00 para
cada pas, confirmando la alta validez de los instrumentos de evaluacin
entre todos los pases participantes.
Diferentes idiomas
Los errores de traduccion pueden ser una fuente de problemas de

equivalencia en los estudios internacionales comparados sobre la calidad de
la educacin. La mayora de los estudios emplean uno de dos enfoques
bsicos para evitarlos. El enfoque ms popular utiliza la traduccin directa
[forward translation], hecha por dos o ms traductores independientemente.
Cada traductor traduce los materiales originales (generalmente elaborados
en ingls) hacia la lengua meta; despus, se comparan las versiones
independientes y se armonizan en una versin nacional final. Alternativamente,
se completa primero una traduccin directa especfica hacia la lengua meta
y luego un segundo traductor la vuelve a traducir a la lengua original. Despus
se compara el material en la lengua original y la traduccin inversa [back
translation] y se corrigen posibles desviaciones en la version meta. El PISA
introdujo una versin ms rigurosa del enfoque de mltiples traducciones
86
www.iiep.unesco.org
directas, en las que versiones originales paralelas de las pruebas en ingls y

francs se preparan primero bajo la supervisin del grupo de expertos
internacionales en pruebas. Posteriormente, estas dos versiones fuente son
entregadas a los equipos de traduccin en cada pas participante, que
producen su versin meta gracias a traducciones independientes de los
instrumentos a partir de cada lengua fuente, comparando posteriormente las
dos versiones obtenidas y armonizndolas en una versin nacional final.
En algunos estudios en curso (PISA, TIMSS, PIRLS), el proceso de
traduccin (ya se trate de mltiples traducciones directas o inversas) es
seguido de una etapa de verificacin centralizada, en la que todos los pases
presentan su versin en la lengua meta a los traductores designados por el
centro internacional del estudio, quienes verifican la equivalencia final de
las diversas versiones nacionales en relacin con la version fuente. El
objetivo es asegurar la coherencia y fidelidad de la traduccin entre todos
los pases participantes.
Sin embargo, incluso con una traduccin fiel, los tems pueden diferir en
dificultad entre las lenguas. Para identificar los problemas en esta rea se utiliza
una tcnica psicomtrica conocida como funcionamiento diferencial del tem
[differential item functioning DIF], a fin de identificar los tems de las pruebas
que son sensibles a las influencias lingsticas y culturales. Estos tems se
excluyen del estudio.
Poblaciones objetivo y muestreo
Retencin
La mayora de los estudios nacionales sobre calidad de la educacin

se han concentrado en poblaciones de estudiantes que asisten
obligatoriamente a la escuela, en la educacin primaria o en el primer
ciclo de educacin secundaria. En muchos pases (pero no en todos ellos
y ciertamente no en la mayora de los pases en desarrollo participantes
en estos estudios) esto quiere decir que las poblaciones objetivo
corresponden a los grupos de edad que estn an matriculados en las
escuelas, al 100 % (o casi), ofreciendo as una base razonablemente slida
para las comparaciones entre pases.
Sin embargo, las diferencias entre pases en las tasas de retencin
siguen planteando un serio problema de comparabilidad, tanto en los
estudios realizados en el segundo nivel de la educacin secundaria en los
pases industrializados como en todas las poblaciones evaluadas en los
pases en desarrollo. Los investigadores deben ser muy cuidadosos cuando
87
www.iiep.unesco.org
interpretan las comparaciones en el rendimiento de los estudiantes entre

sistemas educativos en los que, por ejemplo, en un sistema educativo slo
el 50 % de los nios del grupo de edad objetivo asiste a la escuela y otro
en el que la matrcula es del 95 %.
Es probable que las bajas tasas de retencin produzcan una cierta
parcialidad hacia el alza en el clculo del rendimiento promedio global
(ya que la muestra evaluada tiende a contener una proporcin menor de
nios con bajo rendimiento). Tambin produce una estimacin distorsionada
de la varianza de rendimiento (ya que el grupo matriculado que realiza la
prueba es probablemente ms homogneo en su competencia que la
poblacin total de esa edad).
En algunos de los primeros estudios de la IEA se desarrollaron
frmulas de ajuste para permitir juicios aproximados acerca de los efectos
de las diferencias en la retencin sobre la estimacin de los promedios de
los pases. El enfoque posterior del TIMSS, en el segundo ciclo de
educacin secundaria, consisti en definir una submuestra de estudiantes
que seguan asignaturas de matemtica o ciencias avanzadas (5 horas de
curso o ms). Pir consiguiente los pases podan comparar no slo el
rendimiento medio de la poblacin general matriculada, sino tambin
el nivel de competencia logrado por el grupo de estudiantes que en cada
sistema se consideraba como el grupo de lite que se preparaba para
futuras carreras orientadas hacia la matemtica y las ciencias. Este enfoque
del anlisis y la presentacion de resultados suministr informacin poltica
pertinente, pues es importante que en un pas se conozca la magnitud y el
desempeo de los estudiantes que conforman sus grupos de lite.
Diferencias entre las poblaciones basadas en la edad y el grado
Los pases tienen polticas diferentes en relacin con la edad de

ingreso a la escuela, la repeticin de grado, la promocion, las tasas de
retencin, matrcula y graduacin. Se puede esperar que las variaciones
entre pases en relacin con la edad y la duracin del ciclo escolar influyan
sobre el rendimiento y, por tanto, constituyan una amenaza en relacin
con la comparabilidad de las poblaciones objetivo.
Este problema se aborda principalmente en los estudios internacionales
comparados mediante una definicin precisa de la poblacin objetivo de
estudiantes sobre una base que es coherente con los propsitos del estudio,
es decir, utilizando una definicin de poblacin objetivo en funcion de la
edad-grado o solamente el grado o solamente la edad.
88
www.iiep.unesco.org
En el estudio del TIMSS, por ejemplo, se seleccionaron tres poblaciones

de estudiantes utilizando dos definiciones ligeramente diferentes de
edad-grado para los niveles de educacin primaria y el primer ciclo de
educacin secundaria: los estudiantes que estaban en el grado modal en el
que se podra encontrar a la mayora de los estudiantes de 9 aos, los
estudiantes que estaban en los dos grados contiguos, donde se podran
encontrar a la mayora de los estudiantes de 13 aos, y (utilizando una
definicin solamente de grado para el segundo ciclo de educacion
secundaria) estudiantes que estaban en el ltimo ao de educacin secundaria.
En el SACMEQ, las poblaciones objetivo se definieron como los estudiantes
del 6 grado, una definicin basada una vez ms solamente en el grado.
En el PISA se utiliz una definicin basada solamente en la edad:
estudiantes de 15 aos en el momento de la prueba. Esta definicin produjo
una seleccin de estudiantes entre varios grados en algunos pases y, en
algunos casos, entre niveles de educacin primaria y secundaria. Por
consiguiente, los resultados del PISA deben interpretarse con cuidado cuando
se presenta informacin acerca del alumno medio y cuando se comparan
los resultados de la investigacin entre pases con altos y bajos niveles de
repeticin de grado. La eleccin entre una poblacin basada en la edad u
otra basada en el grado incide sobre los tipos de anlisis que se pueden
efectuar y tambin sobre la interpretacin de los anlisis de los datos.
Diferencias en las reglas de exclusin
A veces, algunos pases excluyen partes de la poblacin objetivo

definida por diversas razones. Las definiciones de discapacidad (fsica,
emocional o intelectual), por ejemplo, pueden diferir entre pases y
producir la exclusin de diferentes porcentajes de estudiantes. En otros,
la poblacin objetivo puede excluir a grupos de estudiantes fsicamente
muy alejados e inaccesibles. Actualmente, la mayora de los estudios han
desarrollado estndares claros que rigen la exclusin de las poblaciones
a fin de reducirla al mnimo (generalmente menos del 5 % de los estudiantes
muestreados) y asegurar que todos los pases participantes documenten
de manera precisa cualquier desviacin de su muestra nacional en relacin
con la poblacin definida a nivel internacional.
Diferencias en las tasas de respuesta
En la mayora de las investigaciones educacionales a gran escala,

algunas escuelas y algunos estudiantes no desean participar. Esto puede
ser un problema para los estudios internacionales comparados, si las tasas
de respuesta pueden producir parcialidad en los resultados de la
investigacin. La mayora de los estudios (por ejemplo, IEA, PISA,
89
www.iiep.unesco.org
SACMEQ) exigen que los pases participantes documenten con precisin

las tasas de respuesta obtenidas, as como el efecto de la no respuesta
sobre la muestra.
Estos estudios aseguran que las exigencias muestrales son bien
conocidas por los pases participantes y que los pases que no se conforman
con los requisitos son excluidos de los informes o sus resultados se
presentan con advertencias.
Presentacin de los resultados de los estudios internacionales

comparados
Tablas de clasificacin y carreras de caballos
Un aspecto muy criticado de los estudios internacionales
comparados es que se considera que estimulan las interpretaciones
carrera de caballos de los resultados publicados en las tablas de
clasificacin en la que los pases son ordenados en funcion de los
puntajes medios de rendimiento. Esto estimula interpretaciones
superficiales (y a menudo equivocadas) de los resultados, basadas en el
rango en lugar de la magnitud y en el significado estadstico y pedaggico
de las diferencias observadas.
Este tipo de presentacin se utiliza a menudo, particularamente por
los medios de comunicacin, para apoyar conjeturas injustificadas acerca
de posibles explicaciones causales de las diferencias entre los pases
clasificados en posiciones altas y bajas. En algunos casos, estas
explicaciones se aprovechan de una variable contextual particular y la
ponen por delante como si fuera la (nica) razn de las diferencias
observadas entre los pases. Por ejemplo, en la dcada de los noventa,
cuando se publicaron los resultados del primer TIMSS, algunos expertos
en el Reino Unido sostuvieron que la razn que explicaba el alto rendimiento
en matemtica y ciencias de los pases del Asia Oriental era la utilizacin
de ms enseanza a clases enteras.
Si bien la enseanza a clases enteras puede (o tal vez no) incidir
positivamente sobre el aprendizaje, siempre debe reconocerse que el
contexto educacional est constituido por una compleja red de insumos,
procesos y contextos que no se pueden sintetizar recurriendo simplemente
a una explicacin unidimensional.
90
www.iiep.unesco.org
Comparaciones mltiples
Para evitar la mala utilizacin de los puntajes promedio presentados,
algunos estudios han hecho un gran esfuerzo en disear presentaciones
de la informacin en las que los datos tabulados sobre los niveles de
rendimiento de los estudiantes estn consignados y los lmites de
confiabilidad se incorporan en la maqueta de la tabla. En el Grfico 4.1
se presenta un ejemplo del estudio del TIMSS.
Pas
Singapur
Repblica Checa
Japn
Corea
Bulgaria
Pases Bajos
Eslovenia
Austria
Hungra
Inglaterra
Blgica (FI)
Australia
Repblica Eslovaca
Federacin de Rusia
Irlanda
Suecia
Estados Unidos
Alemania
Canad
Noruega
Nueva Zelandia
Tailandia
Israel
Hong Kong
Suiza
Escocia
Espaa
Francia
Grecia
Islandia
Rumania
Letonia (Letn)
Portugal
Dinamarca
Lituania
Blgica (Fr.)
Irn, Rep. Islmica
Chipre
Kuwait
Colombia
Sudfrica
Grfico 4.1 Comparaciones mltiples de los puntajes nacionales

promedios de la escala en matemtica del TIMMS
Singapur

Repblica Checa

Japn

Corea

Bulgaria

Pases Bajos

Eslovenia

Austria

Hungra

Inglaterra

Blgica (FI)

Australia
Repblica Eslovaca
Federacin de Rusia

Irlanda

Suecia

Estados Unidos

Alemania

Canad

Noruega

Nueva Zelandia

Tailandia

Israel

Hong Kong

Suiza

Escocia

Espaa

Francia

Grecia

Islandia

Rumania

Letonia (Letn)

Portugal

Dinamarca

Lituania

Blgica (Fr.)
Irn, Rep. Islmica

Chipre

Kuwait

Colombia

Sudfrica
Fuente: Beaton et al., 1996.
91
www.iiep.unesco.org
Tablas similares se utilizan en el PISA y el PIRLS. En estas tablas,

denominadas de multicomparacin, se utilizan iconos especficos para
mostrar, para cada par de pases, si el puntaje promedio del pas X era
significativamente ms alto (tringulo hacia arriba ) o significativamente
ms bajo (tringulo hacia abajo ) que el puntaje promedio del pas Y,
o si la diferencia no era estadsticamente significativa (crculo ).
Esta manera de presentar los resultados de los pases ayuda a indicar
que las posiciones o puntajes medios solos no cuentan toda la historia, es
decir, que si bien se pueden observar diferencias entre las posiciones de
los pases, stas se podran atraibuir slo a incertidumbres asociadas con
la estabilidad del muestreo y, por consiguiente, el uso de las posiciones o
clasificacin puede ser cuestionable.
Es importante notar que en algunos estudios nacionales e
internacionales comparados el uso inadecuado de aplicaciones estadsticas
estandarizadas (en las que la opcin por defecto asume que los datos se
recolectaron utilizando un muestreo simple al azar) condujo a subestimar
seriamente de los errores estndar. Por consiguiente, las diferencias entre
los pases o entre regiones dentro de los pases, o entre grupos especficos
de estudiantes, se podran haber considerado significativas, cuando en
realidad no lo eran.
Presentaciones grficas
En la presentacin de los estudios internacionales se utilizan otras
presentaciones grficas sofisticadas para presentar las diferencias
(o similitudes) entre los puntajes nacionales medios de modo que atraigan
la atencin sobre las diferencias (o similitudes) en su dispersin y su
precisin como estimaciones de los valores de la poblacin. En el
Grfico 4.2 se presenta un ejemplo del estudio del TIMSS.
El Grfico 4.2 muestra diversos fragmentos de informacin. Fuera
del promedio y el error estndar en el puntaje escalonado, tambin indica
el grado alcanzado, la edad media de los estudiantes y la distribucin de
los puntajes. La zona negra en el centro de cada barra representa el valor
promedio y el rango del error estndar. La zona sombreada gris que la
rodea representa las localizaciones del 50 % de los valores medios de los
estudiantes y los lmites de la barra representan el rango de 5 % al 95 %
de la muestra para cada pas.
92
www.iiep.unesco.org
Grfico 4.2 Comparacin de los resultados nacionales en matemtica

en el TIMSS, que ilustra el uso de la distribucion de los
puntajes como base para la comparacin
Pas
Promedio
Aos de
Edad
educacin formal promedio
8
14,5
8
14,4
8
14,4
8
14,2
8
14,3
9
14,0
8
14,1
8
14,3
7u8
14,0
8
14,4
7
13,9
8
14,2
8
14,1
7
13,9
8,5-9,5
14,0
8
14,2
7u8
14,2
8
14,3
8
14,3
8
13,6
8
14,3
8
14,5
8
14,3
8
14,6
8
13,7
Escala del puntaje del rendimiento en ciencias
Singapur
607 (5,5)
574 (4,3)
Repblica Checa
571 (1,6)
Japn
565 (1,9)
Corea
554 (2,8)
Hungra
552 (3,3)
Inglaterra
550 (4,2)
Blgiuca (FI)
544 (3,2)
Repblica Eslovaca
Federacin de Rusia 538 (4,0)
538 (4,5)
Irlanda
535 (3,0)
Suecia
534 (4,7)
Estados Unidos
531 (2,6)
Canad
527 (1,9)
Noruega
525 (4,4)
Nueva Zelandia
522 (4,7)
Hong Kong
522 (2,5)
Suiza
517 (1,7)
Espaa
498 (2,5)
Francia
494 (4,0)
Islandia
485 (2,7)
Letonia (Letn)
480 (2,3)
Portugal
476 (3,4)
Lituania
470 (2,4)
Irn, Rep. Islmica
463 (1,9)
Chipre
Pases que no satisfacen los requisitos para las tasas muestrales de participacin (vase el Apndice A para ms detalles)
545 (3,9)
8o9
14,2
Australia
558 (3,7)
8
14,3
Austria
471 (2,8)
8
14,3
Blgica (Fr)
565 (5,3)
8
14,0
Bulgaria
560 (5,0)
8
14,3
Pases Bajos
517 (5,1)
9
13,7
Escocia
Pases que no renen las especificaciones de edad y grado (alto porcentaje de estudiantes mayores; vase el Apndice A para ms detalles)
411 (4,1)
8
15,7
Colombia
531 (4,8)
8
14,8
Alemania
486 (4,7)
8
14,6
Rumania
560 (2,5)
8
14,8
Eslovenia
Pases con procedimientos de muestreo no aprobados a nivel de aula (vase el Apndice A para ms detalles)
478 (3,1)
7
13,9
Dinamarca
497 (2,2)
8
13,6
Grecia
525 (3,7)
8
14,3
Tailandia
Pases con procedimientos de muestreo no aprobados a nivel de aula y que no renen otros requisitos (vase el Apndice A para ms detalles)
524 (5,7)
8
14,1
Israel
430 (3,7)
9
15,3
Kuwait
326 (6,6)
8
15,4
Sudfrica
Fuente: Beaton et al., 1996.
Escalas descritas
Si bien ha habido una tendencia constante a presentar las distribuciones
y los errores estndar de los puntajes de las pruebas, tambin existe una
tendencia emergente para presentar las distribuciones en forma de niveles
de competencia. Esto tiene una mayor utilidad en relacin con el desarrollo
poltico..
Se definen continuos de competencia utilizando la modelizacin de
la respuesta al tem y obteniendo luego de los expertos en el rea una
descripcin detallada de las competencias requeridas para contestar los
93
www.iiep.unesco.org
tems de pruebas que correpsonden a diversos puntajes en el continuo. Estos

mapas de tems permiten una interpretacin de la variable subyacente
medida por las pruebas. Al colocar puntos de corte en la escala se pueden
establecer niveles de competencia y los resultados se pueden presentar de
manera mucho ms significativa. Este enfoque ofrece a los responsables
polticos informacin sobre los porcentajes de estudiantes de su poblacin
que son competentes en cada nivel de competencia, as como informacin
sobre el conocimiento y las competencias que los estudiantes de cada nivel
manejan efectivamente.
Desde fines de la dcada de los ochenta, la mayora de los estudios
internacionales han utilizado las escalas descritas (desde el IAEP hasta la
IEA/RLS, el IALS, el TIMSS, el SACMEQ y el PISA) para presentar los
niveles de rendimiento o competencia. Esta presentacin hace hincapi en
que hay un enfoque de presentacin complementario al uso de promedios y
errores estndar, y que el uso de escalas referenciadas estndar es un mtodo
para comunicar a los responsables polticos que los programas de intervencin
basados nicamente en promedios pueden ser tergiversados.
En el estudio del SACMEQ, los profesores fueron evaluados
utilizando una prueba que se superpona con la prueba aplicada a sus
propios estudiantes. Esto permiti que sus resultados fueran mapeados en
la misma escala, una fuente muy importante de informacin para las
autoridades del pas. Los porcentajes de los estudiantes y de los profesores
en cada nivel de competencia de lectura se presentan en el Grfico 4.3.
El principal objetivo del SACMEQ fue ayudar al fortalecimiento de
capacidades en cada pas y a formular una poltica destinada a mejorar
los rendimientos. Se han puesto en circulacin archivos de datos de los
proyectos SACMEQ I y SACMEQ II. Se han previsto comparaciones
intranacionales y algunas estn empezando a aparecer. Adems, los
estudios nacionales estn utilizando escalas descriptivas.
En el Recuadro 1 se presenta como ejemplo adicional la escala
descriptiva utilizada en el estudio de la IAEP como base para la presentacin
de los resultados comparados entre pases en ciencias.
Esta forma de presentacin de resultados posibilita reflexiones ms
interesantes sobre las relaciones entre rendimiento y enseanza. Se pueden
definir los puntos de referencia, pero, ms importante an, se pueden
formular estrategias de intervencin para los estudiantes en cada nivel y
94
www.iiep.unesco.org
Grfico 4.3 Niveles de competencia de los estudiantes y profesores del

6 grado en el proyecto SACMEQ II
0
10
20
30
40
50
60
70
Prelectura
Lectura emergente
Lectura bsica
Lectura para obtener el significado
Lectura interpretativa
Lectura inferencial
Lectura analtica
Lectura crtica
Estudiantes
Profesores
Fuente: Ross et al., 2005.
no slo para los estudiantes que estn por debajo de los niveles esperados
de rendimiento. Esto tiene considerables implicaciones para los encargados
de elaborar el currculo y formular poltica.
La manera en que se presentan los resultados de los estudios
internacionales puede tener un impacto significativo al generar opinin pblica
y decisiones polticas. Tambin es importante reconocer que, a pesar de todos
los esfuerzos desplegados en las ingeniosas presentaciones de los datos, poco
se puede hacer para evitar que los medios de comunicacin concentren su
atencin en los resultados ms visibles de las comparaciones internacionales,
es decir, los aspectos carrera de caballos. No obstante, estudios bien
realizados aportan informacin que va ms all de las clasificaciones
espectaculares y su impacto con poca visin de futuro sobre los egos
nacionales. Un mrito de las comparaciones es que, al ilustrar los altos
niveles de rendimiento alcanzados en algunos de los pases participantes,
los investigadores son capaces de aportar pruebas empricas de que esos
niveles estn al alcance de otros sistemas educativos. En este sentido,
los resultados comparados a menudo han probado ser poderosos incentivos
para estimular que en los pases se investigue por qu sus estudiantes son
95
www.iiep.unesco.org
menos competentes y mostrar lo que se podra hacer para mejorar su

sistema educativo.
Recuadro 1.
Nivel 700
Los niveles de competencia en ciencias de la IAEP
Integracin de la informacin cientfica y las pruebas

experimentales
Los estudiantes que se encuentran en este nivel pueden interpretar datos

experimentales que incluyen diversas variables. Tambin pueden interrelacionar
informacin presentada de diversas formas textos, grficos, cuadros y diagramas.
Los estudiantes pueden formular predicciones basndose en los datos y las
observaciones, y son conscientes de las limitaciones de las extrapolaciones. Los
estudiantes demuestran una mayor comprensin de conocimientos y conceptos
cientficos ms avanzados, tales como la definicin de calora o de cambio
qumico.
Nivel 600
Comprensin y aplicacin de conocimientos y principios cientficos

intermedios
Los estudiantes que se encuentran en este nivel muestran la comprensin de

hechos y principios cientficos intermedios, y pueden aplicar esta comprensin en el
diseo de experimentos y la interpretacin de datos. Tambin pueden interpretar cuadros
y diagramas utilizados para transmitir informacin cientfica. Los estudiantes que se
encuentran en este nivel pueden inferir relaciones y derivar conclusiones a partir de
hechos y principios, especialmente de la fsica.
Nivel 500
Utilizacin de procedimientos cientficos y anlisis de datos
Los estudiantes que se encuentran en este nivel comprenden los procedimientos

experimentales utilizados en la ciencia, tales como el diseo de experimentos, el control
de variables y el uso de equipos. Pueden identificar en un grfico las conclusiones ms
adecuadas derivadas de los datos y la mejor explicacin de los fenmenos observados.
Tambin comprenden algunos conceptos en diversas reas cientficas, incluyendo las
ciencias de la vida, la fsica, las ciencias de la tierra y el espacio.
Nivel 400
Comprensin y aplicacin de principios cientficos simples
Los estudiantes que se encuentran en este nivel muestran un mayor conocimiento

en ciencias de la vida, especialmente del sistema biolgico humano, y pueden aplicar
algunos conceptos bsicos de la fsica, incluyendo el de fuerza. Tambin muestran una
comprensin elemental de algunos de los mtodos bsicos de razonamiento utilizados
en la ciencia, incluyendo la clasificacin e interpretacin de enunciados.
Nivel 300
Conocimiento de hechos coditianos
Los estudiantes que se encuentran en este nivel identifican algunos fenmenos

a partir de experiencias de la vida cotidiana. Por ejemplo, muestran que tienen algunos
conocimientos rudimentarios relacionados con el medio ambiente y los animales.
Fuente: Lapointe et al., 1989.
96
www.iiep.unesco.org
Conclusin
En algunos pases, los resultados de los estudios internacionales
(como los efectuados por la IEA y la OCDE) han tenido un fuerte impacto
sobre el pblico al traer el tema de la excelencia al foro. En muchos
sistemas educativos, las personas tienden a sostener una opinin cmoda,
en el sentido de que su sistema educativo es el mejor del mundo y cuando
las pruebas empricas indican que ste es quiz un punto de vista
cuestionable, se produce una conmocin. Como indican Beaton et al.
(1999) y Postlethwaite (2004), los estudios internacionales a menudo han
desempeado un papel significativo al estimular mejoras en la inversin
en educacin, la ejecucin de revisiones de los currculos, la construccin
de nuevos estndares, la revisin de los programas de formacin docente
y, frecuentemente, han forzado una mayor consideracin de las
desigualdades en los recursos de las escuelas, la organizacin escolar y
las prcticas docentes.
Por ejemplo, el impacto de los estudios de la IEA en Suecia y los
Estados Unidos produjeron cambios en el currculo y las prcticas en la
escuela. La participacin de Hungra en los estudios de la IEA condujo a
una reforma del currculo en lectura y el hallazgo de qu factores ligados
al hogar tenan ms influencia que los factores escolares condujo a
examinar las ideologas curriculares en varios pases de Europa Oriental.
En Noruega, los resultados del TIMSS informaron la poltica relativa al
currculo del segundo nivel de educacin secundaria, generando una mayor
atencin a las directrices destinadas a responder a las diferencias de gnero
en el rendimiento y produjeron revisiones del currculo destinado a la
formacin del personal docente, porque se percibi que se necesitaba
fortalecer la formacin de los profesores en matemtica y ciencias.
En el nivel de la educacin primaria, las diferencias entre escuelas
son muy grandes en los pases en desarrollo, donde se observan enormes
desigualdades en las condiciones de escolarizacin, calificacin del
personal docente, disponibilidad de textos escolares y otros materiales
pedaggicos. En los pases industrializados, donde los insumos y recursos
pedaggicos tienden a ser uniformes en las escuelas de educacin primaria
de un sistema dado, variables tales como la calificacin del personal
docente o la disponibilidad de textos escolares generalmente estn
asociadas con variaciones insignificantes en el rendimiento.
La exploracin comparada entre pases de los factores asociados con
el rendimiento cuestionaron progresivamente el famoso hallazgo del
97
www.iiep.unesco.org
Coleman Report, en el sentido de que los recursos y procesos escolares

tienen poco impacto sobre el rendimiento de los estudiantes, una vez que
se toma en cuenta las diferencias atribuibles a las caractersticas del hogar
del estudiante. Ciertamente, las caractersticas del hogar siguen siendo
un determinante universal de las diferencias de rendimiento, tanto en los
pases industrializados como en desarrollo. Sin embargo, la fuerza de las
correlaciones entre el origen socioeconmico de los estudiantes y el
rendimiento vara entre pases, indicando que algunos sistemas pueden
ser ms eficaces que otros en la moderacin de los efectos de la desventaja
y brindando ms igualdad de oportunidades de aprendizaje a los diferentes
grupos sociales que constituyen su poblacin.
De manera semejante, la magnitud y las pautas de la brecha de gnero
en el rendimiento difiere entre pases y parece depender de diferencias
culturales y organizativas. Si bien las desigualdades masculino-femenino
han disminuido con el tiempo en matemtica (y, en menor medida, en
ciencias), han surgido nuevas preocupaciones en lo que se refiere a la lectura,
un rea en la que los nios tienden a tener un menor rendimiento que las
nias en la mayora de pases. En algunos casos se ha mostrado que programas
especficos destinados a reducir la brecha de gnero han sido eficaces
(Keeves, 1995).
Mientras que los estudios internacionales han identificado algunas
variables de la escuela que parecen funcionar para producir niveles ms
altos de competencia (por ejemplo, se ha encontrado que el rendimiento de
los estudiantes est positivamente relacionado con el tiempo asignado al
estudio de la asignatura en la escuela y el tiempo asignado a las tareas en
casa), el mensaje ms importante transmitido a los responsables polticos
por las comparaciones internacionales parece ser que, en general, el impacto
de cualquier variable relacionada con la escuela considerada individualmente
es pequeo y a menudo est vinculado a una variedad de otros aspectos del
contexto educacional. No es dable esperar ningn progreso considerable
en el rendimiento implementando simplemente alguna innovacin
milagrosa, copiada de algn aspecto especfico hallado en los sistemas
educativos con alto rendimiento. Por el contrario, se puede aprender mucho
mediante el anlisis cuidadoso de cmo importantes factores positivos y
negativos interactan en una variedad de otros sistemas, a fin de redisear
las reformas nacionales.
Los gobiernos han manifestado un inters creciente y otorgado apoyo
financiero a estos esfuerzos de investigacin basndose en el presupuesto
98
www.iiep.unesco.org
general de que el progreso en alfabetizacin y aritmtica bsica en la

poblacin activa producira una mejor calidad de vida y mejorara la
competitividad econmica. Por ejemplo, la OCDE y el Banco Mundial
frecuentemente han basado sus argumentos en favor de un mejor monitoreo
de la educacin en la relacin entre rendimiento educativo y crecimiento
de la productividad a nivel nacional (OECD, 1989). Sin embargo, si la
naturaleza de esta relacin es causal o no constituye un tema muy debatido.
McKenzie y Wurzburg (1998) han argumentado que las pruebas se sustentan
en comparaciones entre pases en diferentes etapas de desarrollo y las
relaciones podran ser espurias. Las publicaciones de la IEA indican que
hay pocas pruebas contundentes para apoyar la ampliamente difundida
visin de que existe una conexin causal fuerte y directa entre los puntajes
nacionales promedio de los estudiantes en las pruebas y su competitividad
econmica (Beaton et al., 1999).
Los autores de una sntesis reciente de la literatura relacionada con el
tema (Hannum y Buchman, 2003) propusieron una visin ms equilibrada.
Concluyeron que las pruebas acerca de los efectos de la educacin sobre el
crecimiento econmico de los pases son, en efecto, una mezcla: algunos
estudios muestran efectos positivos y otros no indican efectos a corto plazo.
A nivel individual, los efectos son casi universalmente positivos, si bien con
grandes variaciones en la magnitud de los retornos econmicos por ao
adicional de escolarizacin, dependiendo de una variedad de factores
nacionales. Adems, existen fuertes indicios de que la educacin tiene
efectos positivos globales sobre la salud, la disminucin de la mortalidad y
la moderacin del crecimiento demogrfico. Tambin parece haber algunas
pruebas claras de que la educacin contribuye a reducir la desigualdad de
gnero, pero no otros tipos de desigualdad, como las desventajas
socioeconmicas o tnicas.
As, el debate sobre los resultados a largo plazo de la educacin a
largo plazo parecen lejos de estar concludos y muy probablemente
continuar alimentando en lugar de disminuir el inters de los
responsables polticos en las comparaciones internacionales de los
resultados de sus sistemas educativos.
99
www.iiep.unesco.org
Bibliografa
Beaton, A.; M. Martin; I. Mullis; E. Gonzalez; T. Smith; D. Kelly. 1996.
Science achievement in the middle school years, Boston: IEA, TIMSS
International Study Center.
Beaton, A.; T.N. Postlethwaite; K.N. Ross; D. Spearritt; R. Wolf. 1999.
The benefits and limitations of international educational achievement
studies, Paris: IIEP-UNESCO.
Blum, H.; H. Goldstein; F. Gurin-Pace. 2001. IALS: An analysis of
international comparisons of adult literacy, Assessment in Education,
vol. 8, n. 2, pp. 225-246.
Coleman, J.S. 1966. The equality of educational opportunity study,
Washington, DC: U.S. Department of Health, Education, and Welfare,
Office of Education.
Comber, L.C.; J.P. Keeves. 1973. Science education in nineteen countries,
Stockholm: Almquist & Wiksell.
Elley, W. 1992. How in the world do students read?, Hamburg: International
Association for the Evaluation of Educational Achievement (IEA).
Freudenthal, H. 1975. Pupils achievements internationally compared,
Educational Studies in Mathematics, n. 6, pp. 126-186.
Goldstein, H.; R. Wood. 1989. Five decades of response modelling,
British Journal of Mathematical and Statistical Psychology, n. 42,
pp. 139-167.
Griffin, P. 2004. Total test-score variable. An approach to the validity issue:
A comment on Russells zero-sum hypothesis, Curriculum Inquiry,
vol. 34, n. 1, pp. 319-340.
Griffin, P. October 2001. New directions in the measurement of literacy
and numeracy: The SACMEQ tests and their linkages to levels of
competence. Paper presented at the UNESCO Policy Forum for the
SACMEQ Assembly of Ministers. Paris: IIEP-UNESCO.
Hannum, E.; C. Buchmann. 2003. The consequences of global educational
expansion, Cambridge, MA: American Academy of Arts and
Sciences.
100
www.iiep.unesco.org
Husn, T. (Ed.). 1967. A comparison of twelve countries: international

study of achievement in mathematics, vols. 1-2, Stockholm:
Almquist & Wiksell.
Keeves, J. 1995. The World of School Learning: Selected Key Findings from
35 years of IEA research, The Hague: The International Association
for the Evaluation of Educational Achievement (IEA).
Lapointe, A.; N.A. Mead; G.W. Phillips. 1989. A world of differences: An
international assessment of mathematics and science, Princeton, NJ:
Educational Testing Service.
Martin, M.O.; D.L. Kelly (Eds.). 1996. TIMSS technical report: vol. 1.
Design and development, Chestnut Hill, MA: Boston College.
McKenzie, P.; G. Wurzburg. 1998. Lifelong learning and employability,
OECD Observer, n. 207, pp. 13-17.
National Commission on Excellence in Education. 1983. A nation at risk:
The imperative for educational reform superintendent of documents,
Washington, DC: U.S. Government Printing Office (Publication
n. 20402).
Mullis, I.V.S.; A.M. Kennedy; M.O. Martin; M. Sainsbury. 2004. PIRLS
(Programme in International Reading Literacy Study) 2006: Assessment
framework and specifications, Chestnut Hill, MA: International
OECD. 1989. Employment outlook, Paris: OECD.
OECD. 1996. Lifelong learning for all, Paris: OECD.
OECD. 2001. Knowledge and skills for life: First results from PISA 2000,
Paris: OECD.
OECD. 2004. Learning for tomorrows world: First results from PISA 2003,
Paris: OECD.
OECD-UNESCO. 2003. Literacy skills for the world of tomorrow: Further
results from PISA 2000, Paris: OECD/UNESCO-UIS.
Peaker, G. 1975. An empirical study of education in 21 countries: A
technical report, Stockholm: Almqvist & Wicksell.
Plomp, T. 1999. The relevance of IEA type international comparative
assessments of educational achievement. Paper presented at the
40th General Assembly of IEA, Oslo, August.
101
www.iiep.unesco.org
Postlethwaite, T.N. 2004. What do international assessment studies tell us

about the quality of school systems? Acceso: 5 de julio de 2005 en:
http://portal.unesco.org/education/en/ev.php-URL_ID=36356&URL_
DO=DO_PRINTPAGE&URL_SECTION=201.html
Rosier, M.J.; J.P. Keeves. 1991. Science education and curricula in twentythree countries: The IEA study of science, Oxford: Pergamon
Press.
Ross, K.; M. Saito; S. Dolata; M. Ikeda. 2005. SACMEQ data archive,
Paris: IIEP-UNESCO.
Russell, H. 1981. Validity patterns and the total test score variable, Toronto:
OISE (mimeo.).
Russell, H. 1982. Total score. Subscore group: Comments, Wellington:
Department of Education [Memorandum IEA (Maths-NZ) A./362].
Russell, H. 2004. Connections among factors in education, Curriculum
Inquiry, vol. 34, n. 3, pp. 353-362.
Thorndike, R.L. 1973. Reading comprehension education in fifteen
countries, Stockholm: Almqvist & Wiksell.
Travers, K.J.; I. Westbury (Eds.). 1989. The IEA study of mathematics:
Analysis of mathematics curricula, Oxford: Pergamon.
Tuijnman, A. 2000. Benchmarking adult literacy in America: An
international comparative study, Ottawa: Statistics Canada.
Tuijnman, A.; I.S. Kirsch; S. Jones; T.S. Murray. 1994. Literacy, economy, and
society: Results of the first International Adult Literacy Survey, Paris:
OECD.
WCEFA. 1990. Declaracin mundial sobre educacion para todos, Nueva
York: WCEFA.
UNESCO. 2000. Education for all. Status and trends 2000. Assessing
learning achievement, Paris: UNESCO.
United Nations. 2000. United Nations millennium declaration, New York:
United Nations (Resolution adopted by the General Assembly A/
RES/55/2). Existe versin en espaol: Declaracin del milenio de
las Naciones Unidas, Nueva York: Naciones Unidas (Resolucin
aprobada por la Asamblea General A/RES/55/2). Cf.:
http://daccessdds.un.org/doc/UNDOC/GEN/N00/559/54/PDF/
N0055954.pdf?OpenElement
102
www.iiep.unesco.org
Apndice: estudios internacionales publicados desde la dcada de los sesenta

Estudio
1964. IEA/FIMS
Primer Estudio Internacional
de Matemtica
[First International
Mathematics Study]
Dominios
evaluados
Matemtica
Pases
12 pases:
Alemania (RFA), Australia, Blgica,
Escocia, Estados Unidos, Finlandia,
Francia, Inglaterra, Israel, Japn, Pases
Bajos y Suecia.
www.iiep.unesco.org
103
1970-1971. IEA/FISS
Primer Estudio Internacional
de Ciencias
[First International Science
Study]
Ciencias
19 pases: Alemania (RFA), Australia,

Blgica (flamenca), Blgica (francesa),
Chile, Escocia, Estados Unidos,
Finlandia, Francia, Hungra, India,
Inglaterra, Irn, Italia, Japn, Nueva
Zealandia, Pases Bajos, Suecia
y Tailandia.
1970-1971. IEA/RCS
Estudio sobre Comprensin
de Lectura
[Reading Comprehension
Study]
Lectura
15 pases: Blgica (flamenca), Blgica

(francesa), Chile, Escocia, Estados
Unidos, Finlandia, Hungra, India,
Inglaterra, Irn, Israel, Italia, Nueva
Zelandia, Pases Bajos y Suecia.
1970-1971.
IEA/Estudio sobre Literatura
[IEA/Literature Study]
Literatura

(francesa), Chile, Estados Unidos,
Finlandia, Inglaterra, Irn, Italia, Nueva
Zelandia y Suecia.
1970-1971.
IEA/Estudio del francs
como lengua extranjera
[IEA/French as a foreign
language Study]
Francs como
lengua
extranjera
8 pases: Chile, Escocia, Estados

Unidos, Inglaterra, Nueva Zelandia,
Pases Bajos, Rumania y Suecia.
Poblaciones objetivo
Estudiantes que cursan el
grado modal para los alumnos
de 13 aos (11 pases);
estudiantes que cursan el
ltimo ao de educacin
secundaria (10 pases).
Pob. I: estudiantes de 10 aos
(16 pases).
Pob. II: estudiantes de
14 aos (18 pases).
Pob. IV: estudiantes que
cursan el ltimo ao de
educacin secundaria
(18 pases).
Pob. I: estudiantes de 10 aos
(14 pases).
14 aos (I5 pases).
educacin secundaria
(15 pases).
14 aos.
educacin secundaria.
Pob. II: estudiantes de 14
aos.
Principales publicaciones
Husn, T. (Ed.). 1967. A comparison of
twelve countries: International study of
achievement in mathematics, vols. 1-2,
Comber, L.C. y J. P. Keeves. 1973.

Science education in nineteen countries,
Stockholm: Almquist & Wiksell; New
York: John Wiley & Sons.
Thorndike, R.L. 1973. Reading

comprehension education in fifteen
countries: An empirical study,
Purves, A.C. 1973. Literature education

in ten countries, Stockholm: Almquist &
Wiksell; New York: John Wiley & Sons.
Carrol, J.B. 1975. The teaching of

French as a foreign language in eight
countries, Stockholm: Almquist &
Wiksell; New York: John Wiley & Sons.
Dominios
evaluados
Ingls como
lengua
extranjera
Pases
www.iiep.unesco.org

14 aos.
Conocimientos 10 pases: Alemania (RFA), Estados
10 aos.
Unidos, Finlandia, Irn, Irlanda, Israel,
y actitudes en
educacin cvica Italia, Nueva Zelandia, Pases Bajos y
Suecia.
educacin secundaria (18
pases).
1982.
Pob. A: estudiantes que
Matemtica
IEA/SIMS
cursan el grado modal para
(francesa), Canad (British Columbia
Segundo Estudio
los alumnos de 13 aos.
y Ontario), Escocia, Estados Unidos,
Internacional de Matemtica
Finlandia, Francia, Hong Kong, Hungra, Pob. B: estudiantes que
[Second International
Inglaterra y Gales, Israel, Japn,
Mathematics Study]
educacin secundaria y tienen
Luxemburgo, Nigeria, Nueva Zelandia,
cerca de 5 horas de cursos de
Pases Bajos, Swazilandia, Suecia y
matemtica por semana.
Tailandia.
Pob. 1 (15 pases):
Ciencias
23 pases: Australia, Canad, China,
1983-1984.
estudiantes que cursan
Corea, Estados Unidos, Filipinas,
IEA/SISS
el grado modal para los
Finlandia, Ghana, Hong Kong, Hungra,
Segundo Estudio
alumnos de10 aos. Pob. 2
Inglaterra,Israel, Italia, Japn, Nigeria,
(17 pases): estudiantes que
Noruega, Pases Bajos, Papua Nueva
[Second International Science
Guinea, Polonia, Singapur, Suecia,
Study]
los alumnos de 13 aos.
Tailandia y Zimbabwe.
Pop. 3 (13 pases): estudiantes
que cursan el ltimo ao de
educacin secundaria
1970-1971.
IEA/Estudio sobre el ingls
como lengua extranjera
[IEA/English as a foreign
language Study]
1971.
IEA/Primer Estudio de
Educacin Cvica
[IEA/First Civic Education
Study]
10 pases:
Alemania (RFA), Blgica (francesa),
Chile, Finlandia, Hungra, Israel, Italia,
Pases Bajos, Suecia y Tailandia.
Lewis, E.G. y C.E. Massad. 1975. The
teaching of English as a foreign language
in ten countries, Stockholm: Almquist &
Wiksell; New York: John Wiley.
Farnen, R.F., A.N. Oppenheim y J.
Torney. 1976. Civic education in ten
countries: An empirical study, Stockholm:
Almqvist & Wiksell; New York: John
Wiley.
Robitaille, D.F. y R.A.Garden (Eds.).
1989. The IEA study of mathematics
II: Context and outcomes of school
mathematics, Oxford: Pergamon Press.
Postlethwaite, T.N. y D.E. Wiley, (Eds.).

1992. Science achievement in twentythree countries: The IEA study of science
II, Oxford: Pergamon Press.
104
Estudio
Estudio
Pases
www.iiep.unesco.org
6 pases: Canad (4 provincias), Corea,

Espaa, Estados Unidos, Irlanda y el
Reino Unido.
Estudiantes de 13 aos de
edad.
Lapointe, A.E., N.A. Mead y

G.W.Phillips. January 1989. A world of
differences: An international assessment
of mathematics and science. Report of
the First International Assessment of
Educational Progress, Princeton, New
Jersey: Educational Testing Service
(Report n. 19-CAEP-01).
Matemtica,
ciencias
geografa
20 pases: Brasil (2 ciudades), Canad

(9 provincias) China (20 provincias),
Corea, Escocia, Eslovenia, Espaa
(escuelas en espaol), Estados Unidos,
Francia, Hungra, Inglaterra, Irlanda,
Israel (hebreo), Italia (Emilia-Romaa),
Jordania, Mozambique (2 ciudades),
Portugal, Suiza (15 cantones), Taiwn
y la Unin Sovitica.
Pob. 1 (14 pases):

estudiantes de 9 aos .
Pob. 2 (20 pases):
estudiantes de 13 aos
Lazer, S. June 1992. Learning about

the world. Report of the international
assessment of educational progress,
Princeton, New Jersey: Educational
Testing Service (Report n. 22-CAEP-05).
Lectura
32 pases: Alemania (occidental),

Alemania (oriental), Blgica (francesa),
Botswana, Canad (British Columbia),
Chipre, Dinamarca, Eslovenia, Espaa,
Estados Unidos, Finlandia, Filipinas,
Francia, Grecia, Hong Kong, Hungra,
Indonesia, Irlanda, Islandia, Italia,
Nigeria, Nueva Zelandia, Noruega, Pases
Bajos, Portugal, Singapur, Suecia, Suiza,
Tailandia, Trinidad y Tobago, Venezuela
y Zimbabwe.
Elley, W.B. 1992. How in the world do

Pob. A (28 pases):
students read? IEA study of reading
literacy, The Hague: IEA.
grado modal para alumnos
de 9 aos.
Pob. B (31 pases):
grado modal para alumnos de
14 aos.
105
1988.
ETS/IAEP-1
Primera Evaluacin
Internacional del Progreso
Educativo (IAEP-1,
matmatica y ciencias)
[First International
Assessment of Educational
Progress (IAEP-I,
Mathematics and Science)]
1991.
ETS/IAEP-2
Segunda Evaluacin
Internacional del Progreso
Educativo (IAEP -2,
matmatica y ciencias)
[Second International
Assessment of Educational
Progress (IAEP-II,
Mathematics and Science)]
1990-1991.
IEA/RLS
Estudio sobre la Lectura
[Reading Literacy Study]
Dominios
evaluados
Matemtica,
ciencias
1988-1992.
IEA/COMPED
Estudio sobre las
Computadoras en la
Educacion
[Computers in Education
Study]
www.iiep.unesco.org
1994-1998
OCDE-STATCAN/IALS
Estudio Internacional sobre
Alfabetizacin de Adultos
(IALS)
[International Adult Literacy
Study]
1994-1995
IEA/TIMSS
Tercer Estudio Internacional
de Matemtica y Ciencias
(TIMSS)
[Third International
Mathematics and Science
Study]
Dominios
evaluados
Educacin en
TIC
Familiaridad
y actitudes en
relacin con las
TIC
Lectura,
aritmtica
bsica
Matemtica,
ciencias
Pases
Fase 1: 22 pases
Fase 2: 12 pases
Alemania, Austria, Blgica (flamenca),
Blgica (francesa), Bulgaria, Canad
(British Columbia) China, Eslovenia,
Estados Unidos, Francia, Grecia,
Hungra, India, Israel, Italia, Japn,
Letonia, Luxemburgo, Nueva Zelandia,
Pases Bajos, Polonia, Portugal, Suiza y
Tailandia.
20 pases: Alemania, Australia, Blgica
(flamenca), Canad , Chile, Dinamarca,
Eslovenia, Estados Unidos, Finlandia,
Hungra, Irlanda, Nueva Zelandia, Pases
Bajos, Polonia, Portugal, Reino Unido,
Suecia y Suiza.
Pob. 1: estudiantes que

alumnos de 10 aos.
alumnos de 13 aos.
cursan el penltimo grado
de educacin secundaria.
Pelgrum, W.J. y T. Plomp. 1991. The use

of computers in education worldwide:
Results from the IEA computers in
education survey in 19 education systems,
Oxford, UK: Pergamon Press.
Adultos entre 16 y 65 aos
OECD-STATCAN. 2000. Literacy in

the information age: final report of the
international adult literacy survey,
Paris and Ottawa: OECD and Statistics
Canada.
46 pases: Alemania, Argentina,

Australia, Austria, Blgica (flamenca),
Blgica (francesa), Bulgaria, Canad,
Chipre, Colombia, Corea, Dinamarca,
Escocia, Eslovenia, Espaa, Estados
Unidos, Federacion de Rusia, Finlandia,
Filipinas, Francia, Grecia, Hong Kong,
Hungra, Indonesia, Inglaterra, Irn,
Irlanda, Islandia, Israel, Italia,
Pob. 1: estudiantes
matriculados en los dos
grados que tienen la
proporcin ms grande de
alumnos de nueve aos
(29 pases).
Pob. 2: estudiantes
matriculados en los dos
grados que tienen la
proporcin ms grande
de alumnos de 13 aos
(46 pases).
Pob. 3: estudiantes que cursan
el ltimo ao de educacin
Beaton, A.E., M.O. Martin, I.V.S. Mullis,

E.J. Gonzales, T.A. Smith y D.L. Kelly.
1996. Science achievement in the middle
school years: IEAs TIMSS, Chestnut Hill,
MA: Boston College.
Beaton, A.E., I.V.S.Mullis, M.O. Martin,
E.J. Gonzales, D.L. Kelly y T.A.Smith.
1996. Mathematics achievement in
106
Estudio
Estudio
Matemtica,
ciencias
Pases
Japn, Kuwait, Letonia, Lituania,

Mxico, Nueva Zelandia, Noruega,
Pases Bajos, Portugal, Repblica Checa,
Repblica Eslovaca, Rumania, Singapur,
Sudfrica, Suecia, Suiza y Tailandia.
the middle school years: IEAs TIMSS,

secundaria (poblacin
Chestnut Hill, MA: Boston College.
general: 22 pases;
estudiantes que llevan cursos
avanzados de matemtica: 17
pases; estudiantes que llevan
cursos avanzados de fsica:
18 pases)
Albania, Australia, Blgica (flamenca),

Bulgaria, Canad, Chile, Taipei Chino,
Chipre, Corea, Eslovenia, Estados
Unidos, Federacin de Rusia, Finlandia,
Filipinas, Hong Kong (RAE) , Hungra,
Inglaterra, Israel, Italia, Japn, Jordania,
Letonia, Lituania, Malasia, Marruecos,
Moldova, Nueva Zelandia, Noruega,
Pases Bajos, Repblica Checa,
Repblica Eslovaca, Repblica de Irn,
Repblica de Macedonia, Repblica de
Tnez, Rumania, Singapur, Sudfrica,
Tailandia y Turqua.
Estudiantes del 8 grado
Martin, M.O, I.V.S. Mullis, E.J.

Gonzales, K.D. Gregory, T.A. Smith,
S.J. Chrostowski, R.A. Garden y
K.M. OConnor. 2000. TIMSS 1999
international science report: f ndings
from IEAs repeat of the third international
mathematics and science study at the
eighth grade, Chestnut Hill, MA: Boston
College.
www.iiep.unesco.org
Mullis, I.V.S., M.O. Martin , E.J.

Gonzales, K.D. Gregory, R.A. Garden,
K.M. OConnor, S.J. Chrostowski y T.A.
Smith. 2000. TIMSS 1999 international
mathematics report: findings from
IEAs repeat of the third international
mathematics and science study at the
eighth grade. Chestnut Hill, MA: Boston
College.
107
1997-1998.
IEA/TIMSS-R
Tercer Estudio Internacional
en Matemtica y Ciencias
Rplica
[Third International
Mathematics and Science
Study-Repeat]
Dominios
evaluados
1999.
IEA/CIVED
Segundo Estudio de
Educacin Cvica
[Second Civic Education
Study]
2001.
IEA/PIRLS
Estudio Internacional de
Competencia en Lectura
[Progress in International
Reading Literacy Study]
Dominios
Pases
evaluados
Conocimientos 28 pases: Alemania, Australia, Blgica,
(francesa), Bulgaria, Chile, Chipre,
y actitudes en
educacin cvica Colombia, Dinamarca, Eslovenia,
Estados Unidos, Estonia, Federacion de
Rusia, Finlandia, Grecia, Hong Kong
(RAE), Hungra, Inglaterra, Italia,
Letonia, Lituania, Noruega, Polonia,
Portugal, Rumania, Repblica Checa,
Repblica Eslovaca, Suecia y Suiza.
Lectura
35 pases: Alemania, Argentina,

Belice, Bulgaria, Canad, Colombia,
Chipre, Escocia, Eslovenia, Estados
Unidos, Federacin de Rusia, Francia,
Grecia, Hong Kong (RAE), Hungra,
Inglaterra, Irn, Islandia, Israel, Italia,
Kuwait, Letonia, Lituania, Repblica
Checa, Repblica Eslovaca, Repblica
de Macedonia, Marruecos, Moldova,
Nueva Zelandia, Noruega, Pases Bajos,
Rumania, Singapur, Suecia y Turqua.
Fase 1: estudios de caso
cualitativos en 24 pases.
Fase 2: evaluacin en 28
pases: Pob. 2: estudiantes
que cursan el grado modal
para los alumnos de 14 aos.
Poblacin opcional de
mayor edad: estudiantes del
segundo ciclo de educacin
secundaria.
Estudiantes que cursan el
4 grado
Torney-Purta, J., R. Lehmann, H. Oswald
y W. Schulz. 2001. Citizenship and
education in twenty-eight countries:
civic knowledge and engagement at
age fourteen, Amsterdam: International
Association for the Evaluation of
Educational Achievement (IEA).
Mullis, I.V.S., M.O.Martin, E.J. Gonzalez

y A.M. Kennedy. 2003. PIRLS 2001
international report: IEAs study of
reading literacy achievement in primary
schools, Chestnut Hill, MA: Boston
College.
108
Estudio
www.iiep.unesco.org
Estudio
2003.
OCDE/PISA 2003
Programa Internacional de
Evaluacin de Estudiantes
[Programme for International
Student Assessment]
Lectura,
matemtica,
ciencias,
resolucin de
problemas
Pases
www.iiep.unesco.org
Fase 1 (PISA): 32 pases: Alemania,

Australia, Austria, Blgica, Brasil,*
Canad, Corea, Dinamarca, Espaa,
Estados Unidos, Federacin de Rusia,*
Finlandia, Francia, Grecia, Hungra,
Irlanda, Islandia, Italia, Japn, Letonia,*
Liechtenstein, Luxemburgo, Mxico,
Nueva Zelandia, Noruega, Pases Bajos,
Polonia, Portugual, Reino Unido,
Repblica Checa, Suecia y Suiza.
Fase 2 (PISA+): 11 pases adicionales:
Albania, Argentina, Bulgaria, Chile,
Hong Kong, Indonesia, Israel,
ERY Macedonia, Per, Rumania
y Tailandia.
41 pases: Alemania, Australia, Austria,
Blgica, Brasil,* Canad, Corea,
Dinamarca, Espaa, Federacin de
Rusia,* Finlandia, Francia, Grecia,
Hong Kong, Hungra, Indonesia,
Irlanda, Islandia, Italia, Japn, Letonia,*
Liechtenstein, Luxemburgo, Macao,
Mxico, Nueva Zelandia, Noruega,
Pases Bajos, Polonia, Portugal, Reino
Unido, Repblica Checa, Repblica
Eslovaca, Repblica Serbia de
Yugoslavia, Suecia, Suiza, Tailandia,
Tnez, Turqua y Uruguay.
Estudiantes de 15 aos
OECD. 2001. Knowledge and skills for
life: First results from PISA 2000, Paris:
OECD.
OECD-UNESCO. 2003. Literacy skills
for the world of tomorrow: further results
from PISA 2000, Paris: OECD/UNESCOUIS.
Estudiantes de 15 aos
OECD. 2004. Learning for tomorrows

world. First results from PISA 2003,
Paris: OECD.
109
2000.
OCDE/PISA
Programa Internacional de
Evaluacin de Estudiantes
[Programme for International
Student Assessment]
Dominios
evaluados
Lectura,
matemtica,
ciencias
1997-1999.
SACMEQ
Consorcio del frica
Meridional para el Monitoreo
de la Calidad de la Educacin
[Southern Africa Consortium
for Monitoring Educational
Quality]
Dominios
evaluados
Lectura,
matemtica
Pases
15 pases: Botswana, Kenya, Lesotho,
Malawi, Mauricio, Mozambique,
Namibia, Seychelles, Sudfrica,
Swazilandia, Tanzania (continental),
Tanzania (Zanzbar), Uganda, Zambia y
Zimbabwe.
Estudiantes del 6 grado
www.iiep.unesco.org
Kulpoo, D. 1998. Mauritius: The quality

of education: some policy suggestions
based on a survey of schools, Paris:
IIEP-UNESCO (SACMEQ Policy
research: Report n.1).
Machingaidze, T. P. Pfukani y S.
Shumba. 1998. Zimbabwe: the quality
based on a survey of schools, Paris: IIEPUNESCO (SACMEQ Policy research:
Report n. 3).
Milner, G., J. Chimombo, T. Banda
y C. Mchikoma.2001. The quality of
education: some policy suggestions
based on a survey of schools: Malawi,
Paris: IIEP-UNESCO (SACMEQ Policy
research: Report n. 7).
Nassor, S y K.A. Mohammed. 1998.
Zanzibar: the quality of education: some
policy suggestions based on a survey of
school, Paris: IIEP-UNESCO. (SACMEQ
Policy research: Report n. 4.
Nkamba, M. y J. Kanyika. 1998. Zambia:
the quality of education: some policy
suggestions based on a survey of schools,
Paris: IIEP-UNESCO (SACMEQ Policy
research: Report n. 5).
Nzomo, J., M. Kariuki y L. Guantai. 2001.
The quality of education: some policy
suggestions based on a survey of schools:
Kenya, Paris: IIEP-UNESCO. (SACMEQ
Policy research: Report n. 6).
Voigts, F. 1998. Namibia: the quality
based on a survey of schools, Paris:
IIEP-UNESCO (SACMEQ Policy
research: Report n..2).
110
Estudio
Captulo 5
Qu es un buen
estudio internacional comparado?
Introduccin
En las ltimas dcadas ha habido un importante aumento del inters hacia
estudios internacionales comparados sobre la calidad de la educacin.
Esta tendencia ha sido alimentada por la creencia extendida de que la
comparacin de los niveles relativos de rendimiento de los estudiantes
entre pases es altamente predictiva en cuanto al futuro desarrollo
econmico de un pas. Desafortunadamente, sin embargo, algunos estudios
internacionales comparados de la calidad de la educacin tienen
limitaciones asociadas ya sea a su diseo tcnico e implementacin o a
su capacidad para aportar informacin que se pueda utilizar para la toma
de decisiones informada. Resultado: es importante que investigadores
(especialmente los tcnicos de la divisin de investigacin y planificacin
de los ministerios de educacin) y responsables de la toma de decisiones
(especialmente los ministros y el personal de alto nivel de los ministerios
de educacin) sean capaces de juzgar si el pas debe participar en un
estudio determinado. Esos juicios requieren que ellos sean capaces de
identificar las principales caractersticas de un buen estudio internacional
comparado.
Aqu surge un problema, porque estos dos grupos de personas
investigadores y responsables de la toma de decisiones generalmente
basan sus juicios de lo que es bueno en diferentes series de criterios
diferentes. El anlisis que sigue tiene como finalidad listar, comentar y,
ocasionalmente, responder a las cuestiones ms significativas que surgen
entre los miembros de cada grupo. Este marco de referencia se ha adoptado
con la esperanza de que una mejor elaboracin y comprensin de las
preocupaciones por parte de investigadores y responsables de la toma de
decisiones permitir que estos actores: (a) trabajen juntos ms eficazmente;
(b) hagan juicios slidos respecto de la participacin en estudios
internacionales comparados y (c) hagan que esos estudios respondan mejor
a las exigencias polticas y cientficas.
111
www.iiep.unesco.org
Desde el punto de vista de un responsable

de la toma de decisiones
El personal de alto nivel de los ministerios tiene que sopesar las
aspiraciones y necesidades de una amplia variedad de actores y, a fin de
cuentas, mantener la credibilidad personal y la confianza sostenidas en
las polticas y programas gubernamentales. sta es una tarea desafiante
y, desde la perspectiva de la cotidianidad, a veces puede parecer una suerte
de gestin de crisis. Por consiguiente, en los ministerios se debe estar
justamente interesados en las ramificaciones polticas de los resultados
de los estudios internacionales comparados sobre la calidad de la
educacin, as como en las reformas polticas y la prctica que pueden
derivar de los resultados de la investigacin.
Se basan los resultados en datos vlidos y anlisis slidos
de datos?
La principal preocupacin de los responsables de la toma de
decisiones ser que los resultados que emanen de un estudio internacional
comparado sobre la calidad de la educacin se basen en datos de alta
calidad y que el anlisis de datos se realice slidamente. A menudo sucede
que los funcionarios de alto nivel rechazan parte de una investigacin
cuando los hallazgos contradicen: (a) lo que generalmente se cree en el
ministerio o (b) lo que actualmente se considera la poltica oficial del
gobierno. Por consiguiente, incumbe a los investigadores mostrar que
los datos y los resultados de la investigacin son fiables. Esto se logra,
generalmente, cuando los investigadores demuestran que durante la
investigacin se han aplicado estndares tcnicos apropiados.
En algunos casos, resulta difcil para los investigadores convencer al
personal de alto nivel de los ministerios de la exactitud de los resultados de
la investigacin. Unos cuantos ejemplos reales basados en la experiencia
reciente del autor ilustrarn este punto.
En un ministerio se haba definido una poltica segn la cual habra 18
libros por alumno en la biblioteca de una escuela primaria. Sin embargo, los
resultados de la investigacin mostraron que en una regin slo haba un
promedio de dos libros por alumno en la biblioteca escolar promedio. No
es de extraar que los funcionarios declararan que los datos eran errneos.
Esta conclusin ilgica exigi que el equipo de investigadores visitara un
gran nmero de escuelas de la regin y efectuara una escrupulosa
contabilidad de los libros de las bibliotecas. El oneroso y prolongado
112
www.iiep.unesco.org
seguimiento de la recoleccin de datos produjo los mismos resultados que

la encuesta original y, finalmente, los funcionarios del ministerio aceptaron
que los datos de la investigacin eran exactos.
En otro ministerio, los funcionarios se quedaron conmocionados
porque el puntaje promedio en lectura de los estudiantes de ese pas era
mucho ms bajo que el esperado, y mucho ms bajo que en otros pases
cuyos sistemas educativos eran considerados menos eficaces. Asumieron
que esos otros pases haban excluido a ciertos grupos de estudiantes menos
capaces de las sesiones en las que se aplicaron las pruebas. Un juicio
cientficamente fundado sobre la calidad de los datos en esta reas requiere,
entre otras cosas, que el informe de investigacin de un estudio contenga
una muy clara descripcin de la poblacin objetivo definida para el
programa de pruebas, incluyendo una definicin precisa de qu estudiantes
fueron excluidos antes de la seleccin de la muestra final del estudio.
Estn los datos relacionados con las principales preocupaciones
de poltica del ministerio?
Los ministros de educacin siempre estn interesados en conocer
cmo se comparan los estudiantes de su propio sistema educativo con los
de pases similares, en relacin con el rendimiento en diferentes reas
disciplinarias y actitudes hacia el aprendizaje en diferentes asignaturas y
hacia la escuela en general.
La mayora de los ministros tambin estn interesados en los niveles
de oferta educativa, y si stos se han distribuido equitativamente o no
entre las regiones del pas y entre las escuelas de las regiones. En un
estudio internacional comparado, estos intereses deben conocerse con
anticipacin, de modo que la recoleccin de datos pueda tomarse en
consideracin tanto como sea posible. El mejor enfoque en esta rea es
comenzar un estudio internacional comparado con una fase preliminar
de entrevistas en la que se pregunta al ministro y a la mayora de los
funcionarios de alto nivel cules son sus inquietudes polticas en relacin
con las condiciones de escolarizacin y de calidad de la educacin. Si la
recoleccin de datos se concentra en estas preocupaciones, es ms probable
que el informe final de la investigacin y las recomendaciones sean ledas
y utilizadas por los responsables de la toma de decisiones.
En algunos estudios internacionales comparados es comn que los
investigadores formulen sugerencias de poltica que esbocen programas
de accin basados en los hallazgos de la investigacin. Por ejemplo, los
informes de investigacin producidos por el Consorcio del frica
113
www.iiep.unesco.org
Meridional y Oriental para el Monitoreo de la Calidad de la Educacin

(SACMEQ). Los investigadores del SACMEQ aportan listas de sugerencias
de poltica (basadas en pruebas) que se clasifican en funcin de marcos
de referencia temporales para la implementacin: corto plazo (unos seis
meses), medio plazo (alrededor de uno o dos aos) o a largo plazo (ms
de dos aos). Tambin se clasifican en funcin del costo: bajo costo, costo
intermedio y costo alto. Antes de publicarse, estos tipos de sugerencias
siempre deben verificarse respecto de su factibilidad mediante debates
con las personas apropiadas dentro del ministerio.
Se entregan oportunamente los resultados de la investigacin?
Puede suceder que en el parlamento o en la opinin pblica surja
rpidamente un problema acerca de algn aspecto de la educacin. Por
consiguiente, los resultados de la investigacin slo por azar podrn echar
alguna luz sobre el problema en cuestin. No obstante, si el diseo de la
investigacin se ha guiado por las inquietudes polticas del ministro y su
personal de alto nivel, entonces los resultados de la investigacin estarn
disponibles para informar los debates polticos.
Cuando se puede aportar informacin precisa rpidamente a los
responsables de la toma de decisiones, existe siempre una alta probabilidad
de que se usar para tomar decisiones bien fundadas. Por consiguiente,
cuando se planifica un estudio sobre la calidad de la educacin, hay que
prestar debida consideracin al aporte de suficientes recursos para entregar
los datos oportunamente. La experiencia muestra que muchos estudios
pierden una gran cantidad de tiempo en las fases de incorporacin,
depuracin y gestin de los datos, justo antes del anlisis principal de los
datos. Es necesario que los investigadores sean conscientes de este riesgo
y planifiquen en consecuencia.
Son los resultados de la investigacin tiles para orientar
acciones concretas de reforma?
Los funcionarios de alto nivel de los ministerios que tienen un
conocimiento limitado de las complejidades de la investigacin
educacional, a menudo buscan soluciones unidimensionales como vas
para la reforma de la educacin. Algunas veces esto lo pueden agravar los
investigadores, que presentan los resultados de la investigacin
internacional comparada en forma de cuadros con tabulaciones agregadas
de los porcentajes nacionales o los puntajes promedio. Esas tabulaciones
a menudo ignoran los peligros asociados con la Falacia ecolgica (Ross,
1997), segn la cual, por ejemplo, una relacin entre dos variables a nivel
114
www.iiep.unesco.org
del promedio nacional del anlisis de datos podra ser muy diferente
(o incluso inversa) en un pas en que el anlisis de datos se efecta a nivel
de estudiante.
Los investigadores tambin necesitan proponerse la presentacin de
resultados que reconozcan la complejidad del entorno educacional y, al
mismo tiempo, que no dejen de ser accesibles a los responsables de la toma
de decisiones debido a la jerga tcnica y las complejidades analticas. Lograr
ese equilibrio no es tarea fcil.
Son los resultados de la investigacin peligrosos para
el gobierno?
El personal de alto nivel del ministerio debe ser advertido e informado
previamente si algn resultado de la investigacin puede llegar a ser
peligroso, en el sentido de que muestra, por ejemplo, que una promesa
del gobierno no se ha cumplido o que la oferta educativa o el rendimiento
de los estudiantes es mucho ms bajo que lo esperado para el pas como
un todo o en algunas partes de l. Diferentes ministros reaccionan de
distinta manera a las malas noticias recibidas de los resultados de un
estudio internacional comparado. Estas reacciones pueden producirse por
una insatisfaccin general ante la crtica, el sentimiento de que el
rendimiento del sistema de educacin en su conjunto es un termmetro
de sus capacidades intelectuales, incertidumbres entre los colegas del
ministerio acerca de las prximas elecciones generales, etc.
Durante la ltima dcada, han habido varios ejemplos, tanto en los
pases desarrollados como en los pases en desarrollo, en que los ministros
retiraron los datos de sus pases de un estudio porque no les gustaban los
resultados o prohibieron la publicacin de los resultados de la investigacin
porque consideraban que las comparaciones hechas en el informe de
investigacin retrababan pobremente a su pas. En un famoso incidente
en la dcada de los noventa, un ministro retir a su pas de un estudio
internacional comparado justo antes de que se imprimiera el primer informe
de investigacin. En este caso, los datos de este pas tuvieron que ser
eliminados del conjunto de datos internacionales, todos los anlisis basados
en los datos agrupados tuvieron que rehacerse y el informe final de
investigacin tuvo que reescribirse completamente. Esta decisin tuvo
un gran costo en trminos de tiempo adicional y dinero. Cuando se
emprenden estudios internacionales comparados, ahora se pide
generalmente a los ministros que acepten la publicacin de los resultados
y los datos antes de que el estudio comience.
115
www.iiep.unesco.org
Los investigadores en esta rea necesitan una estrategia que no est

sujeta a sorpresas con respecto al ministro cuando se publique el informe
final de la investigacin. Esto quiere decir que si incluso las noticias no
son tan buenas, es mejor prever una presentacin clara y factual con el
ministro con suficiente antelacin a la difusin amplia de los resultados
de la investigacin. Esta presentacin debe incluir explicaciones
diplomticamente planteadas, as como sucintas y tcnicamente slidas
respecto de los hallazgos de la investigacin.
Son de alta calidad las muestras de estudiantes y escuelas?
Cuando se obtienen resultados de investigacin muy buenos o muy
malos o inesperados para un pas, es comn que el personal de alto nivel
del ministerio cuestione los procedimientos del muestreo. Responder a
tales cuestionamientos puede estar lleno de dificultades, porque las
respuestas correctas pueden ir contra el sentido comn. Por ejemplo, es
difcil explicar a mucha gente que el tamao de la muestra no es
necesariamente un punto de referencia para la precisin del muestreo o
que para la mayora de los pases, el tamao de la poblacin estudiantil
no tiene impacto sobre el tamao de la muestra que se debe seleccionar
(porque el factor poblacin finita es insignificante para la mayora de los
pases) o que en los pases en desarrollo pobres (donde las variaciones
entre las escuelas primarias tienden a ser grandes) el tamao requerido de
la muestra para un nivel dado de exactitud es generalmente mucho ms
alto que en los pases desarrollados ricos o que una muestra aleatoria
simple de escuelas seguida de una seleccin dentro de la escuela de una
muestra aleatoria simple de un nmero fijo de estudiantes, trae como
consecuencia una muestra sesgada (porque los estudiantes en las escuelas
grandes tienen una menor probabilidad de seleccin).
El nico punto de referencia cientfico para una muestra es la magnitud
del error muestral (o incertidumbre muestral), para una estadstica que es
generada a partir de datos muestrales como un estimado del valor de una
poblacin. El error muestral establece lmites a la incertidumbre en la estimacin
de muestras, y stas, en la mayora de los casos, son muy significativas para la
mayora de las personas, formadas o no en el campo de la estadstica.
Son justaslas pruebas?
Cuando el ministro pregunta si las pruebas son justas, l o ella est
preguntando si las pruebas son vlidas para los propsitos para los que
fueron concebidas. En muchos estudios internacionales comparados sobre
la calidad de la educacin, los niveles de validez de las pruebas estn
116
www.iiep.unesco.org
determinados por el grado en que las pruebas se construyen a partir de

tems de pruebas que tienen una cobertura representativa del contenido
del currculo oficial y la descripcin oficial de las competencias que se
supone que los estudiantes deben demostrar en una edad o grado
particulares.
Antes, los estudios internacionales comparados trataban de tener en
cuenta este requerimiento mediante la elaboracin de pautas nacionales
de comparacin de contenidos por competencias, que reflejaban lo que
era comn en el currculo de los pases participantes. Este enfoque tenda
a rechazar aspectos interesantes, pero no universales, de los diversos
currculos. En aos recientes, con la aparicin de tcnicas modernas de
pruebas de escalonamiento, ha sido posible utilizar cuadernillos de pruebas
rotatorias que permiten la utilizacin de un mayor nmero de tems y
posibilitan que cada sistema escolar sea puntuado separadamente en todos
los marcos de referencia curriculares entre todos los pases
participantes.
Desde el punto de vista de un investigador

Sera posible escribir una Gua para investigadores muy detallada
acerca de todos los estndares tcnicos que se deberan respetar cuando
se ejecuten estudios internacionales comparados sobre la calidad de la
educacin. En efecto, podra justificarse que se escribiera un libro
semejante en beneficio de todos esos estudios. Sin embargo, lo que sigue
slo es una seleccin de las caractersticas tcnicas ms importantes de
un buen estudio internacional comparado sobre la calidad de la
educacin.
Se ha elaborado una lista de diez caractersticas, que fueron
preparadas teniendo en mente dos propsitos. El primero, ofrecer un marco
de referencia para juzgar el valor cientfico de un estudio que ha sido
completado y publicado. El segundo, sensibilizar a los responsables
nacionales de la demanda y gestin de investigaciones internacionales
comparadas sobre las cuestiones tcnicas que hay que abordar, si un pas
desea obtener informacin vlida para planificar la calidad de la
educacin.
Hay que reconocer que toda investigacin internacional comparada
en gran escala difiere en relacin a sus objetivos y mtodos. Por
consiguiente, es imposible abordar los requisitos tcnicos en trminos de
prescripciones detalladas. Por el contrario, el enfoque ha sido ms bien
identificar las reas clave de preocupacin y luego plantear (y, donde es
117
www.iiep.unesco.org
adecuado, comentar) cuestiones que deben abordar los investigadores,

tales como el diseo, la implementacin y el informe de un estudio
internacional comparado.
Cules son los propsitos de la investigacin?
Cules son los propsitos especficos de un estudio internacional
comparado sobre la calidad de la educacin? Han sido claramente
formulados? Se han presentado pruebas en documentos o informes que
muestren que las interrogantes formuladas objeto de investigacin abordan
importantes cuestiones de poltica y teora en muchos de los sistemas
educativos participantes? (Si no es el caso, existe el peligro de que las
preguntas objeto de investigacin sean los temas favoritos de los
investigadores y no de los profesionales). Hay pruebas para mostrar que
el diseo del estudio se desarroll especficamente para posibilitar la
respuesta a interrogantes de poltica y teora?
Se han utilizado las cuestiones de poltica especificadas en el estudio
para guiar la preparacin de las tabulaciones ficticias o en blanco que
pueden constituir un marco de referencia para la presentacin de los
resultados de las variables que se requieren y los anlisis de datos que
hay que efectuar? Un enfoque semejante establece conexiones slidas
entre las inquietudes polticas y las recomendaciones que surgen de la
investigacin.
A veces se afirma que los intereses de los ditintos sistemas de
educacin son muy diferentes como para poder especificar un conjunto
de interrogantes de investigacin para guiar un estudio internacional
comparado. Sin embargo, la experiencia muestra que hay muchas
inquietudes polticas en el campo de la educacin que pueden ser
simultneamente permanentes y compartidas por la mayora de los sistemas
educativos. Por ejemplo, casi todos los ministerios de educacin se
interesan en los niveles de oferta y logro educacional, as como en la
equidad de estos niveles entre las unidades administrativas, tales como
las regiones en el seno de un pas, as como entre las escuelas.
Se han articulado con su diseo los propsitos del estudio?
Fue adecuado el diseo de la investigacin de un estudio
internacional comparado para responder a las interrogantes planteadas?
Cubrieron los instrumentos de recoleccin de datos (cuestionarios,
pruebas y escalas de actitud) todas las preguntas de la investigacin? Se
118
www.iiep.unesco.org
evitaron las interrogantes innecesarias en los instrumentos de recoleccin

de datos?
En algunos casos, es posible ver que en los instrumentos de
recoleccin de datos hay preguntas que no estn relacionadas con las
interrogantes planteadas por el estudio, lo que puede significar que los
investigadores han insertado preguntas basadas en sus propios intereses
de investigacin. Un gran desajuste entre las inquietudes polticas del
personal superior del ministerio de educacin y el foco de atencin del
diseo de una investigacin puede conducir con casi total seguridad a que
el informe de investigacin se quede en el escritorio.
Los especialistas en investigacin que desean que se utilicen los
resultados de su investigacin en la evaluacin y la formulacin de poltica,
deben reconocer la importancia que tiene mejorar el dilogo entre los
productores y los consumidores de informacin. Esto quiere decir que
ofrecer pruebas a los responsables de la toma de decisiones representa
una comunicacin significativa slo cuando el responsable de la decisin
est escuchando y reflexionando activamente sobre un problema afn. Los
investigadores que ignoran esta leccin a menudo presentan pruebas y
respuestas a una audiencia que puede estar planteando preguntas
desconectadas.
Cules son las definiciones de las poblaciones objetivo?
Cuando se contrastaron los pases en un estudio internacional
comparado, se compar lo comparable? Por ejemplo, si los estudiantes
de un grado especfico eran comparados por sus rendimientos, estaban
incluidos todos los alumnos de ese grado en la poblacin objetivo o fueron
excluidos algunos estudiantes? Es usual excluir a algunos alumnos, ya
sea por su escaso nmero (y sera muy caro recolectar datos sobre ellos,
por ejemplo, en reas muy aisladas) o porque estn en escuelas de
educacin especial (por ejemplo, para ciegos o sordos). Estos estudiantes
son designados generalmente como poblacin excluida. Es normal tener
una poblacin excluida que sea menos del 5 % del nmero total de
estudiantes en la poblacin objetivo deseada. Lo que no es deseable es
tener situaciones en las que, por ejemplo, en algunos pases se haya
excluido al 2 % y en otros al 15 %.
Fueron dadas a conocer las diferentes amplitudes de los niveles de
exclusin de escuelas y estudiantes, y se discuti el probable impacto de
estas exclusiones sobre las comparaciones de los promedios y las
119
www.iiep.unesco.org
distribuciones entre los pases? Lo que suscita mucha sospecha en el lector

es que no se d cuenta de los estudiantes excluidos. El investigador
experimentado siempre dar cuenta de la amplitud de la poblacin excluida
con las razones de dicha exclusin. Si no se brinda informacin sobre esta
materia, es probable que no se le haya prestado atencin y que, por tanto,
el lector no sepa qu se compara con qu. Este es un signo de que los
resultados de la investigacin pueden ser cuestionables.
El mismo argumento se aplica cuando se comparan los grupos de
edad. Un argumento para utilizar grupos de edad en lugar de grupos de
grado para el muestreo en el seno de la escuela es descubrir el nivel de
rendimiento de los estudiantes que nacieron en ciertas fechas (por ejemplo,
un ao calendario). Este enfoque trata de examinar cmo los sistemas
educacionales han enfrentado la educacin de una cohorte de edad.
Ah donde los sistemas escolares tienen altas tasas de repeticin de
grado es posible tener estudiantes de una edad especfica dispersos en varios
grados. En relacin con algunos sistemas educativos, se sostendr que en
este caso las pruebas son muy difciles para los estudiantes que estn tres
grados por detrs de los otros y que, por tanto, estos estudiantes deben ser
excluidos. Estas cuestiones deben abordarse en asociacin con los
procedimientos de construccin de la prueba, porque hay buenas razones
de carcter tico y tcnico por las que los estudiantes que estn en grados
inferiores no deberan estar sometidos a la experiencia de rendir una prueba
que, de un modo poco realista, est ms all de sus capacidades.
Se han utilizado procedimientos cientficos de muestreo?
Ha utilizado el estudio procedimientos cientficos de muestreo (que
incluyen la aplicacin del muestreo probabilstico, el uso de ponderaciones
de muestreo para evitar sesgos y el clculo de errores de muestreo, que
permiten afrontar las complejidades del diseo muestral)?
Todos los estudios internacionales comparados de alta calidad se
basan en muestras probabilsticas cientficamente establecidas, en las que
cada miembro de la poblacin objetivo definida tiene una oportunidad
conocida de seleccin, que no es nula. El muestreo probabilstico es
necesario a fin de ser capaces de calcular las mediciones correctas del
error de muestreo asociado con las estimaciones de las caractersticas de
la poblacin. Por consiguiente, la primera cuestion en el rea del muestreo
es preguntar: se ha aplicado un verdadero muestreo probabilstico?
Un segundo aspecto importante es la cuestin de las ponderacines
del muestreo, que se requieren en la mayora de las encuestas verdaderas
120
www.iiep.unesco.org
a fin de ajustarse a: (a) las variaciones en las probabilidades de seleccin

(por ejemplo, debidas al empleo de diferentes tasas de muestreo entre los
estratos) y/o (b) a la prdida de datos debida a tasas de respuestas poco
menos que perfectas.
Las estimaciones de la poblacin derivadas de las muestras deben
tener errores aceptables en relacin con las decisiones polticas basadas
en los resultados. Desde mediados de la dcada de los sesenta, muchos
de los principales estudios internacionales adoptaron el estndar que
consiste en disponer de diseos muestrales que tienen la misma o una
mejor presicin muestral que una muestra aleatoria simple de
400 estudiantes para las principales mediciones de los resultados
educacionales. Este nivel de precisin de la muestra posibilita errores de
muestreo de los resultados de los tems de las pruebas (porcentaje correcto)
de no ms de 2,5 % para un error estndar y no ms de 5 % para dos errores
estndar. Esto quiere decir, por ejemplo, que para una estimacin muestral
de 50 %, uno puede estar seguro 19 veces de 20 que el valor de la poblacin
se sita entre 45 y 55 %. Dado que en casi todos los pases la muestra es
una muestra bifsica o en dos etapas (primero una muestra de las escuelas
y luego una muestra de los estudiantes dentro de las escuelas), es
importante que el error estndar se calcule para tener esto en cuenta.
Muchas personas cometen el error de utilizar programas estadsticos
estndar para computadoras que producen errores estndar que asumen
que la muestra era una muestra aleatoria simple. Este supuesto puede
llevar a subestimar significativamente los errores estndar.
En algunos estudios, en los que las comparaciones internacionales
directas son menos importantes, un nivel ms bajo de precisin muestral
puede ser aceptable. ste es a menudo el caso cuando se requiere un amplio
anlisis del currculo. Dichos estudios a menudo pretenden descubrir
objetivos bien logrados, regularmente logrados y pobremente
logrados. En este caso, bastara decir que bien logrados significa que
cerca del 80 % o ms de los estudiantes lograron dominar un objetivo
especfico o unidad del currculo; regularmente logrado significa
alrededor del 50 % y pobremente logrado significa cerca del 20 % o
menos. En este caso, dos errores estndar del 10 % para la correccin del
porcentaje de los tems de las pruebas podra ser adecuado para los
propsitos del estudio.
La pregunta para el lector es, entonces: Se realiz el muestro de
tal manera que se produjeran errores estndar de muestreo aceptables para
121
www.iiep.unesco.org
los propsitos del estudio? A menudo sucede que investigadores que son
expertos en el rea del muestreo aportan una descripcin detallada de los
pasos del muestreo y los errores de muestreo correctos. Si no se ha
suministrado esta informacin, existe una clara posibilidad de que las
muestras sean sospechosas. Tambin es usual que los errores estndar del
muestreo se presenten en los cuadros de los resultados. Si no figuran ah,
entonces el lector debe estar alerta.
Tambin es necesario tener cuidado cuando se verifican las
diferencias estadsticamente significativas. En algunos casos, puede
parecer que una muestra muy grande produzca esas diferencias, porque
los clculos del error muestral se basan en el supuesto de una muestra
aleatoria simple.
Se han utilizado procedimientos sistemticos (y modernos) para
la elaboracin de los instrumentos?
La elaboracin de instrumentos para la recoleccin de datos es un
campo complejo y en rpido desarrollo, especialmente en lo que se refiere
al diseo y la elaboracin de pruebas para los estudiantes. Se pueden
plantear muchas interrogantes en esta rea, pero las respuestas a algunas
de las preguntas ms importantes no son siempre completamente
cientficas, porque la cuestin de los valores puede entrar en la discusin.
Por ejemplo, la construccin de pruebas vlidas para los estudiantes debe
basarse en la disponibilidad de descripciones claras y unvocas de los
propsitos centrales de la enseanza y el aprendizaje en relacin con el
currculo escolar. En muchos sistemas escolares, estos propsitos no se
explicitan o se presentan de manera tan general que no ofrecen una gua
para la construccin de pruebas.
Ah donde los estudios se proponen medir lo que los estudiantes han
aprendido en la escuela, los instrumentos de las pruebas deben cubrir el
currculo propuesto por los pases participantes. Generalmente, esto supone
un proceso en dos etapas.
En primer lugar, se emprende un anlisis de contenido del currculo en
los diversos pases (mediante las guas curriculares, textos, exmenes y de lo
que los profesores dicen que ensean). En segundo trmino, este primer paso
se utiliza para construir un plan internacional para las pruebas. Si bien
muchos de los objetivos curriculares sern comunes entre los pases, algunos
objetivos sern comunes a un subconjunto de pases. La matemtica y las
ciencias son reas disciplinarias clave en las que existe una considerable
variacin curricular entre los pases.
122
www.iiep.unesco.org
En algunos casos, el propsito de un estudio internacional comparado

se concentrar en otros resultados, tales como si los estudiantes pueden
leer lo suficiente como para desempearse en la sociedad o pasar al
grado siguiente. En estos casos, primero se deben emprender ejercicios
en cada pas para tener paneles que definan lo que se necesita para estos
tipos de resultados. ste es un proceso laborioso, pero debe ser
convincente.
Existe mucha menos variacin entre los pases en los objetivos
curriculares de asignaturas tales como la lectura y las lenguas extranjeras.
Sin embargo, debe haber acuerdo en el plan internacional y ste debe
cubrir el grueso del currculo en todos los pases, si la intencin del estudio
se concentra en los contenidos comunes de los currculos nacionales.
Los tems de las pruebas deben escribirse para cubrir todas las clulas
que tienen objetivos en el plan. Los formatos de los tems deben ser objeto
de acuerdo y estar justificados. Los tems deben ser sometidos a prueba
y analizados. Cuando se utilizan tems de opciones mltiples, los
distractores deben ser aceptables, no slo en trminos de contenido, sino
tambin de poder de distraccin. Las preguntas con respuestas abiertas,
que requieren que los estudiantes construyan respuestas, deben ser
sometidas a una prueba previa para asegurar que producen respuestas que
pueden ser objeto de puntuacin fiable. Cuando se utiliza el escalonamiento,
debe haber acuerdo sobre el significado esencial de la escala en lo que se
refiere al rendimiento del estudiante en tareas especificadas y en puntos
especificados en la escala. Debe haber acuerdo en la adecuacin de los
tems y la prueba debe parecer fiable. Cuando se trata de medir el cambio
en el tiempo, debe haber suficientes tems comunes entre los puntos
temporales a fin de permitir una medicin fiable del cambio.
Los tems deben ser sometidos a prueba para determinar el sesgo del
tem en cada pas. Las propiedades psicomtricas de los tems de la pruebas
deben ser similares en un nmero suficientemente grande de pases. Ah
donde haya que utilizar pruebas superpuestas, debe mostrarse en la etapa
de ensayo que los tems comunes utilizados para posibilitar la calibracin
en la misma escala cumplen su propsito.
En algunos casos se pueden considerar necesarias las tareas
prcticas [hands-on] de evaluacin del rendimiento (a menudo utilizando
herramientas especiales) para cubrir la gama completa de objetivos en un
rea disciplinaria. El diseo de esas tareas debe tener en cuenta la cantidad
de tiempo disponible para la aplicacin de la prueba, la necesidad de usar
herramientas simples y disponibles, y que no estn fuera del alcance de
123
www.iiep.unesco.org
los recursos de los pases participantes, y la necesidad de producir

respuestas que puedan ser objeto de puntuacin fiable entre los pases.
Los cuestionarios deben inclulir preguntas que cubran todos los
indicadores necesarios para responder a las cuestiones de poltica
planteadas al inicio del estudio. Varios de los indicadores tendrn que ser
lo que normalmente se llama variables derivadas, que se construyen a
partir de la informacin obtenida de diversas preguntas. Las preguntas se
deben escribir en lenguaje simple, fcilmente comprensible para todos los
estudiantes (capaces y menos capaces) que deben responderlas. Todas las
preguntas deben ser sometidas a prueba y analizadas para asegurar que
ofrecen informacin precisa y confiable.
Los instrumentos relativos a las actitudes que generalmente son parte
de los cuestionarios miden dimensiones actitudinales seleccionadas. Los
tems de actitudes se recolectan algunas veces mediante estudios especiales
restringidos entre los miembros de la poblacin objetivo y luego sometidos
a prueba y revisados para su forma final. Para el ensayo, a menudo se
necesitan tres veces tantos tems como para la escala final de medicin de
las actitudes. Debe mostrarse que la escala final es confiable en relacin
con los propsitos enunciados.
Permiten los procedimientos de traduccin comparaciones
vlidas entre pases?
La traduccin de los instrumentos de recoleccin de datos no es un
tema fcil y la pregunta ms imporante es: se verific cuidadosamente
la traduccin? Hay que instaurar procesos que aseguren la adecuacin
cultural, as como la equivalencia lingstica y psicomtrica de los
instrumentos entre los pases participantes. Esta tarea requiere la asistencia
de especialistas en investigacin bilinge y generalmente requiere la
verificacin comparada de los instrumentos originales de recoleccin de
datos con los que fueron traducidos a una segunda lengua y luego
retraducidos a la lengua original.
Se planific bien la logstica de la recoleccin de datos?
Muchos estudios internacionales comparados sobre la calidad de la
educacin en gran escala son caros y experimentan problemas en la etapa
de recoleccin de datos. Dos cuestiones que se deben abordar en esta rea
incluyen: son suficientemente claros los manuales de recoleccin de
datos como para asegurar la validez sobre el terreno? y se han utilizado
eficazmente los registros adecuados de escuelas y estudiantes?
124
www.iiep.unesco.org
La fase de recoleccin de datos en cada uno de los pases es crucial. El

propsito de la recoleccin de datos es que los estudiantes respondan a cada
pregunta del cuestionario y a todos los tems de las pruebas que estn en
condiciones de responder. Generalmente, en cada pas se escribe un manual
destinado a las personas a cargo de la recoleccin de datos a nivel nacional.
Se busca que este manual asegure que los procedimientos de la recoleccin
de datos permitan recoger datos vlidos, en condiciones que sean uniformes
en cada sitio donde se recolecten.
El manual de recoleccion de datos debe cubrir cada detalle que deba
tenerse en cuenta al llevar a cabo la recoleccin. Esto incluye formularios
para las escuelas y formularios para los estudiantes, para asegurar que
se seleccionen las escuelas apropiadas, se examinen los estudiantes
adecuados (y no otros) y se seleccionen a los profesores indicados (ah
donde se aplican cuestionarios o pruebas a los profesores). Este manual
debe especificar: (a) lo que cada administrador de la prueba tiene que
hacer y decir durante las sesiones reales de administracin de las pruebas;
(b) los procedimientos y el tiempo impartido para la aplicacin de los
instrumentos y (c) cmo empaquetar y reenviar los instrumentos al punto
central indicado.
Se han depurado los datos?
En la mayora de los estudios internacionales comparados se emplea
mucho ms tiempo en la preparacin de los datos con propsitos de
cmputo que en la realizacin misma del anlisis de los datos. Esto se
debe a que el registro y la depuracin de los datos requieren una
combinacin sitemtica de la computadora y el trabajo manual, en el que
un simple error puede requerir varias horas para ser detectado y corregido.
Aqu se pueden plantear muchas preguntas. Por ejemplo: se han verificado
todos los cdigos rebeldes (es decir, los cdigos fuera del rango), de tal
manera que se puedan combinar los datos de los estudiantes, los profesores
y las escuelas? ; se han efectuado todos los cruces lgicos de verificacin
entre las variables apropiadas?; se han hecho todos los esfuerzos posibles
para evitar la incidencia de datos faltantes?
En general, los datos se registran en computadoras de centros
nacionales de investigacin. Normalmente, el estudio ofrece aplicaciones
para la entrada de datos que se utilizan en todos los pases. Las buenas
aplicaciones para la entrada de datos ofrecen varias posibilidades de
verificacin inicial de los datos, que se pueden corregir inmediatamente
durante el proceso de entrada. Siempre hay errores adicionales en la entrada
de datos, independientemente de la calidad del programa de entrada de
125
www.iiep.unesco.org
datos, y stos deben ser identificados y corregidos, utilizando procedimientos

de depuracin de datos. Por ejemplo, es necesario verificar que los cdigos
de identificacin de las escuelas que se utilizan para los estudiantes,
profesores y escuelas son exactos, porque se necesitan estos cdigos a fin
de combinar datos antes de su anlisis. Los errores o problemas se reportan
a los centros nacionales; seguidamente, ellos contactan a las escuelas para
elucidar la situacin y remiten la informacin corregida al centro internacional
de procesamiento de datos. A continuacin se efectan los cambios
necesarios. Este proceso de depuracin puede tomar mucho tiempo,
especialmente cuando hay muchos pases en el estudio.
Tambin es importante hacer que el lector de los informes de
investigacin tome conciencia de las variables para las cuales se carece de
muchos datos, por lo que no pueden ser utilizadas en los anlisis. Adems,
es importante ver qu datos faltantes fueron imputados y cmo.
Abordan los anlisis de datos los principales propsitos de la
investigacion?
Debera asegurarse que el objetivo sea que los anlisis de datos
seleccionados estn claramente centrados en responder a las principales
preguntas planteadas al disear el estudio. Los anlisis de datos para un
estudio deben ser guiados por las tablas ficticias [dummy tables] que se
prepararon durante el diseo de la investigacin.
Hay que tener cuidado de incluir los errores estndar del muestreo
junto con cada sntesis estadstica que se presenta, de modo que el lector
pueda tener alguna informacin sobre la estabilidad de cada estimado
de muestra. Se pueden preparar tabulaciones bsicas utilizando paquetes
estndar de aplicaciones estadsticas, pero a veces estos programas para
computadoras no aportan las estimaciones correctas del error de
muestreo.
Los informes que surgen del estudio
Los informes deben escribirse con claridad y abordar una a una cada
cuestin poltica. Siempre debe estar clara la fuente de los datos objeto de
anlisis, as como los argumentos relativos a la interpretacin de los
anlisis.
El uso de tablas de clasificacin [league tables] para dar cuenta de
los resultados debe hacerse con mucho cuidado, de modo que las listas
con los puntajes promedio no se conviertan en el nico fundamento de la
poltica educativa. El principal objetivo aqu es esforzarse a fin de preparar
126
www.iiep.unesco.org
informes accesibles que puedan brindar informacin en formatos

adecuados, utilizables en diferentes niveles de decisin del sistema
educativo.
Es necesario estimular enfoques nuevos y muy prometedores para
mostrar el rendimiento educacional de los estudiantes en forma de
descripciones de niveles de competencia, porque esas tcnicas optimizan
la capacidad de la investigacin para cambiar y mejorar a los profesores
que son responsables de guiar y gestionar el aprendizaje de los estudiantes.
Adems, es necesario hacer hincapi en los mtodos grficos de sntesis
de datos (de los que son pioneros los informes internacionales del PISA
y sus resmenes ejecutivos), a fin de presentar sntesis ms comprensibles
de anlisis complejos.
Conclusin
Para un ministerio de educacin es de gran importancia conocer y
monitorear las condiciones del aprendizaje y la calidad de la educacin
en las escuelas. La participacion en estudios internacionales comparados
sobre la calidad de la educacin puede ofrecer esta importante informacin.
Sin embargo, hay que tener en cuenta que la informacin generada en los
estudios internacionales comparados es ms til si brinda pruebas slidas
para informar el debate y la toma de decisiones de manera significativa
para todos los actores interesados.
Para que un estudio internacional comparado aporte pruebas slidas,
es necesario que haya confianza del lado de la investigacin y del lado
de la toma de decisiones en que el estudio satisfaga criterios que no
siempre se superponen. En este artculo se ha buscado enumerar, analizar
y cuestionar algunos de estos criterios con el propsito de ofrecer a los
productores de informacin (investigadores) y a los usuarios de
informacin (responsables de la toma de decisiones) una visin que les
lleve a entender las preocupaciones clave de ambos lados, cuando se
somete a juicio la capacidad de un estudio para ofrecer pruebas slidas
que se puedan utilizar para guiar las decisiones polticas destinadas a
mejorar un sistema educativo.
Bibliografa
Ross, K.N. 1997. Research and policy: A complex mix, IIEP Newsletter,
vol. XV, n. 1, pp. 1 y 4. Existe versin en espaol: Investigacin
y poltica: una mixtura compleja, Carta Informativa del IIPE,
vol. XV, n. 1, pp. 1 y 4. Cf.:
www.unesco.org/iiep/news/spanish/jans197.htm
127
www.iiep.unesco.org
Captulo 6
Qu es lo que piensan realmente

los ministros de educacin sobre
los estudios internacionales comparados?
Saul Murimba, Centro Coordinador del SACMEQ, Harare (Zimbabwe)
Introduccin
Durante el ltimo decenio, muchos ministros de educacin de los pases
desarrollados y en desarrollo se han interesado en que sus sistemas
educativos participen en estudios internacionales comparados sobre la
calidad de la educacin. Esta tendencia apareci independientemente de
los hechos o percepciones existentes sobre el desempeo de sus sistemas
de educacin en trminos absolutos o relativos. Estos ministros haban
sido preparados para invertir significativamente en estudios internacionales
comparados, pues tenan la conviccin de que la participacin en esos
estudios tena el potencial de producir beneficios para sus sistemas
educativos.
Naturalmente, esa participacin suscita tanto expectativas como
lpreocupacin, dado que los resultados de los estudios internacionales
comparados pueden aportar buenas o malas noticias. En algunos casos,
los resultados pueden dar sorpresas, como cuando el desempeo
sobrepasa largamente o cae muy por debajo de lo esperado.
En este artculo se examinan diversas cuestiones relacionadas con
las percepciones de los ministros acerca de los estudios internacionales
comparados. Se basa en la experiencia obtenida participando en los
programas de investigacin y formacin efectuados por el Consorcio del
frica Austral y Oriental para el Monitoreo de la Calidad de la Educacin
(SACMEQ). Las fuentes clave de informacin fueron: (a) las percepciones
expresadas por los ministros en las reuniones de la Asamblea de Ministros
del SACMEQ, que se organizan a fin de debatir acerca de los programas
de investigacin y formacin del SACMEQ; (b) informes de los
Coordinadores Nacionales de Investigacin (CNI) del SACMEQ y sus
colegas, y (c) las visitas a los ministerios de educacin que participan en
el SACMEQ.
128
www.iiep.unesco.org
Qu es lo que piensan realmente los ministros de educacin?
Comprender el papel y la posicin de los ministros

de educacin
A fin de comprender las percepciones de los ministros sobre los
estudios internacionales comparados tenemos que examinar su posicin y
papel dentro de sus ministerios, as como en el marco nacional ms amplio.
Su papel est asociado con las expectativas que son ampliamente
compartidas entre una variedad de actores sociales. La posicin que ocupan
tambin define los lmites de su influencia sobre el desarrollo de su propio
sistema educativo y aquello de lo que pueden ser considerados
responsables.
Los ministros se perciben a s mismo, antes que nada, como polticos;
y esto es cierto tanto para quienes son elegidos como para quienes son
desginados. Los ministros que son miembros elegidos del parlamento
generalmente se perciben a s mismos como representantes de sus
circunscripciones electorales, mientras que los que son designados tienden
a verse a s mismos como depositarios de un estatus especial en la vida
poltica del pas. Ambos tienen el mandato de encabezar el desarrollo del
sector de la educacin de sus pases y, por consiguiente, son responsables
frente al pas en su conjunto.
En el contexto africano, la mayora de ministros asegura su portafolio
mediante sus partidos polticos, cuyo programa de desarrollo se enuncia
generalmente en los manifiestos del partido. El hilo comn que caracteriza
los manifiestos de los partidos gobernantes en los pases poscoloniales es la
promesa de ofrecer educacin gratuita y, en algunos casos, obligatoria,
de alta calidad para todos los educandos. Por tanto, estos ministros esperan
que los estudios internacionales comparados demuestren que este objetivo
se ha logrado ms o menos, o que se est avanzando hacia su logro. Ah
donde ese avance no se ha registrado, los estudios internacionales comparados
pueden generar sugerencias y propuestas prcticas sobre cmo se puede
lograr este objetivo. Cuando los resultados de los estudios internacionales
no logran esto, sino que, por el contrario, destacan las debilidades del sistema,
esto se puede percibir como una crtica directa a la competencia del
ministro.
El hecho de que los ministros se perciben a s mismos como actores
polticos salt a la vista cuando un ministro respondi a una cuestin
controvertida planteada por los resultados del SACMEQ II en la Cuarta
Reunin de la Asamblea de Ministros celebrada en 2003. Su observacin
fue la siguiente: Lo que ustedes, investigadores, olvidan algunas veces
129
www.iiep.unesco.org
es que nosotros somos polticos. Qu va a pensar el presidente cuando

se entere de esa informacin? Cree que me va a mantener en el prximo
gabinete? Lo que quera decir es que cuando los investigadores no logran
tener una visin adecuada de las sensibilidades polticas respecto de ciertos
problemas, podran ser percibidos como personas irresponsables o
peligrosamente temerarias.
La educacin es una empresa gigantesca en la que convergen los
intereses de una diversidad de actores y representa un rea primordial de
inversin de las personas, los hogares, las comunidades y los pases. Por
tanto, los ministros desean ver que los estudios internacionales comparados
reflejan una comprensin del contexto poltico ms amplio del pas. En
este sentido, juicios absolutos acerca de la calidad de la educacin
pueden generar reacciones muy emotivas, ya que las concepciones de la
calidad pueden variar considerablemente de un contexto a otro y lo que
pueda contribuir a su logro puede ser incluso ms evasivo.
Preocupaciones de los ministros sobre los estudios

A fin de comprender realmente lo que los ministros de educacin
piensan acerca de los estudios internacionales comparados sobre la calidad
de la educacin, debemos tener en cuenta que sus percepciones pueden
estar influenciadas por diferentes criterios, en distintos momentos, en
diversas situaciones y sobre cuestiones dismiles. Por ejemplo, por mucho
que los ministros deseen explotar el capital poltico que les ofrecen los
resultados de los estudios internacionales comparados, tratan de evitar
cuidadosamente basarse en informacin que no les brinde una evaluacin
cabal de la calidad. Lo que quieren realmente es informacin que les
ofrezca una visin estratgica de sus sistemas de educacin, y lo que se
debe hacer para lograr y sustentar esta visin.
Los ministros son figuras polticas cuyas acciones estn sujetas a
escrutinio pblico. La decisin de participar en estudios internacionales
comparados de la calidad es un riesgo, debido a que la publicacin de los
resultados puede consolidar su imagen pblica o erosionar la confianza
del pblico en ellos como dirigentes. Por ende, tienen que lidiar con las
tensiones creadas por la necesidad de conocer la verdad (positiva o
negativa) y la necesidad de proteger su imagen contra mensajes
potencialmente perjudiciales contenidos en los resultados. Los estudios
internacionales comparados deben ser sensibles a estas tensiones y pueden
hacerlo abordando las reas de inters que se destacan a continuacin.
130
www.iiep.unesco.org
Foco de atencin de los estudios internacionales comparados

Cuando se emprenden estudios internacionales comparados sobre la
calidad de la educacin, los investigadores estn frecuentemente motivados
por la curiosidad y enfrentan el reto de ajustar sus propios intereses con los
problemas y preocupaciones de orden individual y colectivo de los ministerios
de educacin participantes. En este sentido, los ministros tienen poco inters
y sern reacios a invertir en estudios internacionales comparados, si stos
han sido formulados por extraos y representan un programa de investigacin
dirigido desde el exterior. La manera en que los estudios del SACMEQ
fueron diseados muestra que es posible que los estudios internacionales
comparados aborden las cuestiones educativas y las cuestiones polticas que
son consideradas de muy alta prioridad por los ministros, al mismo tiempo
en que satisfacen los intereses de los investigadores (Saito, 1999: p. 108).
Rendicin de cuentas
Los ministros reconocen que ofrecer una educacin de calidad a
todos los ciudadanos es una responsabilidad primordial del Estado. Por
esta razn, su posicin es que la educacin escolar debe ser financiada en
gran medida por el Estado. Tiene sentido que los ministros acepten la
responsabilidad de movilizar los recursos del Estado y de otras fuentes
para sostener la educacin y que se responsabilicen de la transformacin
eficiente de estos recursos en programas educativos que amplen las
oportunidades de aprendizaje de los nios. Esto se percibe como un vector
potente para el logro de los objetivos nacionales.
Los ministros han cumplido muy bien con la tarea de la movilizacin
de recursos, y esto se confirma por el hecho de que en la mayora de los
pases miembros del SACMEQ y en otros pases africanos el sector de la
educacin est a cargo de la proporcin del presupuesto nacional ms grande.
Sin embargo, la disponibilidad de recursos para el sector de la educacin no
siempre se acompaa del correspondiente aumento de la calidad de la
educacin ofrecida. Por consiguiente, los ministros quieren que los estudios
internacionales comparados les brinden retroalimentacion sobre los
beneficios de una inversin semejante y asimismo sobre cmo estn
cumpliendo con sus responsabilidades.
Para los ministros, los resultados de los estudios internacionales
comparados son valiosos de muy diversas maneras. Cuando los resultados
de los estudios muestran que la provisin de recursos a las escuelas est
por debajo de los puntos de referencia estndar, ellos les ofrecen al ministro
el ventajoso argumento de la asignacin de mayores recursos para la
131
www.iiep.unesco.org
educacin. Tambin pueden ser tiles para asegurar la financiacin externa

o donaciones. Esto, sin embargo, plantea otro desafo a los ministros,
porque cuando poco o nada se ha logrado con recursos adicionales, ellos
se inquietan. En un pas, los resultados del proyecto SACMEQ mostraron
una disminucin en el rendimiento del aprendizaje comparado con el
proyecto SACMEQ I y la reaccin del ministro en relacin con el personal
de alto nivel del ministerio fue la siguiente: Estos resultados parecen
indicar que lo hemos hecho peor que antes, lo que me hace ms difcil
que pueda defender en el Gabinete un mayor presupuesto para la educacin
ao tras ao.
Lograr el equilibrio
Uno de los ms grandes retos para quienes estn a cargo de los
estudios internacionales comparados es cmo comunicar los resultados
positivos y negativos de una manera equilibrada que constituya una
retroalimentacin positiva. La experiencia del SACMEQ es que,
invariablemente, cada sistema educativo nacional tiene algunos atributos
positivos de los que se puede estar orgulloso, y enfrenta algunos desafos
que se pueden abordar aprovechando la experiencia de sus vecinos. Los
ministros se preocupan cuando los estudios internacionales comparados
no lo reconocen. Cuando el foco est constituido por los aspectos negativos
de sus sistemas, se sienten endemoniados y cuando slo reciben buenas
noticias, se sienten privados de la oportunidad de mejorar an ms el
sistema.
El caso del ministro cuyo pas mostr resultados inferiores en el
SACMEQ II ilustra cmo se puede aportar una retroalimentacin
equilibrada. En este caso, el coordinador nacional de investigacin del
SACMEQ prepar una hbil nota de informacin en la que destac tanto
las malas noticias como las buenas noticias. Explic que si bien los
puntajes del rendimiento promedio de los estudiantes en el SACMEQ II
eran ligeramente inferiores, haba logros impresionantes en la asignacin
equitativa de los recursos, y que si bien haba menos nios con niveles de
desempeo muy altos, haba grandes proporciones de nios que haban
logrado los niveles bsicos de alfabetizacin. Esto confirm, en efecto, el
hecho de que el pas haba efectuado un buen avance al abordar algunos
de los retos clave afrontados por el sector de la educacin, en particular
las desigualdades en la asignacin de los recursos y los bajos niveles de
alfabetizacin.
132
www.iiep.unesco.org
Este ejemplo ilustra la necesidad de que los estudios internacionales

comparados busquen un cuidadoso equilibrio tanto en lo que se refiere a
la recoleccin de la informacin como a la presentacin de los resultados,
as como entre la oferta de informacin adecuada sobre las fortalezas y
logros del sistema, como de los retos que hay que enfrentar a fin de
fortalecer el sistema y, por tanto, ayudar a disear el camino a seguir.
Ms all de las comparaciones
Una preocupacin fundamental que tienen los ministros es que los
estudios internacionales comparados frecuentemente elaboran tablas de
clasificacin que presentan a los pases segn rango, como si hubieran
participado en una Olimpiada cognitiva. Esas tablas usualmente se
centran en los resultados del aprendizaje y son vistas por los ministros
como una base injusta para evaluar su propio rendimiento y el de su sistema
escolar en conjunto. A nivel retrico, los ministros estn dispuestos a decir
que no les importa mucho que el rendimiento de sus pases sea bajo si se
lo compara con el de otros pases, sino que como sostuvo coherente y
repetidamente uno de los ministros del SACMEQ lo que molestaba era
que los estudios internacionales comparados a menudo se utilizaran
burdamente para comparar lo incomparable.
Una pregunta pertinente a plantear es si realmente es posible efectuar
estudios internacionales comparados sin realizar comparaciones indirectamente
entre los pases. Cuando los resultados de los pases en relacin con cualquier
variable relacionada con la calidad se presentan unos al lado de los otros (por
ejemplo, en una tabla) hay un elemento inherente de comparacin. Si bien esto
no se puede evitar totalmente, la experiencia del SACMEQ muestra que es
posible presentar resultados de tal manera que desve la atencin de los lectores
de comparaciones demasiado simplificadas.
Por ejemplo, cuando en 2003 se presentaron los niveles de rendimiento
de diferentes pase en el proyecto SACMEQ II, el ministro de uno de los
pases del SACMEQ dijo:
Somos un pas pobre y hemos estado luchando para ofrecer educacin
a todo nuestro pueblo. De hecho, hemos ampliado significativamente
el acceso a la educacin a toda nuestra poblacin y es gratuita. A
partir de las cifras presentadas, se puede ver que hemos realizado
grandes progresos en este respecto. Por consiguiente, sabamos que
la calidad, definida en trminos de puntaje promedio iba a disminuir,
pero en eso es en lo que nos estamos concentrando ahora. Cmo
133
www.iiep.unesco.org
podemos hacerlo es justamente lo que esperamos aprender de

nuestros vecinos.
Este comentario sugiere que los ministros se sienten ms seguros con
estudios internacionales comparados sobre calidad cuando las
comparaciones no son el aspecto central de la atencin. Esto es, las
comparaciones se deben considerar como el punto de partida para
mensajes de poltica ms importantes. Anlisis adicionales, ms all de
comparaciones simples, son necesarios para ofrecer percepciones ms
perspicaces de las cuestiones estratgicas en las que se debe concentrar el
pas. Los ministros aceptarn sus resultados ms fcilmente si los estudios
internacionales comparados les permiten tomar decisiones independientes
en lo que respecta a los problemas y prioridades que deben abordar mientras
tratan de lograr los objetivos ms ampliamente compartidos. Un ejemplo
de cmo se puede lograr esto se present en el artculo Different pathways
to EFA for different school systems [Diferentes vas para lograr la ETP en
diferentes sistemas educativos] (Dolata et al., 2004). Este artculo present
datos comparativos de 14 sistemas escolares y luego mostr cmo cada
sistema podra utilizar diferentes vas polticas a fin de lograr los mismos
objetivos de la Educacin para Todos.
Los problemas que se deciden priorizar en un momento dado en cada
sistema educativo dependen del contexto nacional. La presentacin de los
resultados de los estudios internacionales comparados es menos amenazante
para los ministros cuando se presta suficiente atencin a los problemas del
contexto nacional. Algunos elementos de este contexto se relacionan con el
desempeo econmico del pas, las caractersticas demogrficas, las
caractersticas socioculturales de su poblacin, el impacto de la historia y la
poltica en el proceso de desarrollo que ha seguido, cualquier desventaja de
carcter natural y reveses significativos acaecidos (naturales o provocados por
el hombre) y otros factores semejantes. Los ministros quieren estudios
internacionales comparados en los que se haga un esfuerzo por comprender
todas las circunstancias de sus pases, pues consideran que es esencial para
valorar las dificultades y los retos que tienen que afrontar en el esfuerzo por
mejorar sus sistemas educativos.
Fortalecimiento de capacidades
Los ministros se alarman cuando los estudios internacionales
comparados se interesan en la bsqueda de resultados excluyendo otros
beneficios que puedan derivar del propio proceso de investigacin. Los
ministros estn muy interesados, por ejemplo, en las oportunidades que la
134
www.iiep.unesco.org
participacin en un estudio internacional comparado puede tener sobre el

fortalecimiento de las capacidades del personal del ministerio. La
participacin en esos estudios ofrece formacion prctica que instrumenta
al personal al adquirir competencias valiosas relacionadas con el diseo y
la ejecucin de investigaciones en gran escala, el diseo y la utilizacin de
instrumentos de recoleccin de datos, la gestin y el anlisis de datos
mediante la utilizacin de computadoras, el anlisis y la formulacin de
poltica, as como la preparacin de informes. Todas estas competencias
se requieren a fin de efectuar una investigacin poltica de carcter educativo
que brinde informacin que se pueda utilizar para efectuar una planificacin
informada de decisiones en reas importantes, tales como el desarrollo
curricular, la mejora de las prcticas pedaggicas, el monitoreo de los
estndares de la calidad, la mejora de la equidad en la asignacin de recursos
y la identificacion de necesidades de formacin del personal docente.
Cuestiones metodolgicas
Un supuesto que a menudo tienen los investigadores es que los
ministros no se interesan en las cuestiones metodolgicas y carecen de
competencia para valorarlas. Estos supuestos son errneos. Si bien los
ministros pueden no estar interesados en los tecnicismos en reas tales
como muestreo, anlisis de tems de pruebas, gestin de datos mediante
computadora, etc., s estn interesados en conocer: (a) si se han aplicado
mtodos cientficos aceptables; (b) la naturaleza de cualquier debilidad
tcnica en los mtodos que se han utilizado y (c) qu tan confiables y
vlidos son los principales hallazgos de la investigacin. Comentarios
tales como: Como profesor de educacin tengo derecho a... o como
especialista en lenguaje... algunas veces han precedido las observaciones
de ministros a fin de disipar el supuesto errado de que no estn interesados
o no son competentes en cuestiones de orden metodolgico.
Todo ministro desea asociarse con estudios internacionales
comparados de alta calidad, metodolgicamente bien fundados y, por lo
tanto, que puedan afrontar la prueba del escrutinio pblico. Se muestran
orgullosos y confiados cuando sus pases han participado en iniciativas
de investigacin que satisfacen estndares de categora mundial. Es
frecuente que, cuando se apela a ellos para que defiendan decisiones
basadas en los resultados de estudios internacionales comparados, la
credibilidad de los ministros se vea reforzada por la integridad global de
la metodologa de los estudios internacionales comparados.
135
www.iiep.unesco.org
Cuando los estudios internacionales comparados no presentan los

resultados de manera que sean sensibles a los contextos, necesidades y
prioridades nacionales, a veces los ministros pueden atacar la integridad
de la metodologa y el SACMEQ ha tenido esta experiencia. En casos
extremos, los ministros pueden asumir una postura defensiva, haciendo
vaga referencia a resultados de otras iniciativas de investigacin con
igual o mayor rigor metodolgico. Estos ataques dirigidos evidentemente
a los defectos metodolgicos pueden ser, en realidad, un reflejo o
expresin de otras preocupaciones ms profundas, o una forma de protesta
contra la manera en que se presentaron los resultados. Sobre todo, la
presentacin de los estudios internacionales comparados debe tener en
cuenta las diferentes necesidades de informacin de distintos actores
sociales y los ministros constituyen una categora de actor cuyas
necesidades de informacin se deben abordar cuidadosamente (Ross y
Mhlck, 1990).
La cuestion de la propiedad
Los ministros desean sentir que ellos y los funcionarios son actores
activos en los estudios internacionales comparados en los que sus pases
toman parte. Este sentido de propiedad se adquiere de muy diversas maneras.
Para comenzar, debe haber participacin plena y genuina de los funcionarios
en todos los niveles de los estudios internacionales comparados, desde el
diseo hasta la presentacin del informe. Los estudios que slo permiten una
participacin limitada de los funcionarios difcilmente fortalecen el sentido
de propiedad, por muy slidos que sean tcnicamente.
Ciertamente, el nivel de participacin requerido puede lentificar el
ritmo de las actividades de investigacin, a menudo requiriendo la
formacin del personal del ministerio a fin de prepararlos para la ejecucin
de muchas tareas de investigacin; pero es una inversin que vale la pena.
Otra forma de participacin del personal del ministerio que fortalece el
sentido de propiedad es asegurar que asume el liderazgo en decisiones
clave relativas a la investigacin (por ejemplo, sobre la naturaleza del marco
del muestreo, la seleccin de los tems de las pruebas y la definicin de
estndares de rendimiento). Otro beneficio que surge de esa participacin
es que, cuando se hace de manera dinmica, los ministros estn menos
dispuestos a cuestionar los resultados del estudio internacional
comparado.
Otra rea destacada en la que la participacin del ministro es
importante es la de recomendaciones polticas. Lo que puede aparecer
136
www.iiep.unesco.org
como una sugerencia de poltica basada en pruebas slidas a un forneo,

podra ser impracticable para los del interior, que entienden mejor la cultura
predominante y sus normas, la manera en que funciona el sistema y las
limitaciones que afronta. Al mismo tiempo, si bien las recomendaciones
polticas deben tomar en cuenta los insumos de los funcionarios, esto no
implica de ninguna manera que se deban eliminar recomendaciones
polticas difciles basadas en pruebas empricas. Por el contrario, los
ministros a menudo han dado la bienvenida a recomendaciones polticas
difciles, porque dan una base defendible para acciones radicales que
podran emprender.
Evitar sorpresas
Los resultados de estudios internacionales comparados pueden
parecer muy negativos, y los investigadores del ministerio quiz duden
de compartirlos con el ministro y el personal de alto nivel del ministerio.
Esto puede ser muy peligroso, porque los ministros detestan las
sorpresas.
En la experiencia del SACMEQ, los ministros necesitan evaluar los
hallazgos a medida que aparecen, de modo que puedan tener una buena
nocin de los principales mensajes de los resultados, y tener suficiente
tiempo para digerirlos y buscar consejo en caso de que necesiten explicar
los resultados. Nada es ms irritante para un ministro que tener un informe
de investigacin que ha sido dado a conocer (o se ha filtrado) al pblico
sin su consentimiento y conocimiento de su contenido.
En la experiencia del SACMEQ tambin se ha encontrado que los
resultados controvertidos son capaces de generar debates interesantes que
pueden acelerar las reformas polticas. La cuestin consiste en asegurar
que cualquier dura verdad sea comunicada en el lenguaje adecuado. En
un ministerio, un informe de investigacin del SACMEQ indicaba que la
amplitud de las clases particulares de los estudiantes hecho desconocido
por los responsables de la formulacin de poltica haba ms que excedido
los lmites aceptables, incluso aunque estuvieran asociadas con altos
rendimientos. Sin embargo, dado que esto surgi como una sorpresa,
provoc una reaccin desagradable contra el equipo nacional que la
present. Posteriormente, sin embargo, los hallazgos de la investigacion
relacionados con las clases particulares generaron un saludable debate
nacional que dio inicio a reformas polticas constructivas.
137
www.iiep.unesco.org
Definir los programas de accin

Los ministros quieren que los estudios nacionales les aporten
programas de accin claros. Sin embargo, muchos ministros, durante
muchos aos, han recibido informes de investigacin que ignoran la
necesidad de sugerir un programa poltico claro y basado en los hallazgos
de la investigacin. El resultado ha sido que algunos ministros se han
vuelto un tanto escpticos respecto al valor de la investigacin y esto
puede crear barreras para el desarrollo de una cultura que emplea pruebas
para guiar las reformas polticas. A veces, ellos ven las investigaciones
como actividades aisladas que solicitan, y requieren, poca o ninguna
accin de seguimiento.
Los investigadores deben comprender que los ministros quieren que
se les propongan programas de accin en materia de poltica que:
(a) se basen en resultados de la investigacin (y no en especulaciones);
(b) sean realistas en trminos de costos, tiempo y logstica; (c) estn
vinculados con las personas o grupos responsables de la ejecucin de la
accin y (d) se presenten en forma de opciones que permitan a los
ministros considerar soluciones alternativas a las cuestiones polticas. Una
investigacin de este tipo brinda automticamente un marco de referencia
para el diseo de futuras investigaciones de evaluacin poltica, porque
enumera las reas que requieren una reforma y define las reas en las que
se espera una accion de seguimiento y los actores especficos dentro de
las unidades o direcciones del ministerio que pueden ser responsables de
esas acciones.
Conclusin
Este artculo se elabor basndose en la experiencia recogida durante
el trabajo efectuado con ministros cuyos sistemas educativos participaron
en estudios internacionales comparados. Esta experiencia muestra que los
ministros ocupan posiciones difciles en sus pases al ser los responsables
de sus sistemas educativos y sentirse personalmente responsables del
desarrollo de sus sistemas. Quienes disean y ejecutan las evaluaciones
deben comprender que los ministros caminan sobre una cuerda floja,
poltica y profesional, porque el temor de que esos estudios internacionales
comparados puedan favorecer o arruinar sus carreras como polticos y
profesionales est bien fundado.
La leccin ms importante recogida de esta experiencia es que los
investigadores que disean y ejecutan estudios internacionales comparados
138
www.iiep.unesco.org
sobre la calidad de la educacin deben incorporar a los ministros en los

estudios, vinculndolos al desenvolvimiento de un estudio desde su
concepcin hasta la difusin de sus resultados. Existen pruebas suficientes
provenientes del programa de investigacin del SACMEQ que muestran
que este tipo de asociacin produce frutos en forma de reformas polticas
basadas en la investigacin.
Bibliografa
Dolata, S.; M. Ikeda; S. Murimba. 2004. Different pathways to EFA for
different school systems, IIEP Newsletter, Vol. XXII, No. 1,
January-March, pp. 8-9. Existe versin en espaol: EPT: Distintas
vas para diferentes sistemas educacionales, Carta Informativa del
IIPE, vol. XXII, n. 1, enero-marzo, pp. 8-9.
Lockheed, M.E.; A.M. Verspoor. 1991. Improving primary education in
developing countries, Washington, DC: World Bank.
Ross, K.N.; L. Mhlck (Eds.). 1990. Planning the quality of education:
The collection and use of data for informed decision-making,
Paris-Oxford: IIEP-UNESCO/ Pergamon Press.
Saito, M. 1999. A generalisable model for educational policy research
in developing countries, Journal of International Cooperation in
Education, Vol. 2, No. 2, pp. 107-117.
139
www.iiep.unesco.org
PARTE II
Planificacin del diseo de estudios
www.iiep.unesco.org
Captulo 7
Qu se debe medir
en un estudio internacional comparado?
Rainer Lehmann
Introduccin
La mayora de los ministerios de educacin son instituciones complejas
que albergan divisiones y oficinas en las que trabajan centenares y a
veces millares de personas. Consecuentemente, asumir que una entidad
llamada el Ministerio pueda actuar sobre la base de un conjunto de
propsitos claramente definidos, parecera una burda simplificacin,
incluso en un dominio relativamente limitado como el de apoyar y efectuar
estudios internacionales comparados. El hecho mismo de que la invitacin
para participar en un determinado estudio internacional comparado pueda
provocar importantes controversias polticas en el seno mismo del
Ministerio ni qu decir entre rivales de polticas educativas de carcter
partidario, basta para demostrar y, hasta cierto punto explicar, las
ambigedades respectivas en el mundo real. Asumir esta perspectiva
emprica de los propsitos ministeriales podra considerarse como una
aplicacin de la subdisciplina administracin pblica de las ciencias
polticas al campo muy especializado de la formulacin de poltica
educacional.
La cuestin sobre las medidas que un ministerio debera solicitar, y
por qu, en un mundo ideal, se refiere a un tema totalmente distinto. Aqu
se asume un concepto de eleccin racional, segn el cual el ministerio,
en su calidad de rgano rector de un sistema educativo, logra adquirir toda
la informacin necesaria para justificar plenamente sus decisiones. Sin
embargo, el problema con este enfoque normativo reposa en el hecho de
que sus supuestos difieren no slo de la experiencia cotidiana, sino que
crean igualmente dudas considerables respecto de su solidez filosfica.
Esto se debe a que pocos de esos conceptos, basados de hecho en la nocin
platnica del rey filsofo, tienen en cuenta las limitaciones esenciales
de la informacin que est a mano, sumadas a las restricciones temporales
inherentes al proceso de la toma de decisiones.
En vez de elaborar una extensa descripcin (y una posible explicacin)
sobre el tema de cmo diferentes ministerios de educacin enfocan los
143
www.iiep.unesco.org
estudios internacionales comparados o de plantear una propuesta

sumamente normativa acerca de lo que los ministerios deberan exigir a
los investigadores en el campo de las encuestas internacionales comparadas,
en este captulo trataremos de analizar las cuestiones metodolgicas de
los estudios internacionales comparados desde la perspectiva de su
beneficio potencial para la formulacin de polticas educativas.
Una taxonoma de los estudios internacionales comparados:

beneficios y justificaciones
La aparicin de una metodologa para los estudios internacionales
comparados en educacin no es un proceso simple y lineal, sino un camino
largo y sinuoso de objetivos cambiantes y de condiciones estructurales
de posibilidad. Podra ser til comenzar con un breve esbozo de las
opciones que se han elegido hasta ahora, de los beneficios que se espera
de ellas o en relacin con ellas, as como de las pautas correspondientes
para justificar la investigacin comparada en educacin entre pases.
Comparaciones de los logros promedio, basndose
en la suposicin de caractersticas variables del sistema
y relaciones fijas contexto-producto
Histricamente, el primer enfoque de los estudios internacionales
comparados sobre logros educacionales vinculados con los primeros estudios
realizados por la Asociacin Internacional de Evaluacin del Rendimiento
Escolar (IEA) consisti en identificar prcticas idneas o puntos de
referencia en un marco de referencia internacional. Aunque ninguno de
esos trminos era usual en aquella poca, los argumentos en los cuales se
basaron tanto la concepcin como la financiacin de estos estudios fueron,
bsicamente, los asociados a estos dos conceptos. Esto se evidencia en la
famosa propuesta de Torsten Husn (presidente fundador de la IEA), segn
la cual los sistemas educativos del mundo se podran considerar
colectivamente como un laboratorio natural en el que es posible estudiar
la eficacia de las modalidades alternativas de educacin nacional.
Una de las cuestiones clave en las primeras comparaciones
internacionales fue la del rendimiento relativo de los sistemas escolares
no selectivos, por oposicin a los sistemas articulados tradicionales.
Obviamente, un elemento clave para justificar este enfoque de las
comparaciones entre pases fue la concordancia suficiente en relacin con
los criterios que deban emplearse, invariable ante entornos culturales
especficos, incluyendo la influencia de la lengua de instruccin. Por
144
www.iiep.unesco.org
consiguiente, segn esta justificacin, no se debi al azar que la primera

materia elegida para un estudio internacional comparado sistemtico del
logro escolar fuese la matemtica (Husn, 1967).
Por supuesto, haba otros supuestos latentes involucrados para que la
metfora del mundo como un laboratorio natural pudiese considerarse
vlida. Por ejemplo, se deba asumir que la variabilidad entre pases en
relacin con los diversos factores que describen las condiciones de
escolarizacin (por ejemplo, las expectativas sociales en relacin con el
papel de la educacin pblica), podra ser suficientemente controlada a fin
de justificar tal perspectiva cuasi experimental. En cualquier caso, es
probable que al menos algunos de los ministerios que participaron en esos
estudios decidieran hacerlo porque estaban convencidos de que obtendran
pruebas de cotas de rendimiento [benchmark evidence] favorables a una
reforma educativa prevista o ya en curso. Resulta interesante que algunas
de las justificaciones subyacentes en este enfoque hayan resurgido en el
discurso que acompaa al ms reciente ciclo de estudios para el Programa
Internacional de Evaluacin de Estudiantes (PISA), emprendido por la
Organizacin para la Cooperacin y el Desarrollo Econmicos (OCDE).
Comparaciones de productividad basadas en el supuesto de
objetivos fijos y relaciones fijas insumo-producto
A condicin de que exista un ncleo curricular internacional
claramente establecido, que describa los objetivos principales que
predominan en todos los sistemas educativos que se compara, resulta
tentador medir no slo las diferencias entre los pases, en trminos de
logros promedio, sino tratar de determinar tambin las diferencias entre
las normas curriculares (internacionales) y los niveles de rendimiento
alcanzados como una funcin de los insumos variables (manipulables).
El objetivo, en este caso, es determinar la eficacia global de la educacin
en un pas o sistema dados, generalmente en relacin con ciertas reas,
tales como lectura, matemtica o ciencias que, segn se ha comprobado,
se rigen por normas curriculares universales. Es en este punto que la
distincin fundamental entre currculo previsto, implementado y logrado
constituye la premisa en funcin de la cual las comparaciones
internacionales de este tipo pueden reclamar la pertinencia para la poltica
educativa. Una notable aplicacin de estos principios se encuentra en la
computacin de las llamadas curvas de rendimiento [yield-curves], que
describen el porcentaje de una poblacin objetivo que alcanza o supera
cualquier nivel definido en un conjunto de elementos curriculares
clasificados por grado de dificultad.
145
www.iiep.unesco.org
Ms importante an en este enfoque es la identificacin de aquellas

variables o factores que tienen efectos verificables en la formacin de una
distribucin de rendimiento favorable. El objetivo que consiste en la
determinacin de la importancia relativa de los factores determinantes del
rendimiento escolar fue una caracterstica de la segunda generacin de
estudios de la IEA (tales como el Six-Subject-Survey Passow et al., 1976;
Walker, 1976) y lo ha sido igualmente en los estudios recientes de la IEA
(Torney-Purta et al., 2001; Amadeo et al., 2002). Como estrategia de
investigacin, este enfoque se ha desarrollado posteriormente hasta
convertirse en un complejo paradigma, debido principalmente a la labor
del grupo dirigido por Walberg (1990).
Comparaciones de las distribuciones relativas a la alfabetizacin,
basadas en el supuesto del rendimiento educativo como
un determinante del crecimiento econmico
En los paradigmas anteriores, los criterios que se deban medir fueron
aceptados como universales. Recientemente, por el contrario, algunos
trabajos comparativos internacionales han tratado de justificar la eleccin
de criterios en relacin con su pertinencia econmica. Esta perspectiva se
utiliz por primera vez en gran escala en encuestas sobre alfabetizacin de
adultos (NCES, 1993; 1998) y se transfiri posteriormente al rea de las
comparaciones internacionales del rendimiento escolar por la OCDE (2001).
Estaba igualmente vinculada con trabajos anteriores efectuados por
economistas de la educacin (Becker, 1964; Schultz, 1961), quienes haban
sugerido que el logro en educacin se debera considerar como un importante
insumo que explica el crecimiento econmico. Sin embargo, en vez de
sustitutos [proxies] burdos, tales como aos de escolaridad, ahora se aplican
mediciones del rendimiento de la educacin agrupando a menudo las
calificaciones fundamentales bajo el trmino alfabetizacin que se
introducen como predictores en las ecuaciones utilizadas para explicar las
situaciones y tendencias econmicas.
El desafo inherente en esta perspectiva educativa, ms bien reciente,
se encuentra obviamente en el vnculo entre un resultado educativo y un
resultado econmico mensurables. Dado que los estudios internacionales
comparados existentes sobre la calidad de la educacin escolar no incluyen
an investigaciones longitudinales hasta los niveles de la formacin vocacional
o profesional, empleo y trabajo, esta perspectiva se encuentra actualmente
ms en el dominio de la investigacin deseable que en el campo de los estudios
reales. Debe notarse, sin embargo, que los argumentos correspondientes,
146
www.iiep.unesco.org
aunque sean plausibles, se esgrimen frecuentemente para justificar la

implementacin de estudios internacionales comparados y motivar la
participacin de los pases en ellos.
Comparaciones con criterios mltiples basadas en el supuesto
del rendimiento de la educacin como un determinante
de la cohesin social y la paz
A pesar de la fuerte atencin que se presta actualmetne a las cuestiones
econmicas, muchos educadores sostienen que la educacin no debera
reducirse a un proceso de capacitacin econmicamente provechoso.
Mientras que la versin individualista de este argumento la educacin
como un proceso que conduce a la autonoma y la autorealizacin no se
presta fcilmente a comparaciones entre pases, es innegable que el
mantenimiento y el desarrollo intergeneracional de las sociedades humanas
requiere que los valores esenciales respectivos se transmitan a travs de
la educacin, si no informalmente en el seno de las familias y el entorno
social inmediato, entonces de manera institucionalizada mediante sistemas
formales de educacin. Aparentemente, existe consenso a nivel mundial
en el sentido de que las competencias en historia (y no simplemente el
conocimiento histrico) y en civismo, as como algunas actitudes
deseables y caractersticas de comportamiento, se encuentran entre los
objetivos que trascienden la esfera de la utilidad econmica.
En efecto, desde muy temprano la educacin cvica ha sido una
disciplina objeto de comparaciones entre pases (Torney et al., 1975). En
relacin con las comparaciones internacionales, la historia tambin ha sido un
campo ms bien comprensivo en el estudio que lleva el ttulo Youth and history
[Juventud e historia] (Angvik y von Borries, 1997). Estos dos campos se
destacan debido a que no es razonable suponer que los objetivos educativos
que hay que evaluar tengan validez universal. Muy por el contrario, es casi
seguro que varias nociones importantes del civismo no se aplican en todas
las sociedades conocidas y, en el caso de la historia, es an ms evidente que
los currculos nacionales o regionales son muy especficos, pues se espera que
contribuyan y conduzcan a la formacin de una identidad colectiva.
Comparaciones de equidad basadas en el supuesto de relaciones
variables contexto-producto
Mientras que los cuatro primeros enfoques discutidos aqu tienen en
comn el supuesto de que los pases compiten entre s para maximizar los
criterios seleccionados, una tendencia reciente en materia de estudios
147
www.iiep.unesco.org
internacionales comparados consiste en concentrarse alrededor de la idea

de minimizar la influencia de las caractersticas del contexto en el
rendimiento de la educacin. Aqu se supone que la equidad, entendida
como una estructura de oportunidad educativa equilibrada para todos los
grupos sociales, se logra en forma diferenciada en distintos sistemas de
educacin. Si bien esta perspectiva tiene notables predecesores en la
investigacin de las (des) igualdades de las oportunidades educativas en
los pases considerados individualmente, parecera que el PISA es el primer
estudio comparativo internacional significativo en el que este aspecto se
trata como un criterio importante. El concepto utilizado es el de gradiente
social, definido como la lnea de regresin que vincula los antecedentes
sociales y el rendimiento educativo individual, incluyendo las implicaciones
de la proporcin de varianza explicada en estos trminos (OECD,
2001: p.184).
Vale la pena notar que esta perspectiva difiere sustancialmente de
las ideas anteriores, orientadas a investigar la relacin entre los antecedentes
sociales y la filiacin institucional (tipo de escuela o rama escolar). De
hecho, pese a las correlaciones entre antecedentes sociales y la pertenencia
a una rama escolar o tipo de escuela, que a menudo son muy altas, y a
pesar de las altas correlaciones entre la pertenencia a una rama escolar o
tipo de escuela y el rendimiento educativo, no ocurre necesariamente que
uno de estos efectos sea simplemente un duplicado del otro. Puede muy
bien resultar que existan diferencias significativas entre los dos rangos
jerrquicos as generados para los sistemas, incluso si operan en el marco
de estructuras internas comparables (por ejemplo, los 16 estados federados
o Lnder de Alemania).
Variables explicativas que se deben medir

La taxonoma presentada ms arriba ha mostrado que las comparaciones
entre pases difieren en los supuestos relativos a los componentes
explicativos pertinentes. En particular, los progresos en estadstica durante
las ltimas dcadas han facilitado las distinciones analticas de los
mltiples niveles de antecedentes del rendimiento de la educacin.
Variables explicativas a nivel del sistema
Quienes proponen el enfoque de la productividad en las comparaciones
entre pases tienden a creer que el gasto en la educacin es un determinante
importante del rendimiento educativo agregado, al menos potencialmente,
cuando no efectivamente. Lo mismo es cierto para muchos economistas
148
www.iiep.unesco.org
de la educacin, quienes calculan las tasas de retorno de las inversiones

en educacin. Por consiguiente, la recoleccin de datos estandarizados
sobre el gasto en educacin se ha convertido en una prctica rutinaria,
pues se supone que las inversiones adicionales en educacin deben
acompaarse de niveles ms altos del rendimiento de la educacin (OECD,
1992). Obviamente, deber aplicarse un mayor grado de diferenciacin
en este aspecto, porque no es razonable suponer que se obtendrn iguales
retornos de inversiones en edificios, material pedaggico o salarios de los
maestros, por citar slo algunas de las opciones disponibles.
En el caso del gasto en personal (maestros), puede haber diferencias
dependiendo de los efectos deseados. Por ejemplo, un aumento del nmero
del personal docente destinado a mejorar la relacin maestro-alumno (o a
disminuir el nmero promedio de alumnos por clase) o un aumento del
salario para atraer candidatos mejor cualificados a la profesin docente.
Otra medida, que est ms directamente relacionada con el proceso de
aprendizaje, sera la asignacion oficial de horas de clase para una asignatura
o tema dados, con la expectativa de que un mayor nmero de horas de
enseanza est correlacionado con un mejor rendimiento.
Este ltimo ejemplo muestra que tales expectativas no tienen que
sustentarse en pruebas disponibles a nivel del sistema. As es como diversos
anlisis del conjunto de datos del Third International Mathematics and
Science Study [Tercer Estudio Internacional de Matemtica y Ciencias]
(TIMSS), no han confirmado esta expectativa a nivel del sistema
(Baumert et al., 2000), pero bien podra ser que las variaciones internas del
sistema (grado y nivel) en las relaciones entre horas asignadas oficialmente y
tiempo realmente utilizado sean responsables de la atenuacin del efecto
esperado. Este caso podra contribuir a demostrar la necesidad de distinguir
escrupulosamente los niveles de anlisis con respecto a cualquiera de los
predictores mencionados aqu (Ross, 1997).
Los ministerios que se encuentran en el proceso de seleccionar las
variables explicativas potenciales a nivel del sistema a fin de establecer
un slido sistema de monitoreo educacional, haran bien en consultar las
listas respectivas de indicadores que han ido surgiendo con el tiempo. Los
informes anuales de la OCDE Education at a glance [La educacin en
una mirada] ofrecen un buen ejemplo.
Anlogamente, la Unin Europea (2001) ha definido (con cierta
circunspeccin) una lista de indicadores educacionales. Estos incluyen
seis variables a nivel de sistema que podrn adoptarse para fungir como
149
www.iiep.unesco.org
antecedentes de la productividad educacional: (a) cooperacin de los

padres; (b) evaluacin y gobernanza del sistema; (c) gasto en educacin
por alumno; (d) formacin de maestros antes y durante el servicio;
(e) participacin en la educacin preescolar y (f) nmero de alumnos por
computadora en la escuela.
Variables explicativas a nivel de la escuela y la clase
La mayora de las comparaciones entre pases ha utilizado variables
a nivel de la escuela a fin de ofrecer descripciones precisas del contexto
en el que tienen lugar los procesos de enseanza-aprendizaje investigados.
Sin embargo, siempre ha sido difcil establecer una relacin entre esta
informacin y el rendimiento agregado. La incorporacin de datos a nivel
de clase en particular los datos relacionados con los maestros ha conducido
a dificultades an mayores en trminos de formulacin de slidos argumentos
explicativos que puedan generalizarse a todos los sistemas de educacin.
Gran parte de esta experiencia ha derivado de los primeros estudios de la
IEA y aparentemente ha sustentado la decisin de no incluir cuestionarios
para los profesores en el programa de investigacin PISA.
Existe, sin embargo, un considerable cuerpo de pruebas resultantes de
la investigacin, acumuladas bajo la etiqueta investigacin sobre la eficacia
escolar (Scheerens y Bosker, 1997).
A partir de una serie de meta-anlisis en esta lnea de investigacin,
han surgido constructos prometedores, tales como: (a) explicitar y ordenar
los objetivos y contenidos; (b) estructurar y clarificar el contenido;
(c) utilizar material de evaluacin de los resultados logrados por los
estudiantes (incluyendo la oferta de retroalimentacin e instrucciones
correctivas); (d) dominar lo aprendido; (e) disponer de material pedaggico
diferenciado; (f) gestionar eficazmente la clase; (g) hacer uso de tareas para
la casa y (h) esperar ms de los maestros (Creemers et al., 2000).
En la situacin actual, sera muy aconsejable recolectar este tipo de
informacin, a la que se puede acceder razonablemente mediante
cuestionarios, e incorporarla en el nivel apropiado de los anlisis
internacionales comparados.
Variables explicativas a nivel individual
A nivel individual, los rendimientos educacionales superiores parecen
derivar de experiencias previas slidas que han probado ser indispensables
para cualquier anlisis terico significativo. Por tanto, es necesario
incluirlas en la recoleccin y el anlisis de datos correspondientes. Dado
150
www.iiep.unesco.org
que existe un alto grado de coincidencia entre las comparaciones entre

pases disponibles en este respecto, bastar incluir aqu una lista de
indicadores agrupados en categoras adecuadas:
Demografa bsica: (a) edad; (b) sexo; (c) antecedente tnico

(o migratorio) y (d) situacin familiar.
Antecedentes socioculturales y socioeconmicos: (a) nivel de
educacin de los padres; (b) ocupacin de los padres; (c) idiomas
hablados en el hogar; (d) recursos educativos pertinentes en el hogar
(por ejemplo, libros) y (e) posesiones o recursos en el hogar.
En el caso de los indicadores socioculturales y socioeconmicos, stos

se combinan frecuentemente en una construccin simple, enunciado
generalmente como ndice socioeconmico.
Productos educacionales que se deben medir

En su catlogo de indicadores educacionales, la Unin Europea
enumera los seis campos siguientes: (a) matemtica; (b) lectura;
(c) ciencias; (d) lenguas extranjeras; (e) aprendizaje independiente en el
campo de las tecnologas de la informacin y la comunicacin (TIC) y
(f) educacin cvica. Si se compara esta lista con la de la secuencia de los
estudios de la IEA realizados desde la dcada de los sesenta, resulta obvio
que esta asociacin ha establecido, sin lugar a dudas, la viabilidad de
construir tales indicadores. Por el contrario, se puede observar que la
OCDE no ha incluido todas estas reas en su propio programa PISA, a
pesar de que algunos hallazgos de la IEA, que van ms all que los del
PISA, se han presentado en Education at a glance [La educacin en una
mirada].
No se debe al azar que el ncleo del programa PISA incluya la nocin
de alfabetizacin (en el sentido de competencia bsica) aplicada a los
tres primeros campos: matemtica, lectura y ciencias. Esto no slo es
congruente con el hecho de que estas tres asignaturas se ensean y cultivan
en todos los sistemas escolares, ramas y en casi todos los grados, sino que
alude, igualmente, al supuesto de que estas competencias son necesarias
y conducen al xito econmico a nivel nacional. Ya se ha mencionado, sin
embargo, que el concepto de alfabetizacin (en el sentido de competencia
bsica) tiende a debilitar el vnculo entre asignaturas escolares particulares
en favor de una supuesta relacin estrecha entre situaciones autnticas
de la vida cotidiana (adulta).
151
www.iiep.unesco.org
Si bien algo similar (aunque ms general) podra ocurrir respecto de

las tecnologas de la informacin y la comunicacin (TIC) y las
competencias y actitudes cvicas, la OCDE no ha llegado muy lejos en la
elaboracin de diseos de evaluacin correspondientes. Sin embargo,
parece seguro predecir que las TIC sern finalmente parte integrante del
programa de evaluacin de la OCDE y ya ha habido diversas iniciativas
para incluir tambin la educacin cvica (clasificada a veces como
competencia curricular transversal).
Resulta an ms sorprendente descubrir que las competencias en lenguas
extranjeras no haya recibido mucha atencin despus de los estudios de la
IEA sobre el ingls como lengua extranjera (Massad y Lewis, 1975) y el
francs como lengua extranjera (Carroll, 1975), realizados a principios de
la dcada de los setenta. Esto contradice la creencia inherente a los
curriculos de varios pases europeos, en el sentido de que los ministerios
deberan emprender o apoyar los esfuerzos destinados a ensear e
investigar en esta rea. Por ejemplo, la Conferencia Permanente de
Ministros de Educacin de Alemania ha decidido convocar (y financiar)
un estudio destinado a complementar el de PISA en los campos del ingls
como lengua extranjera y el alemn como lengua de enseanza (Deutsch
Englisch Schlerleistungen International DESI: Eine Lngsschnittstudie
zur Untersuchung des Sprachunterrichts in deutschen Schulen [Un estudio
longitudinal para investigar la enseanza de lenguas en las escuelas alemanas]
(cf. Beck y Klieme, 2003).
La inclusin del alemn como lengua de enseanza, en este ejemplo,
apunta al hecho de que las referencias y argumentaciones de orden
curricular respecto de la importancia creciente de las lenguas extranjeras
(especialmente el ingls) en el proceso hacia una sociedad global, no son
las nicas fuentes de justificacin y tal vez ni siquiera las ms relevantes
para los estudios internacionales comparados, centrados en el lenguaje,
ms all de la lectura [reading literacy]. Debido a la falta de atencin (y
recursos) durante las ltimas dcadas, la medicin de las competencias
lingsticas no ha alcanzado el nivel tcnico de las mediciones en otros
campos. Sin embargo, la existencia de sistemas escolares con mltiples
lenguas de instruccin (como por ejemplo Blgica y Suiza) y la existencia
de movimientos migratorios importantes acompaados del surgimiento
de minoras lingsticas muestra claramente la necesidad de pruebas
empricas y una mejor comprensin terica de los fenmenos
correspondientes. Se puede inferir con seguridad que la existencia de una
lengua oficial como el ingls, el francs o el castellano, que exige que los
152
www.iiep.unesco.org
alumnos la utilicen en la escuela en vez de su lengua nativa, implica

problemas comparables en muchos pases africanos y algunos
latinoamericanos.
En esta situacin, parece ser oportuno que el Consejo de Europa (1998)
haya desarrollado una clasificacin jerrquica de las competencias lingsticas
que se debera aplicar tanto a las lenguas maternas como a las extranjeras. Si
los actuales intentos destinados a validar esta jerarqua de competencias y
demostrar su utilidad para evaluar la eficacia de la enseanza tienen xito, la
metodologa correspondiente se podra desarrollar y convertir en un
instrumento muy valioso para todos los ministerios de educacin cuyos
sistemas deben abordar, de una manera u otra, problemas de la enseanza de
lenguas.
Capacidades mentales de orden superior

que se deben medir
Fundamentos conceptuales y tericos
En contextos en los que el simple conocimiento fctico est perdiendo
importancia porque est sometido a cambios rpidos, se puede acceder
a l fcilmente debido a la ubicuidad de las diversas modalidades de acceso
a la informacin y a que las exigencias para el empleo han cambiado
correlativamente, el trmino capacidad mental de orden superior ha
ganado en significacin y atractivo pblico. Sin embargo, no siempre est
muy claro qu es lo se quiere decir con esto.
Uno de los enfoques ms conocidos para distinguir entre las capacidades
de pensamiento simple y ms complejo o de orden superior fue introducido
en el campo de la medicin educacional y, de hecho, en la evaluacin
internacional comparativa del rendimiento de la educacin, por Benjamin
Bloom en Taxonomy of educational objectives: cognitive domain
(Bloom et al., 1956). Aqu se sostena que en el campo de cualquier
disciplina es necesario que el individuo domine tres niveles bsicos antes
de dominar un nivel superior de actividades mentales: conocimientomemoria, comprensin, y aplicacin, en este orden. Es decir, se afirma
que las tres competencias de orden superior anlisis, sntesis y
evaluacin exigen el dominio de los tres niveles inferiores.
Durante las primera dcadas de las encuestas comparadas del
rendimiento de los estudiantes, esta taxonoma mostr ser de gran utilidad
como marco de referencia para disear proyectos de pruebas. El examen
de estos instrumentos de prueba muestra, efectivamente, que se pueden y
153
www.iiep.unesco.org
deben generar tems significativos de pruebas, orientndose hacia procesos

mentales de orden superior en vez de concentrarse en tems que ponen a
prueba la capacidad de rememorar fragmentos aislados de informacin.
Debe notarse, sin embargo, que la teora de las pruebas en su forma
clsica ha brindado poco apoyo a los instrumentos diseados para operar
bajo esquemas de niveles de dificultad que varan sistemticamente.
A medida que se desarrollaron modelos de pruebas que eran adaptados
especficamente a tales marcos de referencia, se hizo evidente que el dominio
de las capacidades de orden superior en una disciplina no indicaba
necesariamente competencias generales o transdisciplinarias. La capacidad
de transferencia era limitada y la probabilidad de resolver un problema de
orden superior en un campo dado se hallaba altamente correlacionada con
la capacidad para evocar conocimientos tanto declarativos como
procedimentales en dicho campo, acompaada de un nivel demostrable de
comprensin, as como la capacidad de aplicar dichos conocimientos en un
contexto nuevo o distinto. La expectativa ampliamente generalizada de que
la escuela sera capaz de desarrollar un sistema de resolucin de problemas
generales no ha sido satisfecha (Weinert, 2001).
Lo que s emerge del anlisis de la dificultad de los tems en las
pruebas modernas es un incremento en las exigencias de rapidez y
complejidad de las operaciones mentales a medida que los tems bien
diseados de las pruebas se hacen ms difciles. Otra manera de expresar
este hecho, dentro de un campo determinado, es que la complejidad y
dificultad de un tem no es independiente de las exigencias de inteligencia
general. An as, el dominio de los niveles bsicos de las competencias
es un buen predictor, si no un requisito indispensable, para que una persona
encuentre la respuesta a un tem difcil. En este sentido, el aprendizaje
escolar genera importantes predisposiciones en los estudiantes para que
stos destaquen en reas especficas, aun cuando no todos los procesos
mentales implicados sean directamente transmisibles mediante la
enseanza.
Pruebas disponibles
El diseo de las pruebas del PISA 2000 incluye un tem sobre capacidades
metacognitivas que tiene pertinencia en este contexto. Si bien estas competencias
fueron medidas slo mediante informes de los propios estudiantes, ellas estaban
sumamente correlacionadas con las mediciones disponibles del rendimiento
sobre todo en lectura comprensiva. Estratgicamente considerado, ste es
un resultado importante, que sugiere la necesidad de una ms amplia
154
www.iiep.unesco.org
investigacin en esta rea. Suponiendo que las capacidades metacognitivas

adecuadas se puedan adquirir mediante la formacin, puede suceder un da
que programas adecuados faciliten ms eficazmente el aprendizaje
institucionalizado. Las interacciones entre las capacidades metacognitivas y
el rendimiento diferencial, segn los niveles de dificultad de las tareas, seran
aqu de particular inters.
El PISA ha experimentado, igualmente, con la capacidad para resolver
problemas, as como lo han hecho tambin algunos estudios regionales
previos. Ms especficamente, el trmino resolucin de problemas se
refiere aqu a la capacidad de adoptar decisiones aceptables bajo condiciones
ms o menos complejas, en secuencias de accin predefinidas. Las
ampliaciones actuales tratan de vincular tales capacidades con las
competencias adquiridas en la escuela y las extracurriculares, tales como
la capacidad de manipular y utilizar computadoras. Si los experimentos
correspondientes tuviesen xito y sus resultados se pudieran generalizar a
nivel nacional, el prximo paso importante ser investigar su relacin con
competencias ms especficas relacionadas con la escuela. Un estudio
conducido en un contexto muy particular de escuelas para alumnos con
rendimiento muy bajo parece indicar tal como lo sugieren los resultados
de una prueba de matemtica que las competencias bsicas en lectura y
la comprensin estructurada actan como condiciones necesarias para
procesar exitosamente este tipo de ejercicios de resolucin de problemas.
reas afectivas que se deben medir

Actitudes como variables de criterio
Se ha mencionado anteriormente que las evaluaciones a nivel nacional
de las competencias en civismo e historia incluyen mediciones afectivas
como criterios. Algunos ejemplos incluyen: la tolerancia con los inmigrantes,
el apoyo a los derechos de la mujer, actitudes de solidaridad hacia los
oprimidos en contextos histricos, y lealtad a los smbolos nacionales y los
principios de la narrativa constituyente de la nacionalidad (por ejemplo,
relatos de las guerras de 1812 en los casos de Rusia y los Estados Unidos).
A pesar de que estas reas disciplinarias han recibido relativamente poca
atencin en el curso de las comparaciones del rendimiento de los estudiantes
entre pases, existen valiosos indicios que muestran la aplicabilidad de
tcnicas complejas de escalonamiento a este tipo de datos. Estas tcnicas
han sido utilizadas para investigar la existencia de efectos de la interaccin
tem por pas, llamados funcionamiento diferencial de tems, a fin de
responder a la pregunta de si estas actitudes son comparables a nivel
155
www.iiep.unesco.org
internacional o no (Schulz, 2004). Hasta el momento se han descubierto

pocos indicios que puedan inducir a un escepticismo significativo en este
respecto.
Actitudes como covariables
La tradicin consistente en incluir variables ligadas a las actitudes
como predictores o, para decirlo con mayor precisin, como covariables
del rendimiento en educacin, se refiere a una prctica totalmente diferente.
Generalmente, esta estrategia de evaluacin se basa en la slida relacin
entre las variables de motivacin y rendimiento, y hay numerosas escalas
(que funcionan, como lo muestran estudios previos) que se pueden
utilizar con este propsito. La siguiente es una lista de dimensiones que
se podran considerar aqu: (a) inters relacionado con la asignatura;
(b) eficacia personal relacionada con la asignatura; (c) confianza general
en s mismo; (d) motivacin general para estudiar; (e) satisfaccin general
con la escuela; (f) ansiedad ante las pruebas; (g) percepcin del clima
escolar y (h) percepcin del aula y la instruccin. La posibilidad de
comparar tales medidas entre los pases se ha supuesto generalmente,
aunque rara vez haya sido puesta a prueba. Tambin en este caso se debern
efectuar anlisis dimensionales destinados a establecer la validez de los
fundamentos de estas medidas, as como investigaciones sobre las
propiedades psicomtricas de los tems y las escalas, incluyendo el posible
funcionamiento diferencial de los tems.
Nuevas tendencias en evaluacin

Mtodos de escalonamiento
Comenzando con la International Assessment of Educational Progress
(IAEP) (Lapointe et al., 1992a, 1992b) y el estudio de la IEA Reading Literacy
Study (Elley, 1994), la aplicacin de modelos probabilsticos de pruebas
derivados de la teora de la respuesta al tem (TRI) [Item Response Theory
IRT] se ha estandarizado en el campo de las comparaciones del
rendimiento de los estudiantes entre pases. Si bien esta tcnica fue sugerida
por primera vez ya en 1960 (Rasch, 1960), y a pesar de que permaneci
ampliamente ignorada durante aos, hay varias razones que explican el por
qu de este cambio de paradigma:
Los puntajes de la TRI expresan las capacidades de los estudiantes en

trminos de probabilidades para resolver tems de dificultad conocida.
La dificultad de los tems y las capacidades de la persona se definen
en la misma escala.
156
www.iiep.unesco.org
Las pruebas que hay que escalonar con la TRI se pueden adaptar para
grupos con capacidades especficas, si existe alguna superposicion de
tems entre las versiones utilizadas de la prueba (anclaje horizontal),
y tambin se pueden utilizar longitudinalmente para monitorear los
cambios en el transcurso del tiempo, si se cumple esta condicin (anclaje
vertical).
La TRI ofrece diversas opciones para tratar con datos incompletos,
incluyendo el caso de datos omitidos sistemticamente en diseos
rotatorios [rotated designs]. La ms completa de estas tcnicas, hasta
la fecha, es el denominado enfoque de valores plausibles
[plausible-values approach] (Beaton, 1987), en el que incluso la
informacin sobre los antecedentes se toma en cuenta cuando se
calculan las estimaciones ptimas de las distribuciones de
capacidades.
Los modelos de la TRI se pueden utilizar en una considerable variedad
de condiciones, distinguiendo, por ejemplo, los casos de variables
dicotmicas y politmicas. En el caso de las variables dicotmicas,
el modelo clsico de Rash (es decir, el modelo logstico de un solo
parmetro) estima slo los parmetros de dificultad del tem, mientras
que el modelo logstico de dos parmetros de Birnbaum (Lord y
Novick, 1968) aade un parmetro adicional para la discriminacin
de tems. El modelo logstico de tres parmetros (3PL) calcula,
igualmente, un trmino de correccin para las conjeturas.
Por encima de la estimacin de los rasgos latentes (tales como las
capacidades de los estudiantes) se han propuesto modelos que indican
igualmente la existencia de clases latentes con pautas especficas
de respuestas (McCutcheon, 1987).
Ciertamente, ste no es el lugar para discutir los mritos relativos de

cada uno de estos modelos. La decisin en favor o en contra de un modelo
particular depende parcialmente de ciertos ndices psicomtricos de
adaptacin que podran excluir una o ms de las opciones disponibles. Al
mismo tiempo, un analista de datos podra decidirse por un modelo
particular, en funcin de las ventajas secundarias de una opcin dada,
entre otras igualmente justificables en principio. Una consideracin
semejante podra fundarse en la solidez de las estimaciones entre las
repeticiones, un punto que merece ciertamente una atencin significativa
en un contexto internacional. La ltima consideracin conduce
generalmente a decidir en favor de modelos relativamente simples, slidos
y parsimoniosos.
157
www.iiep.unesco.org
Un punto especialmente importante en este aspecto se refiere a la

construccin de jerarquas de competencias o escalas de rendimiento (Kelly,
2002), como se las llama a veces. Esta rea particular se encuentra actualmente
en pleno desarrollo, con diversos enfoques para la definicin de niveles de
competencia. Una vez ms, el TIMSS ha desempeado el papel de pionero
en este campo de desarrollo. Parece ser una experiencia que podra
generalizarse, que la definicin de tales niveles ampla notablemente la
difusin de los resultados de la evaluacin y ofrece un importante punto de
partida para la formulacin de teoras que expliquen las estructuras cognitivas
requeridas en las respectivas reas disciplinarias.
Tipos de evaluacin
Debido parcialmente a estos nuevos enfoques para analizar los datos de
las pruebas, se empiezan a popularizar en este campo mtodos de evaluacin
del rendimiento de los estudiantes raramente aplicados hasta ahora o totalmente
nuevos:
Cada vez ms frecuentemente, las pruebas de rendimiento presentan

formatos variables de tems, incluyendo formatos cerrados tales
como los de opciones mltiples y formatos abiertos con respuestas
breves o amplias, como fue en el caso del TIMSS. En el caso de
tales combinaciones, y en virtud de las tcnicas de escalonamiento
de la TRI, los tems dicotmicos y politmicos (para que se les asigne
un puntaje en la modalidad de crdito parcial) se pueden combinar
libremente.
Las pruebas estandarizadas pueden complementarse con tareas ms

flexibles, tales como asignaciones del tipo ensayo. Existen enfoques
prometedores para combinar tcnicas de puntuacin elaboradas por
expertos con mtodos basados en la TRI a fin de establecer las
calidades psicomtricas de los estndares de puntuacin implcitos.
Al mismo tiempo, se pueden codificar datos relativos a los textos en
forma dicotmica e incluirlos en el anlisis.
Cada vez ms se utilizan pruebas prcticas para mejorar el carcter

de autenticidad en el uso de la evaluacin. Aqu tambin el TIMSS
ha desempeado un papel importante al introducir este tipo de
elementos en el campo de las comparaciones del rendimiento entre
pases. Si bien los aspectos pragmticos podran indicar, en algunos
casos, lo contrario el costo, por ejemplo, o las dificultades implcitas
para garantizar puntajes o cdigos comparables en los resultados o
productos del trabajo de los estudiantes, no cabe duda de que esta
rea merece seguir siendo explorada.
158
www.iiep.unesco.org
Es de especial inters acompaar los experimentos en los que las tcnicas

convencionales con papel y lpiz se complementan o se sustituyen con
pruebas que utilizan computadoras (Lietz y Kotte, 2000). A medida
que se facilita la disponibilidad de computadoras, su uso podra
convertirse en una opcin asequible y eficaz, incluso en los pases
menos desarrollados. El aspecto ventajoso de la utilizacin de este
enfoque para mejorar el acceso a los segmentos ms remotos del
sistema educativo no necesita desarrollarse aqu.
Validez del currculo frente a validez del contexto

Se ha analizado previamente que los estudios sobre la alfabetizacin
de adultos y, subsecuentemente el PISA, han desacoplado, hasta cierto
punto, la evaluacin del rendimiento de la educacin de las ms limitadas
consideraciones de la validez del currculo, las cuales haban caracterizado
de manera tan dominante las primeras comparaciones internacionales,
sobre todo en los primeros estudios de la IEA.
En este respecto, el TIMSS desempe un papel de intermediario: a
fin de poner a prueba los efectos de las desviaciones de la equivalencia
curricular entre los pases, se dise una rutina de comprobacin especial
llamada Test-curriculum matching analysis [Anlisis de la prueba de
correspondencia curricular] (TCMA), (Beaton y Gonzales, 1997). Dentro
de esta rutina especial se escalon el rendimiento de cada pas de acuerdo
con un vector que representaba el currculo propio del pas, as como con
todos los vectores que representaban a los otros pases participantes. Los
resultados mostraron que, al menos en el campo de la matemtica, haba
pocas diferencias que pudiesen ser atribuidas a tales distinciones. Es
posible, por supuesto, que en otras reas de comparacin estos efectos
puedan ser ms grandes.
En el caso del estudio de la IEA sobre la educacin cvica, se haba
supuesto que la prueba cognitiva evidenciara considerables efectos de
las interacciones de tem por pas, debido a la influencia diferencial de las
culturas polticas del entorno. De hecho, se esperaba encontrar ejemplos
tales que se podran haber tomado como pruebas empricas de la variacin
de las culturas polticas entre pases. En realidad, apenas fue posible
identificar algunos efectos de este tipo. All donde stos se pudieron notar,
no fueron lo suficientemente amplios como para justificar la exclusin de
los tems correspondientes de los anlisis relacionados con el pas.
159
www.iiep.unesco.org
Pases con diferentes subsistemas educativos o diferentes lenguas de

instruccin se encuentran, en principio, en una situacin que no difiere de
aqullas halladas en las comparaciones internacionales. Varias dcadas
de experiencia en este campo han producido una profusin de mtodos y
tcnicas que facilitan comparaciones justas, tomando en cuenta toda clase
de influencias contextuales. Sin embargo, podra llegar a ser evidente que
la nocin de comparacin tiene un carcter secundario en relacin con
los objetivos primordiales, consistentes en identificar puntos de referencia
aceptables del rendimiento del estudiante y de la productividad del sistema,
as como mecanismos con los que se puedan mejorar la eficacia y la
eficiencia del sistema educativo. Indudablemente, la mayora de los
ministerios de educacin suscriben estos objetivos y estn dispuestos, por
esta razn, a continuar invirtiendo en la realizacin de estudios
internacionales comparados de la calidad de la educacin.
Conclusin
Ninguna investigacin puede, por s sola, responder a todas las
interrogantes, preocupaciones e intenciones latentes en la iniciativa del
ministerio de educacin para realizar una evaluacin. Esto se debe no slo
a la posible divergencia de intereses en cualquier ministerio determinado,
sino ms an debido al amplio conjunto de posibilidades que deben ser
consideradas y finalmente implementadas por los investigadores. Una
leccin que se deriva de la taxonoma de los estudios presentada anteriormente
podra consistir en que la eleccin que se debe realizar probablemente no
ser fcil. Se requiere, sobre todo, que los responsables de la toma de
decisiones del ministerio especifiquen con un mximo de precisin las
interrogantes que se deben investigar. Obviamente, este es un paso necesario
antes de que se pueda definir racionalmente cualquier diseo.
Mientras que las suposiciones bsicas de algunos de los antiguos
modelos por ejemplo, que las relaciones entre el contexto y el producto
son invariables entre los pases, o que hay relaciones fijas entre los insumos
y los resultados parecen estar simplificadas y ser optimistas en demasa,
enfoques ms recientes, que enfatizan la heterogeneidad contextual y la
multiplicidad de criterios, presentan un desafo significativo respecto al
conocimiento del contexto y el juicio metodolgico. Por tanto, los
responsables de la toma de decisiones en los ministerios debern
familiarizarse tanto con las cuestiones polticas que son parte de su mbito
de responsabilidad, como con el potencial de los enfoques actuales de
investigacin educacional.
160
www.iiep.unesco.org
Quiz sea realista asumir que esta familiaridad no incluye

necesariamente un alto nivel de competencias especializadas relativas a
la teora de pruebas y anlisis de datos. Lo que parece ser ms relevante
en este contexto es una conciencia clara de los factores que influyen
potencialmente sobre los criterios examinados. Esta conciencia ser crucial
en la seleccin de construcciones pertinentes e indicadores vlidos,
respectivamente, y, por consiguiente, es esencial para la utilidad del estudio
emprendido.
Bibliografa
Amadeo, J.A.; J. Tourney-Purta; R. Lehmann; V. Husfeldt; R. Nikolova. 2002.
Civic knowledge and engagement. An IEA study of upper secondary
students in sixteen countries, Amsterdam: IEA.
Angvik, M.; B. von Borries. 1997. Youth and history. A comparative
European survey on historical consciousness and political attitudes
among adolescents, Hamburg: Krber-Stiftung.
Baumert, J.; W. Bos; R.L. Lehmann. 2000. TIMSS/III. Dritte Internationale
Mathematik- und Naturwissenschaftsstudie Mathematische und
naturwissenschjaftliche Bildung am Ende der Schullaufbahn. 2 Bde,
Oplade: Leske + Budrich.
Beaton, A.E. 1987. Implementing the new design: The NAEP 1983-84
technical report, Princeton, NJ: Educational Testing Service, National
Assessment of Educational Progress.
Beaton, A.E.; E.J. Gonzales. 1997. TIMSS test curriculum matching
analysis, en Martin, M.O.; D.L. Kelly (Eds.), Third international
mathematics and science study. Technical report, vol. II: Implementation
and analysis, Chestnut Hill, MA: Boston College, pp.187-193.
Beck, B.; E. Klieme. 2003. DESI Eine Lngsschnittstudie zur
Untersuchung des Sprachunterrichts in deutschen Schulen, Empirische
Pdagogik, Vol. 17, No. 3, pp. 380-395.
Becker, G.S. 1964. Human capital, New York: National Bureau of
Economic Research. Existe versin en espaol: El capital humano:
un anlisis terico y emprico referido fundamentalmente a la
educacin, 2 ed., Madrid: Alianza Editorial, 1983.
Bloom, B.S.; M.D. Engelhart; E.J. Furst; W.H. Hill; D.R. Krathwohl (Eds.).
1956. Taxonomy of educational objectives. Handbook 1: Cognitive
domain, New York, NY: McKay. Existe versin en espaol: Taxonoma
161
www.iiep.unesco.org
de los objetivos de la educacin. La clasificacin de las metas

educacionales, Manual 1: dominio cognoscitivo; Manual 2: dominio
afectivo, 10 ed., Buenos Aires: El Ateneo, 1990. Vase tambin:
Taxonoma de los objetivos de la educacin. Tomo I. mbito del
conocimiento, Alcoy (Espaa): Marfil, 1975.
Carroll, J.B. 1975. The teaching of French as a foreign language in eight
countries. International Studies in Evaluation V, Uppsala:
Almquist & Wiksell.
Cattell, R.B. 1960. Culture fair intelligence test, scale 2, 3rd ed.,
Champaign, IL: IPAT.
Council of Europe. 1998. Modern languages: Learning, teaching,
assessment. A common European framework of reference, Strasbourg:
Council for Cultural Co-operation.
Creemers, B.; J. Scheerens; D. Reynolds. 2000. Theory development in
school effectiveness research, en Teddlie, C.; D. Reynolds (eds.),
The international handbook of school effectiveness research,
London & New York: Falmer, pp. 283-298.
Deutsches PISA-Konsortium (ed.). 2002. PISA 2000 Die Lnder der
Bundesrepublik Deutschland im Vergleich, Opladen: Leske + Budrich.
Elley, W.B. (Ed.). 1994. The IEA study of reading literacy: Achievement
and instruction in thirty-two school systems, Oxford: Pergamon.
European Union Directorate General for Education and Culture. 2001.
European report on the quality of school education. Sixteen quality
indicators. Report based on the working committee on quality
indicators, Luxembourg: European Union.
Husn, T. 1967. International study of achievement in mathematics. A
comparison of twelve countries, Vols. 1-2, Uppsala:
Almquist & Wiksell.
Kelly, D.L. 2002. Application of the scale anchoring method to interpret
the TIMSS achievement scales, en Robitaille, D.F.; A. Beaton (eds.),
Secondary analysis of the TIMSS data, Dordrecht: Kluwer Academic
Publishers, pp. 375-390.
Lapointe, A.E.; N.A. Mead; J.M. Askew. 1992a. Learning mathematics. Report
of the international assessment of educational progress, Princeton, NJ:
Educational Testing Service (Report No. 22-CAEP-01).
162
www.iiep.unesco.org
Lapointe, A.E.; J.M. Askew; N.A. Mead. 1992b. Learning science. Report of
the international assessment of educational progress, Princeton, NJ:
Educational Testing Service (Report No. 22-CAEP-02).
Lietz, P.; D. Kotte. 2000. The importance of economic literacy, Frankfurt
am Main: Peter Lang.
Lord, F.M.; M.R. Novick. 1968. Statistical theories of mental test scores,
Reading, MA: Addison-Wesley.
Massad, E.G.; C.E. Lewis. 1975. The teaching of English as a foreign
language in ten countries. International studies in evaluation IV,
Uppsala: Almquist & Wiksell.
McCutcheon, A.L. 1987. Latent class analysis, Newbury Park, CA:
Sage.
NCES. 1993. Adult literacy in America. A first look at the results of the
national adult literacy survey, Washington, DC: NCES.
NCES. 1998. Adult literacy in OECD countries. Technical report on the
first international adult literacy survey, Washington, DC: NCES.
OECD. 1992. Education at a glance. OECD indicators, Paris: OECD.
OECD. 2001. Knowledge and skills for life. First results from PISA 2000,
Paris: OECD.
Passow, A.H.; H.J. Noah; M.A. Eckstein; K.R. Mallea. 1976. The national case
study: An empirical comparative study of twenty-one education
systems, New York: Wiley.
Rasch, G. 1960. Probabilistic models for some intelligence and attainment
tests, Copenhagen: Nielsen & Lydiche (2nd ed., Chicago: University
of Chicago Press, 1980).
Ross, K.N. 1997. Research and policy: a complex mix. IIEP Newsletter,
Vol. XV, No 1, pp. 1 y 4. Existe versin en espaol: Investigacin
y poltica: una mixtura compleja, Carta Informativa del IIPE,
vol. XV, n. 1, pp. 1 y 4. Cf.:
www.unesco.org/iiep/news/spanish/jans197.htm
Scheerens, J.; R.J. Bosker. 1997. The foundations of educational
effectiveness, London: Pergamon.
Schultz, T. 1961. Investment in human capital, American Economic
Review, Vol. 51, No. 1, pp. 1-17.
163
www.iiep.unesco.org
Schulz, W. 2004. Scaling procedures for likert-type items on students

concepts, attitudes, and actions, en Schulz, W.; H. Sibberns (Eds.),
The IEA civic education study. Technical report, Amsterdam: IEA,
pp.93-126.
Torney, J.V.; A.N. Oppenheim; R.F. Farnen. 1975. Civic education in ten
countries. international studies in evaluation VI, Uppsala: Almquist
& Wiksell.
Torney-Purta, J.; R. Lehmann; H. Oswald; W. Schulz. 2001. Citizenship and
education in twenty-eight countries. Civic knowledge and engagement
at age fourteen, Amsterdam: IEA.
UNESCO. 1997. International standard classification of education
(ISCED). (Re-edition: May 2006). Bsqueda: 12 de julio de 2008,
en:
www.uis.unesco.org/TEMPLATE/pdf/isced/ISCED_A.pdf
Versin en espaol: UNESCO. 1997. Clasificacin Internacional
Normalizada de la Educacin (CINE). (Reedicin: mayo de 2006).
Bsqueda: 12 de julio de 2008, en:
www.uis.unesco.org/TEMPLATE/pdf/isced/ISCED_E.pdf
Walberg, H.J. (Ed.). 1990. Educational productivity. The evaluation of
educational efficiency: constraints, issues, and policies (vol. 1),
Greenwich and London: JAI Press.
Walker, D.A. 1976. The IEA six subject survey: an empirical study of
education in twenty-one countries, Uppsala: Almquist & Wiksell.
Weinert, F. 2001. Concept of competence: A conceptual clarification, en
Rychen, D.S.; L.H. Salganik (Eds.), Defining and selecting key
competencies, Seattle, Toronto, Bern, Gttingen: Hogrefe & Huber,
pp. 45-65.
164
www.iiep.unesco.org
Captulo 8
A quin se debe medir

en un estudio internacional comparado?
Pierre Foy
Introduccin
El muestreo es una parte importante e integral de cualquier evaluacin
internacional comparada. Es solamente mediante la seleccin de muestras
adecuadas que los investigadores y analistas polticos pueden estar seguros
de que las evaluaciones sobre la calidad de la educacin se aplican a
poblaciones comparables de estudiantes, dando como resultado
investigaciones con clculos no sesgados y confiables. Esto se logra
definiendo correctamente la poblacin objetivo, basndose en una slida
metodologa de muestreo, determinando un tamao apropiado de la
muestra, computando y aplicando ponderaciones muestrales, y calculando
correctamente los errores estndar.
Uno de los propsitos fundamentales de los estudios internacionales
comparados en educacin es contrastar el rendimiento de los estudiantes
entre pases. El muestreo es una actividad importante en estos estudios. Las
muestran deben obtenerse basndose en mtodos slidos a partir de
poblaciones bien definidas que, en ltima instancia, sean comparables. En
varias evaluaciones internacionales recientes se han emprendido acciones
para controlar y monitorear las actividades de muestreo entre los pases
participantes. Los procedimientos de muestreo cientficamente bien
diseados se aplicarn a grupos comparables de estudiantes en todos los
pases participantes.
Este artculo examina los diversos factores que deben tenerse en cuenta
cuando se obtiene una muestra adecuada. No se trata de una presentacin
tcnica detallada, porque la mayora de las evaluaciones internacionales
ofrecen manuales de mustreo con este propsito (Foy y Joncas, 2001 y 2004).
Se trata, ms bien, de facilitar un debate ms pragmtico sobre estos
procedimientos de muestreo destinados a investigadores y analistas polticos.
Mediante estos debates estarn en mejores condiciones para formular
interrogantes de poltica pertinentes y, ms importante an, ser capaces de
traducir estas interrogantes en especificaciones apropiadas para los
procdimientos de muestreo.
165
www.iiep.unesco.org
Definicin de la poblacin objetivo

El propsito de las evaluaciones internacionales es comparar los
intereses de los investigadores, los padres de familia, el pblico y los
gobiernos. Por consiguiente, las poblaciones objetivo se deben escoger
de modo que se puedan abordar las principales interrogantes de la
investigacin y permitir comparaciones vlidas entre los pases
participantes. Hay dos enfoques generales que se utilizan para definir las
poblaciones objetivo en estudios internacionales comparados sobre la
calidad de la educacin: la cobertura de una cohorte de edad o la cobertura
de un grado de estudios determinado. Las preguntas de la investigacin
conducirn, en general, hacia una u otra, haciendo que la eleccin sea as
relativamente simple. Sin embargo, escoger puede convertirse en algo
complicado cuando se manifiestan los diversos intereses nacionales de
poltica y las diferencias en los sistemas nacionales de educacin.
Definiciones basadas en la edad
Las definiciones de la poblacin objetivo basadas en la edad se
concentran en la cobertura de una cohorte de edad especfica, por ejemplo,
todos los estudiantes de 15 aos de edad en un sistema educativo, como
es el caso en la implementacin del PISA (Programa Internacional de
Evaluacin de Estudiantes) (Adams y Wu, 2002). Una definicion semejante
ejerce una atraccin definida entre los analistas de poltica por su simplicidad
y fcil interpretacin. Por ejemplo, podra ser de gran inters en materia
poltica conocer lo que los estudiantes han aprendido en el momento en
que llegan a cierta edad, como por ejemplo la edad mxima de la educacin
obligatoria.
A pesar de la aparente simplicidad de una definicin basada en la
edad, lograr la aceptacin internacional de una cohorte de edad comn
puede ser difcil, debido a diferencias estructurales entre los sistemas
educativos nacionales. En los pases se podra sostener, principalmente,
que un estudiante de 15 aos de un pas determinado habra estado expuesto
a ms, o menos, aos de escolaridad que un estudiante de 15 aos en otro
pas. Las fluctuaciones en la edad requerida para el ingreso, las polticas
de repeticin de grado y la cobertura del currculo tambin se pueden
plantear en los debates.
Un diseo de muestra adecuado para una definicin de la poblacin
basada en la edad consistira en identificar a todos los estudiantes que
renen la edad requerida. En trminos de muestreo, ste es un diseo ms
bien eficiente, que minimiza los efectos de agrupamiento dentro de las
166
www.iiep.unesco.org
escuelas y, por ende, produce estimaciones ms confiables segn el nivel

de los estudiantes. Analticamente, una definicin basada en la edad tiene
sus limitaciones. Por ejemplo, sera casi imposible desarrollar modelos
explicativos que incorporen la estructura del aula y las prcticas educativas,
debido en gran medida a que la poblacin basada en la edad podra estar
a caballo entre diversos grados y la muestra de estudiantes estara muy
dbilmente distribuida entre grados y aulas en cada escuela de la
muestra.
Una poblacin objetivo basada en la edad tambin presenta retos de
carcter operacional. Los estudiantes de la muestra en cada escuela deben
ser sacados de sus clases regulares y reunidos en un aula disponible para
la aplicacin de la prueba. Algunas instancias administrativas podran
considerar este hecho como perjudicial al funcionamiento normal de la
escuela. Adems, podra no disponerse de una sala adecuado para reunir a
los estudiantes de la muestra para aplicarles la prueba. Dicho esto, varias
evaluaciones internacionales se las han arreglado para implementar esos
diseos, por ejemplo la Evaluacin Internacional del Progreso Educativo
[International Assessment for Educational Progress] (IAEP) (Lapointe et al.,
1989) y el PISA (Adams y Wu, 2002).
Definiciones basadas en el grado
Las definiciones de la poblacin objetivo se centran en un grado
especfico, o un conjunto especfico de grados, como la implementada en el
TIMSS (Third International Mathematics and Science Study) (Beaton et
al., 1996a, 1996b, 1996c y 1996d) y el Estudio Internacional de
Competencia en Lectura [Progress in International Reading Literacy
Study] (PIRLS) (Martin et al., 2003). Por ejemplo, una definicin se podra
centrar en el octavo grado escolar en un sistema de educacin, cuando se
cuenta a partir del inicio de la escolaridad primaria. Esa definicin es
generalmente muy atractiva, especialmente cuando los instrumentos de
evaluacin se elaboran a partir de la cobertura del currculo. Adems, dado
que las aulas estn organizadas por grado, el muestreo por aula es pertinente
y prctico.
Lograr consenso a nivel internacional sobre un grado objetivo
adecuado puede ser elusivo por razones similares a las que se plantean en
los debates sobre las definiciones basadas en la edad. Adems, las edades
de los estudiantes en un grado determinado pueden variar hasta en un ao
completo a veces ms entre pases, dependiendo de la edad de ingreso
requerida y las polticas de repeticin de grado.
167
www.iiep.unesco.org
La principal ventaja de una definicin basada en el grado radica en el

ms amplio rango de informacin contextual disponible. Mientras que una
poblacin basada en la edad generalmente slo puede ofrecer informacin
contextual para las escuelas y los estudiantes, una poblacin basada en el
grado tambin ofrecer informacin contextual relativa a las aulas y los
profesores.
Unidades de anlisis
Las unidades de anlisis son las entidades que deseamos analizar.
En una evaluacin internacional, generalmente es muy claro que nuestras
unidades de anlisis fundamentales sern los estudiantes mismos. Sin
embargo, las evaluaciones internacionales tambin estudian los contextos
que pueden influir sobre el rendimiento de los estudiantes. Por consiguiente,
podramos desear considerar las escuelas como las unidades de anlisis y
recoger informacin de las escuelas. Estos datos nos permitirn describir
el entorno a nivel de la escuela en que aprenden los estudiantes.
Los anlisis a nivel de escuela se pueden enfocar desde dos
perspectivas. La primera consiste simplemente en analizar las escuelas
como una poblacin por derecho propio. Podemos entonces describir la
poblacin de las escuelas basndonos en los datos que hemos recolectado
de ellas. La segunda consiste en considerar los datos a nivel de la escuela
como informacin contextual para describir nuestra poblacin de
estudiantes. Para el primer enfoque, formularemos afirmaciones tales
como el porcentaje de escuelas con biblioteca. Para el segundo,
podramos formular afirmaciones tales como el porcentaje de alumnos
que asiste a una escuela con biblioteca. La distincin entre estos dos
enfoques puede ser muy importante y conducir a diferentes hallazgos
desde el punto de vista poltico. Por ejemplo, podramos descubrir que
slo 20 % de las escuelas tiene una biblioteca, pero que 80 % de los
estudiantes asiste a esas escuelas.
Es importante tener en cuenta la distincin entre unidades de anlisis
y unidades de muestreo, aunque frecuentemente encontraremos que ambos
conceptos tienden a superponerse. Dado que ya hemos definido las unidades
de anlisis, las unidades de muestreo son las unidades que muestreamos
efectivamente en nuestra bsqueda de unidades de anlisis, y tal vez no sean
necesariamente las unidades que deseamos analizar. En general, las
evaluaciones internacionales muestrean las escuelas y los estudiantes por
conveniencia operacional para el muestreo de los estudiantes agrupados en
las escuelas muestreadas. De esta manera, las escuelas y los estudiantes se
168
www.iiep.unesco.org
consideran como unidades de muestreo. Con una poblacion objetivo basada

en el grado, podramos desear muestrear un aula de estudiantes de las escuelas
muestreadas. En este caso, escuelas, aulas y estudiantes son las unidades de
muestreo, mientras que las escuelas y los estudiantes son las unidades de
anlisis. Las aulas podran convertirse en unidades de anlisis, si el contexto
de la investigacin lo requiriese.
Cobertura y exclusiones
Las evaluaciones internacionales definen lo que generalmente se
denomina la poblacin objetivo internacional deseada. Se espera,
entonces, que todos los pases participantes definan su poblacin objetivo
nacional de acuerdo con este stndar internacional. Por ejemplo, la
definicin de la poblacin objetivo internacional del PIRLS dice lo
siguiente:
La poblacion objetivo del PIRLS 2006 se define como todos los
estudiantes matriculados en el grado que representa cuatro aos de
escolaridad, contados a partir del primer ao del nivel 1 de la CINE,
siempre y cuando la edad promedio en el momento de la prueba sea
de por lo menos 9,5 aos.
La poblacin objetivo internacional deseada debe describir claramente
las unidades de anlisis fundamentales. Es necesario enunciar claramente
todos los elementos de la definicin para que todos los pases participantes
puedan implementarla adecuadamente, conduciendo as a poblaciones
comparables entre los pases. De esta manera, la poblacin nacional
objetivo deseada se convierte en una implementacin en cada pas de la
poblacin internacional objetivo deseada en su contexto nacional.
Un pas que quiera considerar una cohorte de edad, o un grado, en
su poblacin nacional objetivo deseada diferente a la explicitada en la
poblacion internacional objetivo deseada, debe ser advertido inmediatamente
de la inadecuacin de su opcin. Obviamente, este tipo de decisin podra
comprometer gravemente la posibilidad de comparar los datos de este pas
con los de los otros pases participantes (y que han acatado las
decisiones).
La exclusin de algunos subgrupos de estudiantes de todos los
estudiantes que cubre la poblacin internacional objetivo deseada es
designada como cobertura nacional reducida. Entre los ejemplos podran
estar escuelas privadas, un grupo lingstico minoritario o una regin
geogrfica. Si se excluye un nmero sustancial de estudiantes de la
169
www.iiep.unesco.org
poblacin objetivo nacional deseada, los resultados del estudio no se

podran considerar representativos de la totalidad del sistema nacional de
educacin. Por consiguiente, las evaluaciones internacionales deberan
promover que todos los pases participantes procuren tener una cobertura
completa de sus poblaciones objetivo nacionales deseadas. Los pases con
significativos niveles de cobertura reducida se identifican en los anlisis
finales para informar a los investigadores y analistas polticos de las
potenciales limitaciones al hacer comparaciones a partir de los datos.
La cobertura nacional no se debe limitar a las escuelas que estn en la
jurisdiccin del Ministerio de Educacin Nacional. La cobertura nacional
debe incluir las escuelas privadas, aunque sean completamente autnomas
y no estn bajo la supervisin directa del ministerio. De hecho, la cobertura
nacional debe incluir a todas las escuelas que funcionan en el sistema regular
de educacin, independientemente de dnde se sita el locus de su
responsabilidad. Esto puede incluir, por ejemplo, escuelas administradas
por ministerios de agricultura, comercio, industria o defensa nacional.
Al utilizar sus poblaciones objetivo nacionales deseadas como un
marco de referencia general, los pases participantes definirn luego sus
poblaciones objetivo definidas a nivel nacional; en sntesis, el marco
muestral de sus escuelas. Todas las escuelas y estudiantes de la poblacin
objetivo nacional deseada excluidos de la poblacin objetivo definida a
nivel nacional sern designados como poblacin excluida. Estas
exclusiones pueden ocurrir a nivel de escuela, en cuyo caso las escuelas
se eliminan del marco muestral, o de las escuelas muestreadas, en las que
los alumnos muestreados en las escuelas muestreadas son excluidos de la
evaluacin.
Las evaluaciones internacionales establecen estndares mnimos para
efectuar exclusiones aceptables. Por ejemplo, el TIMSS y el PIRLS
permiten un mximo de 10 % de estudiantes excluidos de la poblacin
objetivo nacional deseada, si bien la mayora de los pases mantiene las
tasas de exclusin por debajo del 5 %. En general, se aducen razones
prcticas para excluir escuelas y estudiantes de la poblacin objetivo
nacional definida, tales como el aumento de los costos del estudio, el
aumento de la complejidad en el diseo de la muestra y condiciones
difciles para aplicar la prueba. Las razones que se dan generalmente para
excluir escuelas del marco muestral son: (a) escuelas en regiones
geogrficamente remotas; (b) escuelas muy pequeas; (c) escuelas que
ofrecen un currculo, o estructura, diferente de la prevaleciente en el
170
www.iiep.unesco.org
sistema educativo y (d) escuelas que ofrecen instruccin nicamente a

estudiantes de las categoras excluidas definidas dentro de las exclusiones
de la muestra.
La exclusin de los estudiantes que renen las condiciones exigidas
tambin puede ocurrir dentro de las escuelas muestreadas, debido
generalmente a condiciones inadecuadas para la aplicacin de las pruebas
a esos estudiantes. Las principales razones aducidas para tales exclusiones
son: (a) estudiantes con discapacidades mentales que haran difcil, incluso
imposible, que sigan las instrucciones generales de la prueba;
(b) estudiantes con discapacidades fsicas que impediran su rendimiento
en la situacin de prueba y (c) estudiantes incapaces de leer o hablar la
lengua de la prueba, generalmente inmigrantes recin llegados.
Las distinciones entre poblaciones internacionalmente deseadas,
nacionalmente deseadas y nacionalmente definidas pueden ser nebulosas.
Dado su objetivo principal, se trata de que las evaluaciones internacionales
logren la plena cobertura de la poblacin objetivo internacional deseada
entre todos los pases participantes y mantener todo tipo de exclusin en
un mnimo. La diferencia entre las poblaciones objetivo deseadas a nivel
nacional e internacional generalmente se designa como exclusiones de
la cobertura nacional. Slo una exclusin importante de la poblacin
objetivo sera considerada en este sentido. Todas las otras fuentes de
exclusin constituiran exclusiones de la poblacin nacional deseada y
estaran constituidas por exclusiones a nivel de escuela y exclusiones
dentro de la muestra. Por consiguiente, las exclusiones describen la
diferencia entre las poblaciones objetivo nacional deseada y nacional
definida.
Las relaciones entre los diversos niveles de las poblaciones objetivo
y las posibles reducciones de la cobertura y las exclusiones se ilustran en
el Grfico 8.1. En ltima instancia, la poblacin objetivo nacional efectiva
es la poblacin que la muestra de estudiantes participantes representa
efectivamente, una vez que se hayan tomado en consideracin todas las
fuentes de exclusin.
Principales aspectos del diseo muestral

Las evaluaciones internacionales generalmente utilizan diseos
muestrales complejos para seleccionar sus muestras de estudiantes.
Generalmente, se los designa diseos muestrales multietpicos,
estratificados y por conglomerados. Se los denomina multietpicos
171
www.iiep.unesco.org
porque la muestra de estudiantes se selecciona en diversas etapas; por

ejemplo, las escuelas en una primera etapa, las aulas en una segunda etapa
y los estudiantes en una tercera y final. Se les denomina estratificados
porque las escuelas del marco muestral generalmente estn divididas, o
estratificadas, en grupos homogneos antes de iniciar el muestreo.
Finalmente, el trmino conglomerado se utiliza para destacar el hecho
de que la muestra final consiste en conglomerados de estudiantes, ya sea
a nivel de escuela o de aula, o de ambos. Este agrupamiento de estudiantes,
si bien prctico en trminos operacionales, conduce a deficiencias en el
muestreo, que necesitarn ser compensadas, generalmente mediante la
seleccin de muestras ms grandes.
Grfico 8.1 Cobertura y exclusiones
Poblacin objetivo internacional deseada
Poblacin objetivo nacional deseada
Poblacin objetivo nacional definida
Poblacin objetivo nacional efectiva
Excluida de la cobertura nacional

Excluida a nivel de escuela
Excluida dentro de la muestra
Etapas del muestreo y unidades de muestreo

Si nuestro nico propsito fuera seleccionar una muestra de
estudiantes para medir el rendimiento total de los estudiantes, el diseo
muestral ms eficiente consistira en un muestreo directo de estudiantes
a partir de una lista de todos los estudiantes que renen los requisitos. Por
eficientes queremos decir obtener los resultados ms confiables posible
de la muestra ms pequea posible. Raras veces, sin embargo, un diseo
semejante de eficiencia permite satisifacer nuestros objetivos analticos o
tener en cuenta nuestras limitaciones operacionales. En primer lugar, una
lista completa de todos los estudiantes que renen los requisitos podra
no estar disponible. Incluso si estuviera disponible, la muestra de
estudiantes probablemente se podra encontrar en tantas escuelas diferentes
(es decir, un estudiante por escuela) diseminadas por todo el pas, haciendo
de sta una empresa costosa.
172
www.iiep.unesco.org
Las evaluaciones internacionales generalmente prevn analizar ms

que el simple rendimiento de los estudiantes. Ellas incluyen entre sus
objetivos de anlisis preguntas relacionadas con el contexto en el que los
estudiantes aprenden, lo que incluira las escuelas a las que asisten los
estudiantes. Por consiguiente, la necesidad de considerar las escuelas como
unidades de anlisis, as como unidades de muestreo, hacen atractivos los
diseos muestrales multietpicos por consideraciones de orden anlitico
y operacional.
Las evaluaciones internacionales con poblaciones objetivo basadas en
la edad, tales como el PISA, generalmente utilizarn un diseo en dos etapas,
teniendo a escuelas y estudiantes como las dos etapas muestrales. Las
evaluaciones internacionales con poblaciones objetivo basadas en el grado,
como el TIMSS y el PIRLS, utilizarn un diseo muestral en tres etapas, en
el que escuelas, aulas y estudiantes constituyen las etapas muestrales, aunque
tambin se puede considerar el diseo muestral en dos etapas.
Las aulas como unidades de muestreo presentan un reto particular.
Las aulas no son siempre unidades estables y homogneas en relacin con
los estudiantes que las constituyen. Por ejemplo, los estudiantes en una
clase de idioma podran no ir a la misma clase de matemtica o ciencias.
Por consiguiente, es muy importante definir qu es lo que se designa con
el trmino aula, como unidad de muestreo y como unidad de anlisis,
as como asegurar que todos los estudiantes que renen los requisitos de
grado en una escuela dada sern tomados en consideracin en la divisin
de las aulas.
Marco muestral de la escuela
El marco muestral de las escuelas es una lista de todas las escuelas
que renen los requisitos y a partir de la cual seleccionamos la muestra
de escuelas. La existencia de un marco muestral de buena calidad es crucial
si queremos obtener muestras vlidas que se supone representan
adecuadamente a nuestra poblacin objetivo definida. El marco muestral
de las escuelas generalmente se obtiene de registros administrativos,
usualmente disponibles en el ministerio de educacin. Un marco muestral
de las escuelas bien construido ofrece una cobertura completa de todas
las escuelas que renen los requisitos, no incluye escuelas que no renan
los requisitos, no duplica las entradas y se elabora a partir de informacin
actualizada.
El marco muestral de las escuelas debe ofrecer una cobertura de todas
las escuelas que renen los requisitos, de acuerdo con la poblacin objetivo
173
www.iiep.unesco.org
nacional definida. Todas las escuelas que cuenten con estudiantes de la

edad o el grado escolar requeridos deben estar incluidas en el marco
muestral de las escuelas. Las escuelas que renan los requisitos que no
estn presentes en el marco muestral de las escuelas no tendrn ninguna
oportunidad de ser incluidas en la muestra de escuelas y, consecuentemente,
se consideran como parte de la poblacin excluida.
El marco muestral de las escuelas no debe contener escuelas que no
renan los requisitos, es decir, escuelas con estudiantes que no tengan la
edad o el grado escolar requeridos. Esto incluye a las escuelas que han sido
identificadas para ser excluidas. La presencia de escuelas que no renan
los requisitos en el marco muestral de las escuelas puede llevar a elegir
algunas de ellas en la muestra, reduciendo as el tamao efectivo de la
muestra.
El marco muestral de las escuelas no debe tener escuelas duplicadas,
es decir, escuelas que aparezcan ms de una vez. La presencia de escuelas
duplicadas puede ocultar las verdaderas probabilidades de seleccin de
estas escuelas. A su vez, esto podra llevar a seleccionar las mismas escuelas
ms de una vez, reduciendo as el tamao efectivo de la muestra.
El marco muestral de las escuelas debe contener informacin
actualizada sobre todas las escuelas que renen las condiciones. La
medicin del tamao de las escuelas debe ser lo ms rigurosa posible, as
como la informacin sobre la estratificacin. La informacin desactualizada
dar como resultado muestras ms deficientes, la posible inclusin de
escuelas que no renen los requisitos, la exclusin de escuelas que s los
renen y probabilidades de seleccin inadecuadas.
Estratificacin
La estratificacion consiste en el agrupamiento de escuelas antes del
muestreo mediante la utilizacin de una o varias variables de estratificacin.
La estratificacin se utiliza generalmente por las siguientes razones: (a) para
mejorar la eficiencia del diseo de la muestra, haciendo as ms confiables
los estimados del estudio; (b) para aplicar una asignacin muestral
desproporcionada a grupos especficos de escuelas a fin de producir
estimaciones confiables para cada grupo y (c) para asegurar la representacin
proporcional de grupos especficos en la muestra. Las evaluaciones
internacionales harn hincapi en la necesidad de la estratificacin como un
esfuerzo para mejorar la eficiencia de los diseos de las muestras nacionales.
Despus de todo, su principal objetivo es obtener estimaciones nacionales
precisas. Por ejemplo, si en un pas se sabe que las escuelas urbanas tienen
174
www.iiep.unesco.org
mejor rendimiento que las rurales, definir los estratos urbano y rural mejorar
la precisin de los resultados del estudio para este pas.
Sin embargo, es probable que los investigadores y analistas polticos
nacionales tengan requerimientos nacionales especficos en relacin con
resultados de investigacin para subgrupos de estudiantes, a fin de hacer
comparaciones a nivel subnacional. Por tanto, estarn ms inclinados a
estratificar en funcin de los subgrupos sobre los cuales quieren dar cuenta.
Por ejemplo, si en un pas especfico se est interesado en dar cuenta de
los niveles de rendimiento de cada uno de sus estados o provincias,
entonces se pueden construir estratos de estados o provincias a fin de
asegurar un nmero adecuado para cada estrato en la muestra. Si bien los
requerimentos de precisin y dar cuenta a veces pueden estar en
conflicto, generalmente se les puede dar cabida a ambos.
Estratificacin explcita
Las evaluaciones internacionales generalmente utilizarn dos tipos

de estratificacin: explcita e implcita. La estratificacin explcita consiste
en la construccin de listas separadas de escuelas, o marcos de muestreo
de escuelas, segn un conjunto de variables explcitas de estratificacin.
Por ejemplo, si la regin geogrfica es una variable explcita de
estratificacin, entonces se construyen marcos de muestreo de escuelas
para cada regin geogrfica. Por consiguiente, se pueden aplicar diferentes
diseos de muestreo a cada lista a fin de seleccionar la muestra de
escuelas.
La principal razn para considerar la estratificacin explcita en
evaluaciones internacionales es implementar una asignacin
desproporcionada de la muestra de escuelas en relacin con los estratos
explcitos. Por ejemplo, el mismo nmero de escuelas se podra muestrear
a partir de cada estrato explcito, independientemente del tamao relativo
de cada estrato. El objetivo en este escenario es producir estimaciones
confiables iguales para cada estrato explcito.
Estratificacin implcita
La estratificacin implcita consiste en la clasificacin del marco

muestral de escuelas mediante un conjunto de variables implcitas de
estratificacin. Este tipo de estratificacin es muy eficaz para el mtodo
de seleccin de la muestra de escuelas que generalmente se emplea en las
evaluaciones internacionales: un mtodo sistemtico de probabilidad
proporcional al tamao (PPT) [probability proportional to size (PPS)].
175
www.iiep.unesco.org
Raramente se ve el concepto de estratificacin implcita con otros

mtodos de seleccin de muestras. Es una manera muy simple de asegurar
una muestra estrictamente proporcional de asignacin de escuelas entre
los estratos implcitos. Tambin puede conducir a mejorar la precisin de
los estimaciones del estudio, siempre y cuando se sepa que las variables
de estratificacin implcita tenidas en cuenta tienen un componente de
varianza significativo entre estratos.
Directrices para la estratificacin
La estratificacin es un instrumento que nos permite mejorar la eficiencia

de nuestro diseo muestral y controlar mejor la confiabilidad de nuestros
datos para subgrupos de la poblacin. A menudo existe la tentacin de definir
tantos estratos como sea posible con la esperanza de controlar totalmente el
proceso de seleccin muestral. Sin embargo, es casi imposible tener a todos
los segmentos de la poblacin adecuadamente representados en una muestra.
Por ejemplo, podramos querer asegurar que todas las regiones, todos los
distritos escolares, todos los tipos de escuelas rurales y urbanos estn
representados y controlados en la muestra. Esto puede conducirnos
rpidamente a un gran nmero de estratos y, por consiguiente, a un tamao
de muestra muy grande y muy cara. De dos a cuatro variables de estratificacin
son generalmente suficientes para la mayora de estudios. Se puede considerar
un nmero mayor de variables de estratificacin, pero esto probablemente
nos llevara a tamaos de muestras ms grandes.
Cuando se seleccionan variables de estratificacin, se deben tomar
en cuenta las siguientes directrices: (a) cada escuela del marco muestral
de escuelas debe pertenecer a un solo estrato y solamente a uno; (b) cuando
se utiliza una variable continua de estratificacin, unas cuantas divisiones
de esa variable (digamos, entre 2 y 5) generalmente proporciona la mayora
de las ganancias en cuanto a la precision muestral disponible para esa
variable y, al mismo tiempo, evita crear demasiados estratos; (c) se debe
evitar la definicin de estratos muy pequeos, especialmente de estratos
explcitos, porque es poco probable que esto mejore el nivel global de
precisin de la muestra y (d) se deben muestrear por lo menos dos escuelas
en cada estrato explcito para permitir la computacin de errores de
muestreo. Este importante criterio generalmente establece un lmite
superior al nmero de estratos que se puede definir.
176
www.iiep.unesco.org
Mediciones del tamao

Las evaluaciones internacionales generalmente emplean una
metodologa sistemtica de PPT [probability proportional to size =
probabilidad proporcional al tamao] para seleccionar la muestra de
escuelas. Cuando se aplica un muestreo por PPT, el reto consiste en
disponer de medidas precisas (o razonablemente precisas) del tamao de
la escuela. As, para cada escuela del marco muestral de escuelas
necesitamos una medida del tamao (MDT) confiable [measure of size
MOS, por sus siglas en ingls], que proporcione una estimacin del
nmero de estudiantes en cada escuela que sean miembros de la poblacin
objetivo definida. Aqu se utiliza el trmino estimacin porque para la
mayora de los sistemas escolares medianos y grandes la matrcula efectiva
de los estudiantes dentro de la poblacin objetivo definida se obtiene de
un censo escolar, que generalmente esta desactualizado varios meses
despus que se han recolectado los datos.
Para una poblacin basada en el grado, necesitaramos saber cuntos
estudiantes del grado objetivo estn en cada escuela. Para una poblacin
basada en la edad, necesitaramos saber cuntos alumnos de la edad
requerida se encuentran en cada escuela. Sin embargo, la matrcula segn
cohorte de edad no siempre est disponible a nivel de escuela. Si ste es
el caso, la matrcula a nivel de escuela en el grado objetivo que tiene a la
mayor parte de la cohorte de la edad requerida puede ser un sustituto. Si
la matrcula por grado tampoco est disponible a nivel de escuela, entonces
se deben considerar tamaos alternativos a nivel de escuela que se espera
que estn altamente correlacionados con la medida de tamao deseada:
(a) matrcula promedio de alumnos por grado o (b) nmero de aulas en el
grado objetivo o (c) matrcula total de estudiantes. Los datos de matrcula
utilizados como medida de tamao deben estar tan actualizados como sea
posible. Si no se puede encontrar una medida de tamao adecuada, o si
los datos de matrcula disponibles son muy anticuados, sera aconsejable
confiar en un muestreo con igualdad de probabilidades en lugar de utilizar
medidas de tamao poco fiables. El uso de medidas de tamao poco fiables
puede conducir a la inestabilidad en las estimaciones de las muestras
(debido principalmente a grandes fluctuaciones en las ponderaciones
muestrales).
177
www.iiep.unesco.org
Muestreo sistemtico mediante la probabilidad proporcional

al tamao (PPT)
El enfoque PPT da como resultado probabilidades de seleccin de
escuelas que son proporcionales a la medida de tamao de la escuela.
Consecuentemente, las escuelas ms grandes tienen ms probabilidades
de ser muestreadas que las escuelas pequeas. El mtodo de muestreo
sistemtico PPT es muy fcil de implementar, de ah su popularidad en
las evaluaciones internacionales. En el Grfico 8.2 se presenta una parte
de un marco muestral, que enumera las primeras 42 escuelas de un marco
muestral de escuelas con un total de 2.119 escuelas. Cada escuela tiene
una identificacin nica y se indica que tiene la medida de tamao
adecuada. De una escuela a otra, la medida de tamao se acumula, ya que
esto es necesario para identificar a las escuelas muestreadas. La suma de
la medida de tamao para el total de 2.119 escuelas en el marco muestral
fue 59.614. En este ejemplo, fue necesario muestrear 50 escuelas. As, el
intervalo muestral fue calculado como la medida total del tamao dividida
por el tamao requerido de la muestra de escuelas:
59.614 50 = 1.192,28
El muestreo mediante PPT se empez determinando un inicio
aleatorio como un nmero aleatorio entre cero y el intervalo muestral. En
nuestro ejemplo, este inicio aleatorio fue 653,4887. Por tanto, la primera
escuela incluida en la muestra fue la escuela que contena al estudiante
nmero 653, tal como estaba determinado en la columna acumulativa de
la medida del tamao (MDT). Esto ocurre efectivamente con la escuela
1.718, que est marcada con un aspa en el Grfico 8.2. La siguiente escuela
incluida en la muestra se determina agregando el intervalo muestral al
inicio aleatorio:
653,4887 + 1.192,28 = 1.845,7687
Este nmero de seleccin identifica a la escuela 0067 como la segunda
escuela incluida en la muestra, que tambin est marcada con un aspa en
el Grfico 8.2. Todas las escuelas subsiguientes incluidas en la muestra
se identifican agregando el intervalo muestral al nmero de seleccin
previo y colocando esta seleccin en la columna acumulativa de la medida
del tamao (MDT).
Escuelas de reemplazo
Algunas escuelas adicionales en el Grfico 8.2 fueron identificadas
como escuelas de reemplazo, con las etiquetas R1 y R2. Las escuelas
178
www.iiep.unesco.org
de reemplazo se utilizan como alternativas de reemplazo cuando las

escuelas seleccionadas rehusan participar. Siempre es aconsejable lograr
que todas, o la mayora, de las escuelas seleccionadas participen, y las
evaluaciones internacionales establecen estndares estrictos en este
sentido, ya que altas tasas de participacin de las escuelas constituye la
nica garanta para obtener sesgos mnimos en las respuestas. Generalmente
sospechamos que las razones que tenga una escuela para no participar
estn de alguna manera relacionadas con su nivel de rendimiento. Por lo
tanto, cuando la tasa de participacin de las escuelas disminuye, el riesgo
de respuestas sesgadas aumenta. La utilizacin de escuelas de reemplazo
no elimina totalmente el riesgo de respuestas sesgadas; se trata
principalmente de un mecanismo para mantener el tamao de la
muestra.
Como se ilustra en el Grfico 8.2 ms abajo, se identificaron como
escuelas de reemplazo a escuelas adyacentes a las escuelas muestreadas
que se supona deban reemplazar. Las escuelas de reemplazo tienden a
tener caractersticas similares a sus correspondientes escuelas muestreadas,
basndose en las variables de estratificacin explcitas e implcitas
utilizadas. Si bien esto no evitar necesariamente respuestas sesgadas,
puede tender a minimizar el potencial de sesgo. Adems, este enfoque es
mejor que cualquier uso alternativo aleatorio de escuelas como reemplazos,
especialmente la aplicacin del sobremuestreo para compensar las no
respuestas.
Escuelas muy grandes
Las escuelas muy grandes son escuelas cuya medida de tamao es
mayor que el intervalo calculado en el muestreo. Este fenmeno es ms
bien inusual, pero puede suceder cuando se trata con poblaciones objetivo
relativamente pequeas o cuando se aplican altas tasas de muestreo. Estas
escuelas muy grandes pueden ser problemticas, ya que potencialmente
pueden ser muestreadas ms de una vez, si aplicamos el mtodo sistemtico
de muestreo PPT, descrito previamente. En teora, ste no es un problema
importante, pero en la prctica puede serlo, ya que estaramos pidiendo
una muestra ms grande de estudiantes provenientes de escuelas
muestreadas ms de una vez.
La solucin de este problema consiste en tratar a todas las escuelas
muy grandes como escuelas aseguradas, es decir, que estn incluidas en
la muestra con seguridad (esto es, con una probabilidad de 1). La muestra
restante de escuelas se selecciona luego entre las escuelas que quedan en
179
www.iiep.unesco.org
el marco muestral de escuelas, tras haber eliminado todas las escuelas

aseguradas.
Grfico 8.2 Mtodo sistemtico de muestreo mediante la PPT
Parmetros del muestreo
Nmero total de escuelas: 2,119
Medida total del tamao: 59,614
Tamao de la muestra
de escuelas:
50
Intervalo de muestreo: 1,192.2800
Inicio aleatorio: 653.4887
Identificador MDT de la
de la escuela escuela
0829
0552
1802
1288
2043
0974
1718
1807
0457
0244
1817
1741
1652
0121
0309
0032
0021
0609
0399
0067
0202
0063
1467
1381
1043
1318
0659
0612
1696
0867
0537
1794
0695
0031
0333
0051
0384
1391
1189
0731
0634
1230
110
101
98
98
95
94
94
93
93
93
91
90
89
89
89
89
89
88
86
86
86
86
86
86
84
84
84
83
82
82
81
80
80
80
79
79
79
79
79
78
78
77
MDT
Escuelas
aculumada seleccionadas
110
211
309
407
502
596
690
783
876
969
1 060
1 150
1 239
1 328
1 417
1 506
1 595
1 683
1 769
1 855
1 941
2 027
2 113
2 199
2 283
2 367
2 451
2 534
2 616
2 698
2 779
2 859
2 939
3 019
3 098
3 177
3 256
3 335
3 414
3 492
3 570
3 647
R2

R1
R2

R1
R2

R1
180
www.iiep.unesco.org
Escuelas pequeas
Las escuelas pequeas son escuelas cuya medida del tamao (MDT)
es menor que el nmero de estudiantes que tratamos de muestrear en cada
escuela. En el estudio del PISA se requera una muestra de 35 estudiantes
de 15 aos de edad por escuela, considerndose que cualquier escuela que
tuviera menos de 35 estudiantes era una escuela pequea. Si se considera
el ejemplo del TIMSS, en el que se muestrea un aula del grado de
estudiantes requerido por escuela, entonces cualquier escuela con menos
de un aula llena de estudiantes del grado requerido se considera una escuela
pequea. Para ser ms precisos, si el tamao del aula promedio es 25,
entonces cualquier escuela con menos de 25 estudiantes del grado
requerido se considera una escuela pequea.
La presencia de escuelas pequeas puede provocar una serie de
problemas de muestreo. En primer lugar, la ineficacia operacional de
escuelas muestreadas con muy pocos estudiantes que renen los requisitos.
La mayora de las evaluaciones internacionales introduce la nocin de
escuelas muy pequeas, por ejemplo escuelas con menos de cinco
estudiantes que renen los requisitos, y permiten su exclusin, siempre y
cuando esto no comprometa la tasa global de exclusin. Sin embargo, esto
no resuelve totalmente el problema de las escuelas pequeas. Cualquier
escuela pequea que sea seleccionada en la muestra de escuelas podra
impedirnos en ltima instancia muestrear un nmero suficiente de
estudiantes. El dficit resultante en el tamao de la muestra podra conducir
a disminuir la confiabilidad de los estimaciones del estudio. Esto puede
ser preocupante en pases con grandes poblaciones rurales y, por
consiguiente, con muchas escuelas rurales pequeas. La solucin de este
problema consiste en considerar la definicin de un estrato explcito de
escuelas pequeas y seleccionar proporcionalmente ms escuelas en ese
estrato de las que habramos elegido en otras circunstancias.
Finalmente, la existencia de escuelas pequeas generalmente afecta
gravemente las ponderaciones muestrales, si persistimos en la idea de
aplicar el mtodo de muestreo PPT. Adems, las medidas de tamao de
las escuelas pequeas son inconstantes. Una muestra de 10 escuelas que
renen los requisitos un ao puede tener 5 o 15 el ao siguiente, provocando
fluctuaciones incontroladas en las ponderaciones muestrales. Por
consiguiente, las escuelas pequeas generalmente se muestrean con
igualdad de probabilidades a fin de estabilizar sus ponderaciones
muestrales.
181
www.iiep.unesco.org
Muestreo de estudiantes
Habiendo seleccionado una muestra de escuelas, la tarea siguiente
es muestrear a los estudiantes dentro de las escuelas seleccionadas. Cmo
se haga depender de la definicin de la poblacin objetivo y de los
objetivos de anlisis. Con una poblacin basada en la edad, elaboramos
una lista de todos los estudiantes que renen la edad requerida en una
escuela seleccionada y seleccionamos al azar un nmero fijo de estudiantes
de esa lista. Por ejemplo, el PISA selecciona una muestra al azar simple
de 35 estudiantes de 15 aos de edad en cada escuela seleccionada.
Con una poblacin basada en el grado, disponemos de ms opciones
de muestreo de los estudiantes. De hecho, podemos aplicar el mismo
enfoque que para una poblacin basada en la edad. En cada escuela
seleccionada elaboramos una lista de todos los estudiantes que renen el
grado requerido y seleccionamos al azar un nmero fijo de estudiantes de
cada lista de escuela. Esta es la manera ms eficiente de muestrear a los
estudiantes dentro de las escuelas, pero no necesariamente la ms prctica
con una poblacin basada en el grado. Muestrear aulas es un mtodo ms
prctico y menos perturbador. Consiste en elaborar una lista de todas las
aulas del grado objetivo en cada escuela seleccionada y generalmente
seleccionar al azar un aula por escuela. Por supuesto, es posible, y a veces
aconsejable, muestrear ms de un aula por escuela.
Un tercer enfoque de muestreo de estudiantes disponible para la
poblacin basada en el grado consiste en el submuestreo de estudiantes
en las aulas muestreadas. Este mtodo se aplica en dos etapas. En primer
lugar, elegimos las aulas en las escuelas seleccionadas tal como se describi
y en segundo lugar, seleccionamos al azar submuestras de estudiantes en
las aulas elegidas. Este enfoque es algo ms complejo y puede resultar
perturbador cuando muestreamos en funcin de aulas. Sin embargo, se
puede tener en cuenta cuando los tamaos de las aulas son muy grandes
y resultara muy costoso aplicar pruebas a todos los estudiantes de las aulas
seleccionadas. Por ejemplo, en un sistema escolar con clases de un tamao
de 50 estudiantes, sera rentable seleccionar al azar 30 estudiantes por
cada aula elegida.
La determinacin del tamao de la muestra

El reto ms grande cuando se elabora un diseo de muestra es
determinar el tamao de la muestra (Foy, 1998). Cmo tiene que ser de
grande la muestra? sta es la pregunta en boca de la mayor parte de los
182
www.iiep.unesco.org
investigadores y analistas de poltica. Pero la respuesta a esta pregunta es

ms bien compleja y requiere elementos de informacin, tanto por parte
de los expertos en muestreo como de los investigadores y analistas
polticos. Tambin hay que tener en cuenta las limitaciones de recursos,
lo que podra contribuir a enturbiar la respuesta. Cuando a un experto en
muestreo se le pregunta cul debe ser el tamao de la muestra, l escucha
inmediatamente cul debe ser el error de muestreo. La respuesta a ambas
preguntas se encuentra hasta cierto punto en las necesidades analticas del
estudio.
Necesidades analticas
El objetivo general de cualquier evaluacin internacional, o de
cualquier tipo de evaluacin, es efectuar comparaciones. stas pueden ser
comparaciones entre pases, entre regiones de un pas, entre nios y nias,
y as sucesivamente. Los tipos de comparaciones que se necesita hacer en
un estudio pueden incidir sobre el tamao de la muestra y, por consiguiente,
debe explicitarse antes de que se adopten las decisiones finales sobre el
muestreo. Esto se puede ilustrar considerando las necesidades de
informacin de un analista poltico para quien una comparacin entre dos
o ms grupos podra conducirlo a un cambio de poltica, si las diferencias
observadas fuesen demasiado grandes. El tema principal aqu es
determinar qu se quiere decir con demasiado grandes. En trminos de
importancia en materia de poltica, la pregunta sobre cun grande es la
diferencia entre dos regiones, entre escuelas rurales y urbanas, entre nios
y nias, podra llevarnos a revisar, o reformar, algn aspecto del sistema
educativo?
Las evaluaciones internacionales han establecido tradicionalmente
escalas de rendimiento con un promedio de 500 puntos y una desviacin
estndar de 100 puntos. Estas cifras son arbitrarias, un dispositivo que
muestra cmo se presentan finalmente los resultados del estudio, pero nos
pueden dar un marco para determinar lo que se podra considerar una gran
diferencia. Si bien encontramos variaciones entre los distintos pases,
estudios previos como el TIMSS (Beaton et al., 1996a; Martin et al., 2000)
han mostrado que la brecha de rendimiento entre dos grados adyancentes se
sita en el rango de 50 a 70 puntos en los grados de primaria y de 20 a 40
puntos en el primer ciclo de secundaria (Beaton et al., 1996a, 1996b, 1996c
y 1996d). Por ejemplo, basndose en los datos del TIMSS de 1995, los
estudiantes del 8 grado en el Canad tuvieron 33 puntos ms que los del
7 grado en matemtica. sta no es, en absoluto, una cantidad fija y estndar,
183
www.iiep.unesco.org
sino simplemente un punto de referencia que a veces es til para tener una
mejor idea de la magnitud de las diferencias de puntaje.
Por ejemplo, si observramos una diferencia de 30 puntos en favor
de las escuelas urbanas en el 8, podramos interpretarlo diciendo que los
estudiantes de las escuelas rurales estn retrasados un ao entero en
relacin con los de las escuelas urbanas. Ciertamente, sera una brecha
enorme que apela a efectuar algn tipo de accin para remediarla. La
pregunta que habra que plantearse es: una diferencia de 20 puntos
tambin exige una accin de recuperacin? Y una de 15 puntos?... Y
una de 10 puntos?... Asumiendo que como analistas polticos tomaremos
en cuenta cualquier brecha de 15 puntos o ms como importante en materia
de poltica, entonces estableceremos el tamao de la muestra de tal manera
que las brechas de 15 puntos o ms sern estadsticamente significativas.
Esto quiere decir que brechas tan grandes como las observadas en nuestra
muestra representaran una diferencia real, en lugar de resultados que
se podran atribuir a fluctuaciones aleatorias.
A pesar de esta explicacin, la respuesta a nuestra pregunta an sigue
siendo ambigua, ya que las evaluaciones internacionales tienen mltiples
objetivos de anlisis, tanto a nivel internacional como nacional.
Consecuentemente, las evaluaciones internacionales tienen una perspectiva
ligeramente diferente sobre este problema. Ellas establecern generalmente
el tamao de su muestra de tal modo que cualquier estimacin nacional
sea fiable dentro de un nmero fijo de puntos en la escala de rendimiento.
Esto se conoce generalmente como intervalo de confianza, por medio
del cual podemos afirmar con una probabilidad conocida y alta que el
puntaje promedio de rendimiento estimado se situar entre un nmero fijo
de puntos del puntaje nacional de rendimiento verdadero. Si tomamos el
TIMSS y el PISA como ejemplos, ambos establecen que sus expectativas
para los puntajes promedio de rendimiento nacional se sitan a 10 puntos
del puntaje del rendimiento nacional verdadero, con 95 % de confianza.
Basndose en la teora estadstica, todo esto implica que las estimaciones
ms importantes del estudio, sobre todo los promedios de rendimiento,
exigen errores de muestreo de no ms de 5 puntos.
El coeficiente de correlacin intraclase
Conocer el error de muestreo requerido no es suficiente para
determinar el tamao de la muestra en evaluaciones internacionales. Dado
que estos estudios utilizan un diseo muestral multietpico y por
conglomerado, la muestra resultante de estudiantes no es tan adecuada
184
www.iiep.unesco.org
como una muestra aleatoria simple de estudiantes. Necesitamos tener

alguna idea de la consiguiente prdida de adecuacin. sta se mide
mediante el coeficiente de correlacin intraclase (CI). El CI mide
simplemente la desigualdad entre escuelas. Si las escuelas tienden a rendir
en niveles comparables, el CI ser bajo. Si las escuelas rinden en niveles
que varan ampliamente, el CI ser alto. Conclusin: los pases con un CI
alto requieren una muestra de escuelas ms grande que los pases con un
CI bajo. El Grfico 8.3 ilustra el impacto del CI sobre el tamao de la
muestra. Este cuadro se toma del PIRLS 2006 School Sampling Manual
(Foy y Joncas, 2004). En el grfico tambin se ilustra el impacto del
tamao mnimo del agrupamiento sobre el tamao de la muestra. Este
factor se analizar posteriormente.
El PIRLS 2006 estableci requisitos de tamao mnimo para las
escuelas (150 escuelas) y los estudiantes (4.500 estudiantes). Por
consiguiente, estos valores se establecen como valores por defecto en el
Grfico 8.3 cada vez que los clculos del tamao terico de la muestra
nos llevaran a aceptar tamaos de muestra ms pequeos. Sin embargo,
podemos ver clarameante cmo el CI incide sobre el tamao de la muestra.
Para cualquier tamao mnimo de un conglomerado dado, el tamao
requerido de la muestra aumenta si el CI aumenta.
Tamao mnimo del conglomerado (TMC)
El tamao mnimo del conglomerado tambin incide sobre el tamao
de la muestra. En efecto, el tamao mnimo del conglomerado (TMC) es
el tamao de la muestra de estudiantes en las escuelas seleccionadas. En
el caso del PISA, el tamao mnimo del conglomerado se establece en 35.
En el caso del TIMSS y el PIRLS, en los que se seleccionan las aulas, el
tamao mnimo del conglomerado es generalmente el tamao promedio
del aula en un pas dado. Por consiguiente, el Grfico 8.3 ofrece un rango
de tamaos mnimos de conglomerados para tener en cuenta las variaciones
en los tamaos mnimos de las aulas en el mundo.
En el Grfico 8.3 podemos ver cmo el tamao mnimo del
conglomerado incide sobre el tamao de la muestra. Para cualquier CI
mayor de 0,3, el tamao de la muestra aumenta a medida que aumenta el
tamao mnimo del conglomerado (TMC).
185
www.iiep.unesco.org
Grfico 8.3 Cuadro para el diseo muestral del PIRLS 2006

Tamao
mnimo del
agrupamiento
a
15
n
a
20
n
a
25
n
a
30
n
a
35
n
a
40
n
a
45
n
a
50
n
a
55
n
a
60
n
Correlacin intraclase
0,1
300
4.500
225
4.500
180
4.500
150
4.500
150
5.250
150
6.000
150
6.750
150
7.500
150
8.250
150
9.000
0,2
300
4.500
225
4.500
180
4.500
150
4.500
150
5.250
150
6.000
150
6.750
150
7.500
150
8.250
150
9.000
0,3
300
4.500
225
4.500
180
4.500
150
4.500
150
5.250
150
6.000
150
6.750
150
7.500
150
8.250
150
9.000
0,4
0,5
0,6
0,7
300
300
300
301
4.500 4.500 4.500 4.515
225
225
258
296
4.500 4.500 5.160 5.920
180
216
254
293
4.500 5.400 6.350 7.325
175
213
252
291
5.250 6.390 7.560 8.730
173
211
250
289
6.055 7.385 8.750 10.115
171
210
249
288
6.840 8.400 9.960 11.520
170
209
248
287
7.650 9.405 11.160 12.915
169
208
247
286
8.450 10.400 12.350 14.300
168
207
247
286
9.240 11.385 13.585 15.730
167
207
246
285
10.020 12.420 14.760 17.100
0,8
339
5.085
334
6.680
331
8.725
329
9.870
328
11.480
327
13.080
326
14.670
326
16.300
325
17.875
325
19.500
0,9
376
5.640
372
7.440
370
9.250
368
11.040
367
12.845
366
14.640
365
16.425
365
18.250
364
20.020
364
21.840
a = nmero de escuelas seleccionadas

n = nmero de estudiantes seleccionados en el grado objetivo
Ponderaciones muestrales
El clculo de las ponderaciones muestrales es un componente
importante de cualquier diseo de muestra, si bien en muchas
investigaciones educativas a menudo se descuida o incluso se ignora. Las
ponderaciones muestrales se asignan a cada unidad de la muestra; ms
especficamente an, a los estudiantes que participan. El propsito es
mantener el equilibrio relativo entre las unidades de la muestra a fin de
efectuar inferencias adecuadas sobre la poblacin objetivo total. Un
ejemplo simple: si muestreamos a 100 estudiantes de una poblacin de
1.000 estudiantes, entonces a cada estudiante muestreado se le asigna un
peso de diez, indicando que uno de cada diez estudiantes ha sido
muestreado o, ms precisamente, que se supone que cada estudiante
muestreado representa a diez estudiantes de la poblacin.
Slo raras veces se asignan ponderaciones muestrales iguales a los
estudiantes muestreados, como en el ejemplo precedente. Por ejemplo, la
necesidad de producir estimaciones fiables para los subgrupos de una
186
www.iiep.unesco.org
poblacin puede llevarnos a aplicar tasas de muestreo diferentes por

subgrupos. Por ejemplo, podramos querer comparar el nivel de rendimiento
de los estudiantes en las escuelas pblicas con el de los estudiantes de las
escuelas privadas. Aunque quiz encontremos que un 80 % de los
estudiantes asisten a escuelas pblicas, podramos querer asignar tamaos
de muestra iguales a ambos subgrupos.
Por consiguiente, nuestra muestra consistira en 50 % de estudiantes
que asisten a escuelas pblicas. Sin ponderaciones muestrales, nuestra
muestra nos despistara al hacernos pensar que haba una particin 50/50
entre ambos grupos. Ms precisamente an, cualquier diferencia en los
niveles de rendimiento de ambos subgrupos nos llevara a estimar el nivel
de rendimiento total de manera incorrecta, al hacer hincapi excesivamente
en la contribucin de los estudiantes de las escuelas privadas. Las
ponderaciones muestrales restauraran el equilibrio adecuado entre ambos
subgrupos, dando mayor peso a los estudiantes de las escuelas pblicas,
a fin de estimar adecuadamente el nivel de rendimiento global.
Probabilidades de seleccin
Las ponderaciones muestrales se calculan basndose en las
probabilidades de seleccin que se aplicaron para seleccionar las unidades
de muestreo. Para enunciarlo en los trminos ms simples: la ponderacin
muestral de una unidad de muestreo es igual a la inversa de su probabilidad
de seleccin muestral. Dado que las evaluaciones internacionales se basan
en diseos muestrales multietpicos, el clculo de las ponderaciones
muestrales es un proceso ms complicado. Las ponderaciones muestrales
deben tener en cuenta las probabilidades de seleccin en todas las etapas
del muestreo. De esta manera, las ponderaciones muestrales tendrn
posiblemente tres componentes: un componente de ponderacin de la
escuela, posiblemente un componente de ponderacin del aula y un
componente de ponderacin del estudiante.
El componente de ponderacin de la escuela es igual a la inversa de
la probabilidad de seleccin de la escuela. Dado que las evaluaciones
internacionales utilizan probabilidades proporcionales al tamao, las
escuelas ms grandes tienen mayores probabilidades de seleccin y, por
tanto, menores componentes de ponderacin de escuela, y las escuelas
ms pequeas tienen menores probabilidades de seleccin y, por
consiguiente, tienen mayores componentes de ponderacin de escuela.
El componente de ponderacin del aula es igual a la inversa de la
probabilidad de seleccin del aula en la escuela seleccionada. Este
187
www.iiep.unesco.org
componente es pertinente slo en estudios que tienen una poblacin objetivo

basada en el grado y a las aulas como unidades de muestreo. Generalmente,
las aulas de una escuela se seleccionan con probabilidades iguales. Por
ejemplo, si seleccionamos un aula de una escuela con cuatro aulas de
8 grado, cada aula tiene una probabilidad de seleccin de 0,25 y el aula
seleccionada tendr un componente de ponderacin de aula de 4.
El componente de ponderacin del estudiante es igual a la inversa
de la probabilidad de seleccin del estudiante, ya sea en una escuela
seleccionada en un diseo de muestra en dos etapas o en un aula
seleccionada en un diseo en tres etapas. En ambos casos, los alumnos se
seleccionan con iguales probabilidades. Por ejemplo, si tomamos el PISA,
donde la muestra de estudiantes generalmente est constituida por
35 estudiantes de 15 aos de edad en cada escuela seleccionada, entonces
los estudiantes de una escuela con 100 alumnos que renen los requisitos
tendr una probabilidad de seleccin de 0,35 y los estudiantes seleccionados
tendrn una ponderacin muestral de estudiante de 2,85715 (10035).
Si tomamos el PIRLS, por ejemplo, donde generalmente slo se selecciona
un aula por escuela seleccionada y todos los estudiantes de esa aula son
seleccionados, entonces todos los estudiantes del aula seleccionada tienen
una probabilidad de seleccin de 1 y una ponderacin muestral de
estudiantes de 1. Si tuviramos que submuestrear a estudiantes de un aula
seleccionada, digamos 30 estudiantes de un aula de 50, entonces todos
los estudiantes en esa aula seleccionada tendran una probabilidad de
seleccin de 0,6 y los estudiantes submuestreados tendran un componente
de ponderacin de estudiante de 1,66667 (5030).
El producto de estos diferentes componentes de ponderaciones
constituyen la ponderacin muestral terica total a nivel de estudiantes.
Ajustes de las no respuestas
Si todas las escuelas, aulas y estudiantes participaran, las ponderaciones
muestrales seran adecuadas. Esto, sin embargo, sucede slo raramente,
pues es usual que falten algunas respuestas en algn nivel. Nuestras
ponderaciones muestrales tericas deben ser ajustadas para tener en cuenta
alguna no respuesta entre las unidades de muestreo.
Los ajustes de no respuesta pueden ocurrir en cada etapa muestral.
El ajuste de no respuesta de la escuela corrige el componente de
ponderacin de la escuela para tener en cuenta cualquier no respuesta a
nivel de la escuela. Esto se hace usualmente a nivel del estrato explcito.
En su forma ms simple, el ajuste de la no respuesta a nivel escolar recalibra
188
www.iiep.unesco.org
las probabilidades de seleccin de la escuela basada en la muestra de

escuelas observada, por oposicin a la muestra de escuelas esperada. Por
ejemplo, si hubiramos esperado una muestra de 100 escuelas, pero
obtenido slo 80 escuelas participantes, entonces la forma ms simple de
ajuste de la no respuesta en la escuela sera de 1,25 (10080). El ajuste
de no respuesta de la escuela puede ser ms complejo, utilizando las
ponderaciones observadas y esperadas de los tamaos de las muestras de
estudiantes a nivel de escuela.
El ajuste de la no respuesta del aula corrige la ponderacin del
componente aula para tomar en cuenta cualquier no respuesta a nivel de
aula. Se calcula de manera anloga a la del ajuste de la no respuesta de la
escuela. Sin embargo, cuando se selecciona slo un aula por escuela, si
la nica aula seleccionada en una escuela no participa, entonces esto
constituye la no respuesta a nivel de la escuela y es considerada en el
ajuste de no respuesta de la escuela.
La no respuesta del aula puede ser particularmente problemtica, ya
que podramos sospechar que un aula seleccionada que no participa podra
estar conformada por estudiantes de bajo nivel de rendimiento. Un ajuste
de no respuesta de aula computado a nivel de escuela podra introducir
potencialmente un sesgo de no respuesta significativo. Por esta razn, el
TIMSS y el PIRLS calculan su ajuste de no respuesta del aula a nivel de
estrato explcito para atenuar los efectos de cualquier sesgo de no
respuesta.
El ajuste de no respuesta de los alumnos corrige la ponderacin del
componente alumnos para tomar en cuenta cualquier no respuesta a nivel
de alumno. Se calcula nuevamente de manera anloga a la del ajuste de
no respuesta de la escuela, recalibrando simplemente las probabilidades
de seleccin de los estudiantes basadas en la muestra observada de
estudiantes en lugar de la muestra esperada de estudiantes. El ajuste de
no respuesta de los estudiantes se calcula a nivel de la escuela en diseos
muestrales en dos etapas o a nivel del aula en diseos muestrales en tres
etapas.
Cuando las ponderaciones muestrales tericas se corrigen para todos
los ajustes de no respuesta, lo que se obtiene son los resultados de las
ponderaciones muestrales finales. stas son las ponderaciones muestrales
que se debern utilizar en todos los anlisis a fin de derivar estimaciones
adecuados para el estudio. Conceptualmente, las ponderaciones muestrales
finales pueden tener hasta seis componentes, basadas en la seleccin de
189
www.iiep.unesco.org
probabilidades y en los ajustes a las no respuestas en todas las etapas del

muestreo. La derivacin exacta de estos componentes puede ser diferente,
dependiendo de los diseos muestrales especficos empleados por las
evaluaciones internacionales, pero son piedras angulares para la derivacin
de cualquier ponderacion muestral.
Es importante notar que el supuesto de los ajustes de no respuesta
es que la no respuesta es un fenmeno puramente aleatorio, que no est
relacionado con el rendimiento. Aunque esto es generalmente difcil de
verificar, a menudo sospechamos que la no respuesta en realidad est
relacionada de alguna manera con el rendimiento, especialmente en las
no respuestas de la escuela y el aula. Por consiguiente, es muy importante
mantener altas tasas de respuesta a fin de minimizar el sesgo potencial
debido a las no respuestas.
Recorte de ponderacin
Es posible concebir que los diseos muestrales utilizados en
evaluaciones internacionales puedan producir lo que se designa como
muestras autoponderadas. En teora, esto significa que las ponderaciones
muestrales finales son iguales para todos los estudiantes que participan
en una muestra nacional. En la prctica, sin embargo, este es raramente
el caso por diversas razones; de ah la necesidad de calcular ponderaciones
muestrales. Las ponderaciones muestrales variarn al aplicar diferentes
ponderaciones muestrales por estrato, en particular cuando se quiere
obtener clculos fiables a nivel subnacional. Las ponderaciones muestrales
tambin pueden variar debido a diferentes tasas de no respuesta entre
estratos explcitos. Por ejemplo, las escuelas privadas podran tener menor
disposicin para participar. Las ponderaciones muestrales tambin podran
fluctuar debido a acontecimientos inesperados provenientes de informacin
no fiable sobre el marco muestral de la escuela o a cambios fsicos reales
en las poblaciones constituidas por los estudiantes y las escuelas. Aqu la
falta es atribuida generalmente a la imprecisa medicin del tamao de la
escuela.
Es muy probable que encontremos que cualquier medida del tamao
(MDT) de la escuela habr cambiado entre el momento en que la
seleccionamos a partir del marco muestral y el momento en que
efectivamente vamos a la escuela para efectuar la evaluacin. Estos
cambios son de esperar, ya que la medida del tamao en el marco muestral
de las escuelas se basar generalmente en los datos de matrcula
provenientes del censo escolar efectuado el ao escolar anterior. Sin
190
www.iiep.unesco.org
embargo, esperaramos que estos cambios fueran ms bien pequeos y,

en efecto, en muchos casos lo son. Sin embargo, de tiempo en tiempo
encontramos que la medida del tamao de una escuela ha cambiado
significativamente, siendo mucho ms pequea o mucho ms grande de
lo esperado. Esto puede ocurrir por razones legtimas, tales como la
reestructuracin de una funcin especfica de la escuela, pero tambin
puede suceder cuando el marco muestral de la escuela es obsoleto.
El resultado de este proceso es la probabilidad de encontrar que
algunas ponderaciones muestrales lleguen a ser muy grandes, generando
errores de muestreo ms grandes y posiblemente fluctuaciones incontroladas
en algunas estimaciones. Tambin pueden ocurrir ponderaciones
excesivamente pequeas, pero sus consecuencias usualmente no son tan
graves. A fin de reducir el efecto de ponderaciones muestrales muy grandes
sobre los clculos de la muestra y sus errores de muestreo, las evaluaciones
internacionales a veces aplican una funcin de recorte de ponderacin.
El propsito del recorte de ponderacin es reducir las ponderaciones
muestrales sumamente grandes a niveles ms razonables y, por
consiguiente, reducir su influencia sobre las estimaciones y sus errores de
muestreo. El reto en el recorte de ponderacin est en lograr un equilibrio
entre la eliminacin de los efectos negativos de las ponderaciones muy
grandes sin reducir indebida y artificialmente los errores de muestreo.
Esto se hace generalmente estableciendo un lmite relativamente alto para
las ponderaciones muestrales aceptables con la esperanza de que abarcar
a la mayora de los valores extremos, pero muy pocas de las ponderaciones
muestrales legtimas. Por ejemplo, el PISA recorta ponderaciones
muestrales que son cuatro veces el valor mediano de la ponderacin
muestral.
Tipos de ponderaciones muestrales
Las ponderaciones muestrales que hemos descrito hasta ahora podran
denominarse ponderaciones de poblacin, pues su suma a nivel nacional
produce una estimacin de toda la poblacin objetivo. Estas ponderaciones
muestrales son ciertamente adecuadas para producir estimadciones no
sesgadas y fiables de las caractersticas de la poblacin. Sin embargo,
podran no ser adecuadas para algunos tipos de anlisis estadsticos.
Los usuarios de anlisis estadstios ms sofisticados, tales como
anlisis factorial, modelos lineales jerrquicos y otros similares, pueden
encontrar dificultades con las ponderaciones de la poblacin. Por regla
general, en estos modelos estadsticos se asumir que las ponderaciones
191
www.iiep.unesco.org
de la poblacin representan el tamao de la muestra. De esta manera, se

sobrestimarn excesivamente los grados de libertad y se subestimarn las
varianzas. Estas dificultades se pueden superar parcialmente calculando
ponderaciones estandarizadas. Las ponderaciones estandarizadas son una
transformacin simple de las ponderaciones de la poblacin en las que las
ponderaciones estandarizadas se agregarn al tamao de la muestra
nacional. Con las ponderaciones estandarizadas, los anlisis estadsticos
producirn grados de libertad ms adecuados, pero an tendern a
subestimar las varianzas. Aunque el uso de ponderaciones estandarizadas
es aconsejable para estos modelos estadsticos complejos, los investigadores
y los analistas deben tener mucho cuidado cuando utilizan errores
muestrales.
Las ponderaciones de la poblacin y las ponderaciones estandarizadas
pueden no ser apropiadas cuando se hacen comparaciones entre pases.
La cuestin es sobre qu base se compara a los pases. Se los comparar
basndose en el tamao de su poblacin, el tamao de su muestra o debe
comparrselos en pie de igualdad (es decir, como si se hubiera utilizado
el mismo tamao de muestra en cada pas)?
Comparar a los pases con las ponderaciones de poblacin har que
los pases ms grandes dominen la comparacin. Comparar a los pases
con las ponderaciones estandarizadas har que los pases ms grandes con
selecciones ms grandes dominen la comparacin. Si se supone que hay
que comparar a todos los pases en pie de igualdad, se requiere entonces
un tercer conjunto de ponderaciones muestrales, a las que denominaremos
ponderaciones uniformes. Las ponderaciones uniformes se derivan de
manera similar a las ponderaciones estandarizadas, con la diferencia de
que se recalibran para totalizar un tamao constante para cada pas. Por
ejemplo, el TIMSS y el PIRLS calculan lo que en ellos se denomina
ponderaciones representativas [senate weights] que totalizan hasta
500 en cada pas.
Errores de muestreo
El error de muestreo de cualquier estimacin en una encuesta es una
medida de su dispersin entre todas las muestras posibles que se podran
obtener dado el diseo muestral y el tamao de muestra utilizados.
Afortunadamente, no necesitamos seleccionar todas estas muestras para
medir los errores de muestreo de nuestras estimaciones en la encuesta. La
teora estadstica y la teora del muestreo nos brindan instrumentos para
calcular los errores de muestreo de la muestra que hemos seleccionado.
192
www.iiep.unesco.org
Los errores de muestreo se utilizan para construir intervalos de

confianza centrados en nuestras estimaciones. Podemos entonces estar
seguros con una probabilidad conocida y alta que nuestros intervalos de
confianza contienen el estimado de poblacin correcto. Por ejemplo, el
intervalo de confianza de 95 % para el puntaje de rendimiento de un
estudiante promedio nos lo da la ecuacin siguiente:

[X 1,96 . se(X ), X + 1,96 . se(X )]

Por ejemplo, si tuviramos que estimar un puntaje de rendimiento
del estudiante promedio a nivel nacional de 538 puntos con un error de
muestreo de 4,7, luego su intervalo de confianza de 95 % sera:
[528,8; 547,2]
Entonces estaramos en condiciones de afirmar que haba un 95 %
de probabilidades de que el valor del rendimiento del estudiante promedio
se encuentre en algn punto de ese intervalo.
Efectos de la agrupacin
La agrupacin tiene un efecto sobre los errores de muestreo.
Coeficientes ms grandes de correlaciones intraclase producen errores
muestrales ms grandes. Los conglomerados muestrales ms grandes
tambin producen errores muestrales ms grandes. En el Grfico 8.3
podemos observar el efecto que la agrupacin tiene sobre la determinacin
del tamao de la muestra. El efecto que la agrupacin puede tener sobre el
error de muestreo, para un tamao de muestra dado, se puede obtener a
partir de la ecuacin siguiente:
se(X ) = 100
1 + IC (m 1)
nm
Esta ecuacin es una aproximacin a la formulacin terica del error

de muestreo para diseos multietpicos (Cochran, 1977). La cantidad 100
se toma de la desviacin estndar que se fija para la mayora de las
evaluaciones internacionales. CI es el coeficiente de correlacin intraclase;
m es el tamao mnimo del conglomerado (es decir, la muestra de
estudiantes de la escuela) y n es el tamao de la muestra de la escuela.
Los datos que se presentan en el Grfico 8.4 derivan de esta ecuacin.
Podemos ver claramente que el error de muestreo aumenta a medida
que el CI aumenta, recordando que el CI es una medida de la disparidad
193
www.iiep.unesco.org
entre escuelas. Adems, como el tamao del conglomerado mnimo

aumenta, de 20 a 30 a 40, as tambin aumenta el error de muestreo,
haciendo que la tasa de aumento sea ms grande a medida que el CI
aumenta. Como punto de referencia, el error de muestreo 1,3 calculado
para un CI de cero es, en efecto, el error de muestreo que calcularn
normalmente los paquetes de aplicaciones estndar. Esos errores de
muestreo pueden conducir a graves subestimaciones de los verdaderos
errores de muestreo. Las estimaciones resultantes de los intervalos de
confianza llegan a ser mucho ms pequeas y probablemente podran
conducir a los analistas de poltica a efectuar inferencias gravemente
erradas a partir de los datos.
Grfico 8.4 Errores de muestreo
Tamao de
la muestra
n = 300
m = 20
n = 200
m = 30
n = 150
m = 40
Coeficiente de correlacin intraclase

0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,3
2,2
2,8
3,3
3,8
4,2
4,5
4,9
5,2
5,5
1,3
2,5
3,4
4,0
4,6
5,1
5,5
6,0
6,4
6,7
1,3
2,9
3,8
4,6
5,3
5,8
6,4
6,9
7,3
7,8
Mtodos de estimacin
En el caso de diseos muestrales simples, los errores muestrales se
pueden calcular fcilmente a partir de ecuaciones simples y directas, y esto
es lo que hacen la mayora de paquetes de aplicaciones estadsticas. Dado
que las evaluaciones internacionales utilizan complejos diseos muestrales
multietpicos y por conglomerados, el clculo de los errores de muestreo
no es algo simple y directo. De hecho, ser realmente un reto encontrar las
ecuaciones pertinentes para calcular los errores de muestreo, dado el
complejo diseo muestral y el mtodo de muestreo sistemtico PPT
(probabilidad proporcional al tamao). Adems, las caractersticas de las
muestras por conglomerado hace que stas sean menos adecuadas y
conduzcan a errores de muestreo ms grandes.
El resultado es que las evaluaciones internacionales se basan en
tcnicas de reproduccin de muestras para derivar empricamente los
errores de muestreo. A estos mtodos se los denomina mtodos
autosuficientes [bootstrap] o herramentales [jack-knife], y se ha demostrado
194
www.iiep.unesco.org
que tienen slidas propiedades estadsticas, siempre y cuando se apliquen

correctamente (Wolter, 1985). Los mtodos que las evaluaciones
internacionales utilizan generalmente son: (a) el mtodo de la rplica
repetida equilibrada [balanced repeated replication o BRR] como en el
PISA o (b) el mtodo de la rplica repetida herramental o jack-knife
[jack-knife repeated replication o JRR] como en el TIMSS y el PIRLS.
El principio general de todos estos mtodos de replicacin de muestras
es obtener mltiples submuestras de toda la muestra y derivar errores
muestrales apropiados en concordancia con la teora subyacente que
sustenta estos mtodos. Los mtodos se describen en los informes tcnicos
de estas evaluaciones internacionales (Martin et al., 2000, 2003; Adams
y Wu, 2002).
Los mtodos BRR y JRR definen estratos de varianza, o zonas, que
generalmente son pares de escuelas. El emparejamiento de escuelas respeta
el orden en el que las escuelas fueron seleccionadas utilizando el mtodo de
muestreo sistemtico PPT (probabilidad proporcional al tamao). En cada
zona se define aleatoriamente una escuela como rplica-cero. Posteriormente,
los mtodos producen tantos conjuntos de ponderaciones muestrales replicadas
como zonas existentes.
En el caso del mtodo JRR, el primer conjunto de ponderaciones
muestrales replicadas se calcula estableciendo las ponderaciones
muestrales de los estudiantes en la escuela rplica-cero de la primera zona
en cero y doblando las ponderaciones muestrales de los estudiantes en la
otra escuela de la primera zona. Las ponderaciones muestrales de los
estudiantes en todas las otras zonas se mantienen inalteradas. El segundo
conjunto de ponderaciones muestrales replicadas se calcula de manera
similar, pero en este caso con la segunda zona. El procedimiento se repite
para todas las zonas.
El mtodo BRR utiliza un enfoque diferente para definir sus
ponderaciones replicadas. Utiliza lo que se denomina matrices Hadamard
para determinar, de manera compleja y equilibrada, qu rplica-cero y en
qu zona tendr ponderacin cero o ponderacin doble. El resultado es
tambin un conjunto de ponderaciones muestrales replicadas, muy parecido
a las del mtodo JRR.
En ambos mtodos, las ponderaciones muestrales replicadas se utilizan
para derivar estimaciones replicadas del estudio, tantas como conjuntos de
ponderaciones replicadas existan. La variacin entre las estimaciones
195
www.iiep.unesco.org
replicadas es una medida de la varianza muestral, a partir de la cual podemos

derivar errores de muestreo.
Errores de sustitucin
Cada vez ms, las evaluaciones internacionales aplican instrumentos
de prueba rotatorios, ya que su fondo de tems [pool of items] de evaluacin
es demasiado grande como para ser administrado en su totalidad a cada
estudiante muestreado. Por consiguiente, han llegado a confiar en la teora
de respuesta a tems para derivar los puntajes de rendimiento de los
estudiantes. Los modelos de respuesta a tems agrupan los resultados de
todos los instrumentos de prueba rotatorios para sustituir los puntajes del
estudiante en toda la evaluacin. Dado que cada estudiante responde slo
a un subconjunto de tems de evaluacin, hay incertidumbre asociada con
estas sustituciones. Por tanto, a cada estudiante se le da mltiples
sustituciones, denominadas valores plausibles [plausible values], para
derivar estimaciones fiables del rendimiento del estudiante en la evaluacin
considerada como un todo. La variabilidad entre los valores plausibles
brinda una medida del error de sustitucin. El error de sustitucin debe
combinarse con el error muestral a fin de brindar un error estndar que
incorpore ambas fuentes de variacin.
Los modelos de respuesta a tems generalmente se describen en los
informes tcnicos de las evaluaciones internacionales. Tambin describen
cmo se calculan y combinan los errores de sustitucin para obtener errores
estndar globales. Generalmente, el error de sustitucin es relativamente
pequeo cuando se lo compara con el error de muestreo. Basndose en los
datos del TIMSS de 1999 y el PIRLS de 2001, el error de sustitucin puede
representar entre el 2 % y el 30 % del error estndar total. Ciertamente, esto
aumenta el tamao de los intervalos de confianza y debe ser tomado en
consideracin cuando se calcule el tamao necesario de la muestra. Los
tamaos de muestras presentados en el Grfico 8.3 se calcularon teniendo en
cuenta el error de sustitucin previsto.
Conclusin
La respuesta a las preguntas A quin se debe medir? y Cmo se
lo debe seleccionar? es una tarea complicada en el marco de evaluaciones
internacionales comparadas. Primero debemos definir adecuadamente la
poblacin objetivo de estudiantes que hay que medir en relacin con
nuestra investigacin y objetivos polticos. El mayor reto consiste en hacer
que nuestra definicin de la poblacin pueda ser tenida en cuenta uniforme
196
www.iiep.unesco.org
y coherentemente en todos los pases participantes. Esto es esencial si se

quiere que los resultados de nuestro estudio sean comparables.
Depender de mtodos slidos de muestreo parece una proposicin
evidente. Sin embargo, en el marco de evaluaciones internacionales
comparadas es necesario estar atentos a las desviaciones nacionales de
los procedimientos estndar. Estas desviaciones podran comprometer o
poner en peligro la calidad y comparabilidad de las muestras. Quiz el
mayor reto sea determinar un tamao adecuado de la muestra. Muchos
factores entran en juego y es necesario consultar muchas reas de pericia
para resolver este rompecabezas. Los investigadores y los analistas de
poltica deben contribuir a este esfuerzo presentando a los expertos en
muestreo el contexto en que se utilizarn fundamentalmente los resultados
del sondeo. Los expertos en muestreo tambin deben brindar a los
investigadores y los analistas polticos suficiente orientacin para que
formulen adecuadamente sus requerimientos y consideren el impacto sobre
el tamao y el diseo de la muestra.
Las ponderaciones muestrales y los errores estndar son indispensables
en cualquier encuesta por muestreo, pero a veces se descuidan. Las
ponderaciones muestrales son necesarias para mantener el equilibrio
adecuado entre las unidades de muestreo. Sin ellas, las estimaciones del
sondeo podran ser errneas.
Los errores estndar son necesarios para conocer la fiabilidad de las
estimaciones del sondeo y efectuar inferencias adecuadas acerca de
cualquier diferencia observada. Sin errores estndar nunca podremos saber
si las diferencias observadas son reales o simplemente el resultado de
fluctuaciones aleatorias debidas al muestreo. Los errores estndar tambin
se deben calcular adecuadamente. Confiar en los paquetes de aplicaciones
estadsticas estndar tiende a subestimar seriamente los errores estndar
verdaderos, conduciendo a que los usuarios de los datos concluyan que
algunas diferencias observadas son estadsticamente significativas, cuando
en realidad pueden no serlo.
Bibliografa
Adams, R.; M. Wu. 2002. PISA 2000 technical report, Paris: OECD.
Beaton, A.E.; I.V.S. Mullis; M.O. Martin; E.J. Gonzalez; D.L. Kelly;
T.A. Smith. 1996a. Mathematics achievement in the middle school
years: TIMSS, Chestnut Hill, MA: International Study Center, Boston
College.
197
www.iiep.unesco.org
T.A. Smith. 1996b. Mathematics achievement in the primary school
years: TIMSS, Chestnut Hill, MA: International Study Center, Boston
College.
T.A. Smith. 1996c. Science achievement in the middle school years:
TIMSS, Chestnut Hill, MA: International Study Center, Boston
College.
T.A. Smith. 1996d. Science achievement in the primary school years:
TIMSS, Chestnut Hill, MA: International Study Center, Boston
College.
Cochran, W.G. 1977. Sampling techniques. 3rd ed., New York: John
Wiley & Sons.
Foy, P. 1998. Sampling issues in international assessments, International
Journal of Educational Research, n. 29, pp. 555-568.
Foy, P.; M. Joncas. 2001. TIMSS 2003 school sampling manual (Version 1),
Ottawa: Statistics Canada.
Foy, P.; M. Joncas. 2004. PIRLS 2006 school sampling manual (Version 2),
Ottawa: Statistics Canada.
Lapointe, A.; N.A. Mead; G.W. Phillips. 1989. A world of differences: an
international assessment of mathematics and science, Princeton, NJ:
Educational Testing Service.
Martin, M.O.; K.D. Gregory; S.E. Stemler. 2000. TIMSS 1999 technical
report, Chestnut Hill, MA: International Study Center, Lynch School
of Education, Boston College.
Martin, M.O.; I.V.S. Mullis; A.M. Kennedy. 2003. PIRLS 2001 technical
report, Chestnut Hill, MA: International Study Center, Lynch School
of Education, Boston College.
Wolter, K.M. 1985. Introduction to variance estimation, New York:
Springer-Verlag.
198
www.iiep.unesco.org
Captulo 9
Cules son los costos nacionales

de un estudio internacional comparado?
Introduccin
El costo nacional total de un estudio internacional comparado sobre la
calidad de la educacin tiene dos componentes: (a) los costos internacionales
(es decir, la contribucin nacional a los costos para ejecutar el estudio a
nivel internacional) y (b) los costos nacionales (es decir, los costos de la
ejecucin del estudio en el pas).
Los costos internacionales para un pas varan significativamente,
dependiendo del estudio y de la organizacin internacional que participe.
Los costos de participacin en el PISA (Programme for International
Student Assesment Programa Internacional de Evaluacin de Estudiantes)
(Adams y Wu, 2002), efectuado por la Organizacin para la Cooperacin
y el Desarrollo Econmicos (OCDE), varan entre 50.000 y 600.000 euros
anuales, dependiendo del tamao de la economa del pas. En el caso del
Proyecto TIMSS, organizado por la Asociacin Internacional de Evaluacin
del Rendimiento Escolar (IEA) en 2003, fue de US$ 40.000 por poblacin
estudiada durante tres aos y US$ 60.000 por dos poblaciones
estudiadas.
Los niveles de estas contribuciones a menudo pueden depender de la
presencia de financiacin adicional, proveniente de otras fuentes externas. Las
contribuciones nacionales son la nica fuente de financiacin del PISA; sin
embargo, algunos estudios de la IEA han recibido apoyo financiero del
Ministerio de Educacin de los EE.UU., el Banco Mundial y otros organismos,
tales como el PNUD. En los estudios de la IEA, los fondos del Gobierno de
los Estados Unidos se destinaron principalmente a preparar el marco de
referencia y los instrumentos de recoleccin de datos, as como para la
realizacin de anlisis ms complejos de los resultados, mientras que los fondos
del Banco Mundial y el Programa de las Naciones Unidas para el Desarrollo
(PNUD) se utilizaron para apoyar a los pases con menos recursos.
Este artculo se concentra en los costos y la logstica relacionados
con la implementacin nacional de estudios internacionales comparados
199
www.iiep.unesco.org
sobre la calidad de la educacin, desde el diseo inicial de los instrumentos

de recoleccin de datos hasta la difusin de los resultados, tomando como
punto de referencia el proyecto del PISA de la OCDE. El artculo se divide
en tres secciones principales: necesidad de recursos humanos, fases del
trabajo y algunas experiencias de la vida real tomadas de la participacin
de Italia en el proyecto del PISA. Una seccin final sintetiza los costos
totales visibles.
Las cuestiones de costos y logstica se ven afectadas por las
caractersticas de la organizacin que implementa el estudio en un pas.
Puede tratarse de un organismo gubernamental (por ejemplo, un ministerio
de educacin), una institucin financiada por el gobierno (por ejemplo,
una universidad pblica o una institucin de investigacin financiada por
el gobierno) o una institucin independiente (por ejemplo, una universidad
privada, una institucin de investigacin independiente o un consorcio de
grupos). Si el estudio se organiza alrededor de una institucin financiada
por el gobierno, es probable que haya una gran proporcin de costos
ocultos (es decir, costos cubiertos por los presupuestos existentes), mientras
que si el estudio es ejecutado por una organizacin que no es financiada
por el gobierno, la mayora de los costos sern visibles, es decir, se
traducirn en gastos monetarios efectivos ms all de los presupuestos
existentes.
Recursos humanos
Al considerar los recursos humanos necesarios para la implementacin
de un estudio internacional comparado sobre la calidad de la educacin
en un pas, es indispensable escoger el grado deseado de gestin directa
de las tareas y operaciones en el centro nacional. Esto puede ir desde la
gestin directa de todas las tareas y operaciones en el centro nacional hasta
la subcontratacin de la mayor parte del trabajo a agencias externas. Entre
estos dos extremos existen opciones intermedias que suponen la gestin
directa de tareas esenciales junto con la subcontratacin de algunos
componentes a proveedores externos. En el ltimo caso, los recursos
humanos requeridos para implementar el estudio a nivel nacional incluyen:
(a) personal permanente en el centro nacional; (b) personal temporal en
el centro nacional; (c) personal ofrecido por proveedores externos y
(d) un comit nacional de asesora y diversos grupos de expertos.
200
www.iiep.unesco.org
Personal permanente en el centro nacional

Como parte de la creacin de un centro nacional para el estudio, cada
pas participante necesita nombrar a una persona que asuma la
responsabilidad de la implementacin del proyecto en el pas. En muchos
estudios internacionales comparados, esta persona es designada como
coordinador(a) nacional de investigacin (CNI) o administrador(a) del
proyecto nacional (APN). l o ella trabajarn con un equipo cuyo tamao
depender del volumen de trabajo, que ser directamente administrada en
el centro nacional, y del alcance de la investigacin asociada con el estudio
especfico.
Administrador del proyecto nacional (APN)
En la mayora de los casos, el puesto de APN exigir una dedicacin

a tiempo completo, pero tambin puede ser a tiempo parcial si existe un
apoyo adecuado por parte del personal de otro proyecto y asistentes en
estadstica.
Una persona nombrada para el puesto de APN debe tener un diploma
universitario pertinente y experiencia en planificacin, organizacin y
direccin de encuestas en gran escala. De preferencia, la persona habr
trabajado en un sistema educativo y logrado experiencia en evaluacin
educacional.
El estrs y los retos que plantea el desempeo del puesto de APN
demanda competencias en gestin del personal del equipo del proyecto,
capacidad para efectuar diferentes tareas simultneamente y un alto nivel
de competencias en comunicacin oral y escrita. Tambin se requiere
conocimiento suficiente y confianza en s mismo para representar al pas
en reuniones internacionales donde se debatirn aspectos del proyecto.
En general, el APN deber asumir (o delegar y responsabilizarse)
una amplia gama de tareas, entre las cuales estn la organizacin y
conduccin de reuniones con expertos; la participacin en reuniones
internacionales de APN; comunicacin de la situacin del pas, en una
serie de aspectos del proyecto, al centro internacional y durante las
reuniones del APN; gestin de la implementacin operacional del estudio
a nivel nacional y preparacin de los informes nacionales, dando cuenta
de los resultados.
Desde el punto de vista operacional, el APN debe ser alguien
versado (aunque no necesariamente un experto) en la elaboracin de
instrumentos (pruebas y cuestionarios), muestreo, y preparacin de datos
201
www.iiep.unesco.org
y anlisis. Debe tener suficientes conocimientos en estas reas para ser

capaz de interactuar con los expertos del estudio, establecer fechas lmite
realistas, y organizar y supervisar el trabajo.
Personal en el centro nacional
Adems del APN, el equipo del centro nacional debe incluir al menos
dos profesionales adecuadamente formados que ayuden al APN y por lo
menos una persona que brinde apoyo secretarial y administrativo.
El tamao del equipo del centro nacional puede variar significativamente
entre pases e incluso en el mismo estudio, dependiendo de los recursos
disponibles, as como del alcance del estudio a nivel nacional. Por ejemplo,
la decisin de aumentar el tamao de la muestra en un pas a fin de obtener
clculos estables para muchos estratos podra generar un aumento en el
nmero del personal para abordar el trabajo de campo y los requerimientos
de la gestin de datos.
Cuando se seleccione al personal del centro nacional, el APN debe
asegurar que se cubran las competencias tcnicas requeridas para
implementar el estudio, prestando particular atencin a las reas de
muestreo y anlisis de datos.
Personal temporal en el centro nacional
La carga de trabajo en un estudio en gran escala oscila tpicamente
entre momentos en los que tres o cuatro miembros del personal pueden
hacerse cargo del trabajo necesario y otros en los que un equipo ms
grande, tal vez diez o veinte personas, es necesario para abordar las tareas
requeridas. Se necesitar personal adicional para, por ejemplo, contactar
a las autoridades de las escuelas seleccionadas antes de la recoleccin
principal de datos, as como para calificar las preguntas abiertas e ingresar
datos.
El requerimiento de personal adicional temporal no plantear
problemas, si el centro nacional est situado en el seno de una institucin
ms grande que tiene flexibilidad para asignar personal. Si ste no es el
caso, se necesitar estar en condiciones de efectuar contratos con duracin
limitada y para tarea especficas.
En el estudio del PISA, se tena que seleccionar una muestra de tamao
mnimo de 4.500 estudiantes de un mnimo de 150 escuelas. Se necesit personal
suficiente para contactar a las escuelas seleccionadas a fin de obtener las listas
de los estudiantes de la poblacin objetivo que se podran utilizar para la
202
www.iiep.unesco.org
seleccin en las escuelas. Dado el diseo estndar de calificacin del PISA, la

calificacin de los tems de las preguntas abiertas (teniendo en cuenta que se
evaluaban varios dominios de alfabetizacin y que se requera mltiples
calificaciones de respuestas para una submuestra de estudiantes) se necesit
un equipo de 24 calificadores.
Una manera de abordar la necesidad de personal adicional en un
momento determinado es emplear estudiantes universitarios cuyo campo
de estudio sea pertinente para la tarea requerida (por ejemplo, estudiantes
de matemtica para calificar las respuestas abiertas a preguntas de
aritmtica bsica).
Personal ofrecido por agentes externos
En el PISA 2003, 25 pases subcontrataron parte del trabajo a agentes
externos, mientras que otros 15 pases se hicieron cargo de todo el trabajo
en el centro nacional. La impresin e ingreso de datos fueron las tareas
que con ms frecuencia se otorgaron a agentes externos, seguido por la
calificacin de respuestas y la traduccin de los instrumentos. El costo de
las tareas especficas que hay que subcontratar a agentes externos debe
tenerse en cuenta cuando se formule el presupuesto de costos.
Comit consultivo nacional
En un estudio internacional comparado de sistemas educativos
generalmente es recomendable crear un comit consultivo nacional en
cada pas. Este comit debe estar constituido por personas que sean lderes
en reas pertinentes de la investigacin, tales como investigacin mediante
encuestas y gestin de la educacin. Tambin debe incluir a representantes
del ministerio de educacin, otros ministerios, asociaciones de profesores
y departamentos universitarios pertinentes.
El comit se debe reunir regularmente para ofrecer consejo sobre la
implementacin del proyecto y asegurar que estn representados los puntos
de vista nacionales. Los costos de operacin de este comit incluirn los
gastos de viaje y dietas para los participantes, as como honorarios, en
caso de que se requieran.
Reuniones internacionales
En un estudio como el PISA, las reuniones internacionales de los
APN se realizan dos o tres veces al ao. Estas reuniones se convocan con
tres propsitos: (a) ofrecer un foro para que los representantes de los pases
revisen, comenten y ratifiquen los objetivos planteados por el centro
203
www.iiep.unesco.org
internacional del estudio relacionados con las preguntas, los instrumentos,

los indicadores propuestos y los proyectos de informes con los resultados
de la investigacin; (b) ofrecer formacin a los APN y al personal del
centro nacional sobre procedimientos operacionales, as como sobre
codificacin e ingreso de datos; y (c) informar a los APN sobre los anlisis
de datos previstos y la preparacin del informe a nivel internacional.
El presupuesto del proyecto debe incluir fondos para cubrir los costos
de viaje y las dietas de los APN para que participen en las reuniones
internacionales y tambin debe tener en cuenta que otros miembros del
centro nacional podran tener que asistir a algunas reuniones internacionales
durante la realizacin del estudio cuando se ofrece formacin especfica;
por ejemplo, para codificar tems abiertos o preguntas del cuestionario,
anlisis de datos, etc.
Recursos materiales
Un nuevo proyecto supone espacio en una oficina, telfono, artculos
de escritorio, computadoras y materiales asociados (papel, tinta, as como
paquetes con aplicaciones para el trabajo de oficina y el tratamiento
etadstico). En diferentes fases del proyecto surgir la necesidad de
capacidad adicional de almacenamiento y espacio de trabajo, especialmente
durante la preparacin de los instrumentos de recoleccin que hay que
despachar a las escuelas, as como durante la fase de retorno y calificacin
de las pruebas y cuestionarios.
Fases del trabajo y operaciones

La mayora de los estudios en gran escala sobre la calidad de la
educacin comprenden cuatro fases principales: (a) elaboracin de los
instrumentos del estudio; (b) ensayo sobre el terreno; (c) estudio principal;
y (d) anlisis de datos y preparacin del informe nacional.
Elaboracin de los instrumentos del estudio
La primera fase del estudio incluye la definicin de las preguntas de
la investigacin (que brindan las bases conceptuales de la evaluacin) y
el uso de estas preguntas ofrece un marco de referencia para el desarrollo
de los instrumentos de evaluacin. La definicin de las preguntas de la
investigacin es la primera tarea de un APN y generalmente incluye debates
de alto nivel con los directores de las divisiones en el ministerio, as como
con reconocidos miembros del mundo acadmico. Sin esta fase, surgiran
dudas sobre la pertinencia del estudio entre el personal responsable de la
204
www.iiep.unesco.org
toma de decisiones en el ms alto nivel, lo que casi siempre asegura que

los resultados no se utilizarn para fines polticos.
Si bien es normal tener grupos de expertos nombrados a nivel
internacional trabajando en el marco de referencia conceptual del estudio
y los instrumentos de evaluacin, un verdadero estudio internacional
comparado exige la maximizacin de las contribuciones de todos los pases
participantes en el debate del marco coceptual, la especificacin de las
preguntas de la investigacin y la elaboracin de los instrumentos de
evaluacin.
A nivel nacional, esto implica que los pases tendrn que organizar
reuniones con grupos representativos de especialistas en currculo, expertos
en campos disciplinares y especialistas en elaboracin de pruebas a fin de
abordar las tareas siguientes: (a) emprender, por un lado, un anlisis de
contenido del currculo del pas (asumiendo aqu que el estudio busca
medir lo que los estudiantes han aprendido) o, por otro, definir lo que se
requiere para rendir satisfactoriamente en dominios determinados (por
ejemplo, el proyecto del PISA buscaba medir hasta qu punto los
estudiantes de 15 aos de edad estaban preparados para afrontar los retos
de las sociedades actuales); (b) construir tems de pruebas para aportarlos
al fondo internacional; y (c) revisar los tems de las pruebas (y cuestionarios)
proporcionados por el centro internacional, incluyendo los tems preparados
por los especialistas internacionales de pruebas y los suministrados por
los pases participantes.
El costo de estos grupos, incluyendo los costos de viaje y
honorarios,variar en funcin de si los expertos son personal del ministerio
o no (por ejemplo, profesores y especialistas en pruebas). Se podra
necesitar incluir otros costos para traducir los tems nacionales de las
pruebas antes de someterlas al centro internacional.
Ensayo sobre el terreno
La segunda fase de un estudio internacional comparado es el ensayo
sobre el terreno, que sirve para probar los instrumentos de recoleccin de
datos y los procedimientos sobre el terreno. sta es una parte esencial de
un buen estudio internacional comparado, porque es en esta fase en la que
se identifican y corrigen los problemas en relacin con los instrumentos
y procedimientos. Las principales tareas del ensayo sobre el terreno son:
(a) traducir los instrumentos y los manuales de operacin sobre el terreno;
(b) seleccionar una muestra dirigida para el ensayo sobre el terreno, lograr
205
www.iiep.unesco.org
la cooperacin de las escuelas, y seleccionar estudiantes o aulas dentro

de las escuelas; (c) nombrar y formar a los coordinadores y administradores
de las pruebas en las escuelas; (d) preparar, imprimir, empaquetar y
transportar el material de evaluacin; (e) programar y monitorear la
recoleccin de datos; y (f) editar, calificar, ingresar y depurar los datos.
A continuacin, los datos del ensayo sobre el terreno de todos los
pases participantes sern analizados en el centro internacional a fin de
suministrar a los pases las frecuencias de las distribuciones, las estadsticas
de los anlisis de los tems, as como las frecuencias e ndices construidos
basndose en los tems del cuestionario.
En el ensayo sobre el terreno, en el que se muestrea un nmero limitado
de escuelas y estudiantes, la mayora de estas operaciones son menos
complejas que en el estudio principal. La excepcin aqu es la traduccin de
los instrumentos de recoleccin de datos, porque la mayor parte de este
trabajo ocurre durante la preparacin de los instrumentos para el ensayo
sobre el terreno. El trabajo de traduccin para el estudio principal se limita
a adiciones, revisiones y mejoras hechas a los tems del cuestionario de la
prueba y los materiales para la recoleccin de datos.
Traduccin de instrumentos y manuales
Los resultados de la investigacin producidos por un estudio

internacional comparado sobre la calidad de la educacin deben basarse
en traducciones vlidas de todos los instrumentos de recoleccin de datos.
Cualquier punto dbil en el proceso de traduccin introducir sesgos que
podran distorsionar las comparaciones internacionales.
Por consiguiente, el proceso de traduccin debe seguir procedimientos
sistemticos y rigurosos. El procedimiento de traduccin inversa es el que
se utiliza ms frecuentemente para asegurar la equivalencia lingstica en los
estudios internacionales. Esto exige la traduccin de la versin fuente de la
prueba (a menudo en lengua inglesa) hacia la lengua nacional, traduciendo
sta nuevamente a la lengua fuente y comparndola con el texto original para
identificar posibles discrepancias. Sin embargo, este procedimiento no evita
errores debidos a una transferencia muy literal de la versin original, que no
aparece en la traduccin inversa del pasaje.
Un mejor procedimiento, que protege de traducciones excesivamente
literales, es el de doble traduccin empleado por el TIMSS-R. ste
requiere traducir la versin fuente dos veces por dos traductores
independientes y luego conciliar las dos versiones en lengua nacional.
206
www.iiep.unesco.org
El proyecto PISA aplic el procedimiento de doble traduccin a

dos idiomas diferentes, el ingls y el francs (para los que se efectuaron
dos versiones equivalentes), para superar los lmites de la traduccin
inversa y la doble traduccin a partir de una sola lengua. Despus que dos
traductores independientes tradujeron los materiales fuente en la lengua
de llegada, un tercer profesional concili estas dos traducciones en una
sola versin nacional.
Independientemente del procedimiento seguido, tiene que constituirse
un equipo para el trabajo de traduccin. Se necesitan dos traductores en el
caso de la traduccin inversa, y dos traductores y un conciliador en el caso
de la doble traduccin. Si el volumen del material es significativo y cubre
varias disciplinas (por ejemplo, matemtica y ciencias), quiz sea necesario
encomendar las tareas de traduccin a equipos paralelos de traductores,
quienes trabajaran independientemente para diferentes reas
disciplinarias.
Los traductores responsables de este trabajo deben tener un dominio
perfecto de la lengua de partida y de llegada, un slido manejo de las
disciplinas cubiertas por la prueba (muy importante en el caso de
matemtica y ciencias) y un conocimiento profundo del sistema escolar
del pas, de modo que puedan trabajar en los cuestionarios para la escuela,
el profesor y el estudiante.
Muestreo para el ensayo sobre el terreno
La muestra para el ensayo sobre el terreno se basa en una muestra

de conveniencia de las escuelas escogidas en cada pas. Si bien no se
trata de una muestra probabilstica, las escuelas se deben seleccionar de
tal manera que incluyan una representacin de las principales variables
de estratificacin, tales como: tipo de escuela, localizacin geogrfica y
nivel socioeconmico. La muestra dentro de la escuela para el ensayo
sobre el terreno utiliza los mismos procedimientos que los del estudio
principal (que se describen posteriormente en este artculo).
Nombramiento y formacin de coordinadores y

administradores de la prueba en las escuelas
Es necesario nombrar un coordinador de escuela en cada una de las

escuelas seleccionadas, que sea responsable de coordinar todas las
actividades relacionadas con el proyecto en la escuela. Estas actividades
incluyen: la preparacin de una lista completa de todos los estudiantes o
aulas que renan las condiciones para la prueba, determinar la fecha y la
207
www.iiep.unesco.org
hora para la recoleccin de datos en coordinacin con el APN y los

administradores de la prueba, informar a todas las personas implicadas
(personal de la escuela, estudiantes y padres de familia) y asegurar la
autorizacin de los padres para la recoleccin de datos. Generalmente, los
coordinadores son miembros del personal de la escuela; sin embargo,
diferentes pases tienen diversas polticas respecto al pago de los
coordinadores escolares y estas polticas inciden sobre el costo de este
componente del estudio.
El centro nacional tendr que nombrar un equipo de administradores
de pruebas para efectuar la evaluacin en cada escuela seleccionada. Los
administradores de las pruebas son responsables de la gestin equitativa,
imparcial y uniforme de las pruebas, segn los estndares y procedimientos
internacionales especificados. Por consiguiente, deben estar familiarizados
con las escuelas y su funcionamiento, as como con los procedimientos
estandarizados de pruebas. Como en el caso de los coordinadores escolares,
diferentes pases tendrn diversas polticas en lo que se refiere al pago de
los administradores de las pruebas.
Los administradores de las pruebas pueden tener diferentes perfiles en
distintos pases. En algunos pases son parte de la institucin responsable del
estudio (por ejemplo, inspectores escolares del ministerio o personal del centro
nacional). En otros casos pueden venir del exterior (por ejemplo, personal
externo contratado). Si los administradores de las pruebas son profesores de
la escuela seleccionada, usualmente se requiere que ellos no sean los profesores
de ninguno de los estudiantes en las asignaturas en que son sometidos a prueba.
En algunos pases, la misma persona puede desempear el papel de
administrador de prueba y coordinador escolar.
Antes de iniciar la prueba en cada pas, los centros nacionales deben
formar a los administradores de la prueba. La formacin debe incluir la
presentacin global de los objetivos y el diseo del estudio, as como un
anlisis concienzudo de los procedimientos para la administracin de la
prueba (tal como se presentan en el manual de administracin de las
pruebas), especialmente el tipo de escritura que debe utilizarse durante su
administracin.
Los costos de la formacin de los administradores de la prueba
incluyen los gastos de viaje (ya se trate de que los administradores de las
pruebas vayan a los centros de formacin o que el personal de la sede
central vaya a los centros descentralizados de formacin) y las dietas,
cuando sea necesario.
208
www.iiep.unesco.org
Impresin, empaque y transporte del material de evaluacin
Es necesario planificar suficiente personal y tiempo para finalizar los

instrumentos de recoleccin de datos antes de su impresin. El material
listo para la impresin incluye las revisiones finales hechas a niveles
internacional y nacional, y tienen la misma presentacin que las versiones
internacionales, en trminos de composicin y formato.
El APN debe garantizar que la seguridad de la prueba no se vea
comprometida en el proceso de impresin, empaquetado y transporte del
material de evaluacin. Un descuido en esta fase podra afectar la validez
de toda la recoleccin de datos. Los costos de impresin variarn
dependiendo de si se subcontrata a una imprenta o si se hace en el centro
nacional. Dado el tamao relativamente pequeo de la muestra del ensayo
sobre el terreno y la posibilidad de que haya que preparar mltiples
cuadernillos de las pruebas y diversas versiones de los cuestionarios, sera
ms conveniente fotocopiar los instrumentos del ensayo sobre el terreno
en lugar de contratar a una imprenta profesional.
Si hay que etiquetar los instrumentos con los cdigos de identificacin
nicos de la escuela y los estudiantes, debe tenerse en cuenta el tiempo y
el costo de esta operacin (que generalmente se efecta al mismo tiempo
que el empaquetado). Debe disponerse de espacio suficiente para el
empaquetado.
Cuando se escogen los medios de transporte (correo normal o
mensajera) de los paquetes hacia las escuelas y de las escuelas hacia el
centro nacional despus de la evaluacin, hay que tener en cuenta los
costos, las limitaciones de tiempo y la confiabilidad.
Programacin y monitoreo de la administracin de la prueba
Los coordinadores escolares, en consulta con el centro nacional y

los administradores de la prueba, deben establecer la fecha y la hora de
su aplicacin. Cada coordinador escolar debe informar inmediatamente
al APN y al administrador de la prueba sobre cualquier cambio de fecha
u hora.
Los APN deben monitorear la administracin de la prueba de ensayo
sobre el terreno. Esto se puede hacer disponiendo de monitores de calidad
que visiten una submuestra de escuelas (basndose en la consigna de la
visita sorpresa), a fin de asegurar que los procedimientos sean plenamente
respetados y obtener informacin sobre aspectos de la formacin de los
administradores de las pruebas que haya que mejorar. Todos los coordinadores
209
www.iiep.unesco.org
escolares y administradores de la prueba deben estar informados de que

podran recibir una visita.
El centro nacional debe organizar una sesin de formacin de
monitores de calidad, si no forman parte del personal del centro nacional.
La formacin debe incluir una visin de conjunto de los propsitos y el
diseo del estudio, as como la presentacin de los procedimientos de la
administracin de la prueba, a fin de prepararlos a dirigir in situ un
monitoreo de calidad en las escuelas y dar cuenta de su visita. El costo
del monitoreo de calidad de la escuelas incluir viaje y dietas, as como
honorarios, en caso de que estas personas no formen parte del personal
del centro nacional.
Calificacin de tems abiertos
Las pruebas pueden contener diferentes formatos de tems, incluyendo

tems cerrados (esto es, tems con respuestas mltiples o con respuestas
construidas cerradas) e tems abiertos, que requieren que los estudiantes
escriban una respuesta ms o menos amplia.
Los materiales de evaluacin que retornan de las escuelas al centro
nacional pueden pasar directamente al ingreso de datos, si las pruebas han
sido elaboradas conteniendo nicamente tems cerrados. Sin embargo, las
respuestas a tems abiertos deben ser evaluadas y calificadas (puntuadas)
previamente. sta es una operacin compleja y demanda mucho tiempo,
se basa en reglas y criterios de calificacin detallados que deben incluir
ejemplos de respuestas aceptables y no aceptables que no estn listadas
en las guas de calificacin suministradas a los APN por el centro
internacional del estudio. A fin de asegurar que las respuestas de los
estudiantes se califiquen uniformemente de un calificador a otro (dentro
y en todos los pases) es necesario emplear procedimientos de control
de calidad, aplicando calificaciones mltiples para submuestras de
respuestas de los estudiantes en todos los pases.
Los APN tendrn que reclutar suficiente personal para ejecutar la
calificacin y la calificacin mltiple de los tems abiertos. En algunos
pases, quiz se pueda recurrir a calificadores experimentados de otros
proyectos para que presten su apoyo. En otros, ser necesario encontrar
las personas adecuadas. Todos los calificadores de las pruebas debern
seguir una formacin previa, independientemente de que tengan una
experiencia similar en otros proyectos.
210
www.iiep.unesco.org
Al reclutar calificadores, ser importante identificar personas que

puedan dedicar su tiempo al proyecto durante toda la calificacin. Tambin
es aconsejable reclutar calificadores que tuvieran disponibilidad para el
estudio principal. El nmero de calificadores requerido depender del
nmero de dominios evaluados, de las fechas lmite para someter los datos
y del diseo recomendado de calificacin, incluyendo la posible necesidad
de calificaciones mltiples.
El diseo de la calificacin del ensayo sobre el terreno del programa
PISA 2003 cont con la participacin de ocho calificadores, que calificaron
en tres reas, a saber, matemtica, ciencias y resolucin de problemas.
Dado que la calificacin deba durar un perodo estimado de dos semanas,
se recomend que se formara al menos a dos calificadores suplentes y se
los incluyera en por lo menos alguna de las sesiones de calificacin. Dos
de los calificadores fueron nombrados lderes de equipo, teniendo como
funcin asistir en la organizacin global de la calificacin, resolver
preguntas sobre la gua de calificacin y monitorear la calidad de la
calificacin. Los lderes deban estar muy familiarizados tanto con los
tems de las pruebas como con la gua de calificacin antes de la formacin
principal. No se requera que los calificadores tuvieran calificaciones
acadmicas de alto nivel, pero tenan que tener unos buenos conocimientos
de matemtica y ciencias del nivel escolar secundario, pues se trataba de
la evaluacin de estudiantes de 15 aos de edad. Tambin se esperaba que
entendieran a los estudiantes de nivel secundario y la manera en que ellos
se expresan. Se consideraba tambin como potenciales calificadores a
profesores de baja, profesores recientemente jubilados, estudiantes del
ltimo ao de la carrera docente y estudiantes licenciados o graduados en
matemtica y ciencias.
Cuando se planifica el trabajo del equipo de calificacin y el
presupuesto de los costos de esta operacin, es necesario tener en mente
que los calificadores deben trabajar no ms de 6 horas diarias en calificacin
efectiva, con algo de tiempo adicional para las pausas.
Los calificadores seleccionados deben ser formados por el personal
del centro nacional, quienes, a su vez, han recibido una formacin previa
en calificacin en un curso internacional. Como parte de la formacin
inicial, se debe solicitar a los calificadores que respondan a todos los tems
de la prueba en el dominio o dominios que calificarn. Esto es muy
importante porque posibilita que los calificadores se familiaricen con el
contenido de los instrumentos de recoleccin de datos y los tems de la
211
www.iiep.unesco.org
prueba, y tengan una idea de los tipos de problemas que los estudiantes
podran tener al responder algunos de los tems. Tambin se debe exigir
a los calificadores que lean las guas de calificacin con anticipacin a las
sesiones y que participen en un taller de formacin en calificacin.
Introduccin y depuracin de datos
Generalmente, el centro internacional del estudio suministra las

aplicaciones informticas para la introduccin de datos. stas contienen
estructuras de base de datos para todos los instrumentos de recoleccin
de datos. El usuario puede modificar estas estructuras de las bases de datos
a fin de adaptarlas a la versin nacional de los instrumentos. Las
aplicaciones generalmente efectan verificaciones de validacin a medida
que se introducen los datos. Un manual especfico de introduccin de
datos generalmente describe las funciones operacionales de las aplicaciones
para la introduccin de datos. Cuando se utiliza un paquete informtico
de entrada de datos, una persona con experiencia en la introduccin de
datos necesita varios das de formacin a fin de introducir los datos con
los diferentes instrumentos.
Los costos de la introduccin de datos dependen de la cantidad de
datos y del tipo de instrumentos. En el caso de los instrumentos del
programa PISA, una persona a cargo de la introduccin de datos con cierto
nivel de formacin era capaz de introducir alrededor de 100-120 cuestionarios
u 80-100 cuadernillos de pruebas (cuyas respuestas generalmente requieren
ms tiempo para su introduccin) en una jornada de 4 horas de trabajo.
Esto significa que a fin de introducir los datos para una muestra promedio
del PISA de 5.500 estudiantes, se tuvo que planificar alrededor de 110 das
de trabajo, correspondientes a 3,6 personas trabajando 4 horas diarias
durante 6 semanas. Sin embargo, slo trabajando sobre la base de ensayo
y error se llega a tener un buen equipo. Por consiguiente, es importante
asignar a cada persona que introduce datos un nmero de identificacin
personal, a fin de poder identificar a quienes no introducen datos confiables
y reemplazarlos o, en algunos casos, pedirles que repitan la operacin.
Ser necesario nombrar un administrador de datos en el centro nacional
o en la institucin externa a fin de que asuma la responsabilidad de las
operaciones de introduccin de datos. El administrador de datos deber
implementar tambin los procedimientos para monitorear la calidad de la
introduccin de los datos. Esto se puede hacer, por ejemplo, introduciendo
dos veces una muestra de datos (por ejemplo, 5 %) y verificando el grado
de inconsistencia.
212
www.iiep.unesco.org
En el programa PISA, fue necesario ejecutar los procedimientos de

verificacin incluidos en los paquetes de introduccin de datos y corregir
cualquier error detectado en los datos antes de someterlos al centro
internacional. Posteriormente, se pidio a los APN que nombraran a un
administrador de datos para que trabajara activamente con el centro
internacional durante el proceso de depuracin de datos. Las respuestas a
los pedidos de informacin del centro de procesamiento debieron hacerse
con muy poca demora, verificando los datos que planteaban problemas con
las respuestas en los instrumentos originales en soporte papel y, en algunos
casos, retornando a las escuelas.
El estudio principal
La tercera fase de un estudio internacional comparado sobre la calidad
de la educacin es la recoleccin de datos para el estudio principal. A nivel
nacional, el estudio principal comprende las siguientes operaciones:
(a) revisin de las operaciones sobre el terreno, basndose en la experiencia
del ensayo sobre el terreno; (b) finalizacin de los instrumentos de
evaluacin, basndose en las estadsticas del ensayo sobre el terreno;
(c) preparacin del marco muestral y extraccin de una muestra
probabilstica de las escuelas; (d) contacto con las escuelas elegidas y
obtencin de su participacin; (e) nombramiento y formacin de los
coordinadores y administradores de pruebas en las escuelas; (f) seleccin
de los estudiantes o aulas dentro de las escuelas; (g) impresin de los
instrumentos, empaquetado y transporte del material de evaluacin;
(h) programacin y monitoreo de la recoleccin de datos; (i)
calificacin de las preguntas abiertas; y (j) introduccin y depuracin de
datos.
Muchas de las operaciones enumeradas previamente ocurren en
perodos que se superponen y en la mayora de los casos son ms exigentes
que en el ensayo sobre el terreno, debido al mayor tamao de la muestra.
Por esta razn, podra ser necesario aumentar el nmero de personas que
trabajan en el centro nacional desde el inicio del estudio principal hasta
el momento en que los datos nacionales se presentan al centro internacional,
con un aumento correspondiente en el presupuesto asignado.
Revisin de las operaciones sobre el terreno
Algunas cosas podran requerir ser revisadas desde un punto de vista

organizativo, basndose en la experiencia del ensayo sobre el terreno. Esto
213
www.iiep.unesco.org
puede incluir actividades tales como la organizacin de una formacin

ms amplia para los administradores de las pruebas y el aumento de los
esfuerzos para obtener la participacin de las escuelas y los estudiantes.
Estas tareas adicionales se debern analizar desde el punto de vista de sus
implicaciones presupuestarias (costos).
Preparacin del material para el estudio principal
La preparacin del material de evaluacin para el estudio principal

es una operacin delicada y que exige mucho tiempo. Los errores durante
esta etapa de la investigacin podran arruinar toda la recoleccin de datos.
Este trabajo incluye la revisin de la traduccin de los tems de la prueba
y los cuestionarios aceptados del estudio principal basndose en: (a) los
anlisis estadsticos del ensayo sobre el terreno; (b) los cambios efectuados
por el centro internacional; y (c) la preparacin y composicin de los
instrumentos finales en un formato listo para su impresin.
Independientemente de las revisiones que se hagan, el APN necesita
asegurar que la composicin de la versin nacional sea lo ms parecida
posible a la versin original.
En un estudio como el PISA, con mltiples campos y un riguroso
mecanismo de verificacin de la calidad de las traducciones, la preparacin
de la versin nacional de los instrumentos para el estudio principal requiere
del trabajo a tiempo completo de un miembro experimentado del personal
en el centro nacional durante cerca de tres meses. Adems, quiz se requiera
que varios expertos participen en diferentes etapas del proceso, aumentando
as el nmero de personas y los costos correspondientes.
Preparacin del muestreo
A menos que el APN tenga una formacin avanzada y experiencia

en el campo del muestreo (e incluso si el centro internacional aporta un
apoyo directo), se recomienda que el muestreo se emprenda en consulta
con un experto nacional en muestreo. Las tareas principales incluyen la
preparacin del marco muestral segn el diseo de estratificacin deseado,
la preparacin de toda la informacin muestral requerida por el centro
internacional, la extraccin de la muestra de escuelas y la preparacin del
informe sobre el muestreo.
Conseguir la cooperacin de las escuelas seleccionadas
Los procedimientos para asegurar la cooperacin de las escuelas

variarn de un pas a otro. En algunos pases, la participacin no es un
problema. Se espera que todas las escuelas seleccionadas participen. En
214
www.iiep.unesco.org
otros pases, es muy difcil lograr que las escuelas participen. Las razones
de estas dificultades varan desde preocupaciones sobre el exceso de
pruebas y la prdida de horas de clase hasta la carga que la recoleccin
de datos pone sobre estudiantes y profesores. A fin de mejorar la
cooperacin, a los pases que participaron en el proyecto PISA se les dieron
las siguientes sugerencias:
Elaborar material de informacin. Este material debe abordar las

preocupaciones especficas relativas al sistema educativo de un pas. Si
bien el material internacional ofrece informacin y ejemplos tiles, cada
centro nacional necesita formular una estrategia para abordar necesidades
y preocupaciones especficas de su propio sistema.
Formular una estrategia de notificacin para las autoridades pertinentes.

En muchos sistemas existe una jerarqua de autoridad establecida que
debe ser contactada en un orden definido. Cartas, material de informacin,
llamadas telefnicas y visitas personales son todos medios tiles para
contactar a las autoridades adecuadas. Algunos de estos medios pueden
ser ms eficaces que otros con diferentes niveles de autoridad. Es
importante formular un plan o estrategia que defina cmo se harn los
contactos y qu informacin se debe aportar a cada uno de los diferentes
niveles.
Asegurar la autorizacin. En algunos sistemas no es suficiente

notificar a las autoridades apropiadas. Tambin se debe obtener el
permiso o autorizacin. Esto puede incluir el permiso de un nivel
gubernamental para contactar a otro, as como el permiso de un
consejo de administracin para contactar escuelas individualmente.
Obtener autorizaciones puede demandar mucho tiempo. Es importante
iniciar el proceso asegurando la cooperacin con suficiente
anticipacin, de manera que se puedan obtener todas las autorizaciones
necesarias.
Decidir el uso de incentivos. Algunos estudios han ensayado una

variedad de incentivos, incluyendo los siguientes: pagos en efectivo,
material de formacin, informes de estudios, certificados de
reconocimiento, carteles y banderolas. Los APN deben decidir si en
sus pases se puede o se debe utilizar incentivos.
Identificar al coordinador escolar. Un aspecto importante para

asegurar la cooperacin de la escuela seleccionada es identificar a
alguien de la escuela que actuar como coordinador escolar. El
coordinador escolar acta como persona enlace entre la escuela y el
proyecto y, por tanto, es una persona clave para asegurar que la
215
www.iiep.unesco.org
recoleccin de datos se efecte en un entorno que respete las

necesidades de todos los actores interesados.
Compartir enfoques que funcionan. Compartir informacin sobre
enfoques que funcionan es un aspecto importante de la participacin
en un estudio internacional. Se debe incentivar a los pases para que
presenten al centro internacional la informacin adicional que
consideren pertinente. Cartas tipo, material de informacin y
descripciones generales de enfoques exitosos sern de inters para
el personal del centro internacional y otros APN, cuando se elaboran
los planes para el estudio principal.
Los costos de la operacin consistente en contactar a las escuelas y

optimizar su participacin en el estudio pueden variar significativamente,
dependiendo de los procedimientos seguidos. En general, es insuficiente
contactar a las escuelas mediante carta o fax. Ser necesario una o varias
llamadas telefnicas para presentar el proyecto al director de la escuela y
contactar al coordinador escolar. Habr que telefonear tantas veces como
sea necesario a fin de hablar con el director. En algunos casos, los contactos
telefnicos necesarios para lograr la tasa de participacin requerida pueden
ser considerables.
Seleccin de los alumnos en las escuelas
Una vez que la escuela ha aceptado participar en el estudio, debe

remitir una lista de las clases o los estudiantes que renen los requisitos
dentro de la escuela. A continuacin, se obtendr una muestra de las clases
o de los estudiantes dentro de la escuela, generalmente mediante una
aplicacin informtica ad hoc. Sin embargo, a menos que las escuelas
remitan listas informatizadas de los estudiantes, ser necesario preparar
formularios de localizacin de los estudiantes en los que se listan todos
los estudiantes incluidos en la seleccin. La preparacin de este formulario
de localizacin de los estudiantes implicar mayor comunicacin con la
escuela (generalmente con el coordinador escolar), a fin de obtener toda
la informacin requerida. Se debe prestar particular atencin a la
identificacin de aquellos estudiantes que puedan ser incluidos en la
evaluacin y los que no. En el Recuadro 2 se presentan los criterios
utilizados en el proyecto PISA para excluir a los estudiantes de la
evaluacin debido a sus necesidades de educacin especial.
El lmite de exclusiones admitido dentro de las escuelas para el
proyecto PISA se situ en 2,5 % de la poblacin total matriculada de
15 aos de edad. La tasa de exclusin a nivel de la escuela fue menos de
216
www.iiep.unesco.org
0,5 % de la poblacin total matriculada de 15 aos, si bien otro 2 % de

los estudiantes poda ser excluido al eliminar escuelas que ofrecan
instruccin slo a estudiantes que se encontraban en una de las categoras
de exclusin dentro de las escuelas listadas en el Recuadro 2. Por tanto,
se requera que la poblacin nacional definida cubriera 95 % o ms de la
poblacin nacional deseada, con una tasa total de exclusin limitada a no
ms de 5 %.
Recuadro 2.
Criterios del PISA 2003 para las exclusiones

dentro de las escuelas
Estudiantes con necesidades de educacin especial que no pueden ser evaluados

La intencin del proyecto PISA es ser lo ms inclusivo posible. No obstante,
algunos estudiantes con limitado rendimiento en el idioma de la evaluacin o quienes
tienen una discapacidad severa fsica, mental o emocional podran no estar en
condiciones de participar. Los nmeros de la izquierda son cdigos que se deben
introducir en la Columna 9 del Formulario de Localizacin de los Estudiantes para
identificar a los estudiantes con necesidades de educacin especial, que no sern
incluidos en el PISA debido a sus necesidades de educacin especial.
0
= Incluido
= No incluido: discapacidad funcional. (El/la estudiante tiene una discapacidad fsica

tal desde moderada hasta severa que no puede desempearse en una situacin de
prueba del PISA).
= No incluido: discapacidad intelectual. (El/la estudiante tiene una discapacidad mental

o emocional, y est en desventaja cognitiva en un grado tal que no puede desempearse
en una situacin de prueba del PISA. Esto incluye a estudiantes que son emocional o
mentalmente incapaces de seguir incluso las instrucciones generales de la
evaluacin).
= No incluido: desempeo lingstico limitado. (El/la estudiante no es capaz de leer

o hablar ninguna de las lenguas de la evaluacin en el pas y no sera capaz de superar
la barrera lingstica en la situacin de prueba).
= Otro. (Definido por el APN y verificado por el centro internacional).
Impresin, embalaje y transporte de los instrumentos

de evaluacin
Dada la cantidad de material que hay que imprimir para el estudio

principal, a menudo la opcin ms conveniente es subcontratar esta
operacin a una imprenta profesional. Como en el caso de la prueba sobre
el terreno, al formular planes para la impresin, empaque y transporte del
material para el estudio principal, los APN deben tener en cuenta dos
217
www.iiep.unesco.org
cuestiones principales. La primera es la seguridad de los tems de la prueba

en todo momento. La segunda es que los instrumentos que estn
preetiquetados con los cdigos de identificacin de los estudiantes se
asignen a los estudiantes correspondientes.
Podra haber diferentes maneras de imprimir el material y prepararlo
para el transporte y la distribucin, cada una con ventajas y desventajas
en relacin con el costo, el peso y la eficiencia. Si el material de la
evaluacin incluye material cognitivo y cuestionarios, generalmente se
recomienda enfticamente que se impriman en cuadernillos separados,
especialmente si el material cognitivo incluye tems abiertos que requieren
calificacin. Esto evitar una doble manipulacin de los cuadernillos y
subsecuentes retrasos durante la introduccin de datos (pues se pueden
introducir los datos de los cuestionarios mientras se califica el material
cognitivo).
Si el material y los cuestionarios se imprimen juntos, existe la posibilidad
de que los estudiantes vuelvan al material de la prueba durante la sesin
destinada al cuestionario. Para evitar esta posibilidad, es necesario contar con
un medio para sellar el cuadernillo al final de la sesin de la prueba cognitiva.
Si esto no es posible, se debe agregar una instruccin especfica en el manual
de administracin de la prueba: el administrador de la prueba debe vigilar
que los estudiantes no retornen a la seccin cognitiva del cuadernillo durante
la sesin del cuestionario.
Si el material de carcter cognitivo y los cuestionarios se imprimen
separadamente, es necesario asegurar que los estudiantes reciban los
cuadernillos con la identificacin adecuada, de modo que stos puedan
ser adjuntados a los cuestionarios correspondientes sin que se produzcan
errores durante la introduccin de los datos. Si el cuestionario se administra
en una sesin separada, los cuadernillos de las pruebas y el cuestionario
se deben imprimir separadamente para proteger la seguridad de los tems
de las pruebas.
Otra decisin que deben tomar los APN es cmo empaquetar el
material de la evaluacin para proteger la seguridad de los tems de las
pruebas. Para lograr una mejor proteccin, los cuadernillos de la prueba
para una escuela podran empacarse en un fardo seguro, sellado con un
plstico o de alguna otra forma de empaquetado. Si el paquete es
transparente y no se ha atado con fuerza, los administradores de la prueba
podrn verificar fcil y anticipadamente si el nmero correcto de
cuadernillos est en el paquete, sin abrirlo. De manera similar, los
218
www.iiep.unesco.org
cuadernillos podran estar sellados en sobres, uno para cada estudiante de

la evaluacin.
Los tres escenarios que se describen a continuacin fueron
considerados aceptables para el empaquetado y transporte de los materiales
de la evaluacin del PISA 2003, que inclua un cuestionario para el
estudiante y trece cuadernillos de pruebas asignados a los estudiantes
segn un diseo rotatorio.
El pas A transport todo el material de la evaluacin a las escuelas y

utiliz al personal de la escuela (que no eran profesores de los
estudiantes evaluados) para efectuar las sesiones de administracin de
las pruebas. El centro nacional imprimi separadamente los cuadernillos
de las pruebas y el cuestionario para los estudiantes. El centro nacional
asign el material a los estudiantes antes de empaquetarlo para ser
transportado a las escuelas. Se asign a cada estudiante listado en el
formulario de localizacin de los estudiantes un cuadernillo de prueba
y un cuestionario, se etiquetaron y sellaron en sobres tambin con los
nombres y los cdigos de identificacin de los estudiantes.
El pas B tambin transport directamente los materiales a las escuelas,
pero utiliz a los administradores de las pruebas empleados por el centro
nacional. Debido a preocupaciones sobre cundo se realizara la
administracin de los cuestionarios, el pas B imprimi y transport los
cuadernillos de las pruebas y los cuestionarios en fardos separados. En
el formulario de localizacin de los estudiantes se preregistr el orden
de los cuadernillos en cada fardo. Para proteger la confidencialidad de
los estudiantes despus que se hubiera concluido la evaluacin, el pas
B suministr sobres etiquetados con el nombre y el nmero de
identificacin de los estudiantes para que guardaran sus cuadernillos y
los sellaran una vez concluida la evaluacin.
El pas C utiliz a los administradores empleados por el centro nacional
y envi los materiales a estos administradores de las pruebas. Dado
que el cuestionario para el estudiante fue administrado durante la
misma sesin que la prueba de tems, el pas C imprimi todo en un
solo cuadernillo.
Los fardos para el nmero requerido de cuadernilllos fueron sellados

en plstico, de modo que el nmero de cuadernillos se pudiera verificar sin
tener que abrir los paquetes. Los administradores de las pruebas abrieron
los fardos asignados a la escuela justo antes del inicio de la sesin y
etiquetaron los cuadernillos con el nombre y el cdigo de identificacin de
219
www.iiep.unesco.org
los estudiantes a partir del formulario de localizacin de los estudiantes, de

conformidad con la asignacin de cuadernillos preregistrados en el
formulario de localizacin elaborado por el personal del centro nacional.
Los procedimientos para la recepcin del material reenviado al centro
nacional vara de un pas a otro pero, en general, se recomienda que se
prepare una base de datos de las escuelas y se actualice regularmente para
monitorear el transporte y la recepcin del material destinado a y recibido
desde las escuelas, as como el nivel de avance en las diversas fases del
procesamiento en el centro nacional. Esta etapa podra requerir nuevamente
contactos telefnicos con las escuelas a fin de asegurar que todo el material
est completo y retorne oportunamente.
Calificacin de las preguntas abiertas
La seleccin y la formacin de los calificadores del estudio principal

no difiere de la del ensayo sobre el terreno. Sin embargo, se necesitarn
ms calificadores para el estudio principal que para el ensayo sobre el
terreno y esto puede plantear problemas, ya que puede ser difcil encontrar
suficientes calificadores que renan los criterios necesarios y estn
disponibles en el plazo establecido. Una solucin posible es reclutar
estudiantes graduados o que cursan la licenciatura en lugar de profesores
y organizar el trabajo de calificacin de manera que diferentes subgrupos
puedan escoger diferentes horarios que se ajusten mejor a su
disponibilidad.
En el caso del PISA 2003, se recomend un diseo de calificacin
que inclua 24 calificadores, 16 para las reas de matemtica, ciencias y
resolucin de problemas, ms 8 para lectura, tomando en consideracin
que se necesitaban por lo menos 4 calificadores para cada rea. Dado que
la calificacin deba efectuarse durante un perodo estimado en 6 semanas,
se recomend que se formara a por los menos 4 calificadores suplentes y
se los incluyera en algunas de las sesiones de calificacin.
A fin de limitar los costos de la calificacin, sera deseable establecer
pagos basados en la conclusin del trabajo en un perodo determinado, en
vez de hacerlo por da o por hora. Este enfoque permite al APN presupuestar
un monto preciso de dinero e impide que el costo por la calificacin
aumente inesperadamente si es necesario volver a calificar algunas de las
respuestas ya calificadas. La recalificacin puede ser necesaria, si los
lderes de los equipos encuentran errores sistemticos en el trabajo de uno
o ms calificadores.
220
www.iiep.unesco.org
Introduccin y depuracin de datos en el estudio principal

Los requisitos y factores generales del costo de la introduccin y
depuracin de datos son los mismos que los descritos en la seccin
correspondiente al ensayo sobre el terreno. Sin embargo, tambin se deben
considerar las implicaciones organizativas y de costos para los datos del
estudio principal.
Como en el ensayo sobre el terreno, tras someter los datos del estudio
principal, los APN deben nombrar un administrador de datos que
responder rpidamente a los requerimientos de informacin del centro
internacional a fin de evitar problemas. Este proceso puede durar entre
uno y tres meses, dependiendo de la calidad de los datos presentados y de
la organizacin del trabajo en el centro internacional. Esta fase de la
depuracin de los datos puede demandar mucho tiempo, pues supone
resolver tantas inconsistencias como sea posible, a fin de evitar la prdida
de datos.
Anlisis de datos y preparacin del informe
Una vez que se han depurado los datos, los centros internacional y
nacional calcularn las ponderaciones muestrales, de manera que los datos
recolectados en la muestra se puedan utilizar para estimar los parmetros
de la poblacin con un grado de incertidumbre, expresados mediante la
estimacin de los errores estndar.
Luego se analizan los datos con el propsito de preparar los informes
internacional y nacional. Si las preguntas de la investigacin han sido
claramente especificadas desde comienzos del estudio, el centro nacional
habr preparado sus tablas ficticias y planificado sus anlisis de datos.
En esta fase, los costos incluirn la cobertura del puesto de un analista
de datos competente. El APN participa generalmente en la redaccin del
borrador del informe nacional, con la cooperacin de otros miembros o
expertos del proyecto, y en comunicacin con el comit nacional.
Lecciones aprendidas
Esta seccin del artculo presenta un anlisis de algunas de las
lecciones capitalizadas de la participacin de Italia en el estudio
internacional comparado sobre la calidad de la educacin del PISA.
221
www.iiep.unesco.org
Comunicacin
Una de las claves del xito de un estudio es que deben establecerse
y mantenerse buenas y eficaces relaciones de comunicacin a lo largo de
todo el estudio entre el ministerio de educacin, el personal y la direccin
del centro nacional, que tiene la responsabilidad cientfica y tcnica de la
ejecucin.
Esto asegurar una buena atmsfera de trabajo y mejorar la
probabilidad de que los resultados se utilicen plena y correctamente. La
falta de comunicacin a menudo impide que se adopten decisiones clave
conjuntamente, perjudicando la difusin y explotacin de los
resultados.
Es importante seleccionar cuidadosamente a la persona del ministerio
que actuar como punto de referencia poltico del proyecto. Esta debe
ser una persona convencida de la utilidad del estudio, tener cierto
conocimiento y experiencia en el campo de la evaluacin y sentirse
comprometida con el xito del estudio y la difusin de los resultados.
Muestreo
Si bien el centro internacional aporta la definicin de la poblacin
objetivo y las especificaciones del diseo muestral (incluyendo los
estndares requeridos para la tasas exactas de exclusin y las tasas de
respuesta), cada pas tiene que definir su propio diseo de
estratificacin.
En Italia, el diseo de la estratificacin en el PISA 2003 se torn ms
bien complejo debido a la decisin de 6 de las 20 regiones de participar con
muestras que eran lo suficientemente grandes como para suministrar
estimaciones reigonales estables. Por tanto, el diseo de estratificacin italiano
tuvo que emplear sobremuestreo en 6 regiones y, al mismo tiempo, prestar
debida atencin a otras variables de estratificacin dentro de las regiones: tipo
de programa (acadmico, profesional y tcnico) y tipo de escuela
(publica-privada). Estas complejidades demandaron una extensa
negociacin y clarificacin entre el centro nacional y el centro internacional
a fin de encontrar un diseo de estratificacin aceptable.
Traduccin de los instrumentos
La traduccion y adaptacin de los instrumentos requiere un
conocimento detallado de las reas de evaluacin y el sistema educativo.
Adems, se necesita suficiente tiempo para verificar los materiales. El
centro nacional italiano invirti una gran cantidad de tiempo y esfuerzo
222
www.iiep.unesco.org
en la finalizacin de la traduccin del proyecto PISA y, por tanto, slo

tuvo problemas menores, sealados por la agencia internacional
responsable de la verificacin de la traduccin.
Contacto con las escuelas
A fin de estimular a las escuelas italianas a participar en el PISA
2003, se envi una carta firmada por un funcionario de alto nivel del
ministerio y el director del instituto nacional de evaluacin donde se
estableci el centro nacional del PISA.
Para el proyecto PISA 2003, la muestra italiana consisti en
500 escuelas. Por consiguiente, fue necesario nombrar un nmero
suficiente de personas para contactarlas telefnicamente Se requirieron
varias llamadas telefnicas para asegurar la participacin de cada escuela.
Todos los casos difciles fueron notificados al APN, quien contact
directamente al director de la escuela para explicarle la importancia de la
investigacin, logrando as ganar el apoyo del director. En algunos casos
las escuelas aceptaron participar a condicin de que el centro nacional
suministrara al administrador de la prueba (mientras que, en general, el
papel de coordinador escolar y de administrador de la prueba se asignaba
a profesores de la escuela).
Las escuelas muestreadas en Italia recibieron la garanta de que
recibiran retroalimentacin una vez publicado el informe internacional.
Esta retroalimentacin inclua los resultados de la escuela comparados
con los de otras escuelas similares.
Formacin de los administradores de las pruebas
Es muy importante que los administradores de las pruebas estn bien
formados. En Italia, era una condicin necesaria para cobrar por el trabajo.
A pesar de esta formacin, algunos de esos administradores experimentaron
dificultades durante la evaluacin (si nos basamos en el informe de la
calidad de los monitores escolares remitido por el centro internacional)
debido a insuficiencias en el dominio de los procedimientos requeridos.
Tasas de respuesta de los estudiantes
A fin de asegurar que se lograran las tasas de respuesta de estudiantes
requerida para la participacion de Italia en el PISA, se sugiri tener sesiones
de seguimiento, si ms del 15% de los estudiantes de una escuela estaba
ausente.
223
www.iiep.unesco.org
En Italia, muchos estudiantes estaban en huelga (debido a la guerra

en Irak) durante la administracin de la prueba. Por tanto, fue necesario
pedir a los coordinadores escolares que hicieran un seguimiento de los
estudiantes ausentes, incluso si aunque slo el 10 % de los estudiantes
(por ejemplo, 3 estudiantes de un grupo de 35) estuviera ausente. Esto
supuso nuevamente llamar a un nmero amplio de escuelas tras haber
recibido los primeros paquetes de retorno. Los gastos en llamadas
telefnicas antes, durante y despus de la administracin de las pruebas
es uno de los costos ocultos de este tipo de pruebas.
reas de alto riesgo
Es importante que suficiente personal competente entre los que
participaron en el estudio principal est disponible tras su finalizacin,
a fin de enfrentar posibles problemas que surjan en las tres etapas
relacionadas con la depuracin y la ponderacin de los datos, y la
confiabilidad en la calificacin de los estudios. El centro internacional
podra pedir informacin o documentacin adicional para ser capaz de
confirmar la calidad de los datos recolectados y, en casos extremos, podra
pedir al centro nacional que rehiciera ciertas operaciones, como la
calificacin de tems abiertos, si no fuesen fiables.
Muestreo
Muchas cosas pueden ir mal con el muestreo. La calidad de la muestra
depende, entre otras acosas, de la precisin del marco muestral. Si, por
ejemplo, el nmero de estudiantes matriculado en la poblacin objetivo
de la escuela no est disponible, se deben utilizar sustitutos [proxies]. En
el caso de Italia, por ejemplo, el nmero de estudiantes en el grado modal
(a partir de esta lista) se utiliz en el PISA 2003 como una estimacin
aproximada del nmero de personas matriculadas de 15 aos de edad. El
ajuste de las ponderaciones se puede utilizar para compensar la falta de
precisin del marco muestral.
Administracin de la prueba
Si los administradores de las pruebas no dominan los procedimientos

requeridos, no los respetan o no estn comprometidos con su trabajo, todo
ello se puede reflejar negativamente en la calidad de los datos recolectados.
Un rea de gran preocupacin aqu es asegurar que la recoleccin de los
datos se haga exactamente como est especificada en los manuales para
el trabajo sobre el terreno.
224
www.iiep.unesco.org
En Italia, los monitores de control de calidad registraron un nmero

mnimo de desviaciones cuando visitaron cerca del 10 % de las escuelas
seleccionadas. En particular, algunos administradores de pruebas hicieron
algunos agregados o supresiones menores en el guin. Adems, un
monitor de control de calidad observ que algunos administradores de
pruebas se sentan inseguros al aplicar los procedimientos. Sin embargo,
no se observ una desviacin importante que pudiera haber invalidado la
administracin de la prueba en una escuela.
Conclusin
Los principales estudios internacionales comparados sobre la calidad
de la educacin organizados por la IEA y la OCDE, estn coordinados
por profesionales de alto nivel cuyas tareas incluyen la entrega de manuales
de procedimientos, documentos explicativos y programas de formacin
que hacen relativamente fcil la ejecucin de la investigacin por parte
de los centros nacionales.
Sin embargo, es necesario hacer hincapi en que esos estudios
nacionales complejos no se pueden realizar exitosamente a menos que los
centros nacionales participen plenamente, tanto en el diseo de los
procedimientos logsticos como en su mejora gracias a una participacin
activa en todos los aspectos de la planificacin de la investigacin, la
aplicacin de las pruebas sobre el terreno, y en la gestin e implementacin
del estudio principal.
Por consiguiente, es muy importante que los centros nacionales, y
los APN en particular, participen genuinamente en todos los aspectos de
la investigacin. Ellos no deben sentirse como simples ejecutantes de
un trabajo a fin de recolectar datos para el centro internacional. La
participacin activa de los APN mejora la investigacin y contribuye al
desarrollo profesional de los APN en la medida en que aprenden haciendo
los aspectos conceptuales y tcnicos del estudio.
Bibliografa
Adams, R.; M. Wu. 2002. PISA technical report, Paris: OECD.
225
www.iiep.unesco.org
PARTE III
Administrar el impacto de los estudios
www.iiep.unesco.org
Captulo 10
Cmo pueden pasar los pases

de los resultados de la investigacin
internacional comparada a la difusin y,
despus, a la reforma poltica?
(Los estudios de caso de Kenya y Namibia)
Juliana Nzomo y Demus Makuwa
Introduccin
Los gobiernos de Kenya y Namibia ortorgaron gran importancia a las
declaraciones de la Conferencia Mundial sobre Educacin de Jomtien en
1990 y el Foro Mundial sobre Educacin de Dakar en 2000. Estas
declaraciones hacan hincapi en la necesidad de lograr la Educacin
para Todos en 2015 mediante el aumento de la participacin en la
educacin y la necesidad de que todos los pases se esforzaran en [...]
mejorar todos los aspectos cualitativos de la educacin, garantizando los
parmetros ms elevados, para conseguir resultados de aprendizaje
reconocidos y mensurables [...]. (UNESCO, 2000).
Los gobiernos de ambos pases respondieron, en parte, a estas
declaraciones decidiendo convertirse en miembros activos del Consorcio
del frica Meridional Oriental para el Monitoreo de la Calidad de la
Educacin (SACMEQ, por sus siglas en ingls). La red del SACMEQ,
constituida por 15 ministerios de educacin, se dedica al desarrollo de
capacidades de investigadores y planificadores de la educacin para
monitorear y evaluar la calidad de sus propios sistemas de educacin
bsica.
La calidad de los indicadores generados mediante los estudios del
SACMEQ complementaron las estadsticas anuales recolectadas por los
ministerios de educacin en ambos pases. Kenya implement los proyectos
SACMEQ I y II en 1998 y 2000, respectivamente, mientras que Namibia lo
hizo en 1995 y 2000, respectivamente. En el SACMEQ I, se someti a prueba
el rendimiento en lectura de los alumnos del 6 grado y en el SACMEQ II,
lectura y matemtica, tanto para los alumnos como para los profesores. En
ambos proyectos SACMEQ, tambin se recolect informacin mediante la
229
www.iiep.unesco.org
administracin de cuestionarios aplicados a los alumnos, sus profesores y los

directores de las escuelas.
Namibia y Kenya participaron en los dos proyectos del SACMEQ a
fin de medir las condiciones de la escolarizacin y la calidad de la educacin
en trminos de puntos de referencia de insumos para la educacin, el
rendimiento educativo de los estudiantes y una gama de cuestiones
relacionadas con la equidad, tales como origen social, localizacin de la
escuela y gnero.
Tambin deseaban algunas medidas de las condiciones de
escolarizacin y de la calidad de la educacin primaria en comparacin
con otros pases vecinos, as como evaluar la magnitud de los cambios
ocurridos entre 1995 y 2000.
Qu resultados de la investigacin encontraron importantes

o controvertibles los ministerios de educacin?
Desigualdades en la oferta
En Kenya y Namibia, los resultados de los dos estudios mostraron
importantes desigualdades regionales en la oferta de materiales,
disponibilidad y calidad de los recursos y las instalaciones de las aulas,
niveles de absentismo, repiticin de ao, as como participacin de los
padres en la educacin de sus hijos y la gestin de la escuela.
En Namibia, las grandes desigualdades entre regiones provocaron
muchas controversias. Las desigualdades parecan ser coherentes con las
pautas raciales y tnicas creadas bajo el sistema del apartheid
(segregacin racial). Tambin se notaron diferencias entre grupos
socioeconmicos y entre comunidades urbanas y rurales. Mientras que el
Gobierno de Namibia haba mostrado un gran compromiso con la
educacin, asignndole un promedio anual del gasto de 9 % del PIB,
algunos actores sostenan que el gobierno no haba hecho lo suficiente
para remediar las desigualdades del pasado colonial. Otros cuestionaban
los contenidos de las reformas poscoloniales de la educacin,
especialmente las relativas a la promocion automtica, la educacin
centrada en el educando, la evaluacin continua basada en la competencia,
y la introduccin del ingls como lengua de instruccin en las escuelas.
Exista una preocupacin muy extendida de que el gobierno no haba
preparado adecuadamente a los profesores para estos cambios.
230
www.iiep.unesco.org
Cmo pueden pasar los pases de los resultados de la investigacin internacional

comparada a la difusin y, despus, a la reforma de poltica?
Gnero de los profesores

En Kenya, el hecho de que los resultados del SACMEQ sobre
igualdad de gnero fueran coherentes con las estadsticas anuales del
propio Ministerio de Educacin, ofreci cierto nivel de confianza y
aceptacin de los resultados. Sin embargo, stos generaron gran
preocupacin respecto a la persistente baja tasa de representacin de las
mujeres en la educacin en la Provincia Nororiental [North Eastern
Province]. Tambin se observ que el porcentaje de las profesoras de
lectura en la Provincia Nororiental era de slo 28 % en 1998 y 33 % en
2000. Peor an, slo el 11 % de los profesores de matemtica eran
mujeres.
Si bien la baja matrcula de las nias en esta provincia se podra
explicar en alguna medida por factores culturales, la baja representacin
de las profesoras en el 6 grado se consider como un factor que contribua
a los bajos niveles de participacin de las nias.
La situacin era diferente en Namibia, donde alrededor de 60 % del
personal docente de 6 grado eran profesoras en 1995 y llegaba a cerca
de 50 % del conjunto del personal docente en 2000. En la regin de
Kavango, hubo un considerable aumento en la representacin de las
profesoras: pas de 5 % en 1995 a cerca de 38 % en 2000. A nivel nacional,
los nios y las nias enseados por maestras obtenan puntajes de
rendimiento promedio ms altos que los de los profesores.
Absentismo
En Kenya, los resultados de los dos estudios indicaron que los alumnos
estaban ausentes un promedio de dos das al mes. En Namibia, el promedio
nacional era de 1,5 das por mes, con una considerable variacin entre las
regiones. En un ao, estas cifras representan un nmero importante de das
perdidos y esto suscit una gran preocupacin entre los responsables
polticos en ambos pases. El porcentaje de alumnos ausentes debido a
enfermedad y no pago de la matrcula era significativo y desencaden un
debate en ambos pases.
En la provincia Nororiental de Kenya, el porcentaje de nios que se
haba ausentado debido a enfermedad se situaba entre 25 y 51 %, y en la
provincia Costera se situaba entre 18 y 37 %. En Namibia, el nmero de
alumnos ausentes por enfermedad variaba entre 26 % en Caprivi a cerca
de 36 % en Oshikoto y otras regiones septentrionales.
231
www.iiep.unesco.org
Si bien en Kenya los hallazgos sobre las instalaciones de servicios

higinicos no fueron tomados en consideracin seriamente por los
funcionarios, ms tarde se observ que la falta o inadecuacin de estas
instalaciones contribuan al absentismo de las nias en los grados ms
avanzados de la educacin primaria. Las reas ms afectadas eran la
provincia Nororiental, donde, en promedio, 92 nias compartan un
servicio higinico, y las provincias de la Costa, Nyanza y Nairobi, donde,
en promedio, de 60 a 70 alumnos compartan un servicio higinico.
Repeticin de grado
El tema de la repeticin de grado fue particularmente controvertido
en Namibia y Kenya debido a que en los dos pases las polticas oficiales
estimulaban la promocin automtica en la educacin primaria.
La provincia de Nairobi (Kenya), tena el porcentaje ms bajo de
alumnos repitentes en el 6 grado (3 %), mientras que las provincias del
Oeste y Rift Valley tenan cifras superiores a 15 %. En Namibia, los
resultados del SACMEQ II mostraron que 54 % de los alumnos del 6 grado
haba repetido. Esto representaba slo una ligera disminucin en relacin
con 1995, ao en que el porcentaje lleg a 59 %.
Clases particulares
Los resultados del SACMEQ respecto a la oferta de clases particulares
a los alumnos fuera de las horas escolares fue otra rea de controversia,
especialmente en Kenya, donde la poltica educacional no permite que los
profesores participen en clases particulares. Se han dirigido numerosas
circulares a las escuelas recordando a los profesores que no se debe
practicar la enseanza particular y dando orientaciones sobre enseanza
remedial para los educandos lentos. A pesar de ello, los resultados
indican que la proporcin de estudiantes del 6 grado que reciba clases
particulares haba aumentado de 70% en 1998 a 90% en 2000. Los
resultados tambin indicaban que ms del 50% de los alumnos pagaba
por clases particulares y en Nairobi se registraba el porcentaje ms alto:
cerca del 75% de los estudiantes.
Relaciones entre recursos y niveles de rendimiento
Los hallazgos de las investigaciones SACMEQ I y II indicaban
deficiencias en la provisin de textos escolares y carencia de tiles
escolares bsicos, con notables variaciones entre las provincias. Las
provincias del Oeste y del Nororiente de Kenya tenan el ms bajo
porcentaje de alumnos que posean textos escolares para lectura y
232
www.iiep.unesco.org

matemtica. En estas provincias, los alumnos tambin carecan de libros

de ejercicios, cuadernos y lpices. Esta carencia de recursos se reflej en
los niveles de lectura de los alumnos, pues estas dos provincias se
clasificaron en los puestos ms bajos, mientras que Nairobi, con el ms
alto nivel de recursos, se clasific en el nivel ms alto. Una tendencia
similar se observ en Namibia.
Focalizacin en los resultados de los exmenes
El rendimiento de los estudiantes de 6 grado en Kenya en las pruebas
de lectura y matemtica del SACMEQ no era coherente con los resultados
del examen nacional en el nivel superior de la educacin primaria. Estas
discrepancias generaron un amplio debate entre los educadores keniatas
en relacion con los estndares de rendimiento, que se supona deba
establecer el sistema de exmenes de Kenya. Era sorprendente observar
que alumnos del 6 grado en algunos distritos con rendimiento alto en los
exmenes leyeran con dificultad. Los debates con los profesores en esas
escuelas a menudo concluan en una afirmacion optimista, en el sentido
de que no haba por qu alarmarse en relacin con ese nivel porque [...]
tenemos suficiente tiempo para trabajar con ellos antes de los exmenes
nacionales. Si bien esta explicacin merece mayor anlisis, es evidente
que los resultados de la investigacin del SACMEQ indicaban que no
todo andaba bien en algunas escuelas keniatas.
Lanzamiento de nuevos programas como respuesta
a los resultados del SACMEQ
En Namibia, los problemas destacados en el proyecto SACMEQ I y
el debate que sigui llevaron a la realizacin de algunas intervenciones
(tales como el English Language Teacher Development Programme
ELTDP [Programa de Perfeccionamiento de Profesores de Ingls], la
expansin del Basic Education Teachers Diploma BETD [Diploma de
Profesor de Educacin Bsica], la introduccin del Efficiency Programme
[Programa de Eficiencia], el Management Policy Co-ordinating Committee
MPCC [Comit de Coordinacin de la Poltica de Gestin]) y tambin
estimul a que el gobierno creara la Presidential Commission of Inquiry
on Education and Training [Comisin Presidencial de Investigacin sobre
Educacin y Formacin].
Consultas adicionales dentro del ministerio y con los actores
interesados concluyeron con la produccin de un plan estratgico de cinco
aos (2001-2006) del Ministry of Basic Education, Sport and Culture
233
www.iiep.unesco.org
MBSEC [Ministerio de Educacin Bsica, Deportes y Cultura]. Los

fines y objetivos del plan derivaron de una combinacin de los resultados
del SACMEQ I, de las estadsticas anuales del Sistema de Informacin
de Gestin de la Educacin (SIGE), de debates nacionales y de los
resultados de la Comisin Presidencial de Investigacin sobre Educacin
y Formacin.
A partir de los resultados del proyecto SACMEQ II en Namibia, se
pudo ver que incluso si hubiera habido importantes mejoras en la
asignacin de los recursos a las escuelas, entre 1995 y 2000 habra habido
desigualdades entre las regiones en relacin con los insumos asignados a
las escuelas y el rendimiento de los educandos. Esto gener preocupacin
sobre el hecho de que incluso si se tuviera cierto xito en ofrecer acceso
formal a la educacin (ms escuelas y aulas, ms profesores y ms
recursos), la cuestin clave, a saber, el acceso a la misma calidad de
educacin, seguira siendo un problema.
Niveles de rendimiento de estudiantes y profesores
A partir de los resultados de la investigacin del SACMEQ, en
Namibia se percibe una disminucin del porcentaje de estudiantes del
6 grado que logran niveles altos de rendimiento en alfabetizacin.
En Namibia, la situacin era peor en matemtica, debido al bajo
rendimiento de estudiantes y profesores del 6 grado. En esta asignatura,
alrededor del 77 % de los estudiantes del 6 grado tena un nivel de
rendimiento que no permita afirmar que hubieran adquirido competencias
en aritmtica bsica. En siete regiones (Caprivi, Kavango, Ohangwena,
Omaheke, Omusati, Oshikoto y Oshana), el porcentaje de estudiantes del
6 grado en esta condicin se situaba entre 80 y 90 %.
En comparacin con los otros trece pases que participaron en el
estudio, los educandos de 6 grado de Namibia eran los que tenan el ms
bajo rendimiento en matemtica. Si bien el puntaje promedio de los
profesores de Namibia en la prueba de matemtica fue bastante bueno,
slo el 20 % en cuatro de las siete regiones mencionadas anteriormente
lograron el ms alto nivel de competencia. Estos resultados no slo fueron
chocantes para el gobierno y el pblico, sino que se convirtieron en objeto
de controversia en el Ministerio de Educacin, provocando crticas contra
los profesores, el currculo, los administradores escolares, los profesores
consejeros, los inspectores escolares y otras autoridades educativas.
234
www.iiep.unesco.org

Se encontr que en las regiones de Namibia en las que la mayora

de los estudiantes del 6 grado tenan un bajo nivel de alfabetizacin y
aritmtica bsica, el nivel acadmico ms alto de cerca del 30 % de los
profesores era la educacin primaria. La mayora de los profesores no
haban sido formados para ensear matemtica o ingls, y su propio nivel
de competencia en estas asignaturas era bajo. Estos resultados fueron,
efectivamente, una sorpresa, habida cuenta de las acciones que se haban
realizado entre 1990 y 2000, tales como la formacion de los nuevos
profesores y el reciclamiento de los antiguos.
Estrategias de difusin de la investigacin utilizadas

por los ministerios de educacin
Kenya
Tras la reunin de la Asamblea de Ministros en Pars en octubre de
1999, el ministro de educacin de Kenya convoc el primer foro de
difusin de los resultados de la investigacin del SACMEQ I, destinado
a responsables de alto nivel de la gestin y la formulacin de poltica en
diciembre de 2000. Producto de esta reunin fue la creacin de un equipo
de representantes de diferentes direcciones del ministerios (incluyendo
planificacin, formacin del personal docente, inspeccin y desarrollo
curricular). La difusin de los resultados de la investigacin del SACMEQ
prosigui a nivel regional, como parte de una serie de reuniones consultivas
sobre Educacin para Todos (EPT) realizadas en cada provincia de Kenya
en 2001. En todas estas reuniones se difudieron y debatieron los hallazgos
del SACMEQ I. Estos intercambios brindaron tiles sugerencias sobre
cuestiones de calidad que era necesario abordar en el marco de la EPT.
Poco despus de estas dos actividades de difusin, los hallazgos de la
investigacin del SACMEQ I se presentaron a la Comisin Presidencial
de Investigacin sobre Educacin y Formacin en Kenya.
En 2002, la unidad de Anlisis Sectorial de la Educacin en Kenya
[Education Sector Analysis for Kenya] del Banco Mundial hizo un amplio
uso de los hallazgos del proyecto SACMEQ I para la formulacin de
propuestas destinadas a abordar las deficiencias del sistema educativo de
Kenya. El Anlisis del sector de la educacin [Education Sector Review]
condujo a la elaboracin del Plan estratgico del sector de la educacin
[Education Sector Strategic Plan], que se public con el apoyo del Banco
Mundial. Los hallazgos de la investigacin del SACMEQ se utilizaron
adicionalmente en la planificacin financiera, cuando el Ministerio de
Educacin elabor el Anlisis del gasto pblico [Public Expenditure Review]
235
www.iiep.unesco.org
y el Marco de referencia para el gasto a plazo medio [Medium Term

Expenditure Framework].
Los resultados de la investigacin del SACMEQ tambin se
compartieron a niveles de decisin ms bajos del sistema educativo. Por
ejemplo, en enero de 2001, la oficina de la UNESCO en Nairobi organiz
un foro para directores provinciales de educacin en Mombasa para debatir
los problemas de educacin en las provincias. Se discutieron los hallazgos
del SACMEQ y se lleg a la conclusin unnime de que era til conocer el
rendimiento de los estudiantes en sus provincias en comparacin con las
otras. Tambin se realizaron otras actividades: (a) una reunin de funcionarios
de nivel distrital en Nakuru en 2003, a la que se invit a un miembro del
equipo de investigacin del SACMEQ para que hiciera una presentacin:
El uso de indicadores de la educacin para la formulacin de poltica;
(b) una presentacin del equipo de investigacin del SACMEQ sobre
Eficiencia interna y calidad de la educacin, en la Primera Conferencia
Nacional de Educacin, celebrada en Naibori en noviembre de 2003.
Namibia
En Namibia, los resultados del proyecto SACMEQ I se difundieron en
dos publicaciones importantes. La primera estuvo a cargo del Instituto
Internacional de Planeamiento de la Educacin, a comienzos de 1998, y la
otra fue hecha poco despus por el Ministerio de Educacin en un libro
titulado Inside reforms: policy programming considerations in Namibias
basic education reform.
Los resultados de la investigacin del SACMEQ fueron debatidos por
administradores en el Ministerio de Educacin y en talleres de planificacin
en los que participaban todos los planificadores. Los resultados tambin
alimentaron los debates durante las audiencias de la Comisin Presidencial
de Investigacin sobre Educacin y Formacin. Dadas las experiencias del
proyecto SACMEQ I, se adopt un enfoque diferente sobre la difusin de
los resultados del SACMEQ II en materia de educacin, a fin de asegurar
la contribucin de todos los actores interesados en sugerencias relacionadas
con la poltica, desarrollando as el sentido de apropiacin y aumentando
las posibilidades de implementacin de dichas sugerencias.
Los resultados preliminares del SACMEQ II se presentaron primero
al Equipo Ejecutivo de Gestin [Executive Management Team] del
Ministerio de Educacin en junio de 2003. Siguieron otras presentaciones
al ministro de educacin, a los planificadores regionales de educacin y
236
www.iiep.unesco.org

a todos los directores de educacion miembros del Comit de Coordinacin

de la Poltica de Gestin [Management Policy Co-ordinating Committee]
del Ministerio de Educacin. Estas reuniones preliminares de difusin
estaban destinadas a compartir los aspectos ms importantes de los
hallazgos de la investigacin.
Un esbozo del Informe nacional de investigacin sobre el SACMEQ II
fue presentado al Equipo de Gestin de la Educacin [Education
Management Team] a fines de 2003 para su informacin y comentarios. El
proyecto de informe tambin se comparti con todos los directores de
educacin del ministerio. El Comit Nacional de Investigacin [National
Research Committee] del SACMEQ se embarc en seminarios nacionales
de difusin cubriendo las trece regiones educativas, empezando a mediados
de febrero de 2004. Los seminarios de difusin se completaron durante la
segunda mitad de abril. Tenan como destinatarios a los equipos regionales
de gestin, inspectores escolares y profesores consejeros, representantes de
la educacin regional, miembros de los consejos de administracin escolar,
sindicatos del personal docente, autoridades locales tradicionales, las
empresas de la comunidad local, consejeros regionales y dirigentes polticos
locales, as como otros actores interesados en la educacin que fueron
invitados por los directores regionales de educacin.
Retroalimentacin a partir de la difusin

Kenya
La reatroalimentacin recibida del programa de difusin efectuado
en Kenya mostr que los resultados de la investigacin del SACMEQ
podan precipitar importantes (y ocasionalmente apasionados) debates. A
continuacin se presentan algunos ejemplos.
Los profesores keniatas fueron criticados por enviar a los nios a sus
casas sin razones justificadas, incluyendo el pago de pensiones y el
uniforme. Tambin fueron criticados por las altas tasas de absentismo y
repeticin, especialmente en el ciclo superior de educacin primaria.
Los resultados del SACMEQ I mostraron que una gran proporcin
de nios en educacin primaria tenan sobreedad y los del SACMEQ II
confirmaron que la edad promedio de los alumnos en el 6 grado haba
aumentado de 165,9 meses a 168,4 meses. La cuestin sobre la sobreedad
de los alumnos se atribuy parcialmente a la repeticin y se pensaba que
algunos de los alumnos con sobreedad edad terminaban por abandonar la
escuela.
237
www.iiep.unesco.org
El gobierno fue criticado por las malas condiciones de los profesores

y se consider que el boom que haba ocurrido en la provisin de clases
particulares se deba a la falta de motivacin de los profesores. Tambin
se critic al gobierno por el impacto negativo de las polticas de
coparticipacin en los costos, que haban impactado duramente sobre las
familias pobres, ya que no podan aportar los recursos necesarios para la
educacin de sus hijos.
Los resultados del SACMEQ mostraron tambin que la participacin
de los padres en la gestin de las escuelas y en la escolarizacin de sus
hijos era inexistente o muy baja. Si bien el concepto de asociacin de
padres de familia y maestros exista en teora, no se traduca en la
prctica.
Namibia
Los resultados de la investigacin del SACMEQ crearon mucha
tensin cuando se publicaron por primera vez. Los niveles de
alfabetizacin y aritmtica bsicas de los alumnos del 6 grado de Namibia
eran muy bajos cuando se los comparaba con los de otros pases y el
pblico buscaba un chivo expiatorio. Por ejemplo, las oficinas regionales
de educacin de Namibia culpaban a los profesores por su incompetencia
y falta de compromiso. Los sindicatos de profesores fueron acusados a su
vez de exigir salarios ms altos para sus miembros sin abordar sus
deficiencias profesionales.
En respuesta, los representantes de los sindicatos de profesores
criticaron las normas sobre personal del ministerio y a las autoridades
educativas por forzar a los profesores a ensear asignaturas en las que
no estaban formados para ensear y en grados para los que no haban sido
preparados. Los sindicatos de profesores sostenan que estos problemas
estaban ligados a la inadecuacin de recursos y al muy escaso apoyo
profesional, especialmente en las escuelas rurales. Los inspectores y los
profesores consejeros no fueron de mucha ayuda. En algunos casos, las
autoridades regionales educacionales toleraban a directores ineficientes e
ineficaces. En algunas regiones se inform que haba profesores que no
enseaban el programa aprobado, con conocimiento por parte de algunos
directores. Tambin se sostuvo que haba muy poca demanda de los
administradores en los diversos niveles del ministerio en materia de
rendicin de cuentas de lo que hacan sus subordinados.
Los resultados del SACMEQ mostraron que la participacin de los
padres de familia en la educacin era un problema importante,
238
www.iiep.unesco.org

especialmente entre los grupos sociales de bajo nivel socioeconmico en

las zonas rurales, donde la mayora de los padres no saban leer ni escribir
en ingls, lengua de enseanza en la escuela. En la regin Caprivi, un
miembro del Consejo Escolar de una escuela tena la impresin equivocada
de que los profesores podan convocar a los padres de familia slo si haba
problemas disciplinarios y no para discutir el avance acadmico del
educando.
Cuando se debatieron los bajos niveles de rendimiento de los
estudiantes del 6 grado de Namibia, un representante de un sindicato de
maestros acus a la poltica ministerial de promocin automtica.
Sostena que los alumnos eran promovidos al grado superior sin haber
adquirido las competencias asociadas con el grado inferior. Sin embargo,
otro miembro del personal del ministerio sugiri que la repeticin no era
la respuesta y que haba problemas porque los profesores no estaban
aplicando los mtodos de enseanza compensatoria destinados a los
alumnos ms lentos, que era lo que se esperaba que hicieran.
Las autoridades educativas de las regiones septentrionales informaron
sobre la existencia de largos perodos de absentismo de los profesores
debido a enfermedades relacionadas con el VIH y el SIDA. Los estudiantes
a menudo estaban sin profesor durante esos perodos y perdan as una
importante cuota de trabajo escolar.
Los expertos en lengua en tres regiones sugirieron que los bajos
niveles de rendimiento de los alumnos en lectura mostrados por los
resultados de la investigacin del SACMEQ se deban a los inadecuados
mtodos de enseanza utilizados. Fueron muy crticos con los nuevos
mtodos de enseanza, basados en las tcnicas del ver y decir en
oposicin al viejo mtodo descartado que haca hincapi en la
fontica.
Reformas de la poltica y de la prctica basadas en

los resultados de la investigacin
Todo el foco de atencin del programa de investigacin del SACMEQ
se ha centrado en suministrar informacin que se pueda utilizar como base
para el anlisis y la formulacin de poltica. A continuacin, ofrecemos
algunos ejemplos de cmo los resultados de la investigacin del SACMEQ
se incorporaron al escenario poltico en Kenya y Namibia.
239
www.iiep.unesco.org
Kenya
Puntos de referencia relativos a los recursos
Los resultados del SACMEQ I destacaron la ausencia de normas o

estndares detallados y actualizados en lo que se refiere a los insumos
requeridos. Cuando existan, haba diferencias entre los estndares oficiales
reflejados en los documentos del gobierno y la prctica sobre el terreno.
Esto impuls al ministerio a elaborar un conjunto detallado de estndares
aceptables que fueran respetados por las escuelas para asegurar la eficiencia
y la eficacia del sistema.
Anlisis del currculo
Los resultados de la investigacin del SACMEQ y otros anlisis del

sector de la educacin mostraron la necesidad de un anlisis regular del
currculo. El Kenya Institute of Education (KIE) particip en el anlisis
y la racionalizacin del currculo con vistas a que fuera abordable por los
padres de familia, as como para asegurar su calidad y pertinencia. El
nmero de asignaturas en la escuela primaria se redujo de trece a siete y
el nmero de asignaturas sujetas a examen pas de siete a cinco.
Niveles de rendimiento y textos escolares
Los hallazgos del SACMEQ en cuanto a niveles de rendimiento

inferiores a los esperados y el suministro inadecuado de textos escolares
llev a que el gobierno, en cooperacin con otros actores clave y asociados
interesados en el desarrollo, implementaran vigorosamente un programa
de desarrollo magisterial basado en la escuela. Los proveedores de recursos
financieros tambin se hicieron presentes para apoyar la provisin de
textos escolares a todas las escuelas pblicas de educacin primaria.
Sistemas de monitoreo de la calidad
El ministerio ha reconocido y apreciado la importancia que tienen

los resultados de la investigacin del SACMEQ para dar informacin a
la poltica y, en este sentido: (a) ha incorporado una partida en el
presupuesto de educacin denominada monitoreo y evaluacin de la
calidad de la educacin; y (b) ha comenzado a utilizar los resultados de
la investigacin del SACMEQ como una lnea de base de datos para otros
estudios emprendidos en el marco del programa de educacin primaria
gratuita.
240
www.iiep.unesco.org

Namibia
Programa de eficiencia
En Namibia, el ministerio utiliz los resultados del SACMEQ I para
disear un programa de eficiencia y crear el Management Policy
Co-ordination Committee MPCC [Comit de Coordinacin de la Poltica
de Gestin] a fin de trabajar para lograr ms equidad en el sistema educativo
y mejorar la calidad de la educacin.
Uso en la Comisin Presidencial
El Presidential commission report [Informe de la Comisin

Presidencial] (1999) utiliz los resultados del proyecto SACMEQ I para,
entre otras cosas, recomendar nuevos enfoques para la asignacin de
recursos a las regiones educativas. Este trabajo fue posteriormente
incorporado en el plan estratgico del ministerio con el propsito de
desarrollar [...] sistemas imparciales, transparentes y equitativos para la
asignacin de todos los recursos financieros a las unidades de educacin
del ministerio, basndose en las necesidades reales y la equidad.
Metas mnimas de rendimiento
Dado los bajos niveles de competencia manifestados por un gran
porcentaje de estudiantes del 6 grado de Namibia en la investigacin del
SACMEQ, otro objetivo del plan estratgico del ministerio fue [...]
asegurar que todos los estudiantes completen el 4, 7, 10 y 12 grados,
respectivamente, habiendo logrado competencias bsicas en las asignaturas
constitutivas del currculo para 2005 y [...] mejorar la enseanza y el
aprendizaje del ingls, la matemtica, las ciencias y las competencias
relacionadas con las disciplinas afines para 2006. Basndose en los
resultados preliminares del SACMEQ II, una regin de educacin ya ha
formulado sus propios estndares mnimos de calidad bajo la forma de
listas de verificacin de todas las cosas que el profesor debera hacer en
el aula, as como de las acciones esperadas del director de escuela, los
inspectores y los profesores consejeros. En otra regin, las autoridades
han estado efectuando reuniones con los actores interesados, especialmente
los miembros de los consejos escolares, sobre cmo podran ayudar a que
las escuelas lograran mejores resultados.
La inspectora
Las pobres condiciones de escolarizacin y los bajos niveles de
rendimiento de los estudiantes revelado por los resultados de la
investigacin del SACMEQ constituyeron la base para la recomendacin
241
www.iiep.unesco.org
de la Comisin Presidencial a fin de crear una inspectora nacional para

monitorear la calidad de la educacin en el pas basndose en estndares
nacionales. stos ya se han formulado y se espera que la inspectora
nacional est en condiciones de funcionar a partir de 2005.
Apoyo a las regiones pobres
Los resultados de la investigacin del SACMEQ mostraron que las
regiones de educacin septentrionales de Namibia tienen los problemas
ms importantes en relacin con la provisin de insumos adecuados para
la educacin y el logro de niveles aceptables de rendimiento de los
estudiantes. Con la ayuda de los asociados interesados en el desarrollo,
estas regiones ahora son poblaciones objetivo de la cooperacin multinivel,
empezando con los profesores y amplindose a los funcionarios regionales
de educacin. Las escuelas se han divido en circuitos de inspeccin y en
agrupaciones para recibir las prestaciones de los servicios administrativos
y de apoyo. As, una agrupacin de escuelas puede compartir recursos,
prcticas idneas y pericia de manera que se beneficie a las escuelas que
luchan por abrirse camino. Las escuelas de estas regiones estn recibiendo
ayuda en la formulacin de los planes de desarrollo escolar con la
participacin de las comunidades locales.
El estatus y el uso de la investigacion del SACMEQ
Los resultados de la investigacin del SACMEQ han desempeado
un papel importante al informar el dilogo y las decisiones relacionadas
con el sistema educativo namibiano. Como consecuencia, el programa de
investigacin del SACMEQ se percibe como estratgico para el desarrollo
del sistema. Los investigadores de la educacin y los estudiantes de
posgrado namibianos tambin han encontrado que los datos producidos
por el SACMEQ constituyen un gran recurso. Algunos de ellos los han
utilizado como base para efectuar investigaciones y disertaciones ms
detalladas. Tres de los problemas que han mostrado ser las reas ms
populares de esa investigacin son las diferencias regionales en el
rendimiento, las diferencias en el rendimiento basadas en el gnero y la
participacin de los padres en la educacin.
Conclusin
Los resultados de la investigacin del SACMEQ han tenido un claro
impacto sobre una amplia gama de reas polticas y prcticas de la
educacin en Kenya y Namibia. Sin embargo, es posible sintetizar estos
242
www.iiep.unesco.org

insumos en forma de dos mensajes de poltica con nfasis ligeramente

diferentes.
En Kenya, el principal mensaje fue que una investigacin de poltica
educativa de primera clase sobre la calidad de la educacin (como la que
conduce el SACMEQ) aporta valor agregrado y sustancia a los anlisis de
poltica nacional y a la nueva formulacin poltica. Otros dos mensajes
relacionados fueron que la creacin de sistemas exitosos de monitoreo de
la educacin exigen: (a) la institucionalizacin de los sistemas de monitoreo
dentro de las funciones polticas y de planificacin del ministerio; y (b) la
difusin de los resultados de la investigacin sobre la calidad de la
educacin, emprendida como un proceso multinivel que supone la
participacin de todos los actores interesados.
En Namibia, el mensaje ms importante fue que a fin de crear un
vnculo entre la investigacin en poltica educativa y la accin es
necesario que haya una ms amplia participacin del personal del
Ministerio de Educacin en todos los niveles de decisin. Esto significa
que los responsables de la toma de decisiones tendrn ms probabilidades
de mostrar inters y emprender acciones basadas en la investigacin que
abordar las cuestiones polticas que ellos han ayudado a elaborar. El vnculo
poltica-accin se puede fortalecer ms si los responsables de la toma de
decisiones tambin son: a) bien informados con anticipacin de la
investigacin y los beneficios que se busca obtener para el ministerio y
b) reciben informacin clara sobre el papel que se espera que desempeen
en relacin con la implementacin de la investigacin.
Bibliografa
Angula, N.A. 1994. Civil society, research and policy formulation in
Namibia, en W.C. Snyder Jr. (Ed.), Exploring the complexities of
education: Notes on research design and statistics, Windhoek: Gamsberg
Macmillan Publishers, pp. 1-12.
Beaton, A.E.; N.T. Postlethwaite; K.N. Ross; D. Spearritt; R.M. Wolf.
1999. The benefits and limitations of international achievement studies,
Paris: IIEP-UNESCO.
Cohen, C. 1994. Administering education in Namibia: The colonial period
to the present, Windhoek: Scientific Society of Namibia.
243
www.iiep.unesco.org
English Language Teacher Development Project (ELTDP). 1999. Research

into the English language proficiency of teachers/student teachers
and basic education principals and teachers perception of the use of
English in Namibian schools, Windhoek: Ministry of Basic Education
and Culture.
Government of the Republic of Namibia (GRN). 1999. Presidential
commission on education, culture and training report, vol. 1, Windhoek:
Gamsberg Macmillan Publishers.
Government of the Republic of Namibia (GRN). 2001. Education for All
(EFA) national plan of action 2001-2015, Windhoek: Ministry of Basic
Education, Sport and Culture.
Maja, B.I. 1997. Access to learning: The enabling conditions for
successful learning environments, en N. Bak (Ed.), Going for the gap:
Reconstituting the educational realm, Cape Town: Juta, p. 1.
Makuwa, D.K. 2003. Looking beyond educational indicators: An analysis
of differences in learner results of a standardized English language
comprehension test administered in Katima Mulilo and Rundu
educational regions of Namibia. Unpublished Doctoral Dissertation.
South Africa: University of the Western Cape.
Ministry of Basic Education and Culture. 1995-2001. Annual EMIS
education statistics, Windhoek (Namibia): Ministry of Basic
Education and Culture.
Ministry of Basic Education and Culture. 1998. Language policy for
Namibian schools, Grades 5-10, Windhoek: National Institute for
Educational Development (NIED).
Ministry of Basic Education and Culture. 2001. Requirements for promotion
in Grades 1-9 and 11, Windhoek: Directorate of Educational Programmes
Implementation (EPI) [Circular n. ED 10/2001].
Ministry of Basic Education and Culture. 2001. Strategic plan, 2001-2006,
Windhoek: Directorate of Planning and Development.
Ministry of Basic Education, Sport and Culture, and Ministry of Higher
Education, Training and Employment Creation. 2003. National policy
on HIV/AIDS for the education sector, Windhoek: Ministry of Basic
Education, Sport and Culture.
244
www.iiep.unesco.org

Ministry of Education and Culture. 1993. Towards Education for All: A

development brief for education, culture and training, Windhoek:
Gamsberg Macmillan.
Namibia Economic Policy Research Unit (NEPRU). 1999. Improving
public education, The Namibian Economy: A NEPRU Viewpoint,
n. 25, October.
National Planning Commission. 2002. 2001 Population and housing
census, preliminary report, Windhoek: Census Office.
Reimers, F.; N. McGinn. 1997. Informed dialogue: Using research to shape
education policy around the world, Wesport, WA: Praeger
Publishers.
Ross, K.N. 1995. From educational research to educational policy: An
example from Zimbabwe, International Journal of Educational
Research, vol. 23, n. 4, pp. 303-403.
Ross, K.N.; T.N. Postlethwaite. 1992. Indicators of the quality of education: A
summary of a national study of primary schools in Zimbabwe, Paris:
IIEP-UNESCO.
Sherbourne, R. June 2002. A secondary consideration? Public spending
on education since 1990, Windhoek (Namibia): Institute for Public
Policy Research (Briefing Paper n. 11).
Snyder Jr., W.C.; F.G.G. Voigts. 1998. Inside reform: Policy and
programming considerations in Namibias basic education reform,
Windhoek: Gamsberg Macmillan.
UNESCO. 2000. Marco de accin de Dakar, Pars: UNESCO, p. 8.
Voigts, F. 1998. The quality of education: Some policy suggestions based
on a survey of schools, Paris: IIEP-UNESCO.
245
www.iiep.unesco.org
Captulo 11
Cmo pueden utilizar los pases

los resultados de los estudios internacionales
comparados para enfrentarse a las grandes
cuestiones polticas?
(Estudios de caso del frica francfona)
Jean Marc Bernard y Katharina Michaelowa
Introduccin
El Programme danalyse des systmes ducatifs de la CONFEMEN ms
ampliamente conocido como PASEC se lanz en la Confrence des Ministres
de lducation ayant le franais en partage [Conferencia de Ministros de la
Educacin de los Pases Francfonos] en 1991 y efectu su primera evaluacin
de pas durante 1992 en Djibouti. Desde entonces se han realizado quince
evaluaciones de pases en el frica subsahariana francfona, incluyendo estudios
de panel hacindole un seguimiento a estudiantes de educacin primaria
del 2 al 6 grado en un pas dado. Estas evaluaciones fueron inicialmente
implementadas por varios equipos de investigacin del Norte. Sin embargo,
desde 1995 en adelante la ejecucin se aseguraba por equipos nacionales del
PASEC, bajo la orientacin y la responsabilidad global del Secretariado del
CONFEMEN con sede en Dakar. Esta evolucin asegur un ms alto grado de
comparabilidad entre los estudios de los pases y la construccin de una base
de datos internacional que inclua datos de estudiantes, profesores y escuelas.
Tambin implic una fuerte participacin de los equipos nacionales del PASEC
con el objetivo de fortalecer las capacidadaes para las futuras evaluaciones de
la calidad de la educacin.
El objetivo primordial de las evaluaciones del PASEC no era la
comparacin del rendimiento de los estudiantes entre pases, sino ms
bien el anlisis de los factores clave que pudieran explicar las variaciones
en la calidad de la educacin. Dadas las fuertes restricciones presupuestarias
que limitan el gasto en educacin en la mayora de los pases del frica
subsahariana, el PASEC ha tratado de derivar una jerarqua de potenciales
intervenciones educativas en funcin de su eficacia. Los resultados
educativos se han medido en relacin con la mejora del rendimiento de
246
www.iiep.unesco.org
Cmo pueden utilizar los pases los resultados de los estudios internacionales?
los estudiantes, basndose en los resultados de las pruebas de alumnos

del 2 y 5 grados en matemtica y francs. La administracin regular de
una preprueba a todos los estudiantes de la muestra a comienzos del ao
acadmico permite controlar el rendimiento previo, de modo que el
impacto estimado de las variables polticas medidas durante un ao
especfico se puedan atribuir correctamente al aprendizaje de los estudiantes
durante el mismo perodo.
Creado a iniciativa de los ministros de educacin con el claro objetivo
de infomar la toma de decisiones en materia de educacin, la traduccin de
los resultados del PASEC en poltica educativa efectiva no ha sido automtica.
Este artculo analiza los procedimientos y medidas especficos adoptados a
fin de mejorar las oportunidades de que los resultados del PASEC sean tomados
efectivamente en consideracin por los responsables polticos y otros grupos
objetivo dentro del sector de la educacin. Adicionalmente, este artculo ilustra
hasta qu punto el PASEC ya ha contribuido a concretar la reforma de la
poltica educativa.
Como la interaccin de diferentes participantes en las evaluaciones
del PASEC desempea un papel importante en este contexto, el artculo
empieza con una descripcin del proceso tpico de una evaluacin del
PASEC, desde la formulacin de la propuesta de evaluacin y su
implementacin sobre el terreno, hasta la difusin de los resultados y la
promocin de anlisis ulteriores. A esto sigue un anlisis de las ventajas
y deventajas de este enfoque mediante la presentacin de estudios de caso
de pases: Senegal, Guinea y Togo. Finalmente, se brindan algunas
conclusiones en trminos de condiciones institucionales necesarias para
la traduccin exitosa de los resultados del PASEC en poltica educativa
concreta.
La gestin de una evaluacin tpica del PASEC

En cada reunin bienal de la CONFEMEN a nivel ministerial se toma
una decisin acerca del nmero y la orientacin de las futuras evaluaciones
del PASEC. Este es el punto de partida para la elaboracin de propuestas
de evaluacin por los pases miembros del CONFEMEN. Junto con sus
expresiones generales de inters, los pases pueden sugerir orientaciones
temticas especficas, que pueden ser integradas mediante la adaptacin
de cuestionarios destinados a los estudiantes, profesores o directores de
escuela. El Comit Cientfico del PASEC selecciona las propuestas de los
pases con la cooperacin de los asesores tcnicos del PASEC que estn
en el secretariado de la CONFEMEN.
247
www.iiep.unesco.org
Una vez que se ha selecionado la propuesta de un pas, el representante

nacional del CONFEMEN es responsable de la creacin de un grupo
interdisciplinario de expertos en el seno del ministerio de educacin, que
asume la ejecucin efectiva de la evaluacin del PASEC. Este equipo
nacional del PASEC se beneficia de varias sesiones de formacin ofrecidas
por los consejeros tcnicos del PASEC y es responsable de la gestin de
los fondos. En cooperacin con los asesores del PASEC, elabora los
cuestionarios, forma a los administradores que se envan a las escuelas,
gestiona la introduccin de los datos y participa en el anlisis y la redaccin
del informe nacional. Una vez que se cuenta con un primer borrador de
informe, se analiza con el comit cientfico del PASEC y es finalizado por
los asesores tcnicos del PASEC, nuevamente en cooperacin con el equipo
nacional pertinente del PASEC.
Las recomendaciones concretas de poltica que hay que agregar al
informe analtico nacional se formulan en un seminario de difusin
nacional por los responsables de la toma de decisiones pertinentes del
ministerio de educacin y representantes de los diferentes grupos de actores
(profesores, sindicatos de profesores, inspectores, padres de familia y
agencias proveedoras de fondos), quienes son invitados por el equipo
nacional del PASEC. Durante varios das, el equipo nacional del PASEC
y sus asesores tcnicos presentan sus resultados, estimulan el debate y
buscan conclusiones polticas. Tambin se invita al seminario a los medios
de comunicacin, de manera que los resultados polticos se reflejen
inmediatamente en artculos de prensa y, a menudo, en la radio y la
televisin. Como los resultados son de inters no slo para el pas evaluado,
se produce un comunicado de prensa que es enviado por el secretariado
de la CONFEMEN a las agencias de noticias de otros pases miembros.
Adems, bajo la responsabilidad conjunta de la CONFEMEN y el
ministerio de educacin nacional, se preparan folletos que contienen los
principales resultados. Finalmente, los resultados seleccionados se
presentan en la siguiente reunin ministerial de la CONFEMEN.
Una vez que se ha concluido el proceso de evaluacin, los datos se
ponen a disposicin de los investigadores externos para anlisis ulteriores.
El secretariado de la CONFEMEN promueve activamente el uso de estos
datos mediante la cooperacin con diversas universidades e instituciones
de investigacin, la supervisin conjunta de tesis de maestra, programas
de internado, etc. En el momento de redactar este artculo, al menos unos
veinte investigadores trabajan en estudios a partir de la base de datos del
PASEC. Los intercambios entre investigadores y asesores tcnicos del
248
www.iiep.unesco.org
secretariado del PASEC ya han permitido el refinamiento de los anlisis

economtricos realizados para la redaccin del borrador de los informes
de los pases de la CONFEMEN, as como de una encuesta de hogares
complementaria para Senegal realizada por la Universidad de Cornell y el
Laboratorio de Economa Aplicada de la Iniciativa Nacional Francesa del
Institut National de la Recherche Agronomique INRA, que posibilitar
una mejor comprensin de algunas de las cuestiones planteadas por la
evaluacin inicial del PASEC.
La CONFEMEN trata de estimular a los ministerios nacionales para
que institucionalicen la evaluacin de sus sistemas educativos y mantengan
sus equipos nacionales del PASEC como una pequea unidad de evaluacin
en el Ministerio de Educacin. Los consejeros tcnicos del PASEC
organizan una sesin anual de formacin a la que es invitado a participar
por lo menos un miembro de cada equipo nacional.
Estudios de caso de pases

A continuacin se presentan varios estudios de caso de pases en los
que se han efectuado evaluaciones del PASEC. Estos estudios arrojan
cierta luz sobre temas importantes de poltica abordados por las
evaluaciones del PASEC y muestran hasta qu punto sus resultados han
sido pertinentes para la reforma de la educacin.
Los estudios de caso seleccionados cubren las evaluaciones por pas
ms recientes del PASEC. stos comienzan con el anlisis del panel de
seis aos de Senegal y prosigue con el examen de una evaluacin del
PASEC en Togo y en Guinea. Finalmente, se ofrece informacin
complementaria sobre las evaluaciones efectuadas en otros pases.
Senegal
El estudio de panel del PASEC en Senegal se inici en 1995 con una
muestra representativa de estudiantes a comienzos del 2 grado. Se hizo
un seguimiento de estos estudiantes hasta el ao 2000, cuando aquellos
que no haban repetido ningn grado completaron su educacin primaria.
Al final de cada ao acadmico, los estudiantes eran sometidos a pruebas
de matemtica y francs para obtener informacin acerca de su progreso
en el tiempo. Adems, se administraron los cuestionarios generales
destinados a profesores, directores y estudiantes a fin de obtener
informacin complementaria en el 2 grado y, en una versin algo reducida,
en los grados subsiguientes.
249
www.iiep.unesco.org
El objetivo principal del anlisis del panel fue comprender mejor los
efectos de la repeticin de grado, una prctica muy comn en el frica
subsahariana francfona. En 2000, la tasa promedio de repeticin en la
educacin primaria en el frica subsahariana francfona fue de un 20 %
contra un 10 % en el frica anglfona y 2 % en los pases de la OCDE
(UIS, 2003; MINEDAF, 2002). A nivel de poltica, a comienzos de la
dcada de los aos noventa, se consideraba que reducir la repeticin de
grado podra impulsar el logro del objetivo de la universalizacin de la
educacin primaria. En primer lugar, el nmero limitado de plazas
disponibles no estaran ocupadas por los mismos estudiantes durante varios
aos y, en segundo trmino, la reduccin de la repeticin podra reducir el
abandono temprano. Sin embargo, esta ganancia en la matrcula se esperaba
que ocurriera en asociacin con una reduccin de los niveles de aprendizaje.
Es decir, se anticipaba una compensacin cantidad-calidad. Se esperaba
que el panel del PASEC aportara informacin adecuada para examinar la
validez de esta compensacin propuesta.
Desde la presentacin de los resultados inciales de los tres primeros
grados en la reunin de la CONFEMEN ministerial en 1998 (CONFEMEN,
1999) hasta la publicacin final en 2004 (CONFEMEN/MEN, 2004), los
resultados de los anlisis fueron consistentes y claros. En promedio, un
estudiante de primaria que repite un grado no rinde mejor que otro
estudiante que no repite, a menos que cambien los antecedentes familiares
y el entorno escolar, y si los estudiantes tienen como punto de partida el
mismo nivel de rendimiento al comenzar el ao de anlisis.
La reunin de estudiantes en grupos de igual tamao de estudiantes
buenos, regulares y dbiles en funcin de su rendimiento en las pruebas
del PASEC a nivel nacional, muestra que el efecto de la repeticin es
insignificante para los estudiantes ms dbiles y perjudicial para los
mejores. Adems, se evidencia que mientras que la mayora de los
repetidores pertenece al tercio de estudiantes dbiles, ms de un cuarto
de los repetidores pertenece al nivel intermedio o incluso al de los mejores
alumnos. Por consiguiente, los resultados suministran pruebas de una
significativa inadecuacin del objetivo. Finalmente, la hiptesis de que la
repeticin conduce a un mayor abandono tambin encuentra cierto apoyo
emprico a partir de los anlisis del panel.
Sobre todo, los resultados del PASEC indicaron claramente que una
poltica de reduccin de la repeticin no tendr ningn impacto negativo
sobre la calidad de la educacin y que es, definitivamente, una de las
250
www.iiep.unesco.org
maneras ms eficientes de facilitar un aumento en la matrcula y evitar el

abandono prematuro en Senegal.
Estos resultados se presentaron a los actores interesados en el seno del
sistema de educacin en un seminario de difusin y, separadamente, al
ministro de educacin y su gabinete. Si bien la repeticin haba sido limitada
legalmente a un 10 % a comienzos de la dcada de los ochenta, una nueva
decisin ministerial la ratific en 2003, tras la presentacin de los resultados
del PASEC. Adems, el ministerio decidi prohibir la repeticin entre el 1 y
el 2 grados, el 3 y el 4 grados, y el 5 y el 6 grados. Sin embargo, es
importante notar aqu que la repeticin no se puede disminuir por decreto,
pues su ejecucin puede ser muy difcil si los responsables de la toma de
decisiones en la escuela no estn de acuerdo.
De hecho, profesores, directores de escuela, inspectores e incluso
los padres de familia parecan estar convencidos de que la repeticin
ayudaba a los estudiantes dbiles a adquirir las competencias requeridas
para proseguir su aprendizaje en grados superiores. Una encuesta
administrada entre profesores de educacin primaria en Senegal en una
muestra del PASEC en 1999 indic que el 77 % consideraba que la
repeticin de grado era un mecanismo eficiente o incluso muy eficiente
para favorecer el aprendizaje del estudiante.
Un problema importante parece ser que el punto de vista de los
profesores acerca de la repeticin de grado se basa generalmente en la
comparacin entre el rendimiento de un estudiante considerado
individualmente y el rendimiento de una clase como un todo. Ahora la
repeticin de grado conduce a una comparacin con un grupo de pares
diferente (con un nivel de competencia menor) y, comparado con este
nuevo grupo de pares, el rendimiento del estudiante parece ser ms alto
de lo que realmente es.
El PASEC trat de informar el debate de poltica con sus resultados
analticos y aportar argumentos slidos para convencer a los diferentes
actores interesados. En Senegal, en los medios de comunicacin impresos
y electrnicos se mostr un gran nivel de inters en seguir el debate. Se
publicaron alrededor de diez artculos de prensa sobre el tema, no slo en
francs, sino tambin en varias lenguas locales. Para entablar un debate
ms directo con los actores interesados, los participantes en el seminario
de difusin propusieron seminarios regionales similares en los que
participaran los responsables de la toma de decisin. Se seal que un
grupo de destinatarios muy importante (despus de los inspectores) estaba
251
www.iiep.unesco.org
constitudo por los consejeros pedaggicos, responsables de la formacin

del personal docente en Senegal.
Dada su excepcional riqueza como base de datos, los datos del panel
de Senegal tambin han atrado la atencin de investigadores externos.
Ms importante an, una cooperacin con el INRA (Francia) y la
Universidad de Cornell (EE.UU.) se inici en 2002 con el propsito de
complementar los datos existentes mediante una encuesta de hogares. La
investigacin basada en este conjunto de datos enriquecido aportar nuevos
conocimientoss sobre los vnculos entre los antecedentes sociales y la
repeticin, as como entre la repeticin y el abandono prematuro.
Es importante tener en cuenta que ejercicios similares se han efectuado
en Cte dIvoire y Burkina Faso. En Cte dIvoire, donde las tasas de
repeticin llegaron a ser muy altas, tanto como un 22 %, los resultados de la
investigacin fueron casi idnticos a los que se analizaron previamente. Sin
embargo, dada la inestabilidad poltica general en Cte dIvoire, la gestin y
el uso de los resultados del PASEC fueron considerablemente menos eficaces.
En Burkina Faso, los resultados del PASEC an no han sido totalmente
analizados y no se realiz un seminario de difusin debido a que la recoleccin
de datos se debe efectuar en fases sucesivas a causa de la falta de financiacin.
Sin embargo, al tomar los resultados (provisionales) de los tres pases
conjuntamente, permiti que el PASEC presentara una imagen coherente en
las reuniones ministeriales de la CONFEMEN en 2000 y 2002, promoviendo
as la reduccin de la repeticin de grado como un objetivo general para los
pases del frica subsahariana francfona. En el PASEC se ha previsto la
publicacin de un libro con los resultados combinados de estos tres pases.
Togo y Guinea
En Togo y Guinea, las evaluaciones del PASEC se efectuaron con
un foco temtico especial sobre la formacin de los profesores y los
contratos para profesores que no eran funcionarios. Estos temas fueron
planteados por los dos ministerios de educacin debido a que reformas
previas en las polticas de empleo del personal docente demandaban una
evaluacin de su impacto sobre la calidad de la educacin.
Si bien en Togo se haba comenzado a contratar profesores no
funcionarios sobre una base contractual desde 1983, este proceso comenz
en Guinea slo en 1998. En Guinea, los profesores reciban una breve
formacin pedaggica de seis a nueve meses de duracin, mucho ms
corta que los programas tradicionales de formacin de dos a tres aos que
252
www.iiep.unesco.org
haban funcionado previamente. En Togo no reciban ninguna formacin

inicial.
En Guinea, los nuevos profesores fueron reclutados con al menos un
nivel de segundo ciclo de educacin secundaria (baccalaurat, BAC
bachillerato); en Togo, si bien el requisito formal era el mismo, en la
prctica se consideraba suficiente un nivel secundario inferior, es decir,
el primer ciclo (Brevet dtudes professionnelles, collge BEPC). En
ambos pases, el objetivo principal de la reforma poltica era reducir los
costos a fin de poder satisfacer la creciente demanda de nuevos profesores
por parte de las escuelas.
Al mismo tiempo, haba cierta preocupacin sobre el impacto
negativo que podran tener estas reformas sobre el aprendizaje de los
estudiantes: (a) se tema que el reclutamiento de profesores sobre bases
contractuales implicando salarios considerablemente ms bajos y menos
seguridad laboral podran tener un impacto negativo sobre su motivacin
y, por tanto, indirectamente, sobre el rendimiento de los alumnos en su
clase; (b) se consideraba que una formacin pedaggica de menos de un
ao podra ser muy breve para preparar efectivamente a los futuros
profesores para su trabajo en clase; y (c) en el caso de Togo, se consideraba
que profesores con solo BEPC no tendran suficiente dominio de las
disciplinas que se supona deban ensear. Sobre todo, se prevea que las
reformas reduciran los costos de contratacin de ms profesores, pero al
precio de una reduccin considerable en la calidad de la educacin.
Los resultados del PASEC muestran que en realidad este no es el caso.
En general, los nuevos profesores empleados sobre una base contractual no
lo estn haciendo peor que sus colegas. En algunos casos y contextos, incluso
parecen hacerlo mejor (CONFEMEN, 2004; CONFEMEN, 2003). Esto se
puede explicar de la manera siguiente.
En primer lugar, si bien se redujo la duracin de la formacin
pedaggica de los profesores, se reform su contenido de tal manera que
la reduccion de la duracin podra compensarse con el aumento de su
pertinencia y calidad. En el marco del nuevo Programa de Formacin Inicial
de Maestros del Banco Mundial en Guinea [Formation Initiale des Matres
de Guine, FIMG)], por ejemplo, se hace mucho hincapi en la experiencia
prctica de la enseanza bajo la orientacin de profesores experimentados.
Esto podra haber constituido una innovacin eficaz en el programa de
formacin.
253
www.iiep.unesco.org
En segundo trmino, el nivel de estudios de los profesores ms all

del BEPC a menudo ha mostrado ser de pertinencia limitada para el
rendimiento de los profesores de primaria (CONFEMEN, 1999). Esto
quiz est relacionado con la calidad de la educacin recibida por los
propios profesores o a la baja pertinencia del conocimiento acadmico
adquirido para la enseanza prctica en la clase. Los resultados de la
investigacin del PASEC en otros pases mostr, por ejemplo, que no
haba una correlacin significativa entre el nivel educativo de los profesores
por debajo o por encima del BAC y su capacidad para indicar correctamente
los errores en un dictado (Michaelowa, 2003). Ms an, existen ciertos
indicios de que profesores con un nivel educativo ms all del BAC podran
estar menos motivados en el trabajo (Michaelowa, 2002).
En tercer lugar, los contratos en calidad de no funcionario podran
crear incentivos a fin de que los profesores trabajaran ms para mantener
su puesto actual, o pasar posteriormente a un puesto permanente en su
carrera.
Hasta cierto punto, esos argumentos fueron bienvenidos por los
polticos, pues ofrecan justificaciones para las reformas polticas
emprendidas bajo la presin de las restricciones presupuestarias. Al mismo
tiempo, existe falta de comprensin sobre por qu los estndares de
exigencias para los profesores de los pases industrializados (como el
BAC, por ejemplo) podran ser ineficientes y, por tanto, indeseables en
los pases africanos implicados. Finalmente, existe un gran descontento
entre los profesores. Los profesores empleados bajo las nuevas condiciones
sostienen que estn mal pagados y se les exige que soporten condiciones
inestables de trabajo, cuando hacen el mismo trabajo que otros profesores.
Los viejos profesores se quejan de que las nuevas orientaciones podran
minar la valoracin de la profesin docente en su conjunto.
Dada la naturaleza de las reformas, el dilogo con los diferentes
actores fue particularmente importante. Desafortunadamente, tanto en
Togo como en Guinea los sindicatos de profesores no participaron en el
seminario de difusin debido a una disputa relativa a las dietas. Su
exclusin de los debates fue ms bien desafortunada, porque se trataba
del grupo de actores que ms se opona a las reformas polticas.
Los profesores, los funcionarios del ministerio, los inspectores y los
directores de escuela presentes en el seminario convinieron en la necesidad
de una formacin pedaggica de alta calidad para los profesores. El folleto
con los resultados de la investigacin del PASEC en Togo, editado
254
www.iiep.unesco.org
conjuntamente por el secretariado de la CONFEMEN y el Ministerio de

Educacin de Togo, defendan firmemente menores requisitos de ingreso
a la profesin docente en trminos de nivel educativo (slo el BEPC),
pero un perodo de formacin pedaggica obligatoria para todos los
profesores nuevos.
En relacin con los cambios efectivos de poltica, los resultados del
PASEC han estimulado a las autoridades togolesas a mantener el BEPC
como el nivel acadmico mnimo de ingreso para los profesores de
primaria. Todava est por verse, sin embargo, si la formacin pedaggica
inicial para todos los profesores se asegurar en el futuro. En Guinea, la
idea es continuar el programa de formacin inicial en el marco del proyecto
piloto FIMG [Formation Initiale des Matres de Guine] del Banco Mundial.
Dado que Guinea pertenece al grupo de pases incluidos en la iniciativa
de va rpda, la financiacin por parte de donantes estara disponible
para la futura formacin de docentes. Esto muestra que la implementacin
de los resultados del PASEC tambin depende de la relacin de las
actividades del PASEC con las de otras organizaciones ineternacionales
y proveedores de fondos bilaterales. Generalmente, dado que los pases
tienden a concentrar sus esfuerzos en programas importantes apoyados
internacionalmente, tales como la Educacin para Todos y los
Documentos de estrategia de lucha contra la pobreza (DELP), el inters
por los resultados del PASEC en los ministerios de educacin nacional
est altamente correlacionado con la utilidad percibida para la preparacin
e implementacin de estos programas internacionales ms amplios.
As como el problema de las altas tasas de repeticin discutidas en
el contexto del Senegal, los problemas relativos a la contratacin de
profesores que no son funcionarios y la formacin adecuada de los
maestros son tambin pertinentes para muchos otros pases africanos
francfonos que introducen reformas polticas en estas reas. Para que los
resultados del PASEC atrajeran la atencin de los responsables polticos
en estos otros pases, en la reunin ministerial de la CONFEMEN en
Ouagadougou en 2002 se presentaron resultados analticos y el secretariado
de la CONFEMEN envi un comunicado de prensa a los medios de
comunicacin pertinentes de los Estados Miembros. Sin embargo, es
conveniente notar que los pases experimentan actualmente muy diversos
tipos de contratos nuevos con los profesores y programas de formacin.
Los resultados de un pas podran no ser vlidos para otro y, por
consiguiente, parece necesario hacer un anlisis caso por caso. Actualmente
se ejecutan evaluaciones del PASEC con una orientacin temtica similar
255
www.iiep.unesco.org
en Mal y Nger, y ser interesante comparar los resultados. Una encuesta

en curso del Banco Mundial sobre los profesores en Senegal, Mal, Burkina
Faso y Nger aportar informacin complementaria.
Otros ejemplos
Si bien lo que ocurre en Senegal, Guinea y Togo ha sido discutido
en detalle, tambin sera conveniente mencionar algunos cambios que
estn ocurriendo en otros pases. En Madagascar, por ejemplo, los
resultados del PASEC mostraron en 1997-98 que una formacin docente
continua tena un efecto negativo sobre el rendimiento de los estudiantes.
Este resultado fue una sorpresa y dio lugar a un debate sobre por qu haba
sucedido. Se vio que la formacin docente continua haba tenido lugar
fundamentalmente durante las horas de clase, reduciendo as la enseanza.
Consecuentemente, se ha cambiado esta prctica.
En Camern, como resultado de la primera evaluacin del PASEC, el
ministerio cre una unidad especial de evaluacin para asegurar la
institucionalizacin de la evaluacin educativa. En general, parece que el
seguimiento exitoso de las evaluaciones del PASEC depende en gran medida
de la estabilidad del equipo nacional del PASEC. Si no existe un grupo fijo
de personas que participen en la evaluacin educativa en un Ministerio de
Educacin, es difcil lograr el intercambio de experiencias y obtener
informacin que permita saber lo que realmente ocurri como resultado de
los anlisis iniciales del PASEC. Adems, si el equipo nacional del PASEC
no est en condiciones de supervisar y apoyar la implementacin de los
resultados, es muy poco probable que algo suceda.
Si los miembros de un equipo rotan regularmente, la capacidad de
seguimiento a nivel nacional es muy baja. En una situacin semejante,
los mdulos de formacin continua ofrecidos por los consejeros tcnicos
del PASEC se tornan ms bien ineficientes y la red de expertos construida
mediante talleres regulares con representantes de todos los equipos
nacionales del PASEC tambin deviene menos eficaz. En algunos estudios
de caso de pases, como la Repblica Centroafricana o la Cte dIvoire,
la estabilidad del equipo del PASEC, la implementacin de sus resultados
y el inters en la poltica educacional han sido gravemente afectados por
conflictos violentos y disturbios polticos.
Conclusin
El anlisis precedente muestra las dificultades para manejar los
resultados de un programa internacional de evaluacin como el PASEC.
256
www.iiep.unesco.org
Si bien existen muchas condiciones para asegurar un debate e

implementacin adecuados de los hallazgos, los resultados efectivos de
poltica estn sujetos a la estabilidad de los equipos nacionales del PASEC,
a la estabilidad poltica nacional y a la capacidad para movilizar medios
financieros adicionales para sustentar las reformas. La experiencia ha
mostrado que los resultados del PASEC atraen ms la atencin si se pueden
aplicar directamente a las estrategias nacionales del sector de la educacin
o de lucha contra la pobreza, aumentando as las posibilidades de obtener
financiacin de proveedores de fondos. Ms importante an, es vital que,
desde el comienzo, en los pases anfitriones de una evaluacin del PASEC
haya un genuino inters en la orientacin temtica de los resultados. Lo
ms deseable, como en Senegal, Togo y Guinea, sera que el PASEC
aportara respuestas a cuestiones polticas de extrema relevancia. En estos
casos, los resultados del PASEC hand sido generalmente bien recibidos
y han llevado a una formulacin de poltica coherente con sus
resultados.
Bibliografa
CONFEMEN. 1999. Les facteurs de lefficacit dans lenseignement
primaire: les rsultats du programme PASEC sur neuf pays dAfrique
et de lOcan indien, en Programme danalyse des systmes ducatifs
de la CONFEMEN (PASEC), Dakar.
CONFEMEN/MEN. 2003. Le Programme de formation initiale des matres
et la double vacation en Guine, Dakar: Ministre de lEnseignement
pr-universitaire et de lducation civique de Guine/CONFEMEN.
CONFEMEN/MEN. 2004. Le redoublement: pratiques et consquences
dans lenseignement primaire au Sngal, Dakar: Ministre de
lducation du Sngal/CONFEMEN.
CONFEMEN/MEN du Togo. 2004. Recrutement et formation des
enseignants du premier degr au Togo: quelles priorits? Les rsultats
de lvaluation thmatique du Programme danalyse des Systmes
Educatifs de la CONFEMEN (PASEC) sur les enseignants du Togo,
Dakar: Ministre de lducation nationale du Togo/CONFEMEN.
Michaelowa, K. 2002. Teacher job satisfaction, student achievement, and
the cost of primary education in francophone sub-Saharan Africa,
Hamburg: HHWQ (Hamburg Institute for International Economics)
(Discussion Paper n. 188).
257
www.iiep.unesco.org
Michaelowa, K. 2003. Determinants of primary education quality: What

can we learn from PASEC for francophone sub-Saharan Africa?
Background paper for the ADEA study: The challenge of learning:
improving the quality of basic education in sub-Saharan Africa, Paris:
ADEA.
MINEDAF. December 2002. Universal primary education a goal for all.
Statistical document MINEDAF VIII. Paper presented at the Eighth
Conference of Ministers of Education of African Member States
(MINEDAF VIII), Dar-Es-Salaam: United Republic of Tanzania.
UIS. 2003. Education statistics: statistical tables (EF). Acceso: 17 de mayo
de 2004 en:
www.uis.unesco.org/ev.php?URL_ID=5187andURL_ DO=DO_
TOPICandURL_SECTION=201
258
www.iiep.unesco.org
Captulo 12
Cmo puede manejar un pas el impacto de

resultados excelentes de investigaciones
internacionales comparadas?
(El estudio de caso de Finlandia)
Pirjo Linnakyl
Introduccin
Se puede ganar un considerable valor agregado de la participacin en
estudios internacionales comparados sobre calidad de la educacin, tales
como los realizados por la Asociacin Internacional de Evaluacin del
Rendimiento Escolar (IEA) y la Organizacin para la Cooperacin y el
Desarrollo Econmicos (OCDE). Las evaluaciones internacionales pueden
revelar con ms claridad que las evaluaciones nacionales las caractersticas
especiales de un sistema educativo nacional y su cultura pedaggica. Si
se observa de cerca, a menudo es mucho ms difcil ver dnde estn los
puntos fuertes, dnde radica el mejor potencial y, por otra parte, qu es
dbil, problemtico o est estancado.
Teniendo en cuenta lo anterior, se puede estar seguro de que los
resultados de las investigaciones internacionales comparadas siempre
generan vivas discusiones y acalorados debates entre investigadores,
diversos grupos de inters y responsables de la formulacin de poltica,
y tienen ms probabilidades de tener un fuerte impacto sobre la
planificacin de la educacin y la prctica pedaggica. Este parece ser el
caso, especialmente cuando los resultados de la evaluacin son ms bajos
de lo esperado. En lo que se refiere al Reading Literacy Study [Estudio
sobre la lectura] de la IEA (Elley, 1992), esto sucedi en Dinamarca, y en
relacin con el estudio PISA de la OCDE (Adams y Wu, 2002) fue
especialmente cierto en el caso de Alemania.
Tensiones entre los resultados nacionales e internacionales

de las evaluaciones
En efecto, es muy extrao que cuando los resultados son excelentes,
como lo fueron los de Finlandia, tanto en el estudio sobre lectura como
en el de PISA, parecen provocar menos atencin y debate y tener menos
259
www.iiep.unesco.org
pertinencia en materia de poltica a nivel nacional. Al mismo tiempo que

la prensa a nivel internacional glorificaba el xito finlands en PISA, en
Finlandia el Ministerio de Educacin y la prensa menguaban enrgicamente
los hallazgos de la investigacin y destacaban, por el contrario, las
debilidades en materia de lectura y escritura reveladas en la evaluacin
nacional efectuada por el Consejo Nacional de Educacin de Finlandia
en 2001. El ministerio public los resultados de las dos evaluaciones al
mismo tiempo, pero dieron mucha menos importancia a los hallazgos del
PISA que a los estudios nacionales. Esta estrategia de informacin muy
probablemente tuvo que ver con la nueva asignacin de horas de clase a
la educacin bsica, que el ministerio acababa de aprobar en 2001, y los
planes curriculares, que aumentaron el nmero de horas asignadas a lengua
materna, matemtica y educacin sanitaria en respuesta a las carencias
alegadas en estas asignaturas. Los resultados a nivel internacional estaban
en clara contradiccin con los argumentos presentados en favor de estas
reformas polticas.
Hubo una soprendente disparidad entre los resultados internacionales
y los hallazgos de la evaluacin nacional. sta ltima sostena que la
lectura entre los jvenes, tanto en trminos de rendimiento como de
participacin en actividades de lectura, haba disminuido sensiblemente
y que haba una significativa variacin entre escuelas, regiones y grupos
socioeconmicos, como resultado de la descentralizacin del poder de
decisin. Ya se haban adoptado firmes decisiones polticas para remediar
la situacin: el propsito era volver a centralizar el poder de decisin,
hacer los currculos ms uniformes (especialmente el tronco comn),
disminuir la proporcin de las asignaturas y cursos electivos, y definir los
objetivos de aprendizaje y los estndares de calificacin (notas) con mayor
precisin. En el nuevo Marco de referencia curricular [Curriculum
Framework] publicado en 2002, el papel del tronco comn lengua
materna, matemtica, educacion cvica y educacin sanitaria se haba
fortalecido. Adems, se agregaron criterios para el buen rendimiento en
el 2, 5 y 9 grados.
Variaciones en los niveles de inters:

la prensa y los sindicatos de profesores
La cobertura de la prensa sobre los hallazgos iniciales del PISA fue
limitada al comienzo. Los principales peridicos publicaron las tablas
de clasificacin internacionales, que ordenaban a los pases participantes
en funcin del puntaje promedio de rendimiento de los estudiantes. Sin
260
www.iiep.unesco.org

embargo, los resultados de las evaluaciones nacionales tuvieron mayor

cobertura, de modo que en los editoriales de los peridicos, as como en
los programas de televisin sobre temas de actualidad, los medios
expresaron una gran preocupacin por las carencias detectadas en las
competencias de alfabetizacin de los adolescentes finlandeses.
La informacin que aparece en el Cuadro 12.1 presenta la
cuantificacin de la cobertura que la prensa asign a los resultados de la
investigacin del PISA un mes despus de su difusin. Es evidente que,
a partir de estas cifras, hubo un inters inicial relativamente pequeo en
los resultados del PISA en Finlandia, como fue tambin el caso con el
estudio de la IEA diez aos antes.
El Ministerio de Educacin fue bastante activo en la publicacin de
los resultados de la IEA, pero el sindicato de profesores fue ms cauto y
tena miedo de perder recursos para la instruccin. El sindicato estaba
particularment preocupado por el aumento del tamao de las clases, pues
segn los resultados de la IEA, el buen rendimiento ocurra tanto en clases
grandes como pequeas.
Cuadro 12.1 Cobertura de prensa en los pases participantes
en el PISA un mes despus aproximadamente
de la difusin de los resultados de la investigacin
Pas
Alemania
Suiza
Canad
Reino Unido
Japn
Australia
Nmero de pginas
687
149
93
88
84
54
Pas
Estados Unidos
Blgica
Nueva Zelandia
Repblica de Corea
Finlandia
Nmero de pginas
36
32
25
21
8
En el contexto del PISA, sin embargo, el sindicato de profesores

aplaudi los resultados y elogi el buen trabajo de los profesores. Esto
podra tener algo que ver con el hecho de que el sindicato de profesores
estaba buscando apoyo del pblico para sus demandas de aumento de
salarios.
El sindicato de profesores estaba a favor del mantenimiento de las
asignaturas electivas en el currculo. Los hallazgos del PISA apoyaban
este punto de vista al mostrar que el alto rendimiento en el tronco comn
era posible en asociacin con un grado de eleccin relativamente alto de
la asignatura y que un mayor grado de eleccin no produca mayores
261
www.iiep.unesco.org
diferencias entre las escuelas. Sin embargo, Teacher la revista del

sindicato nunca public los resultados iniciales del PISA. Esto ocurri
mucho ms tarde, despus que las delegaciones extranjeras y las visitas
de estudio empezaran sus estampidas hacia las escuelas finlandesas.
La atencin internacional aumenta los niveles de inters

en Finlandia
La prensa internacional sigui elogiando el sistema finlands de
educacin debido al xito mostrado por los resultados del PISA (OECD,
2001, 2002). Esto condujo incluso a un nuevo tipo de turismo, en el que
cientos de visitantes entre ellos periodistas, profesores, investigadores y
delegaciones oficiales de diferentes pases venan a explorar el secreto
del xito finlands. Esta amplia y sostenida atencin internacional empez
a tener repercusiones en Finlandia. Sbitamente, la prensa finlandesa
empez a preocuparse sobre el nivel real del rendimiento de los
estudiantes finlandeses y empezaron a explorar por qu se estaba prestando
tan extraordinaria atencin al sistema de educacin finlands. La prensa
incluso empez a citar artculos publicados en el exterior acerca del xito
finlands.
Todo esto comenz a parecer excesivo a varios profesores finlandeses
que haban completado sus estudios en Alemania. Ellos se quedaron
impresionados cuando los resultados del PISA mostraron que los
estudiantes alemanes rendan mucho menos que sus homlogos finlandeses,
y manifestaron su sorpresa y desaprobacin. Incluso sugirieron que se
prohibiera criticar los desempeos escolares de un viejo pas civilizado
como Alemania.
Los profesores manifestaron sus dudas acerca de la validez de las
pruebas, la equivalencia de las traducciones y la comparabilidad de los
datos y anlisis. Otros investigadores especializados en estudios sobre la
mujer minimizaron la brecha de gnero en favor de las nias, que era
evidente en los resultados del PISA, y presentaron hallazgos de
investigacin que destacaban la discriminacin de las nias en las prcticas
escolares cotidianas (Gordon y Lahelma, 2004). Adems, algunos
socilogos criticaron la pertinencia de las evaluaciones internacionales,
cuestionaron el papel de la OCDE en el campo de la evaluacin de la
educacin y expresaron su preocupacin de que Finlandia debera prestar
ms atencin a las evaluaciones nacionales focalizadas en la poltica
nacional de educacin (Ball, 2004; Rinne et al., 2004).
262
www.iiep.unesco.org

Sin embargo, la enorme y persistente atencin internacional comenz

a incidir gradualmente sobre las actitudes del personal de alto nivel del
Ministerio de Educacin. Empezaron a tomar en serio los resultados del
PISA, si bien recordando a los otros que no haba razn para entusiasmarse
con los resultados internacionales de Finlandia y que todos deberan tener
en cuenta los alarmantes resultados nacionales. Finalmente, las buenas
noticias empezaron a filtrarse a nivel de la escuela, reforzando la autoestima
profesional de directores y profesores, y aumentando la confianza de los
padres de familia en la calidad de la educacin finlandesa.
En los debates pblicos, los profesores y sus asociaciones empezaron
a explicar los excelentes resultados de Finlandia en el PISA, acentuando el
significado de la slida formacin del personal docente. Los defensores de
la educacin cvica independiente subrayaron la importancia de los servicios
de biblioteca actualizados y las actividades de lectura durante el tiempo de
ocio, mientras que las personas involucradas en el sector de los servicios
sociales destacaron el apoyo social y cultural suministrados a las familias.
Los psiclogos propusieron explicaciones relacionadas con la claridad y la
transparencia de la ortografa finlandesa (Aro, 2004), mientras que los
socilogos atribuyeron el xito a la tradicional creencia finlandesa en la
educacin y a la estricta disciplina escolar (Simola, 2004).
La atencin internacional aumenta los niveles de inters

en otros pases participantes en el PISA
La prensa centroeuropea publicit muy activamente los resultados
comparativos del PISA y ensalz al sistema educativo finlands quiz, o
muy probablemente, por los resultados por debajo del promedio obtenidos
en sus propios pases. Parece ser que, en la perspectiva de los medios de
comunicacin, los bajos resultados hacen las mejores noticias. Tambin
parece que los recursos para investigacin y desarrollo de la educacin
estn ms rpidamente dipsonibles cuando los niveles de rendimiento son
bajos.
Esto sucedi, por ejemplo, en Dinamarca tras el Estudio de
competencia en lectura de la IEA, cuando el ministro dans de educacin
financi un estudio adicional comparado sobre prcticas pedaggicas a
fin de descubrir por qu los pases nrdicos con altos rendimientos
(espcialmente Suecia y Finlandia) tenan mejor desempeo que Dinamarca,
donde los niveles de rendimiento se encontraban entre los ms bajos. Un
resultado clave de este estudio fue que las expectativas de los profesores
y los padres de familia tienen un impacto significativo sobre el rendimiento
263
www.iiep.unesco.org
de los estudiantes. Tambin se observ que en Finlandia y Suecia las

expectativas de los profesores eran significativamente ms altas que en
las escuelas danesas.
En el sistema educativo dans, el mismo profesor sigue al mismo grupo
de estudiantes a lo largo de su escolaridad primaria. El resultado es que los
profesores conocen bien a sus estudiantes pero, por otra parte, sus expectativas
tienden a ser menores que en las escuelas finlandesas y suecas, donde los
profesores cambian despus de los grados escolares del nivel primario, dando
como resultado, finalmente: (a) mayores exigencias sobre los estudiantes de
los grados ms avanzados; y (b) la elusin del peligro de una categorizacin
subjetiva persistente de los estudiantes por parte de los profesores. La
hiptesis inicial de los investigadores daneses en el sentido de que la
disciplina estricta y las pruebas exigentes eran las fuerzas impulsoras de los
buenos resultados de los estudiantes finlandeses no fueron respaldadadas
por los anlisis (Sommer et al., 1996).
Las autoridades educativas alemanas tambin se interesaron por el
sistema de educacin bsica finlands, especialmente en el currculo nacional,
la formacin previa y en servicio de los profesores, los estndares de
aprendizaje de los estudiantes, la enseanza y el aprendizaje en grupos
heterogneos, la educacin especial y las prcticas de evaluacin. Adems,
el Ministerio Federal de Educacin e Investigacin de Alemania financi un
estudio comparativo Condiciones del rendimiento escolar en siete pases,
con el propsito de comprender las variaciones internacionales en los
resultados del PISA e identificar qu factores del sistema escolar y de las
culturas educativas iban asociados con el alto rendimiento en Canad,
Finlandia, Francia, Inglaterra, los Pases Bajos y Suecia, en comparacin con
el rendimiento en Alemania (Dbert et al., 2004; Linnakyl, 2004). Uno de
los resultados de este estudio comparativo fue que los investigadores y
responsables polticos alemanes decidieron introducir estndares basados
en competencias generales en las escuelas alemanas y comenzaron a
planificar un programa nacional de evaluacin a fin de monitorear la
evolucin de los resultados del aprendizaje (Klieme, 2004).
Importantes hallazgos de la investigacin para Finlandia

Gradualmente, las fortalezas y debilidades del sistema educativo
finlands reveladas por los resultados del PISA fueron objeto de anlisis
y revisin ms detallados por parte de los investigadores finlandeses. Los
resultados se presentaron en tres informes nacionales (Vlijrvi et al.,
2001; Vlijrvi y Linnakyl, 2002; Linnakyl et al., 2004a). Adems, el
264
www.iiep.unesco.org

equipo de investigacin finlands del PISA public a menudo instados

por las partes interesadas en el exterior y no gracias al estmulo del
Ministerio de Educacin de Finlandia sus propias conclusiones y debates
explicativos en ingls (Vlijrvi e Linnakyl, 2002). En estas publicaciones,
los investigadores hicieron hincapi en lo que ellos consideraban los
resultados ms significativos de la investigacin del PISA: que calidad y
equidad no tienen por qu competir o excluirse mutuamente, sino que
pueden ser complementarios, como fue claramente el caso de Finlandia.
La interpretacin nrdica del principio de igualdad, que favorece la poltica
de acceso equitativo, igualdad de oportunidades para aprender y apoyo
especial para las personas dbiles y vulnerables, fue claramente estimulada
por los resultados del PISA. Carroll (1987) sostuvo hace casi dos dcadas
que todo avance en trminos de ms altos niveles promedio en la
alfabetizacin a nivel nacional se haba logrado gracias a la mejora en el
rendimiento entre los estudiantes ms desfavorecidos. Este punto de vista
fue respaldado por los resultados del PISA en Finlandia.
Uno de los hallazgos ms importantes del PISA, en trminos de
importancia poltica, fue que en Finlandia la diferencia entre los estudiantes
con altos y bajos rendimientos era estrecha, con una varianza en el rendimiento
del estudiante que era la segunda ms pequea despus de la Repblica de
Corea. Adems, Finlandia mostr un impacto promedio bajo entre los pases
de la OCDE del origen socioeconmico de los padres sobre el rendimiento
de los estudiantes, y las diferencias entre las escuelas en el rendimiento
promedio de los estudiantes estaban entre las ms pequeas en todos los
pases de la OCDE. Tambin fue particularmente interesante para los
responsables polticos el hecho de que el ltimo 10 % de las escuelas
finlandesas con rendimiento ms bajo registr un puntaje de casi 100 puntos
por encima del promedio respectivo de la OCDE (Vlijrvi y Malin, 2003)
y que las diferencias regionales en los resultados del PISA en el pas eran
insignificantes.
En sntesis, se mostr que en Finlandia no hay mucha diferencia en
relacin con la regin en la que se vive y a qu escuela se va, porque las
oportunidades que los estudiantes tienen de aprender son casi las mismas
en todo el pas.
Sin embargo, Finlandia tuvo menos xito en garantizar la igualdad
entre los gneros, lo que ya haba sido indicado en el PISA por la diferencia
en la comprensin de lectura que era la ms amplia en Finlandia. sta fue
de 51 puntos, mientras que el promedio de la OCDE se situaba en 32 puntos.
265
www.iiep.unesco.org
Si se compara con evaluaciones internacionales anteriores, pareca que la

brecha de gnero se haba ampliado no slo en Finlandia, sino tambin en
otros pases de la OCDE. Esta diferencia, sin embargo, no se deba a que los
nios finlandeses lo estuvieran haciendo mal, sino a que las nias finlandesas
se desempeaban excepcionalmente bien.
Hay que destacar que los nios finlandeses tuvieron un mejor puntaje
que los nios de cualquier otro pas de la OCDE, e incluso mejor que el
de las nias en muchos de los pases participantes. Sin embargo, subsiste
el hecho de que en Finlandia la brecha de gnero en comprensin de lectura
fue excepcionalmente alta. Este mismo hallazgo alarmante tambin se
haba dado en las evaluaciones nacionales.
Retos para las polticas y prcticas de reforma

El desafo ms importante que afronta Finlandia en relacin con el
desarrollo de la comprensin de lectura parece estar relacionado con la
reduccin de la brecha de gnero en el desempeo en comprensin de
lectura y la participacin en actividades de lectura fuera de la escuela.
Dado que la participacin en actividades de lectura ha demostrado ser el
factor ms importante del buen rendimiento, las cuestiones clave son cmo
estimular el inters y la participacin entre los nios, y cmo ayudarlos a
encontrar placer en la lectura. La bsqueda de respuestas a estas preguntas
ha tenido implicaciones significativas para la poltica y la investigacin.
El Consejo Nacional de Educacin lanz un programa nacional y un
programa nrdico conjunto para mejorar las competencias de lectura de
los lectores dbiles, especialmente nios. La campaa nacional Finlandia
lee defini los siguientes objetivos para el perodo 2002-2004,
convergentes con los retos que surgieron de los resultados del PISA:
(a) mejorar el rendimiento de la quinta parte ms dbil de los estudiantes;
(b) desarrollar mtodos para hacer que la lectura fuera ms atractiva para
los varones; (c) mejorar el rendimiento de la lectura crtica y reflexiva;
(d) aumentar el tiempo que los estudiantes destinan a leer y escribir en la
escuela y en su tiempo libre; (e) mejorar las condiciones de las bibliotecas
escolares y consolidar la cooperacin entre las escuelas y las bibliotecas
de la comunidad; (f) aumentar los esfuerzos de los profesores para
desarrollar las competencias en materia de comprensin de lectura y
escritura; (g) mejorar las competencias de los profesores de aula en lengua
materna y enseanza de la literatura; (h) mejorar el conocimiento de los
profesores de la literatura para nios y jvenes; (i) ampliar la cooperacin
entre la escuela y los hogares de los estudiantes en el campo de la lectura
266
www.iiep.unesco.org

y la escritura; y (j) mejorar la instruccin de los estudiantes inmigrantes,

tanto en finlands como segunda lengua como en su primera lengua.
Como puede verse a partir de lo anterior, el Ministerio y el Consejo
Nacional de Educacin adoptaron medidas para mejorar las competencias
lingsticas y de alfabetizacin de los inmigrantes. Esto es en parte
consecuencia de los resultados del PISA. Si bien el porcentaje de
inmigrantes en la poblacin finlandesa es bastante bajo, los resultados del
PISA de otros pases nrdicos y de Europa central indican que hay buenas
razones para abordar el desarrollo de las competencias de alfabetizacin
de los nios inmigrantes lo ms temprano posible para evitar los problemas
que surgen debido a pobres competencias en alfabetizacin y la consecuente
falta de movitacin para proseguir los estudios y aprovechar las
oportunidades para ejercer una ciudadana activa.
Mejora de la cooperacin en investigacin

entre los pases nrdicos
Fuera del Ministerio de Educacin existen varios estudios en curso
sobre el PISA, tanto nacionales como bajo la modalidad de proyectos de
cooperacin nrdica. Esta cooperacin, que ya haba comenzado en el
marco del Estudio de Competencia en Lectura de la IEA, tambin ha sido
activa en el marco del PISA, y se ha concentrado particularmente en la
comprensin ms detallada de las diferencias y similaridades en las culturas
escolares y tambin en los esfuerzos pedaggicos conjuntos para mejorar
el rendimiento en alfabetizacin de los estudiantes en situacin de riesgo,
provenientes de medios sociales desfavorecidos.
Incluso la Academia de Ciencias de Finlandia ha apoyado diversos
estudios sobre los datos del PISA sobre Filandia. Esta investigacin se ha
interesado en explorar los factores que inciden sobre la equidad en la evaluacin
y el rendimiento en comprensin de lectura. Por ejemplo, una futura tesis
doctoral se ha concentrado en la equivalencia de las traducciones internacionales
de las pruebas y otra en la autenticidad de las pruebas de lectura en el contexto
cultural finlands. Tambin ha habido tesis que exploran las diferencias entre
las escuelas mediante modelos multinivel.
La cooperacin nrdica entre los investigadores del PISA ha
posibilitado la realizacin de un reguero de estudios adicionales. En 2003,
los investigadores publicaron Northern Lights on PISA (Lie et al., 2003),
que se concentr en la igualdad con especial nfasis en gnero. Un estudio
secundario del que se da cuenta en el libro sugiri que entre los factores
267
www.iiep.unesco.org
afectivos clave detrs de la brecha de gnero en los pases nrdicos estaban

la participacin en la lectura, la lectura frecuente de literatura de ficcin,
una fuerte autoestima por aprender a leer, as como los esfuerzos y la
perseverancia de los estudiantes. Al controlar simultneamente estos
factores, fue posible construir una situacin imaginaria en la que nios y
nias participaban igualmente en la lectura en la escuela y en el tiempo
de ocio, en el que la autoestima de los varones eran tan fuerte como la de
las nias, en la que varones y nias mostraban iguales esfuerzos y
perseverancia en relacin con la lectura. En esta situacin imaginaria, la
brecha de gnero desapareca como en Dinamarca o por lo menos
disminua significativamente como fue el caso en todos los otros pases
nrdicos. En Dinamarca, la diferencia tras el control de los factores clave
incluso se torn ligeramente ventajosa para los varones. Estos hallazgos de
la investigacin destacaron la importancia de ligar los elementos cognitivos
y afectivos del aprendizaje.
Los resultados del PISA sugieren que los pases nrdicos podran
aprender ms acerca de la igualdad de gnero de otros pases, especialmente
en relacin con la lectura reflexiva y evaluativa de los varones. En
Australia, Estados Unidos, Irlanda y Nueva Zelandia haba menores brecha
de gnero que en la mayora de los pases nrdicos en lectura reflexiva y
evaluativa, que era el rea en la que los pases nrdicos se enfrentaban a
un desafo.
La cooperacin entre los investigadores nrdicos ha incluido un nmero
especial de la Scandinavian Journal of Educational Research, titulada
Nordic PISA 2000 in a Socio-cultural Perspective [PISA 2000 en los pases
nrdicos en una perspectiva sociocultural] (Lie y Linnakyl, 2003). Los
artculos de este nmero especial se concentran en el capital socioeconmico
y cultural asociado a los resultados del aprendizaje en los campos de la
comprensin de lectura y conocimientos bsicos en ciencias. En los artculos
que se concentran en la comprensin de lectura, el nfasis se coloca en los
determinantes del bajo rendimiento entre estudiantes minoritarios y
mayoritarios, as como en los perfiles de diferentes tipos de alfabetizacin de
los estudiantes (Hvistendahl y Roe, 2004; Linnakyl et al., 2004a;
Leino et al., 2004).
Incluso si el rendimiento en comprensin de lectura de los estudiantes
finlandeses, a la luz del PISA 2000, fue excelente en promedio, todava
hay lugar para la mejora. Sin embargo, esta mejora presupone desarrollar
la sensibilidad para captar y atender las necesidades individuales de los
268
www.iiep.unesco.org

estudiantes. En el PISA, por ejemplo, se encontr que 7 % de los estudiantes

finlandeses encontraban graves dificultades. Segn los estndares
internacionales, la proporcin es pequea, pero si se asume que cada
estudiante tiene el derecho y se supone que debe lograr un adecuado nivel
de aprendizaje y el xito relativo correspondientes, la lucha para minimizar
el bajo rendimiento debe proseguir. Los investigadores suecos y finlandeses
han conjugado esfuerzos para analizar ms detalladamente qu factores
aumentan el riesgo de un bajo rendimiento en alfabetizacin (Linnakyl et al.,
2004b). Los hallazgos de este estudio adicional no dieron lugar a la
revelacin de grandes sorpresas, pero probaron nuevamente que el gnero
ser varn, el estatus de inmigrante, el origen socioeconmico bajo, el
nmero de hermanos, la baja autoestima acadmica, la falta de participacin
en lectura y el uso excesivo de la computadora eran factores que estaban
significativameante asociados con bajos niveles de rendimiento en
comprensin de lectura en Finlandia y Suecia, cuando se controlaban los
otros factores. En Suecia, el riesgo de tener bajo rendimiento aumentaba
adicionalmente por pertenecer a una familia monoparental y la falta de
un capital cultural relacionado con la cultura clsica. En Finlandia, el
riesgo aumentaba por la escasa comunicacin cultural en el hogar y la
inasistencia a la escuela (Linnakyl et al., 2004a).
Conclusin
Los resultados de las investigaciones de la IEA y el PISA muestran
que el sistema de escuelas secundarias no selectivas de Finlandia tiene
xito al ofrecer a la mayora de sus estudiantes un slido fundamento para
proseguir sus estudios. Los resultados tambin auguran un auspicioso
futuro para la pequea nacin cuya originalidad cultural, xito econmico
y cohesin social estn basados en el desemepeo de su sistema educativo.
Los resultados de la investigacin del PISA en Finlandia muestran que un
sistema educativo que hace hincapi en la igualdad tambin puede alcanzar
una alta calidad.
La prosecucin de la tradicin finlandesa de igualdad ser puesta a
prueba seriamente dentro de poco tiempo debido al creciente nmero de
estudiantes inmigrantes y al aumento de la heterogeneidad cultural. Para
afrontar este problema, Finlandia tendr que aprender mucho de los pases
que han tenido una vasta experiencia en la gestin de programas educativos
para nios inmigrantes.
El pueblo finlands cree fuertemente en el sistema de educacin
bsica no selectivo, en el que cada nio asiste a la escuela gratuita durante
269
www.iiep.unesco.org
nueve aos, desde los 7 hasta los 16 aos. La escuela no selectiva, sin
embargo, no slo es un sistema. Es tambin un asunto de concepcin y
prctica pedaggicas. Enfatiza el hecho de que las escuelas tienen que
adecuarse a las necesidades del nio y no a la inversa.
La pedagoga aplicada en las escuelas finlandesas ha sido concebida
para afrontar grupos heterogneos de estudiantes y su propsito es ensear
a todos los nios a aprender y trabajar juntos y, en ltima instancia, a
fortalecer la cohesin social. En este sistema, los profesores no pueden
excluir a nadie o simplemente mandar a un alumno dbil a otra escuela.
Por el contrario, en cada escuela se deben tomar en cuenta los intereses y
preferencias de los estudiantes cuando se selecciona el contenido de los
cursos, los textos esolares, las estrategias de aprendizaje y los mecanismos
de evaluacin. El xito al abordar esta diversidad en el seno de la escuela
slo se puede lograr con clases de tamao pequeo, un currculo flexible
basado en la escuela y planificado por los profesores, una instruccin
centrada en el estudiante, la orientacin y la educacin especial que apoya
a los estudiantes con dificultades.
En la cultura finlandesa, la enseanza est clasificada entre las
profesiones ms importantes de la sociedad y se ha invertido una gran
cantidad de recursos en la formacin del personal docente. Tambin se
espera que los profesores den lo mejor de s mismos en su calidad de
verdaderos expertos en pedagoga que gozan de una considerable
independencia en el aula. Igualmente, las escuelas gozan de una gran
autonoma en la organizacin de su trabajo, dentro de los flexibles lmites
de un marco de referencia curricular nacional. Esta autonoma ser,
espermoslo, sostenida en el futuro, ya que hace que la profesin docente
sea ms atractiva y permite atraer a los estudiantes ms capaces hacia los
programas de formacin de docentes. Se trata de profesores creativos,
independientes y responsables, que tienen una fuerte motivacin y, sobre
todo, la mejor garanta para educar a una nueva generacin de personas
creativas, independientes y socialmente responsables.
No obstante, el sistema y la cultura de evaluacin estn cambiando en
Finlandia, en parte debido al PISA. La controversia acerca de los resultados
nacionales e internacionales de las evaluaciones, y el menoscabo de los
resultados internacionales, ha desempeado cierto papel en la reorganizacin
de la evaluacin de la educacin a nivel nacional en Finlandia. Basndose en
un decreto del Consejo de Estado, el Ministerio de Educacin cre un rgano
independiente en la primavera de 2003, el Consejo de Evaluacin Educacional,
con la responsabilidad de planificar y coordinar todas las evaluaciones
270
www.iiep.unesco.org

nacionales e internacionales en Finlandia. El secretariado del consejo tiene

como sede la Universidad de Jyvskyl, que tiene una larga tradicin en la
gestin de evaluaciones internacionales comparadas de resultados de
aprendizaje. El tiempo nos dir hasta qu punto este nuevo rgano ha tenido
xito en sus esfuerzos para desarrollar un programa de evaluacin independiente
de la administracin, en el que las evaluaciones nacionales e internacionales
son razonablemente equilibradas y coordinadas para complementarse unas a
otras, al mismo tiempo que evitan soberecargar y limitar el trabajo de las
escuelas y los profesores.
Bibliografa
Aro, M. 2004. Learning to read. The effect of orthography, Jyvskyl,
Finland: University of Jyvskyl (Jyvskyl studies in education,
psychology and social research, publication n. 237).
Ball, S. 2004. Suorituskeskeisyys ja yksityistminen jlkihyvinvointivaltion
koulutuspolitiikassa [Performativity, privatisation and the educational
policy of the post-welfare state], The Finnish Journal of Education
Kasvatus, vol. 35, n. 1, pp. 6-20.
Carroll, J.B. 1987. The national assessments in reading: are we misreading
the findings?, Phi Delta Kappa, n. 68, pp. 424-430.
Dbert, H.; E. Klieme; W. Sroka (Eds.). 2004. Conditions of school
performance in seven countries. A quest for understanding the
international variation of PISA results, Waxmann: Mnster.
Gordon, T.; E. Lahelma. 2004. Etnografinen katse koulutuspolitiikkaan
[Ethnographic view to educational policy], The Finnish Journal of
Education Kasvatus, vol. 35, n. 1, pp. 66-78.
Hvistendahl, R.; A. Roe. 2004. Achievement, family background and
motivation among students with an immigrant background in Norway,
Scandinavian Journal of Educational Research, n. 3.
Klieme, E. 2004. Zur Entwicklung nationaler Bildungsstandards.
Grundpositionen einer Expertise, en Th. Fitzer (Hrsg.), Bildungsstandards.
Inernationale Erfahrungen Schulentwicklung Bildungsreform,
Bad Boll: Evangelische Akademie, pp. 256-265.
271
www.iiep.unesco.org
Leino, K.; P. Linnakyl; A. Malin. 2004. Finnish students multiliteracy

profiles, Scandinavian Journal of Educational Research, n. 3.
Lie, S.; P. Linnakyl (Eds.). 2003. Nordic PISA 2000 in a socio-cultural
perspective, Scandinavian Journal of Educational Science, n. 3.
Lie, S.; P. Linnakyl; A. Roe. 2003. Northern lights on PISA. Unity and
diversity in the Nordic countries in PISA 2000, University of Oslo,
Department of Teacher Education and School Development.
Linnakyl, P. 2004. Finland, en Dbert, H.; E. Klieme; W. Sroka (Eds.),
Conditions of school performance in seven countries. A quest for
understanding the international variation of PISA results, Waxmann:
Mnster, pp. 150-218.
Linnakyl, P.; S. Sulkunen; I. Arffman. 2004a. Tulevaisuuden lukijat.
Suomalaisia lukijaprofiileja. PISA 2000 [Readers for future. Finnish
students reader profiles], University of Jyvskyl, IER.
Linnakyl, P.; A. Malin; K. Taube. 2004b. Factors, Scandinavian Journal
of Educational Research, n. 3.
OECD. 2001. Knowledge and Skills for Life. First results from PISA 2000,
Paris: OECD.
OECD. 2002. Reading for Change. Performance and engagement across
countries, Paris: OECD.
Rinne, R.; J. Kallo; S. Hokka. 2004. Liian innokas mukautumaan? OECD:
n koulutuspolitiikka ja Suomen vastauksia [Too eager to comply?
Educational policies of the OECD and the Finnish response], The
Finnish Journal of Education Kasvatus, vol. 35, n. 4, pp. 34-54.
Simola, H. 2004. Kenraali Aadolf Ehrnrooth ja PISA:n ihme
koulutussosiologisia huomautuksia erseen suomalaiseen
menestystarinaan, The Finnish Journal of Education Kasvatus,
vol. 35, n. 4, pp. 91-98.
Sommer, M.; J. Lau; J. Mejding. 1996. Nordlaes en nordisk undersgelse
af laesefaerdigheder i 1.-3. klasse, Copenhagen: Danmarks Paedagogiske
Institut.
Swap, S. 1993. Developing Home-School Partnerships, New York:
Teachers College Press.
272
www.iiep.unesco.org

Sderberg, S. 2001. Attitudes and expectations in relation to school:

Swedish findings and some international comparisons, en Schooling
for tomorrow: what schools for the future, Paris: OECD.
Vlijrvi, J.; P. Linnakyl (Eds.). 2002. Tulevaisuuden osaajat. PISA 2000
[Competent for future], University of Jyvskyl, IER.
Vlijrvi, J.; P. Linnakyl; P. Kupari; P. Reinikainen. 2001 Suomen
tulevaisuuden osaajat [Competent for future in Finland], University
of Jyvskyl, IER.
Vlijrvi, J.; P. Linnakyl; P. Kupari; P. Reinikainen; I. Arffman. 2002. The
Finnish success in PISA and some reasons behind it, University of
Jyvskyl, IER.
273
www.iiep.unesco.org
Captulo 13
Cmo puede un pas manejar el impacto

de resultados pobres en un estudio
internacional comparado?
(El estudio de caso de Alemania)
Jeanne Rubner
Introduccin
Muchos padres de familia alemanes piensan que la escuela es un lugar
necesario pero desagradable. Esta actitud ha tenido una larga tradicin y
en cierto sentido nos explica por qu las escuelas primarias funcionan
nicamente en la maana y los nios pasan las tardes en casa. Los padres
de familia alemanes tambin tienden a ver el mundo de la educacin como
si tuviera dos propsitos distintos: formar la personalidad y suministrar
conocimiento. El primero es visto como el coto privado de los padres,
quienes son responsables de educar a los nios, y el segundo como un
asunto de la escuela, que se espera se concentre en el desarrollo cognitivo
de los nios.
Durante mucho tiempo, el pblico alemn ha tenido la impresin de
que esta separacin de poderes funcionaba bien. Asumieron que las
escuelas alemanas eran mejores que las de otros pases desarrollados y
estaban convencidos de que el Abitur alemn era superior en relacin con
el contenido, el equilibrio y el reto intelectual cuando se comparaba con
otros diplomas de educacin secundaria europeos o estadounidense.
Estos presupuestos fueron destrozados hacia fines de 2001, cuando
aparecieron los resultados de la investigacin del Programa Internacional
de Evaluacin de Estudiantes (PISA) (OECD, 2001), ejecutado por la
Organizacin para la Cooperacin y el Desarrollo Econmicos. Estos
resultados mostraron que los estudiantes alemanes de 15 aos se
desempeaban de manera relativamente pobre cuando se los comparaba
con jvenes de 15 aos en otros pases de la OCDE. En efecto, los jvenes
de 15 aos alemanes ocupaban solamente el puesto 25 de un total de
32 pases en lectura y el puesto 21 en matemtica y ciencias. Un resultado
incluso ms chocante fue que en Alemania la correlacin entre el origen
socioeconmico de los estudiantes y su rendimiento educacional era muy
274
www.iiep.unesco.org
Cmo puede un pas manejar el impacto de resultados pobres?
fuerte. Esto indicaba que haba importantes diferencias de rendimiento

educacional entre nios provenientes de familias pobres y ricas. Tomados
en conjunto, estos resultados de investigacin aportaron pruebas
fehacientes de que el sistema educativo alemn estaba lejos de muchos
otros pases de la OCDE en relacin con la calidad y la equidad.
Justo cuando estas sombras noticias se estaban asimilando en
Alemania, otras preocupaciones aparecieron en relacin con los vnculos
entre educacin y mercado de trabajo. En particular, se indic que,
comparados con otros pases de la OCDE, los graduados de la universidad
alemana son muy viejos, con una edad promedio de alrededor de
27 aos. Esto ha sucedido debido a un proceso en tres etapas: (a) los
estudiantes de las escuelas secundarias alemanas no se gradan hasta que
tienen, en promedio, alrededor de 19 aos; (b) luego tienen que cumplir
un ao de servicio militar; y, finalmente, (c) completar un ciclo para
graduarse en la universidad toma mucho tiempo. Durante muchos aos,
el pblico alemn no se preocup mucho por esta cuestin, porque
simplemente asuma que el sistema de educacin alemn produca
graduados ms viejos, pero mejores. Sin embargo, los resultados de la
investigacin del TIMSS y el PISA, combinados con un aumento en la
movilidad de la fuerza de trabajo en la Unin Europea, provocaron
ansiedad, dado que incluso los alemanes con un alto nivel de educacin
estaban preocupados por la competicin por los puestos de trabajo en
un mundo crecientemente globalizado.
Varios aos antes de la publicacin de los resultados del PISA, el
primer estudio del TIMSS (Beaton et al., 1996) ejecutado por la Asociacin
Internacional de Evaluacin del Rendimiento Escolar (IEA) aport
mensajes similares sobre el bajo rendimiento del sistema educativo alemn.
La prensa alemana se qued estupefacta al dar cuenta de que las escuelas
de los Estados Unidos, ampliamente consideradas como algo inferiores,
se clasificaban casi en el mismo nivel que las alemanas en matemtica y
ciencias.
A pesar de estas tempranas seales de alarma sobre la calidad de la
educacin en Alemania, los resultados del TIMSS no produjeron una gran
cantidad de debate entre el gobierno, el pblico y los profesores. Algunas
personas haban sugerido que la razn de todo esto estaba en que el TIMSS,
a diferencia del PISA, no aplic pruebas de lectura, que siempre haba sido
considerada en Alemania como algo que desempeaba un papel central de
la escuela y un pilar esencial de una sociedad cultivada. Otros pensaron que
275
www.iiep.unesco.org
las limitadas reacciones ante los resultados del TIMSS se debieron a que
rompan el hielo, en el sentido de que iniciaban una ola de toma de
conciencia del gobierno y el pblico sobre las comparaciones. Por tanto,
los resultados del PISA capitalizaron esta acrecentada conciencia varios aos
ms tarde. Otros consideraban incluso que porque el PISA haba sido
patrocinado por la OCDE estaba en mejores condiciones para relacionar el
rendimiento educativo comparado con el rendimiento econmico nacional,
justo en el momento en que se producan debates polticos acerca de una
percepcin ampliamente difundida entre el pblico de un deterioro de la
ventaja de Alemania con respecto a la competencia en nuevas tecnologas e
industria manufacturera.
Qu resultados consider importantes el ministerio

y por qu?
Diferencias regionales de rendimiento
Es importante tener en mente que, comparada con muchos otros
pases europeos, la poltica educativa es un asunto complicado en
Alemania debido a que hay un ministerio de educacin para cada uno de
los 16 Lnder (estados federados). Cada estado federal es responsable de
sus escuelas, universidades y desarrollo cultural. En aos recientes, ha
habido cierto progreso en la cooperacin entre los Lnder en relacin con
la aceptacin de los diplomas secundarios expedidos por los otros estados
federados. Sin embargo, todava son muy comunes los acalorados debates
acerca de la educacin, especialmente entre los Lnder gobernados por
diferentes partidos polticos.
Una de las grandes sorpresas observadas en los resultados de la
investigacin del PISA fue que el alumno promedio de 15 aos de edad en
varios Lnder estaba adelantado un ao en relacin con el alumno de 15 aos
de otros Lnder. En efecto, durante cierto tiempo, las diferencias de niveles
de rendimiento entre Baviera y Renania Septentrional-Wesfalia atrajeron
ms la atencin de los ministerios de educacin, los padres de familia y los
peridicos que el bajo rendimiento de Alemania en su conjunto.
Duracin de la educacin secundaria
Los resultados de la investigacin del TIMSS plantearon interrogantes
acerca de la estructura y la duraccin del segundo ciclo de educacin
secundaria en Alemania. Ya haba un debate en curso sobre este asunto cuando
se publicaron los resultados del TIMSS, debido a que la unificacin de
Alemania oriental y Alemania occidental se haba acompaado de diferentes
276
www.iiep.unesco.org
enfoques de los Lnder en relacin con la duracin total de la escolaridad.

Por ejemplo, varios de los nuevos Lnder en Alemania oriental tenan
12 grados; sin embargo, algunos pasaron a 13 grados a fin de alinearse con
muchos de los Lnder de Alemania occidental.
Estos cambios en la duracin de la escolaridad fueron cuestionados
por los resultados de la investigacin del TIMSS, porque se demostr que
las ganancias en conocimientos entre el 12 y el 13 grados en Alemania
slo se perciba en el rea de fsica, y esto lo explicaron los cientficos
como un resultado de la enseanza adicional de la fsica cuntica moderna
que ayud a los estudiantes a comprender mejor algunos conceptos fsicos.
Sin embargo, fueron los resultados en matemtica en los que no se not
ninguna ganancia entre el 12 y el 13 grados los que provocaron un
debate pblico sobre la duracin de la educacin secundaria.
Debido a los resultados del TIMSS, los Lnder conservadores
inmediatamente emprendieron planes para acortar la duracin de la
educacin secundaria, mientras que los Lnder social demcratas eran
reacios a seguir. La cuestin fue, y an lo es, muy controvertida, ya que
los sindicatos de profesores y la mayora de las organizaciones de padres
de familia apoyan la opcin de 13 grados. Los profesores han sostenido
pblicamente que un menor nmero de aos reducira la cantidad de
conocimientos que los alumnos obtienen en la escuela y en privado han
manifestado sus preocupaciones sobre la reduccin de la duracin de la
escolarizacin, aduciendo que se vera seguida de una reduccin en el
nmero de profesores. Por el contrario, los padres de familia estaban
preocupados porque un nmero menor de aos en la escuela ejercera ms
presin sobre sus hijos, pues se sostuvo que cualquier reforma en esta rea
no reducira los niveles de rendimiento de los estudiantes.
Comparaciones con otros pases
Los resultados de la investigacin del TIMSS tambin mostraron
que los estudiantes alemanes haban tenido un rendimiento bajo comparado
con varios pases del Asia Sudoriental. Esto suscit la bsqueda de
explicaciones, que a veces se convirti en la bsqueda de una varita
mgica que ofreciera una pasarela inmediata y exitosa hacia la reforma
de la educacin. Las explicaciones ms generalizadas estaban asociadas
con diferencias entre Alemania y los pases del Asia Sudoriental en relacin
con los mtodos de enseanza, la formacin del personal docente y la
segregacin escolar.
277
www.iiep.unesco.org
Mtodos de enseanza
Registros en video de la investigacin del TIMSS muestran que los

profesores de matemtica alemanes y japoneses tienen enfoques de
enseanza diferentes. Esto provoc llamados a los profesores alemanes
para que siguieran a sus colegas japoneses y pusieran ms nfasis en el
conocimiento de los conceptos matemticos que en el aprendizaje
memorstico de frmulas y estimularan a los estudiantes para que buscaran
diferentes maneras de resolver un problema en lugar de insistir en una
nica solucin correcta.
Formacin del personal docente
Los sindicatos de profesores no quisieron ser tratados como chivos

expiatorios por los problemas educativos y plantearon la necesidad de una
mayor formacin de los profesores en su asignatura y en pedagoga. Dada
la duracin para la obtencin de diplomas en la universidad alemana, se
lleg al acuerdo de que los profesores alemanes estaban bien formados
en su asignatura y que el problema de formacin estaba asociado a un
dficit en el aspecto pedaggico. Esto se abord de muy diversas maneras
en todos los Lnder, incluyendo el cambio en la organizacin de los
diplomas universitarios para pasar a una estructura licenciatura-maestra
que brindara formacin en la asignatura durante la fase de licenciatura,
y pedagoga y psicologa durante la fase de maestra.
Segregacin escolar
Tras cuatro aos de educacin primaria, los nios alemanes continan

su educacin bsica hasta el noveno grado o prosiguen la escuela media
hasta el dcimo grado o asisten a la escuela secundaria durante ocho o
nueve aos, dependiendo de sus niveles de rendimiento en la escuela
primaria. Esta segregacin en diferentes tipos de escuela ha sido un
problema durante muchos aos en Alemania. En la dcada de los setenta,
hubo un intento de crear un sistema escolar no selectivo en los Lnder
gobernados por el Partido Social Demcrata. Sin embargo, la idea de
escuelas no selectivas nunca se acept en Alemania debido a una
presuncin generalizada de que un sistema selectivo es mejor para los
nios porque aprenden ms eficazmente si se los coloca en grupos de
capacidades homogneas.
Los resultados de la investigacin del PISA cuestionaron esta
presuncin. Varios pases con un buen rendimiento en el PISA tenan
sistemas de educacin no selectivos, siendo Finlandia y Suecia los pases
278
www.iiep.unesco.org
modelo. La concepcin en las escuelas no selectivas de estos pases era

que haba que apoyar a cada nio todo lo que fuera posible y, aun as, se
obtienen excelentes resultados. Muchos polticos, investigadores,
funcionarios y representantes de sindicatos de profesores alemanes
viajaron a estos dos pases con el propsito de descubrir por qu el apoyo
a los estudiantes y el rendimiento de los estudiantes no eran excluyentes.
En Alemania tuvo lugar un vigoroso debate en dos niveles diferentes:
entre diversos ministerios de educacin de los Lnder y varios grupos de
actores en los Lnder.
Equidad social
El Gobierno Federal de Alemania se percibe a s mismo como el

guardin de la igualdad de oportunidades y esta misin aparece en la
Constitucin de Alemania. No obstante, los resultados del PISA indicaron
fracasos en esta rea. Por ejemplo, jvenes de 15 aos en Bremen
registraron niveles similares a sus contrapartes en pases en desarrollo,
mientras que jvenes de 15 aos de Baviera estaban ms prximos de
niveles de rendimiento asociados con pases ms desarrollados. An ms
perturbador fue el descubrimiento de que la correlacin entre los orgenes
sociales de los estudiantes y sus niveles de rendimiento eran mayores en
Alemania que en cualquier otro pas de la OCDE. Esta investigacin del
PISA provoc mucha especulacin sobre por qu las escuelas alemanas
tenan un nivel tan alto de desigualdad social. Los educadores indicaron
tres razones principales de esta situacin.
Primera, haba habido poca integracin de los nios inmigrantes en
el sistema de escuelas alemanas y muchos de estos nios (especialmente
los de la comunidad turca) no haban podido seguir las lecciones en las
clases. Entre las reformas que se sugirieron estaban mejores mtodos de
evaluacin de lenguas y la oferta de clases intensivas de idioma.
Segunda, los nios alemanes empiezan la escuela mucho ms tarde
que los nios de otros pases y la mayora de los nios alemanes no tienen
acceso a la educacin preescolar, que incluye tiempo de enseanza formal.
El resultado fue que hubo mucho debate entre los ministerios de educacin
de los Lnder acerca de la introduccin de un curriculo formal en la
educacin preescolar que incluyera la exigencia de satisfacer estndares
educativos mnimos.
Tercera, Alemania es uno de los pocos pases industrializados en el
mundo donde los nios no van a la escuela en la tarde. Por ejemplo, la
279
www.iiep.unesco.org
mayora de los das la escuela termina a la 1:00 pm, hora en la que se

espera que los nios retornen a casa para el almuerzo y realicen sus tareas
bajo la supervisin de su madre. An se discuten reformas en esta rea en
los ministerios de educacin de los Lnder y se promueven de manera
activa por el Gobierno Federal de Alemania.
Qu tipo de dilogo, presentacin de resultados

y grupos destinatarios utiliz el ministerio y por qu?
Los investigadores alemanes que participaron en los proyectos
TIMSS y PISA trabajaban en el Instituto Max Planck de Investigacin
Educacional en Berln. Estos investigadores, junto con representantes de
la Conferencia de los Ministerios de Educacin de los Lnder, presentaron
los resultados de los estudios en conferencias de prensa. Los resultados
se publicaron en forma de libros y los investigadores dieron entrevistas.
Los investigadores tuvieron cuidado de que sus declaraciones no fueran
mal utilizadas con propsitos polticos. Sin embargo, algunos polticos y
sindicatos consideraron esta actitud como una manera diplomtica de
interpretar los resultados. Los ministerios de educacin de los Lnder
concentraron sus estrategias de difusin en los cientficos y no previeron
la participacin directa de otros grupos.
Cuando se publicaron los datos del TIMSS y el PISA, hubo apuro
en volver a analizar los datos con la esperanza de que las malas noticias
de estos proyectos se debieran a alguna falta en los anlisis de los datos.
Por ejemplo, algunos cientficos cuestionaron la clasificacin de los pases
hecha en el TIMSS, sosteniendo que se haba incluido en la prueba a los
alumnos alemanes menos capaces de las escuelas tnicas, mientras que
en Francia y en otros pases slo se haba incluido a los estudiantes de
secundaria orientados ms acadmicamente.
Qu reformas de poltica y prctica ministeriales derivaron

de los resultados?
Uno de los ms importantes impactos de los proyectos TIMSS y
PISA en Alemania ha sido la manera en que precipitaron la aceptacin de
la necesidad de una amplia reforma de la educacin tras muchos aos de
autosatisfaccin equivocada y cierto espritu de campanario. Esto situ a
Alemania y sus 16 ministerios de educacin en el camino del cambio,
guiada por los resultados de los estudios internacionales comparados sobre
la calidad de la educacin.
280
www.iiep.unesco.org
En Alemania hubo cuatro reas importantes en las que se produjeron

reformas concretas de poltica y prctica gracias a la disponibilidad y uso
de los resultados del TIMSS y el PISA.
El establecimiento de estndares y otras mediciones comunes
Los ministros de educacin de los Lnder decidieron establecer
estndares convenidos bajo la forma de objetivos educativos para grados
escolares especficos. Esto quiere decir que los ministros de educacin
aceptaron finalmente que hay cosas en comn en Alemania en relacin
con lo que cada estudiante debe aprender. Ya se han publicado los
primeros estndares y sern obligatorios para todas las escuelas en todos
los Lnder a partir del ao acadmico 2005-2006. Este resultado es, en
efecto, notable, porque durante muchos aos no hubo acuerdo en los
Lnder acerca del contenido y la secuencia del currculo.
Mientras tanto, los ministros han creado una agencia responsable de
la produccin de pruebas a fin de supervisar los estndares. Esta agencia
es un instituto situado en la Universidad Humboldt en Berln y entrara
en funciones plenamente a fines de 2005.
Un resultado ms simblico es el acuerdo entre el Gobierno Federal
y los Lnder para publicar cada dos aos un informe comn sobre el sistema
educativo. Hasta ahora, dada la responsabilidad compartida, los Lnder han
publicado ms o menos regularmente esos infomes sobre el sistema
educativo, mientras que el Gobierno Federal publicaba informes sobre la
educacin profesional. En el futuro, ambas instancias publicarn sus
informes en un solo libro.
Escolarizacin de jornada completa
Se ha planificado un programa federal, con un costo inicial de 4 mil
millones de euros, que progresivamente har que los estudiantes alemanes
pasen a tener una escolarizacin de jornada completa. Tras un amplio
debate, todos los Lnder suscribieron el acuerdo con la propuesta federal
y se esperaba que la financiacin comenzara a asignarse a las regiones en
2005. Por ahora, todos los Lnder han comenzado a utilizar el dinero
federal y se acepta ms ampliamente que Alemania necesita ms escuelas
de jornada completa.
Duracin de la educacin secundaria
En muchas regiones, las escuelas secundarias han cambiado
o cambiarn de un sistema de 13 grados a otro de 12. Incluso el ms
281
www.iiep.unesco.org
bien conservador y tradicional Lnder social demcrata de Renania

Septentrional-Wesfalia decidi recortar la duracin de la educacin
secundaria y no sera demasiado ambicioso predecir que, dentro de 10 aos,
todos los estudiantes de secundaria recibirn su diploma tras 12 aos de
escolarizacin y no 13.
Segregacin escolar
Con cada nuevo ciclo de resultados del PISA (el ltimo ocurri en
diciembre de 2004), se reanuda el debate sobre la estructura del sistema
educativo alemn, principalmente acerca de la segregacin de los nios
de 10 aos de edad en diferentes tipos de escuela. Esta temprana separacin
es, segn muchos expertos, una de las causas de la desigualdad social, o
al menos la refuerza. Otros niegan que exista tal correlacin y siguen
creyendo en los beneficios de diferentes tipos de escuelas. El gobierno
federal ha tradado de promover el debate pblico sobre un sistema escolar
integrado, pero la opinin general no es favorable. Sin embargo, algunos
Lnder, como el de Renania Palatinado, han aumentado el nmero de
escuelas integradas. Otros, especialmente en la antigua Alemania oriental,
tuvieron siempre (despus de la reunificacin) slo dos tipos de escuelas
y se dan cuenta de que tambin es menos costoso que tres o incluso cuatro
tipos paralelos de escuela, especialmente en las reas menos pobladas.
Dada la disminucin de la tasa de nacimientos, Alemania debera
encaminarse, en el largo plazo, hacia un sistema menos diferenciado.
Los dos ltimos aos de escuela
La reforma en esta rea es limitada y controvertida. Los Lnder de
Baviera y Baden-Wrttemberg han asumido el liderazgo decidiendo
estructurar ms los mecanismos existentes. Se haba permitido que los
estudiantes mayores pudieran escoger dos asignaturas principales y dos
secundarias, una de las cuales era sometida a una prueba oral. En estas
dos regiones, esta flexibilidad ha sido reemplazada por la exigencia de
escoger alemn, matemtica, una lengua extranjera y una asignatura
cientfica.
Conclusin
El impacto global ms importante de la participacion de Alemania
en los estudios internacionales comparados sobre la calidad de la educacin
ha sido una reconsideracin de conjunto del papel de la escolarizacin en
un mundo cada vez ms globalizado. Se han cuestionado tradiciones de
larga data, se han tomado en consideracin nuevos enfoques sobre la
282
www.iiep.unesco.org
gestin y el funcionamiento de las escuelas, se han sostenido nuevos

debates sobre estrategias educacionales eficaces entre los ministerios de
educacin de los Lnder y se ha promovido la participacin del pblico
en el debate sobre la naturaleza e importancia de un sistema educativo
eficaz. Estos satisfactorios resultados se basan en pruebas slidas derivadas
de los resultados de las investigaciones del TIMSS y el PISA.
Bibliografa
Beaton, A.; M. Martin; I. Mullis; E. Gonzalez; T. Smith; D. Kelly. 1996.
Science achievement in the middle school years, Boston: IEA, TIMSS
International Study Center.
OECD. 2001. Knowledge and skills for life: first results from PISA 2000,
Paris: OECD.
283
www.iiep.unesco.org
Captulo 14
Cmo pueden trabajar las organizaciones

internacionales con los medios de
comunicacin para manejar
los resultados de los estudios
internacionales comparados?
(El estudio de caso de la OCDE)
Andreas Schleicher
Introduccin
El objetivo principal del Programa Internacional de Evaluacin de los
Estudiantes (PISA, por sus siglas en ingls: Programme for International
Student Assessment) que dirige la Organizacin para la Cooperacin y el
Desarrollo Econmicos (OCDE) es trabajar con los gobiernos de los pases
de la OCDE para producir una masa crtica de puntos de referencia
comparados en materia de poltica, que se concentren en la calidad de la
educacin ofrecida por los sistemas educativos.
Muchos investigadores que inician un trabajo en esta rea asumen,
si disean y administran los instrumentos de la recoleccin de datos que
suministran datos comparativos nacionales vlidos, que los resultados
sern tomados en consideracin automticamente por los responsables de
la formulacin de poltica quienes, a su vez, facilitarn la publicacin y
utilizacin de los hallazgos ms importantes. Desafortunadamente, esas
conexiones lineales entre informacin, difusin e impacto de poltica
son prcticamente inexistentes en el campo de la educacin. Por esta razn,
los investigadores que deseen influir sobre la poltica deben integrar
estrategias para una amplia difusin de los resultados de la investigacin
en el diseo de los estudios internacionales comparados.
Los investigadores que deseen maximizar el impacto de los estudios
internacionales comparados deben prever la difusin y el uso de los
resultados de la investigacin en dos fases. La primera persigue obtener
y difundir resultados internacionales comparados vlidos y analizar sus
implicaciones polticas. La segunda est relacionada con la concienciacin
284
www.iiep.unesco.org
Cmo pueden trabajar las organizaciones con los medios de comunicacin?
de las implicaciones polticas entre los principales actores, de manera que

se motive al gobierno a responder con una accin apropiada. Sin embargo,
a fin de fortalecer los vnculos entre los resultados de la investigacin y
la accin, tambin se requiere comprender plenamente cmo responden
los gobiernos a los hallazgos de los estudios internacionales comparados
y qu los lleva a la implementacin de poltica. Adems, es necesario
pensar en cmo sostener el impacto de la investigacin mediante la
implementacin de evaluaciones regulares en un marco de referencia
coherente a largo plazo.
Qu sabemos acerca de la calidad de la educacin?

La educacin es un campo cuestionado entre diferentes grupos de
inters. Existe una considerable cantidad de pruebas provenientes de la
investigacin (OECD y UNESCO, 2003) que muestran que la educacin
es un determinante clave del xito individual y tambin una importante
fuerza impulsora detrs del rendimiento econmico agregado de los pases.
Por tanto, padres de familia y gobiernos estn preocupados por la calidad
de la educacin que ofrece su propio sistema educativo. Los profesores
tambin tienen intereses personales y profesionales en ser puntos focales
para asegurar una oferta educativa de alta calidad. Tomados en su conjunto,
estos grupos de inters cubren un porcentaje significativo de la poblacin
de la mayora de los pases del mundo y es por esto que en los medios de
comunicacin se ha tomado conciencia de la importancia que tiene dar a
conocer los resultados de las comparaciones internacionales de los
productos de la educacin.
Sin embargo, qu sabemos realmente sobre la calidad de la
educacin? Qu saben los profesores acerca del trabajo de sus colegas
en el aula contigua? Qu se sabe en las escuelas acerca de cmo las
escuelas del entorno abordan retos similares? Qu es lo que los responsbles
de la formulacin poltica saben realmente acerca de la eficacia de sus
sistemas de educacin? La respuesta a todas estas preguntass en la mayora
de los pases es: muy poco.
Muchos sistemas educativos operan en la oscuridad, tomando
decisiones sobre reformas sin tener un conocimiento slido sobre el
rendimiento de sus escuelas y con una limitada comprensin del impacto
potencial de los cambios polticas. Esos enfoques se basan generalmente
en la creencia de que tener buenas intenciones es suficiente para obtener
resultados positivos. El problema aqu es que la toma de decisiones sin
informacin puede ser dominada por tradiciones, ideologas y puntos de
285
www.iiep.unesco.org
vista de las personas influyentes o los grupos de presin. Incluso peor,

malas decisiones pueden conducir a problemas a largo plazo debido a la
falta de informacin acerca de las incidencias de la poltica. En un contexto
semejante, los medios de comunicacin pueden especular libremente sobre
los sistemas de educacin y confundir a actores importantes al publicar
opiniones conflictivas emitidas por expertos.
Estudios comparados bien diseados del desempeo de los sistemas
educativos pueden ayudar a iluminar algo esta rea con el propsito de
impulsar la toma de decisiones bien informada. No obstante, los estudios
comparados de alta calidad a menudo revelan importantes diferencias
entre los sistemas educativos y esto generalmente aumenta el inters de
los medios de comunicacin porque muchas nuevas historias se ven
impulsadas por una sed de informacin de contrastes, tales como:
xitos-fracasos, mejoras-deterioros y diferencias-similitudes.
Algunas implicaciones polticas debidas al PISA

Los medios de comunicacin desempearon un papel clave en la
toma de conciencia de las implicaciones polticas de los resultados de la
investigacin del PISA, porque fueron capaces de describir dnde se
encontraban los sistemas de educacin unos en relacin con otros y tambin
sugerir que los sistemas con mejores rendimientos ofrecan pruebas
concretas de lo que podra ser posible para todos los sistemas.
Descripcin del rendimiento de los estudiantes
Cuando los estudiantes reciben notas en las escuelas, sus padres y el
pblico en general a menudo se preguntan lo que estos nmeros realmente
significan, en trminos de qu es lo que los estudiantes son capaces de hacer
realmente. El mismo problema puede surgir en los estudios internacionales
comparados sobre la calidad de la educacin, si a cada pas simplemente se
le asigna un puntaje que sea igual al promedio del rendimiento de los
estudiantes en ese pas. Los puntajes promedio nacionales no ofrecen
informacin acerca de las competencias subyacentes de los estudiantes.
A fin de abordar este problema, la OCDE present el rendimiento de
los estudiantes en el proyecto PISA mediante la construccin de niveles
de rendimiento. Por ejemplo, los datos del PISA mostraron que alrededor
del 10 % de los estudiantes de 15 aos de los pases de la OCDE alcanzan
un nivel muy alto de alfabetizacin. Eso quiere decir que son capaces
de formular sus propias hiptesis, tienen un conocimiento bastante
sofisticado y pueden manejar conceptos ms all de las expectativas.
286
www.iiep.unesco.org
Por el contrario, en el nivel ms bajo del espectro de rendimiento

tambin haba un 10 % de estudiantes de 15 aos de los pases de la OCDE
que slo tenan conocimientos y competencias bsicas. Estos estudiantes no
eran capaces de utilizar la informacin creativamente a fin de ampliar su
propio conocimiento.
Las implicaciones del dficit de competencias
En el nivel ms bajo de rendimiento se situ alrededor del 5 % de
los estudiantes de 15 aos, cuyas competencias eran tan limitadas que
pareca que haban perdido contacto con los requerimientos de
rendimiento fundamentales de la escuela formal. Estos estudiantes
enfrentan ciertamente perspectivas sombras para el futuro, especialmente
en relacin con el empleo.
Algunas personas creen que los dficit de competencias se pueden
enfrentar y superar posteriormente mediante la educacin y la formacin
continua. Desafortunadamente, las pruebas suministradas por el Proyecto
de Indicadores de la OCDE (OECD y UNESCO, 2003) mostraron que
ste no es el caso. La ltima cosa que los jvenes adultos con importantes
dficit de competencias tienen en mente es retornar a un entorno de
aprendizaje en el que slo experimentaron el fracaso. Adems, incluso si
encuentran un empleo, es poco probable que sus empleadores inviertan
en su educacin y formacin. La investigacin de la OCDE ha mostrado
que estos desafortunados estudiantes de 15 aos tienen importantes dficit
de competencias que probablemente los colocarn en situacin de
desventaja a lo largo de su vida.
Existe un elemento de compensacin entre calidad y equidad?
La primera reaccin de los medios de comunicacin cuando se
publican los resultados de los estudios internacionales comparados es
colocar a los pases en una tabla de clasificacin en la que se ordenan
yendo del que tiene el puntaje promedio de rendimiento estudiantil ms
alto hasta el ms bajo. Muchas personas consideran que esas tablas deben
interpretarse en asociacin con datos contextuales. Por ejemplo, se sabe
que los niveles promedio de rendimiento de los estudiantes estn
relacionados con factores tales como el producto interior bruto (PIB) per
cpita, y los niveles de educacin y las tasas de alfabetizacin de la
poblacin adulta. Sin embargo, los gobiernos que desean mejoras en un
mercado de trabajo competitivo para el desarrollo econmico nacional a
menudo estn ms interesados en lo que sus sistemas de educacin ofrecen
a cohortes de estudiantes y no slo al estudiante promedio.
287
www.iiep.unesco.org
Al tratar de mejorar la calidad del rendimiento de los estudiantes

existe la necesidad de tener en cuenta los niveles de rendimiento del
estudiante promedio y las cuestiones de equidad. El proyecto PISA evalu
estas dos dimensiones construyendo el diagrama que se presenta en el
Grfico 14.1. El eje horizontal representa los puntajes promedio de los
estudiantes de los pases de la OCDE. Estos puntajes se escalonaron sobre
el promedio de la OCDE fijado como cero. El eje vertical representa el
grado de equidad social (medido por el valor de la relacin entre el origen
socioeconmico del estudiante y su rendimiento educativo). Estos puntajes
tambin se escalonaron sobre un promedio de la OCDE fijado en cero.
Los pases en el cuadrante superior derecho del grfico estn en la
muy deseable posicin de tener rendimientos relativamente altos de los
estudiantes (alta calidad) y relaciones relativamente bajas entre el origen
socioeconmico y el rendimiento educativo (alta equidad). La posicin
menos deseable para un pas es estar situado en el cuadrante inferior
izquierdo, donde la calidad y la equidad son bajas.
Grfico 14.1 La calidad y la equidad de la educacin
Alto rendimiento
Finlandia
Canad
Nueva Zelandia
Irlanda
Australia
Reino Unido
Hungra
Corea
Japn
Suecia
Blgica
Austria
Francia Noruega
Estados Unidos
Dinamarca
Suiza
Repblica Checa
Alemania
Hong Kong
Islandia
Espaa
Italia
Polonia
Grecia
Portugal
450
-25
-20
-15
-10
-5
0
5
Bajo rendimiento
10
15
20
25
Fuente: OECD, 2001.
288
www.iiep.unesco.org
Los pases situados en el cuadrante superior izquierdo del Grfico 14.1

tienen alta calidad y baja equidad.
Algunas personas podran considerar que en estos sistemas educativos
la calidad de la educacin disminuira si trataran de lograr un alto grado
de equidad en el desempeo educacional. Tambin podran sostener que
la aplicacin de polticas destinadas a mejorar la calidad de la educacin
en los pases con bajo rendimiento situados en el cuadrante inferior derecho
correran el riesgo de perder en equidad. Sin embargo, hay muchos pases,
como Canad, Finlandia, Hong Kong, Japn, Repblica de Corea y Suecia
que lo hacen bien en las dos dimensiones. El desempeo de estos pases
ofrece pruebas concretas de que es posible que los pases tengan alta calidad
y alta equidad.
Por el contrario, hay algunos pases (por ejemplo, Alemania, Hungra,
la Repblica Checa y Suiza) en los que los niveles promedio de rendimiento
de los estudiantes son relativamente bajos y hay desigualdades sociales
significativas en relacin con el rendimiento de los estudiantes.
El mensaje ms importante que surge del Grfico 14.1 es que no hay
un elemento de compensacin entre calidad y equidad, porque hay pruebas
de que algunos pases logran ambas. Esto quiere decir que los gobiernos
y los ministerios de educacin deben reconocer que la calidad y la equidad
no se deben considerar como objetivos polticos que compiten entre s.
En qu se concentraron los medios de comunicacin?

Muchos de los primeros informes de los medios de comunicacin
sobre el PISA simplemente documentaron la tabla de clasificacin de
los resultados y la posicion de sus pases en ella. Buena parte de este
material se concentr en un debate ganadores y perdedores. Sin embargo,
con el transcurso del tiempo se realizaron intentos para obtener lecciones
de poltica a partir de los resultados. A continuacin se presentan algunos
de ellos.
De los insumos a los resultados y los factores que inciden sobre
stos
Uno de los impactos ms importantes de los informes de los medios
de comunicacin sobre los resultados del PISA fue impulsar debates
pblicos sobre la calidad de los sistemas de educacin que no se
concentraban en los insumos materiales y de recursos humanos, sino en
un anlisis ms intensivo de los resultados de la educacin y los factores
que inciden sobre ellos.
289
www.iiep.unesco.org
El PISA mostr que la participacin de los estudiantes en sus estudios

y su motivacin para tener xito estaban fuertemente relacionadas con los
resultados de su aprendizaje. Si bien an no se han establecido relaciones
directas causa-efecto, esos resultados indican que los padres de familia y
las escuelas deben reconocer que el entusiasmo, el placer y la participacin
(as como el trabajo serio) son factores que, hay que reconocer, contribuyen
a lograr resultados de aprendizaje positivos.
El PISA tambin suscit mensajes polticos en esta rea que fueron
importantes para los administradores escolares. Mostr que un entorno
escolar que se caracteriza por altas expectativas de rendimiento,
disponibilidad para invertir esfuerzo, buenas relaciones profesores-estudiantes
y un cuerpo docente con una moral alta estaba asociado con mejores
resultados de aprendizaje de los estudiantes.
Descentralizacin, evaluacin y rendicin de cuentas
El PISA aport sugerencias de poltica para las operaciones generales
de los sistemas educativos. En particular, indic que las incidencias
beneficiosas sobre el rendimiento de los estudiantes estaban relacionadas
con pases que haban cambiado progresivamente el foco de la poltica y
la prctica de la educacin del control centralizado sobre los recursos, las
estructuras y los contenidos de la educacin hacia un perfil ms alto de la
gestin basada en la escuela. Las incidencias beneficiosas sobre el
aprendizaje tambin se haban observado en pases que haban definido
objetivos educativos claros en asociacin con sistemas para el monitoreo
y la evaluacin del logro de esos objetivos. Los exmenes y las evaluaciones
centralizadas pueden ser elementos importantes de esas estrategias; sin
embargo, lo ms importante es que los resultados de las evaluaciones
retroalimenten al sistema educativo para ayudar a los estudiantes a aprender
mejor, a los profesores a ensear mejor y a las escuelas a ser ms
eficaces.
Recolectar datos no es suficiente, si los datos obtenidos de esta
actividad no se pueden utilizar para hacer que las escuelas funcionen
mejor. Muchos de los pases con mejor rendimiento, como Finlandia y
Suecia, son buenos ejemplos. En ambos pases hay sistemas nacionales
de evaluacin que definen los marcos de referencia dentro de los cuales
los profesores evalan el rendimiento de los estudiantes y son responsables
de sus resultados. Al final del ao, es responsabilidad de los profesores
trabajar con los estudiantes y los padres de familia para definir programas
290
www.iiep.unesco.org
basados en la atencin individualizada del estudiante a fin de mejorar el

rendimiento.
Autonoma y heterogeneidad
Si las escuelas deben rendir cuentas, tambin necesitan un grado
adecuado de autonoma a fin de implementar polticas y estrategias
destinadas a lograr metas de rendimiento. El PISA mostr que las escuelas
en muchos de los pases con mejor rendimiento tenan un alto grado de
libertad en relacin con la seleccin y asignacin de los profesores, los
niveles salariales de los maestros, el diseo y la gestin del entorno de
aprendizaje, as como de la eleccin de las asignaturas que se ofrecan a
los estudiantes.
Algunos educadores han sotenido que dar mayor libertad a las
escuelas conducir a una mayor diferenciacin entre las escuelas y, por
consiguiente, a mayores desigualdades en el rendimiento del aprendizaje.
ste es ciertamente un riesgo. Sin embargo, varios pases que participaron
en el PISA han mostrado que eso se puede evitar. Por ejemplo, mientras
que Finlandia y Suecia dan a sus escuelas un grado muy alto de autonoma,
en estos dos pases la varianza en el rendimiento de los estudiantes que
se puede atribuir a diferencias entre las escuelas es muy pequea, de
alrededor del 10 %. Esto quiere decir que los padres de familia de Suecia
y Finlandia pueden enviar a sus hijos a cualquier escuela y esperar similares
resultados de aprendizaje.
Tanto en Suecia como en Finlandia, la mayor autonoma se combina
con: (a) un alto grado de rendicin de cuentas exigido a las escuelas en
relacin con sus resultados y (b) una mayor responsabilidad para abordar
las necesidades de una clientela diversificada. Por el contrario, cuando los
estudiantes de Alemania y Francia no logran alcanzar las metas de
rendimiento mnimo, a menudo tienen que repetir el grado y, por tanto,
tienden a recibir ms de lo mismo. Casi todos los pases que tuvieron un
buen rendimiento en el PISA mostraron que la repeticin de grado no tena
por qu ser el resultado automtico de dificultades de aprendizaje. En estos
pases la escuela tena la responsabilidad de manejar constructivamente la
heterogeneidad de rendimiento, encontrar soluciones para los dficit de
rendimiento sin recurrir a la repeticin de grado o a la transferencia del
estudiante a otras ramas educativas o a diferentes tipos de escuela con
menores expectativas y exigencias de rendimiento.
291
www.iiep.unesco.org
Fundamentos para el aprendizaje a lo largo de toda la vida

El PISA suministr varios indicios sobre experiencias educativas
que favorecen la mejora de los resultados del aprendizaje. Los estudiantes
que rinden bien tienden a ser los que ms participan en su propio
aprendizaje. Esto quiere decir que son capaces de planificar lo que
necesitan saber en lugar de esperar ser nutridos con la informacin que
ofrece el profesor. Desarrollar la predisposicin de los estudiantes a
participar en el aprendizaje y la capaciead de hacerlo eficazmente es un
aspecto que requiere recibir ms atencin en los sistemas educativos dados
los importantes beneficios que esto tiene en la estimulacin del aprendizaje
a lo largo de toda la vida. Los estudiantes que salen de la escuela con la
autonoma para definir sus propios objetivos de aprendizaje (y con el
sentimiento de que pueden lograr estos objetivos) son potenciales
educandos a lo largo de toda la vida.
La motivacin y la participacin tambin pueden influir, si los
estudiantes desean aprovechar las oportunidades de proseguir su educacin
o las que les brinda el mercado de trabajo. Los sistemas educativos de
muchos pases tienen un largo camino por recorrer a fin de reformar sus
prcticas educativas en estas reas. Si no se realizan estas reformas se
corre el riesgo de que un nmero significativo de estudiantes desarrollen
actitudes negativas hacia el aprendizaje y no participen en la escuela. Las
actitudes negativas no slo estn asociadas con un rendimiento ms bajo
de los estudiantes, sino que es menos probable que los estudiantes
desmotivados con el aprendizaje en la escuela participen en actividades
de aprendizaje fuera de la escuela ms adelante.
Agrupamiento por competencias
As como las causas de las diferencias en el rendimiento de los
estudiantes difieren, tambin difieren los enfoques escogidos en distintos
pases para abordarlos. Algunos pases no tienen sistemas educativos
selectivos y tratan de ofrecer a todos los estudiantes las mismas
oportunidades de aprendizaje y exigen que cada escuela atienda toda la
gama de rendimiento del estudiante. Otros pases responden a la diversidad
formando grupos de estudiantes con similares niveles de rendimiento
mediante la seleccin, dentro o entre escuelas, con el propsito de servir
a los estudiantes en funcin de sus necesidades especficas.
Cmo afectan esas polticas al rendimiento de los estudiantes? La
pregunta es difcil de responder, pero el PISA ha sugerido que tanto la
292
www.iiep.unesco.org
variacin global en el rendimiento del estudiante como las diferencias de

rendimiento entre las escuelas tienden a ser mayores en aquellos pases
que tienen prcticas rgidas de seleccin a una edad temprana entre tipos
de programa y escuela. El PISA tambin ha indicado que el efecto del
agrupamiento social es mayor en los sistemas escolares con tipos
diferenciados de escuela que en los sistemas en los que el currculo no
vara significativamente entre escuelas. Los sistemas escolares que agrupan
a los estudiantes por competencias desde una edad temprana (por ejemplo,
Alemania, Austria y Suiza) tambin muestran grandes diferencias de
rendimiento entre las escuelas, que es lo que se puede esperar en sistemas
altamente selectivos. Ninguno de estos sistemas educativos estaba entre
los pases con mejor rendimiento. Esto quiere decir que los resultados de
la investigacin del PISA ilustran que las pasarelas educativas ms
integradas y flexibles, combinadas con el apoyo individual a los estudiantes,
tienden a conducir a mejores resultados y a una distribucin ms equilibrada
de las oportunidades educativas.
Estas conclusiones polticas subrayan claramente la necesidad de
colocar el aprendizaje y los educandos en el centro, en lugar de hacerlo
con los programas o las instituciones. Todos los pases que lograron un
gran xito en el PISA han adoptado medidas para integrar las alternativas
educacionales y marchar hacia la promocin individual de los estudiantes,
empezando con la educacin preescolar, y aportando mayor flexibilidad
en las pasarelas educativas. La promocin integrada e individual de los
estudiantes en pases tales como Finlandia, Japn, Canad, Repblica de
Corea y Suecia constituyen ejemplos de cmo se pueden lograr una alta
matrcula en ramas que conducen a la obtencin de calificaciones ms
altas de salida y altos niveles de rendimiento. Estos pases no slo lograron
un rendimiento global por encima del promedio, sino que tambin lograron
una explotacin significativamente mejor del potencial de rendimento,
especialmente de los estudiantes de origen social desfavorecido.
Es necesario sealar que los sistemas no selectivos no constituyen
una receta para el xito. Hubo algunos sistemas no selectivos en el PISA
que tuvieron rendimientos bajos. Lo que se requiere es un enfoque global
de escolarizacin asociado con bastante apoyo individualizado a los
estudiantes. En Finlandia y Suecia, hasta un 40 % del currculo es
individual y hay bastante apoyo individual a los estudiantes bajo diversas
modalidades que posibilita que aprendan satisfactoriamente. La
concentracin en la enseanza individualizada permite que los sistemas
educativos compensen las diferencias de capacidades y disposiciones de
293
www.iiep.unesco.org
aprendizaje de los estudiantes, contrarrestando o evitando as las

desventajas, al mismo tiempo que se impulsa el talento y la excelencia.
El PISA ha suministrado pruebas slidas de que en los sistemas
educativos a menudo se efectan juicios errados acerca del potencial de
los estudiantes. El resultado es que los estudiantes tienden a ser
seleccionados en funcin de su origen social y no de su capacidad real.
Esto conduce a una prdida de potencial humano, como se destac en el
rendimiento de los pases con sistemas educativos muy selectivos que
participaron en el PISA.
Conclusin
La presentacin de los resultados del PISA por los medios de
comunicacin se concentr inicialmente, como se esperaba, en la visin
de la tabla de clasificacin en que se colocaron a los pases, congratulando
o recriminando por la posicin ocupada. Con el tiempo, comenz a
producirse cierto grado de madurez a medida que en los medios se
perciban ms profundamente las implicaciones de los resultados del PISA
y su potencial para orientar la poltica destinada a mejorar la calidad de
la educacin.
Los peridicos y otros medios de comunicacin de muchos pases
ahora amplan la cobertura de los resultados del PISA para plantear
preguntas relacionadas con la calidad y la equidad, la incorporacin de la
descentralizacin y la rendicin de cuentas, los vnculos entre autonoma
y heterogeneidad, as como la gestin de grupos de estudiantes con
diferentes competencias. Los resultados de la investigacin del PISA han
aportado una base de informacin slida como un recurso para realizar
debates informados sobre estas reas vitales de poltica. Esto ha cuestionado
el conformismo de muchos educadores, cuyos puntos de vista a menudo
han derivado de una exagerada dependencia de la tradicin y la opinin
personal.
Los investigadores del PISA, por consiguiente, han tenido xito al
elevar la calidad del debate sobre la poltica educativa por encima del discurso
sobre las tablas de clasificacin, suministrando a una audiencia ms amplia
de padres de familia, estudiantes y al pblico en general instrumentos de
informacin que se pueden utilizar para que los responsables de la toma de
decisiones de alto nivel participen en debates bien informados. Sin embargo,
an queda mucho trabajo por hacer, especialmente en lo que se refiere a la
bsqueda de nuevas maneras (especialmente de formatos visuales y grficos)
294
www.iiep.unesco.org
de presentar sntesis informativas que transmitan el significado subyacente

en el PISA.
Bibliografa
OECD. 2001. Knowledge and skills for life. First results from PISA 2000,
Paris: OECD.
OECD; UNESCO. 2003. Literacy skills for education in 21 countries: a
technical report, Stockholm: Almqvist and Wicksell.
295
www.iiep.unesco.org
PARTE IV
Conclusin
www.iiep.unesco.org
Captulo 15

Kenneth N. Ross, Carola Donner-Reichle, Ingrid Jung, Ulrike Wiegelmann,
Ilona Jrgens Genevois y Laura Paviot
Introduccin
Una de las caractersticas clave del debate mundial sobre la necesidad de
lograr la Educacin para Todos (EPT) ha sido una interpretacin ms
amplia de este reto para asegurar que la expansin de la participacin en
la educacin se haga en asociacin con mejoras en las condiciones de
escolarizacin y en los niveles de rendimiento de los estudiantes. La
intensificacin de la concentracin en la calidad ha sido estimulada por
le emergente creencia de que los sistemas de educacin pueden actuar
como pasarelas hacia el desarrollo econmico nacional en un mundo cada
vez ms globalizado y competitivo (Hanushek, 2005).
Estas tendencias, asociadas con enormes gastos de los gobiernos en la
educacin, han precipitado demandas de ms informacin y rendicin de cuentas
en relacin con la calidad de la educacin. Los gobiernos slo pueden responder
a estas demandas si han formado personal capaz de emplear mtodos de
investigacin modernos para validar las comparaciones del (a) rendimiento de
sistemas educativos considerados individualmente a lo largo del tiempo
(Estamos mejorando, estamos estancados o en peor situacin?); (b) el
rendimiento relativo de diversos sistemas educativos, especialmente de aquellos
que comparten similares condiciones socioeconmicas y pautas de desarrollo
histrico (Somos mejores, iguales o peores que otros pases como nosotros?);
y (c) el rendimiento de uno y varios sistemas educativos en temas especficos
de las disciplinas escolares (Lo estamos haciendo bien o mal en los temas X
e Y en la asignatura escolar Z, y cmo se desempean otros pases como los
nuestros en estos temas?).
La mayora de los pases industrializados ya ha creado sistemas para
monitorear y evaluar la calidad de la educacin como parte de las
operaciones normales de gestin de sus ministerios de educacin. Algunos
de estos sistemas se han desarrollado como parte integral de los estudios
internacionales comparados sobre la calidad de la educacin en gran escala
que han sido organizados por la Organizacin para la Cooperacin y el
Desarrollo Econmicos (por ejemplo, el proyecto PISA de la OCDE) y la
299
www.iiep.unesco.org
Asociacin Internacional de Evaluacin del Rendimiento Escolar (por

ejemplo, el proyecto TIMSS de la IEA).
Importantes reuniones internacionales, como la Conferencia Mundial
sobre la Educacin de Jomtien en 1990 y el Foro Mundial sobre la
Educacin de Dakar en 2000, han fortalecido el inters de los pases en
desarrollo en la creacin de similares mecanismos de monitoreo y
evaluacin porque las declaraciones finales de estas dos reuniones
animaron a los pases a lograr la EPT de modo que se pudiera garantizar
el logro de [...] los parmetros ms elevados, para conseguir resultados de
aprendizaje reconocidos y mensurables [...] (UNESCO, 2000: p. 8). En frica,
por ejemplo, un grupo regional de 14 pases conocido como el Consorcio
del frica Meridional y Oriental para el Monitoreo de la Calidad de la
Educacin (SACMEQ, por sus siglas en ingls) ha respondido a estas
declaraciones emprendiendo un conjunto de estudios internacionales
comparados sobre la calidad de la educacin.
El Instituto Internacional de Planeamiento de la Educacin de la
UNESCO en Francia ha trabajado durante ms de una dcada con
ministerios de Educacin de frica y Asia a fin de abordar las declaraciones
de Jomtien y Dakar ofreciendo programas de formacin de planificadores
e investigadores de la educacin en el rea de mtodos cuantitativos de
monitoreo y evaluacin sobre la calidad de la educacin. La Internationale
Weiterbildung und Entwicklung (InWEnt) en Alemania tambin ha
brindado importantes oportunidades de fortalecimiento institucional a los
pases en desarrollo mediante la organizacin de actividades de formacin,
intercambio y dilogo concebidas para mejorar la calidad de la educacin
y fortalecer la gestin del sector de la educacin.
El Foro de Poltica y este libro

Tras el dilogo entre miembros del personal del IIPE y la InWent a
comienzos de 2004, se acord que el creciente inters de los pases
desarrollados y en desarrollo en participar en estudios internacionales
comparados sobre la calidad de la educacin requera ser acompaado de
esfuerzos destinados a segurar que se obtuvieran los mximos beneficios
de esa investigacin.
A partir de ese dilogo, el IIPE y la InWent decidieron organizar un Foro
Internacional de Poltica en Pars en junio de 2004 en el que se compartira
el conocimiento disponible a nivel global y las experiencias nacionales
relativas al tema Estudios internacionales comparados sobre la calidad de la
educacin: la planificacin de su diseo y la gestin de su impacto.
300
www.iiep.unesco.org
Los captulos previos de este libro estn constituidos por las ponencias
presentadas en este foro. Este captulo final busca destacar los principales
mensajes destinados a los ministerios de educacin que surgieron a partir
de los documentos y debates del Foro de Poltica, especialmente de los
insumos recibidos de los participantes en el Foro de Poltica durante las
Sesiones abiertas con las que se concluy el foro.
Las sesiones abiertas estaban constituidas por pequeos grupos de
discusin que brindaron un entorno favorable para que los participantes
en el Foro de Poltica pudieran reflexionar, criticar y sintetizar cuestiones
clave que haban surgido durante las presentaciones formales en el foro.
Los participantes podan circular libremente entre los grupos de discusin
y esta membreca flotante gener intercambios animados, innovadores
y tiles. El lder de cada grupo de discusin sintetiz las contribuciones
de los participantes y este material se agreg a las ponencias del Foro de
Poltica como un recurso adicional para la preparacin de este libro.
Cinco grupos de mensajes del Foro de Poltica

Las ponencias y las sesiones abiertas del Foro de Poltica cubrieron
muy diferentes temas y una gran diversidad de experiencias. Algunas
veces, los participantes en el Foro de Poltica compartan una visin comn
acerca de las sugerencias que se deberan hacer a los ministerios de
educacin en lo relativo a las decisiones, acciones y mtodos que se
requeran para lograr el mximo posible de beneficios de poltica de la
participacin en los estudios internacionales comparados sobre la calidad
de la educacin. En otros casos, los participantes tenan preocupaciones
acerca de rasgos especficos, complejidades o defectos de esos estudios,
y todos estos se utilizaron para elaborar sugerencias sobre estrategias que
permitieran enfrentar esos retos.
Todas estas sugerencias que los participantes en el foro describieron
como Mensajes del Foro de Poltica representan una rica fuente que
puede ser utilizada por los ministerios de educacin como parte de un
dilogo continuo en el seno de sus instituciones y tambin con otros
asociados externos.
Los participantes en el Foro de Poltica identificaron en total 18
mensajes. Cada uno de ellos se coloc en uno de los cinco grupos siguientes
y se presentaron luego en forma de un debate general seguido de
Recomendaciones que sugeran lo que los ministerios de educacin
deberan hacer a fin de responder al mensaje.
301
www.iiep.unesco.org
Mensajes del Grupo 1:

planificar el diseo de la medicin de los estudios
Se espera que la mayora de los sistemas escolares ofrezca instruccin
eficaz a los estudiantes en un conjunto de asignaturas escolares bsicas
similares, tales como lengua nacional, matemtica y ciencias. Por esta
razn, los estudios internacionales comparados sobre la calidad de la
educacin han tendido a concentrarse en la evaluacin del rendimiento
de los estudiantes en estas asignaturas escolares centrales.
Si bien la eleccin de la asignatura a medir ha sido muy similar en
la mayora de los estudios internacionales comparados, han habido
importantes cambios durante los ltimos 15 aos en relacin con las
tcnicas de medicin que se han utilizado. Las ms importantes entre stas
se han interesado en: diferentes enfoques en la construccin de los marcos
de referencia de las pruebas, el uso de tcnicas avanzadas de medicin
que permitan que los investigadores evalen a los estudiantes con una
mayor cobertura del contengan de las asignaturas, la conexin
(o equiparacin) de las pruebas que contienen tems-ancla comunes y una
tendencia que se aleje de las descripciones cuantitativas del rendimiento
de los estudiantes (en la forma tradicional de puntajes totales de pruebas)
para adoptar informes descriptivos jerarquizados de las competencias de
los estudiantes.
Estos cambios han fortalecido la validez y la utilidad de los resultados
de la investigacin derivados de los estudios internacionales comparados,
pero tambin han exigido que los pases participantes entablaran debates
preliminares y adoptaran decisiones sobre cuestiones relativas a la
medicin que definieran el foco especfico de atencin de lo que se debe
medir y cmo.
Hubo cinco mensajes del Foro de Poltica en relacin con las
cuestiones de medicin: construir marcos de referencia de las pruebas,
monitorear los sistemas educativos o medir el cambio en los estudiantes
considerados individualmente, evaluar las competencias del personal
docente, escoger entre un estudio internacional y otro regional y,
finalmente, monitorear la adquisicin de competencias para el desarrollo
sostenible.
302
www.iiep.unesco.org
Mensaje 1(a): construir marcos de referencia de las pruebas

Un marco de referencia de prueba brinda un sistema de reglas para
definir lo que se debe medir mediante la especificacin de directivas
claras que guen la construccin de los tems de la prueba, de la misma
manera en que el plano de un arquitecto describe especificaciones
detalladas sobre lo que se debe construir cuando se edifica una casa.
Los ministerios deben participar en las principales decisiones relacionadas
con la preparacin de los marcos de referencia de pruebas porque, una
vez completados, la elaboracin y la seleccin de los tems se transforma
en un proceso muy restrictivo, con poco margen de maniobra.
Los participantes en el Foro de Poltica observaron que los programas
de investigacin internacionales comparados ms vastos y ms complejos
a nivel mundial la serie de estudios del TIMSS de la IEA y del PISA de
la OCDE adoptaron muy diferentes enfoques para la construccin de los
marcos de referencia de pruebas que se utilizaron para guiar el diseo de
las pruebas para los estudiantes.
Por ejemplo, las pruebas de matemtica del TIMSS utilizaron anlisis
internacionales detallados de los currculos escolares para preparar marcos
de referencia de pruebas definidos por dos dimensiones: (1) una de
contenido, con cinco categoras: nmeracin, lgebra, medicin,
geometra y datos; y (2) otra cognitiva, con cuatro categoras:
conocimiento de hechos y procedimientos, utilizacin de conceptos,
resolucin de problemas rutinarios y, finalmente, razonamiento (Mullis
et al., 2001).
Por el contrario, la prueba de matemtica para el estudiante del PISA
emple marcos de referencia de prueba definidos por tres dimensiones:
(1) una de contenido, con cuatro categoras: cantidad, espacio y forma,
cambio y relaciones, e incertidumbre; (2) una de proceso (similar a la
dimensin cognitiva del TIMSS) con tres categoras: reproduccin de
pasos bsicos, conexin de ideas matemticas con problemas y reflexin
(en trminos de pensamiento y perspicacia matemticos); y (3) una
dimensin de situaciones, con cinco categoras: vida privada, vida
escolar, trabajo y deporte, comunidad local y cientfica.
El marco de referencia de prueba del TIMSS se dise para ofrecer una
representacin del tronco comn del currculo oficial cubierto en la mayora
de los pases participantes. Por el contrario, el marco de referencia de la prueba
del PISA fue diseado para producir pruebas que fueran: (1) previsoras,
303
www.iiep.unesco.org
centradas en la capacidad de los jvenes para utilizar sus conocimientos y

competencias para afrontar los desafos de la vida real, en lugar de hasta qu
punto dominaban un currculo escolar especfico; (2) interesadas en las
cosas que los jvenes de 15 aos necesitarn en su vida futura; y 3) dirigidas
hacia lo que los estudiantes pueden hacer con lo que aprendan en la escuela
y no simplemente con lo que hayan aprendido (OECD, 2001: p. 14).
Los participantes en el Foro de Poltica observaron que estas
diferencias sutiles, pero importantes, entre los marcos de referencia de
pruebas del TIMSS y el PISA tenan consecuencias sobre la manera en la
que se les podan pedir cuentas a los sistemas escolares en relacin con
el rendimiento de sus estudiantes. Por ejemplo, si los gobiernos otorgaran
una alta prioridad a los objetivos curriculares explcitos, se podra sostener
que las pruebas del TIMSS ofrecan una evaluacin ms precisa sobre la
calidad de la educacin ofrecida por los sistemas educativos. Por otra
parte, si los gobiernos se interesaran ms en la capacidad de los sistemas
educativos para ofrecer a los estudiantes las competencias requeridas para
afrontar los retos de la vida real en su vida futura, entonces se podra
afirmar que las pruebas del PISA eran ms precisas para juzgar el
rendimiento del sistema educativo.
Recomendacin 1(a): los ministerios de educacin deben participar plenamente
en todas las decisiones relativas al diseo, construccin y aplicacin de los marcos
de referencia de pruebas de los estudios internacionales comparados sobre la
calidad de la educacin y comprender las implicaciones de la seleccin de los
marcos de referencia de pruebas especficos para formular juicios acerca del
rendimiento de los sistemas educativos.
Mensaje 1(b): monitoreo de los sistemas de educacin o medicin

del cambio en las personas
Los participantes en el Foro de Poltica observaron que desde los
primeros momentos del diseo de la investigacin era necesario decidir
si un estudio internacional comparado se debera concentrar en una
recoleccin de datos transversales (en la que los datos del rendimiento
educativo se recolectan a partir de una muestra de estudiantes en un punto
en el tiempo) o una recoleccin de datos longitudinal (en la que los datos
de rendimiento educativo se recolectan a partir de la misma muestra de
estudiantes en dos o ms puntos en el tiempo).
Es preferible un enfoque longitudinal de la recoleccin de datos (siempre
y cuando est bien realizado), porque permite que los investigadores respondan
304
www.iiep.unesco.org
a las mismas preguntas de la investigacin que el enfoque transversal, pero

tambin ofrece mayores posibilidades de un examen detallado de los factores
asociados al entorno educativo que contribuyen al mejoramiento del
aprendizaje del estudiante. Sin embargo, es importante observar que una
recoleccin de datos longitudinal requiere una mayor complejidad en la
investigacin (dada la necesidad de evaluar y seguir al mismo grupo de
estudiantes en por lo menos dos ocasiones y, luego, conectar estos dos cuerpos
de informacin en la fase del procesamiento de datos) y mayores costos
(porque hay que hacer por lo menos dos visitas a las escuelas muestreadas).
Los participantes en el Foro de Poltica sealaron la necesidad de
efectuar una eleccin cuidadosa del marco de referencia temporal para
una recoleccin de datos longitudinal. Esta eleccin depende de si se
estudia el impacto de un profesor especfico (con recoleccin de datos en
dos puntos en el tiempo en un ao acadmico) o el impacto general de la
escuela (con recoleccin de datos al ingresar a la escuela y nuevamente
tras varios aos de escolarizacin).
El primer enfoque se utiliz durante el Estudio del aula [Classroom
Environment Study] de la IEA durante la dcada de los ochenta, pero los
resultados de este estudio sugirieron que el comportamiento de los
profesores tena impacto limitado sobre el rendimiento de los estudiantes
(Anderson et al., 1989). Desde la conclusin de este estudio han surgido
varias tcnicas de anlisis potentes (incluyendo el Modelo lineal jerrquico)
que pueden ofrecer mejores vas para detectar los efectos de la escuela y
el profesor sobre el aprendizaje de los estudiantes.
Recomendacin 1(b): los ministerios de educacin deben pedir a los especialistas
en investigacin que diseen estudios internacionales comparados sobre la calidad
de la educacin que justifiquen su eleccin de una recoleccin de datos transversal
o longitudinal. Si se selecciona el ltimo enfoque, ser necesario plantear
preguntas adicionales a estos especialistas en lo que respecta a: (1) si el valor
agregado de un entorno educativo se vincular con un profesor considerado
individualmente (durante un nico ao acadmico) o un conjunto de profesores
(durante varios aos); (2) la magnitud de los costos adicionales (relacionados con
la logstica y la duracin) debido a mltiples recopilaciones de datos; y (3) la
seleccin de las tcnicas de anlisis de datos ms apropiadas.
Mensaje 1(c):evaluar las competencias de los profesores

Los participantes en el Foro de Poltica reconocieron que la
formacin del personal docente era el aspecto ms importante de la
305
www.iiep.unesco.org
poltica educativa en relacin con los insumos de la educacin, ya que en

muchos pases la partida de gastos ms grande en la educacin escolar
est constituida por los salarios de los profesores. Los participantes
observaron con preocupacin que los gobiernos, organismos y proveedores
de fondos han planteado muchas preguntas importantes de poltica sobre
este tema que han sido ignoradas o escasamente investigadas en los
estudios internacionales comparados sobre la calidad de la educacin.
Consecuentemente, hay importantes vacos en el conocimiento disponible
acerca de los aspectos fundamentales de la formacin del personal
docente.
Por ejemplo: (1) Cul es el equilibrio ptimo en los programas de
formacin de profesores entre el tiempo empleado en la adquisicin del
conocimiento de la asignatura y el tiempo empleado en el desarrollo de
las competencias pedaggicas?; (2) Cul es el valor agregado de la
formacin del personal docente en relacin con las difrencias en el
rendimiento de los estudiantes cuando estn expuestos a profesores
formados o no formados?; y (3) Qu es lo que tiene ms impacto sobre
el rendimiento de los estudiantes: la mejora de la formacin de los
profesores, la mejora de los procedimientos de reclutamiento de los
profesores o la mejora de los sistemas de incentivos del personal
docente?
Los participantes convinieron en que estas y otras preguntas de
investigacin relativas a la formacin de los profesores no se podan
examinar sistemticamente a menos que se evaluara el conocimiento de
la asignatura por parte de los profesores. Desafortunadamente, la
evaluacin de los profesores ha sido problemtica en muchos pases debido
a la fuerte oposicin de los sindicatos de profesores.
El programa de investigacin del SACMEQ ha sido una excepcin
en esta rea. Los coordinadores nacionales de investigacin del SACMEQ
fueron capaces de demostrar a los profesores y sus sindicatos que los
puntajes de las pruebas de los profesores se podan recolectar
confidencialmente y luego utilizarse de manera productiva para una amplia
gama de aplicaciones sin criticar el profesionalismo de los profesores. La
investigacin del SACMEQ utiliz pruebas superpuestas de lectura y
matemtica para profesores y estudiantes (Andrich et al., 2007) a fin de
calificar a los estudiantes de 6 grado y sus profesores como si hubieran
completado la misma prueba. Estos datos permitieron la identificacin de
vacos en el conocimiento de la disciplina por parte de los profesores y
306
www.iiep.unesco.org
esta informacin se utiliz posteriormente para identificar los temas que

habra que incluir en los programas de formacin de docentes en activo.
Recomendacin 1(c): los ministerios de educacin que participan en un estudio
internacional comparado sobre la calidad de la educacin deben: (1) estimular
a sus equipos nacionales de investigacin para que desde el inicio del diseo de
la investigacin incluyan preguntas con muy alta prioridad sobre la formacin
del personal docente; (2) asegurar que estos estudios aborden los importantes
vacos existentes en los datos disponibles acerca de los profesores; y (3) negociar
con los sindicatos de profesores para obtener permiso en relacin con la
confidencialidad de las pruebas a los profesores y el uso responsable de estos
datos con fines de investigacin y formacin.
Mensaje 1(d): escoger entre un estudio internacional

y otro regional
Los participantes en el Foro de Poltica observaron que una de las
cuestiones importantes que enfrentan los ministerios de educacin es si
participan en un estudio internacional sobre la calidad de la educacin
que incluya a pases de todo el mundo (como el TIMSS) o si participan
en un estudio regional que se limite a pases cercanos con niveles ms
parecidos de desarrollo social y econmico (como el SACMEQ).
Antes de la dcada de los noventa, los procedimientos utilizados para
aumentar la escala en la mayora de los estudios internacionales comparados
exigan que los estudiantes recibieran los mismos cuadernillos de pruebas
y se les peda que completaran todos los tems de la prueba. Los enfoques
de la moderna teora de la respuesta al tem (TRI) [Item Response Theory],
que se aplicaron ms ampliamente durante la dcada de los noventa,
eliminaron estas restricciones. Ahora los investigadores son capaces de
aplicar pruebas en escuelas dando a los estudiantes cuadernillos de pruebas
diferentes pero superpuestas (que contienen tems de prueba nicos y
comunes ancla). Luego, utilizando la magia de la TRI, los estudiantes
pueden ser calificados como si hubiesen completado todos los cuadernillos
de pruebas. Este nuevo enfoque revolucionario ha permitido la expansin
de la coberura de las pruebas posibilitando la inclusin de un mayor nmero
de tems de prueba en las sesiones de evaluacin sin colocar una carga
indebida sobre los estudiantes considerados individualmente.
Los participantes observaron que otro aspecto muy importante de la
TRI era que se poda utilizar para equiparar pruebas utilizadas en diferentes
estudios de distintos grupos de estudiantes. Esto quiere decir que en la
307
www.iiep.unesco.org
medida en que dos estudios diferentes (que se han concentrado en el mismo

tipo de rendimiento de los estudiantes) han empleado pruebas diferentes
pero superpuestas, entonces los estudiantes de uno de los estudios puede
ser calificado en la otra prueba de investigacin y viceversa.
Luo et al. (2007) demostraron esta tcnica equiparando las pruebas
de lectura utilizadas en el Estudio Internacional de Competencia en Lectura
[International Reading Literacy Study] de la IEA en 1990 (Elley, 1992) y
las pruebas de lectura utilizadas en el proyecto SACMEQ II de 2000 (Ross
et al., 2004). Esto permiti que los estudiantes de los 30 pases desarollados
que participaron en el estudio de la IEA fueran calificados como si hubieran
completado la prueba de lectura que se di a los estudiantes de 14 pases
africanos durante el proyecto SACMEQ II. Esto quiere decir que la tcnica
ofrecida por la TRI hizo posible hacer comparaciones vlidas entre los
14 pases del SACMEQ que haban participado en un estudio regional
y los otros pases que haban participado en un estudio internacional
diferente.
Los pases en desarrollo que participaron en los estudios del
SACMEQ prefirieron este enfoque para efectuar comparaciones
internacionales porque podan emprender comparaciones vlidas de la
calidad a nivel mundial y, al mismo tiempo, proseguir con su propio
programa de investigacin bajo su control y en funcin de su propio
cronograma. Tambin tenan la libertad de utilizar cuestionarios destinados
a los estudiantes, los profesores y las escuelas que estaban ms vinculados
con sus prioridades polticas y asegurar que sus programas de investigacin
no fueran dominados por equipos de investigacin tcnicamente ms
capaces procedentes de los pases desarrollados.
Los participantes en el Foro de Poltica convinieron en que el uso de
la TRI por el SACMEQ haba demostrado que un enfoque para estimular
a todos los pases del mundo a monitorear la calidad de sus sistemas
educativos consistira en reemplazar (o quiz complementar) los estudios
internacionales como el TIMSS y el PISA con un conjunto conectado de
estudios regionales basados en conjuntos adecuados de tems-ancla.
Tambin observaron que la sinergia que puede surgir del uso de tems de
prueba comunes en diferentes estudios indicaba que exista la necesidad
de considerar cmo se podra desarrollar y mantener un Banco
Internacional de tems Ancla.
La UNESCO parecera estar bien situada por su mandato y programa
para asumir el liderazgo en esta rea, tal vez organizando una reunin
308
www.iiep.unesco.org
inicial de los expertos mundiales en medicin para debatir las ventajas y

desventajas de estas propuestas.
Recomendacin 1(d): los ministerios de educacin, en asociacin con los
organismos internacionales apropiados, deberan convocar una reunin de los
expertos mundiales en medicin para debatir las ventajas y desventajas de
propuestas destinadas a: (1) crear redes conectadas de estudios regionales e
internacionales sobre la calidad de la educacin; y (2) crear un Banco
Internacional de tems Ancla que se podra utilizar para suministrar tems de
prueba a fin de efectuar comparaciones internacionales vlidas mediante la
utilizacin de redes conectadas de estudios regionales e internacionales.
Mensaje 1(e): monitorear la adquisicin de competencias para

el desarrollo sostenible
Los participantes en el Foro de Poltica observaron que la Cumbre
de Johannesburgo sobre Desarrollo Sostenible de 2002 haba vinculado
el concepto de desarrollo sostenible con los objetivos educativos de los
Objetivos de Desarrollo del Milenio (2000) y de la Conferencia Mundial
sobre la Educacin para Todos de Dakar (2000). Esta cumbre propuso que
el perodo 2005-2014 fuera conocido como el Decenio de las Naciones
Unidas de la Educacin para el Desarrollo Sostenible. Esta propuesta fue
ratificada por la Asamblea General de las Naciones Unidas y la UNESCO
fue designada organismo rector.
Los participantes estuvieron de acuerdo en que a fin de monitorear
el progreso en la implementacin del Decenio de las Naciones Unidas de
la Educacin para el Desarrollo Sostenible era necesario evaluar las
competencias pertinentes impartidas a los estudiantes en los sistemas
educativos. Esto requerira la elaboracin de una lista concertada de
objetivos de aprendizaje en el campo del desarrollo sostenible que luego
se podra utilizar para elaborar un marco de referencia de prueba y las
preguntas de las pruebas asociadas. Desafortunadamente, en la mayora
de los sistemas educativos los objetivos de aprendizaje disponibles en esta
rea ofrecen muy poca orientacin especfica para la construccin de
pruebas porque tienden a describir en trminos vagos (tales como las
competencias requeridas para satisfacer las necesidades sociales,
econmicas y medioambientales de la generacin actual sin comprometer
las necesidades y recursos disponibles para las futuras generaciones).
Varios participantes en el Foro de Poltica indicaron que algunos
sistemas educativos han hecho ms progresos que otros en la exploracin
309
www.iiep.unesco.org
de vas para especificar y elaborar programas educativos para el desarrollo

sostenible y se convino en que se podra obtener gran provecho si se tuviera
en cuenta este trabajo exitoso. Los participantes propusieron que se pidiera
a un organismo internacional que organizara una reunin de expertos en
la que los pases ms avanzados pudieran presentar y compartir sus
prcticas idneas y material de enseanza.
Un enfoque alternativo explorado por los participantes consista en
vincular la nocin de desarrollo sostenible con el concepto ms amplio
de competencias para la vida. Nuevamente, sin embargo, se observaron
problemas para identificar una definicin operacional aceptada
universalmente de competencias para la vida que se pudieran utilizar
para guiar la construccin de medidas vlidas. Varios participantes
indicaron que esta dificultad tambin la encontr el Grupo de Trabajo
Interinstitucional sobre Competencias para la Vida [Interagency Working
Group on Life Skills], que concluy que es difcil identificar indicadores
que demuestren el progreso en este campo a nivel internacional (UNESCO,
2004: p. 11). Los ejemplos siguientes ilustran por qu ha habido un
progreso limitado en la elaboracin de medidas e indicadores en este
campo.
El UNICEF (2005) ha definido competencias para la vida bajo la
forma de una lista de 28 competencias psicociales e interpersonales
agrupadas bajo tres categoras principales: comunicacin-interpersonal,
toma de decisiones-pensamiento crtico y solucionar-autogestin. La
perspectiva de la OCDE establece una clara distincin entre competencias
para la vida en el trabajo y competencias para la vida cotidiana, pero
tambin ha reconocido la imposibilidad de concordar en una lista de todas
las competencias especficas para la vida (Werquin, 2004). La Oficina
Internacional de Educacin (OIE) de la UNESCO deriv su comprensin
de las competencias para la vida de los cuatro pilares del aprendizaje del
informe Delors (Singh, 2004) y define competencias para la vida como
gestin personal y competencias sociales necesarias para funcionar
adecuadamente con independencia en reas tales como aprender a conocer,
aprender a hacer, aprender a ser y aprender a vivir juntos. La Organizacin
Mundial de la Salud complic an ms el asunto al definir competencias
para la vida como competencias psicosociales tales como manejar el
conflicto y la autoridad, resolver problemas, hacer y mantener amigos y
relaciones, cooperar, tener conciencia de s, pensar creativamente, tomar
decisiones, pensar crticamente, afrontar el estrs, negociar, clarificar
valores, resistir a la presin, manejar el desengao, planificar, tener
310
www.iiep.unesco.org
empata, manejar las emociones, ser firme, escuchar activamente, respetar,

ser tolerante, confiar, compartir, tener simpata, sentir compasin, ser
sociable y tener autoestima (WHO, 1999).
Recomendacin 1(e): los ministerios de educacin deben crear mecanismos para
monitorear el progreso internacional comparado de los sistemas educativos en
relacin con la mejora de las competencias para el desarrollo sostenible de los
estudiantes y los primeros pasos deben ser: (1) la organizacin de una reunin
internacional en la que se presenten y compartan las prcticas idneas y el
material pedaggico de los sistemas educativos ms avanzados; (2) la elaboracin
sistemtica de una definicin operacional de desarrollo sostenible concertada
a nivel internacional que se pueda utilizar para guiar la especificacin de las
competencias requeridas de los estudiantes y los marcos de referencia de pruebas
y de tems de pruebas relacionados; y (3) la exploracin del posible vnculo de
estas actividades con un debate ms amplio del concepto de educacin en
competencias para la vida.

planificar los diseos muestrales de los estudios
Las recolecciones de datos para los estudios internacionales
comparados sobre la calidad de la educacin generalmente se han limitado
al estudio de una muestra en lugar de tener una cobertura completa de la
poblacin bajo estudio. Siempre y cuando se utilicen procedimientos
cientficos de muestreo probabilstico, el uso de una muestra en vez de
una poblacin completa (censo) ofrece varias ventajas: costos reducidos
asociados con la recoleccin y el anlisis de los datos; ms rapidez en la
mayora de aspectos de la preparacin de los datos para el anlisis;
reduccin de las necesidades logsticas y de personal, y mayor exactitud
en la medicin debido a un mayor control del trabajo de campo.
Los buenos diseos muestrales para los estudios internacionales
comparados sobre la calidad de la educacin se construyen sistemticamente
utilizando procedimientos muestrales ya probados, combinados con un
conocimiento slido y prctico de las maneras en que las poblaciones de
escuelas, clases y estudiantes se organizan administrativa y
geogrficamente.
Hubo tres mensajes del Foro de Poltica en relacin con las
cuestiones de muestreo: escoger entre poblaciones objetivo basadas en
311
www.iiep.unesco.org
la edad o el grado; estimar el tamao requerido de la muestra y, finalmente,

comprender y utilizar ponderaciones y errores de muestreo.
Mensaje 2(a): escoger entre poblaciones objetivo basadas
en la edad o el grado
Los participantes en el Foro de Poltica convinieron en que el
principal objetivo de los estudios internacionales comparados sobre la
calidad de la educacion era hacer comparaciones vlidas de las condiciones
de escolarizacin y los niveles de rendimiento de los estudiantes que fueran
considerados de inters por los investigadores, los padres de familia, el
pblico y los gobiernos. Abordar este objetivo requera la identificacin
de poblaciones objetivo adecuadas y en el campo de la investigacin de
la educacin esto quiere decir que los invetigadores deben decidir primero
si hay que emplear una definicin de poblacin objetivo basada en la edad
o en el grado. Esta decisin se adoptaba generalmente tras haber tomado
en cuenta las principales preguntas de la investigacin. Sin embargo, tomar
esta decisin puede convertirse en algo muy complicado cuando los
estudios son conducidos por mltiples intereses polticos nacionales e
internacionales.
El proyecto PISA de la OCDE utiliz una definicin de poblacin
objetivo basada en la edad concentrada en todos los estudiantes de 15 aos
de un sistema nacional de educacin (Adams y Wu, 2002). Las
definiciones basadas en la edad atraen a los economistas por su
interpretacin simple y directa. Sin embargo, en el contexto de estudios
internacionales comparados, las poblaciones objetivo basadas en la edad
pueden ofrecer muy diferentes resultados si se las compara con las
poblaciones objetivo basadas en el grado porque las muestras resultantes
de estudiantes pueden estar diseminadas entre diferentes grados,
dependiendo de la medida en que los sistemas educativos aplican la
repeticin de grado o tienen polticas flexibles de ingreso a la escuela.
Las muestras basadas en la edad dificultan la elaboracin de modelos
explicativos que tienen en cuenta las caractersticas de las aulas y las
prcticas educativas, ya que las muestras intraescuela de estudiantes a
menudo se diseminarn ligeramente entre grados y aulas. Adems, tambin
presentan problemas en relacin con la interpretacin de estadsticas
sintticas bsicas, tales como calificaciones promedio de los profesores o
porcentaje de estudiantes con acceso a una computadora, ya que la
distribucin de los recursos humanos y materiales en un sistema educativo
312
www.iiep.unesco.org
pueden verse influidos por diferentes decisiones administrativas que operen

en los diferentes grados.
Por el contrario, los estudios de la IEA han tendido a concentrarse
en un grado especfico o en un conjunto especfico de grados. Por ejemplo,
en el Estudio Internacional de Competencia en Lectura [International
Reading Literacy (IRL) Study] de la IEA una de las poblaciones objetivo
se describi como todos los estudiantes en el grado en el que la mayora
de los nios de 9 aos de edad se encuentren en el octavo mes del ao
escolar (Elley, 1992). Las definiciones basadas en el grado atraen a los
educadores porque toda la muestra de estudiantes de un pas determinado
habr sido expuesta al mismo currculo y tambin porque los procedimientos
mecnicos requeridos para el muestreo intraescuela son ms fciles de
aplicar, ya que las escuelas se organizan administrativamente por grado.
El problema con las muestras basadas en el grado es que la edad del
estudiante promedio puede variar mucho entre pases debido a diferencias
en los requisitos para ingresar en la escuela y las polticas de repeticin
de grado. Por ejemplo, en el IRL, la edad promedio de la Poblacin A de
estudiantes (tal como se la defini previamente) en los Pases Bajos fue
de 9,2 aos, mientras que en Portugal fue de 10,4 aos.
Recomendacin 2(a): en los ministerios de educacin se debera tener conciencia
de las ventajas y desventajas del empleo de diseos muestrales basados en la edad
o el grado en los estudios internacionales comparados sobre la calidad de la
educacin y se debera estar plenamente informado acerca del impacto de estos
diferentes enfoques de muestreo sobre: (1) los tipos de investigacin y de
cuestiones polticas que se pueden abordar; y (2) la interpretacin de las diversas
estadsticas sintticas que describen el rendimiento de los estudiantes y las
condiciones de escolarizacin.
Mensaje 2(b): calcular el tamao requerido de la muestra

Los estudios internacionales comparados sobre la calidad de la
educacin generalmente emplean procedimientos de muestreo complejos
que incluyen el uso de la estratificacin, la seleccin desproporcionada
de escuelas y estudiantes entre los estratos, la seleccin de la muestra en
mltiples etapas, as como la seleccin de los estudiantes en agrupamientos.
Estas complejidades, combinadas con la naturaleza de la poblacin
objetivo bajo estudio, pueden conducir a que se necesiten diferentes
tamaos de muestras en los pases a fin de lograr el mismo nivel de
precisin de la muestra.
313
www.iiep.unesco.org
Un clculo preciso del tamao requerido de la muestra asegura

que la recoleccin de datos para el componente nacional de un estudio
internacional comparado aporte respuestas a las preguntas clave de la
investigacin sin perder dinero en muestras excesivamente grandes de
escuelas y estudiantes. Aqu, el principal peligro es, en realidad, subestimar
el tamao requerido de la muestra, que puede producir errores de muestreo
tan grandes que haya un alto grado de incertidumbre al tratar de responder
a las preguntas clave de la investigacin.
Los participantes en el Foro de Poltica observaron que algunos
sistemas educativos tenan grandes variaciones entre escuelas en el
rendimiento promedio de los estudiantes debido a la segregacin residencial
de los grupos socioeconmicos o al uso de diferentes agrupamientos de
escuelas para estudiantes con diferentes niveles de rendimiento. En estos
tipos de sistemas educativos generalmente se necesitaba seleccionar
muestras relativamente ms grandes de escuelas y estudiantes a fin de
lograr un nivel dado de precisin en el muestreo.
El grado de variacin entre las escuelas se meda generalmente
mediante el coeficiente de correlacin intraclase (rho) y el valor de esta
medida estadstica puede variar significativamente entre los sistemas
educativos que participan en el mismo estudio internacional comparado.
Tambin fue importante observar que esta medida estadstica variaba
segn el grado y la asignatura, por lo que se requera asegurar que los
clculos del rho fueran adecuados para el estudio que se planeaba.
Por ejemplo, en el proyecto SACMEQ II, los valores de rho para el
rendimiento en lectura de los estudiantes del 6 grado variaban desde
alrededor de 0,25 en Botswana y Mauricio hasta 0,60 o ms en Namibia y
Sudfrica. Esto significa que, para un nmero fijo de 20 estudiantes
seleccionados en cada escuela, las muestras totales requeridas de escuelas
para lograr un nivel dado de precisin de la muestras en Namibia y Sudfrica
eran dos veces y media ms grandes que en Botswana y Mauricio
(Ross, 2005).
Se convino en que los ministerios de educacin no tendran necesidad
de contar imperativamente con un estadstico calificado en materia de
muestreo en el equipo investigador a cargo del trabajo nacional en un
estudio internacional comparado sobre la calidad de la educacin. Sin
embargo, era esencial que el equipo investigador tuviera una buena
comprensin de los principios fundamentales del muestreo y, en caso
314
www.iiep.unesco.org
necesario, tuviera acceso a un estadstico especialista en muestreo a fin

de clarificar preguntas y verificar los detalles de los clculos.
Varios participantes en el Foro de Poltica indicaron que los clculos
que se requeran para adoptar decisiones adecuadas acerca del tamao de
las muestras necesarias de escuelas y estudiantes para un estudio internacional
comparado sobre la calidad de la educacin se podra simplificar mediante
el uso de tablas de diseo de muestras (Ross, 2005) y sistemas
computarizados especiales para el diseo de muestras (tal como el paquete
SAMDEM desarrollado por el IIPE a fin de explorar muy rpidamente una
gran variedad de opciones de muestreo que tengan en cuenta el tamao del
coeficiente de correlacin intraclase (Sylla et al., 2005).
Recomendacin 2(b): los ministerios de educacin que participan en estudios
internacionales comparados sobre la calidad de la educacin deben asegurar que
sus equipos de investigacin comprendan y sepan aplicar las reglas bsicas del
muestreo que se utilizan para estimar la talla necesaria de la muestra y que
tengan acceso a: (1) buenas estimaciones nacionales del coeficiente de correlacin
intraclase para el grado y las reas disciplinarias pertinentes; (2) un estadstico
calificado en materia de muestreo (si es necesario); y (3) formacin en el uso de
instrumentos de investigacin que faciliten la rpida exploracin y verificacin
de las opciones de diseo de muestras (tales como tablas de diseo de muestras
y sistemas computarizados especiales para el diseo de muestras).
Mensaje 2(c): comprender y utilizar ponderaciones muestrales y

errores de muestreo
Los participantes en el Foro de Poltica debatieron varias cuestiones
relacionadas con la aplicacin de ponderaciones muestrales y errores de
muestreo en los estudios internacionales comparados. Estas dos medidas
estadsticas se consideraron esenciales para interpretar las estimaciones
de las muestras en materia de calidad de la educacin.
Los participantes subrayaron que en muchos estudios el clculo y la
verificacin de estas estadsticas era una tarea compleja que normalmente
requerira la asistencia de estadsticos con experiencia en muestreo. Sin
embargo, se convino en que los equipos de investigacin que participaran
en estudios internacionales comparados sobre calidad de la educacin
deberan ser capaces de entender y aplicar: (1) las ponderaciones
muestrales antes de los anlisis de los datos principales (durante la fase
de preparacin de los datos de un estudio); y (2) errores de muestreo
315
www.iiep.unesco.org
despus de los anlisis de los datos principales (durante la fase de

preparacin del informe de un estudio).
Las ponderaciones muestrales son necesarias a fin de dar cuenta de
las desiguales probabilidades en la seleccin de la muestra. Por ejemplo,
cuando se aplica el muestreo desproporcionado a los estratos de la
poblacin tomando muestras de igual tamao en regiones de educacin
que difieren significativamente en talla, es esencial evitar sesgos en las
estimaciones de la muestra mediante el aumento de los pesos de las
muestras de los estudiantes seleccionados de estratos grandes, y viceversa
para los estudiantes seleccionados de estratos pequeos. A menudo, las
ponderaciones muestrales requieren ser afinadas a fin de compensar las
deficiencias en los marcos muestrales y menores niveles de no
respuesta.
Las ponderaciones muestrales se calculan generalmente de manera
que la suma de los ponderaciones muestrales en la muestra sea igual al
tamao de la poblacin (ponderaciones de la poblacin) o la suma de
las ponderaciones muestrales en la muestra sea igual al tamao alcanzado
por la muestra (ponderaciones estandarizadas). Ambos tipos de
ponderaciones se deben calcular y agregar a los archivos de datos, porque
cada uno tiene ventajas en ciertas circunstancias importantes. Por ejemplo,
las ponderaciones de la poblacin son tiles si la investigacin requiere
estimaciones del nmero real de estudiantes en la poblacin objetivo
definida con una caracterstica especfica; mientras que las ponderaciones
estandarizadas son preferibles si un equipo de investigacin no est
habituado a obtener una diferencia entre el nmero real de personas que
responden al cuestionario y el nmero ponderado de casos indicados
por los sistemas estadsticos informatizados.
Los errores de muestreo de las estimaciones de la encuesta son
necesarios para suministrar medidas de la confianza que podemos tener
en la estabilidad de las estimaciones muestrales entre todas las muestras
posibles que se podran haber obtenido utilizando el mismo diseo
muestral. Afortunadamente, existen procedimientos estadsticos
disponibles que permiten que los investigadores calculen esta medida de
confianza mediante el uso de datos provenientes de una muestra para
inferir lo que habra sucedido a todas las muestras posibles.
El uso ms importante de los errores de muestreo tiene lugar en la
construccin de lmites de confianza para las estimaciones muestrales de
las caractersticas de la poblacin. Por ejemplo, si vamos a estimar un
316
www.iiep.unesco.org
puntaje nacional promedio de rendimiento del estudiante de 550 puntos

con un error muestral de 5 puntos, entonces podramos tener un 95 % de
confianza de que el verdadero puntaje nacional promedio del estudiante
se sita entre 550, ms o menos 2 x 5 = 10 puntos. Esto es entre 540 y
560 puntos. Estos intervalos de confianza son esenciales, si deseamos
hacer comparacioanes vlidas y significativas entre (1) los promedios
nacionales de los puntajes de los estudiantes para dos pases diferentes y
(2) los promedios nacionales de los puntajes de los estudiantes para un
pas en dos ocasiones diferentes.
Recomendacin 2(c): los ministerios de educacin que participan en estudios
internacionales comparados sobre la calidad de la educacin deberan asegurar
que sus equipos de investigacin sean capaces de: (1) tener acceso a un estadstico
experimentado en muestreo para calcular y verificar las ponderaciones muestrales
y los errores de muestreo; (2) comprender y aplicar ponderaciones muestrales
antes de los anlisis de datos (durante la fase de preparacin de los datos de un
estudio); y (3) comprender y aplicar los errores muestrales despus de los anlisis
de datos (durante la fase de preparacin del informe de un estudio).

planificar el diseo logstico de los estudios internacionales
comparados
El diseo logstico de un estudio internacional comparado sobre la
calidad de la educacin en un pas tiene que ver con la gestin de los
recursos humanos, materiales y financieros necesarios para la exitosa
ejecucin del estudio. Los participantes en el Foro de Poltica observaron
que el diseo logstico para el mismo estudio puede ser muy diferente en
distintos pases, dependiendo de la naturaleza de las organizaciones
nacionales responsables de ejecutarlo.
Los participantes en el Foro de Poltica observaron que en el centro
mismo de una ejecucin exitosa de un estudio internacional comparado
sobre la calidad de la educacin en un pas haba dos ingredientes
esenciales: (1) un equipo de investigacin bien formado, experimentado
y motivado, conducido por un Coordinador Nacional de Investigacin
capaz y que estimule al grupo; y (2) un plan y programas claramente
detallados para el despliegue de todos los recursos y actividades asociados
con la implementacin de la investigacin.
317
www.iiep.unesco.org
La entidad responsable de un estudio puede ser un rgano

gubernamental (por ejemplo, un ministerio de educacin), una institucin
financiada por el gobierno (por ejemplo, una universidad pblica) o una
institucin independiente (por ejemplo, una universidad privada, un centro
de investigacin o un consorcio de organizaciones privadas). Si el estudio
es organizado por un rgano pblico o una institucin financiada por el
gobierno es probable que haya una alta proporcin de costos ocultos
que se puedan cubrir con los presupuestos existentes. Si el estudio es
ejecutado por una institucin independiente, entonces la mayora de los
costos sern visibles, en el sentido de que se traducirn en gastos
monetarios efectivos que sobrepasen los presupuestos existentes.
Hubo dos mensajes principales del Foro de Poltica en relacin
con las cuestiones de logstica: la creacin y mantenimiento de un equipo
interno de investigacin y la preparacin de planes logsticos detallados.
Mensaje 3(a): la creacin y mantenimiento de un equipo interno
de investigacin
La manera en que un ministerio de educacin enfoca la gestin del
componente nacional de un estudio internacional comparado sobre la
calidad de la educacin puede variar mucho. En algunos pases, todo el
trabajo hasta la provision de apoyo tcnico y de oficinas adicionales es
suministrado por el ministerio. En otros casos, los ministerios utilizarn
recursos externos en diverso grado para suministrar apoyo a algunas o
todas las tareas relacionadas con la impresin, recoleccin de datos sobre
el terreno, introduccin y anlisis de datos.
El primer enfoque es preferible porque permite que el ministerio
tenga pleno control sobre todos los aspectos de la investigacin y ofrece
excelente formacin prctica a los planificadores e investigadores del
ministerio de educacin. El segundo enfoque es aceptable, si se subcontrata
una parte del trabajo.
Los participantes en el Foro de Poltica hicieron hincapi en que
independientemente del enfoque que se adoptara, era importante que el
equipo interno de investigacin estuviera bien constituido, bien gestionado
y tuviera acceso a un espacio, equipamiento y condiciones de trabajo
adecuados. Estos dispositivos de trabajo tenan ms probabilidades de
estimular a los miembros de los equipos de investigacin para permanecer
juntos durante la realizacin del estudio y proseguir en otros estudios
importantes en los que su formacin y experiencia se pudiera utilizar con
318
www.iiep.unesco.org
buenos resultados. Incluso cuando se subcontratan algunos componentes

de la investigacin es necesario contar con slidas competencias internas
a fin de disponer de un mecanismo de control de calidad de los contratados
externos.
Los participantes en el Foro de Poltica convinieron en que en los
ministerios de educacin debe tenerse conciencia que las competencias
elevadas requeridas para ejecutar un estudio internacional comparado
sobre la calidad de la educacin son vendibles en muchas otras reas.
Por consiguiente, una importante inversin en la creacin de un equipo
de investigacion para un proyecto que dura varios aos debe ser apuntalado
por una adecuada estructura de recompensas que mantenga motivado al
equipo de investigacin y tambin estimule a sus participantes a permanecer
en el equipo, as como a compartir su experiencia y formacin con otras
personas.
Los participantes observaron que las estructuras de recompensa para
los investigadores talentosos y serios no siempre se basaban nicamente
en cuestiones de orden financiero. Las mejores personas en este campo
tambin estn interesadas en publicar, tener oportunidad de encontrar y
trabajar con otros profesionales de ideas afines, as como de viajar y
adquirir mayor formacin.
Recomendacin 3(a): los ministerios de educacin que participan en estudios
internacionales sobre la calidad de la educacin deben crear sistemas de
reclutamiento y recompensa necesarios para: (1) seleccionar y constituir un equipo
de investigacin bien formado, experimentado y motivado; (2) mantener a este
equipo de investigacin durante todo el perodo de vida de un estudio internacional
comparado sobre la calidad de la educacin que dura varios aos; (3) estimular
a este equipo de investigacin para que permanezca en el ministerio a fin de lograr
un beneficio pleno de sus competencias en investigacin y de su capacidad para
asistir y formar a otros miembros del personal.
Mensaje 3(b): la preparacin de planes logsticos detallados

La tarea consistente en gestionar cotidianamente las operaciones del
componente nacional de un estudio internacional comparado sobre la
calidad de la educacin es responsabilidad del Coordinador Nacional de
Investigacin (CNI), quien normalmente es un miembro de alto nivel de
la oficina de investigacin y planificacin de un ministerio de educacin.
Varios participantes en el Foro de Poltica que haban actuado previamente
como CNI indicaron que este papel exige competencias avanzadas en
319
www.iiep.unesco.org
planificacin y liderazgo, a fin de manejar el trabajo del proyecto que

cambia significativamente en relacin con el tema, la magnitud, el personal
y las presiones a medida que se va ejecutando.
En diferentes etapas del estudio, el CNI necesitar el apoyo de
especialistas para guiar el trabajo de elaboracin de pruebas, muestreo y
anlisis de datos. En otras fases, se requerir aumentar el personal de
apoyo para asistir en la gestin del flujo y procesamiento de los materiales
de recoleccion de datos, administracin de pruebas, introduccin y
depuracin de datos. Se necesitar otro grupo de personas a menudo
profesores para calificar las preguntas abiertas, los tems prcticos de las
pruebas y el material escrito recolectado durante las pruebas de lenguaje.
Tambin se necesitar otro grupo de personas frecuentemente
planificadores o investigadores del ministerio de educacin para:
coordinar la interfaz entre el trabajo del proyecto y la maquinaria del
ministerio mediante el contacto y la informacin al personal de alto nivel,
formar a los coordinadores del proyecto en las escuelas, obtener
autorizaciones importantes de los directores de escuela y enfrentar el
trabajo en situaciones de emergencia y crisis.
Estos recursos humanos deben administrarse en asociacin con los
recursos materiales adecuados, tales como espacio y equipos de oficina,
telfonos y otros sistemas de comunicacin, computadoras, sistemas de
archivo, reas de trabajo abiertas (para empaquetado, distribucin,
devolucin, calificacin, almacenamiento e instrumentos para la
verificacin de la recoleccin de datos). En diferentes fases del proyecto,
las oficinas y los espacios de trabajo se convierten en factores importantes,
mientras que en otras es posible que las computadoras, los sistemas de
comunicacin o los medios de transporte sean prioritarios.
Todas las tareas enunciadas previamente constituyen un verdadero
desafo de planificacin para los CNI. Los participantes en el Foro de Poltica
convinieron en que, para tener xito, un CNI tena que ser capaz de elaborar
y trabajar en el marco de un calendario detallado, en el que durante un perodo
de dos a tres aos cada semana de trabajo estuviera totalmente planificada en
relacin con los puntos de referencia y las fechas lmite que deban respetarse
para que se completara el estudio oportuna y cientficamente. Se seal que
todo este trabajo deba ser ejecutado dentro del marco de una estructura
administrativa de apoyo suministrada por los responsables de la toma de
decisiones de alto nivel del ministerio de educacin.
320
www.iiep.unesco.org
Recomendacin 3(b): los ministerios de educacin slo pueden participar

exitosamente en un estudio internacional comparado sobre la calidad de la
educacin si nombran un Coordinador Nacional de Investigacin calificado y
experimentado que tenga: (1) la capacidad de planificar y gestionar a largo plazo
la distribucin de una amplia gama de recursos humanos y materiales; (2) las
calidades personales requeridas para ejercer un liderazgo inspirador y sostenido
durante todo el perodo de vida del proyecto (dos o tres aos); y (3) el pleno
apoyo de los responsables de la toma de decisiones de alto nivel del ministerio
de educacin.
Mensajes del Grupo 4: gestionar el impacto de los estudios

Muchos pases que han participado en estudios internacionales
comparados sobre la calidad de la educacin han acumulado una gran
cantidad de datos y producido numerosas publicaciones conteniendo los
resultados de la investigacin. Sin embargo, la existencia de datos y
resultados de investigacin no siempre ha implicado (1) la disponibilidad
de pruebas slidas que se puedan utilizar para orientar la poltica o (2) un
entorno que sea favorable para transformar la poltica en reformas
concretas.
Los participantes en el Foro de Poltica convinieron que lo que se
requera en esta situacin era ir ms all de los datos y resultados de la
investigacin y pasar de la construccin de una poltica basada en resultados
a su ejecucin subsecuente. Algunos de los participantes caracterizaron este
proceso como sinnimo de paso del discurso a la accin.
Los participantes observaron que se podra lograr un mayor impacto
sobre la poltica si se prestara ms atencin a cuatro dimensiones: (1) qu
preguntas de investigacin se seleccionaron a fin de ser estudiadas y luego
ser objeto de presentacin; (2) quines participaron dando, recibiendo y
gestionando los flujos de comunicacin acerca de los resultados; (3) cmo
se comunicaron estos resultados; y (4) cundo se comunicaron estos
resultados. Se hizo hincapi en que todas las dimensiones se deban abordar
exitosamente y que esto a menudo planteaba problemas porque
frecuentemente se requeran competencias que estaban fuera de la
experiencia y los intereses de los planificadores e investigadores de la
educacin.
321
www.iiep.unesco.org
Hubo cinco mensajes importantes del Foro de Poltica relacionados

con la gestin del impacto de los resultados de la investigacin. Estos
se alinearon con las cuatro dimensiones previas de la manera siguiente:
(1) qu: delimitar las preguntas importantes de la investigacin;
(2) quin: trabajar con los ministros y los responsables de la toma de
decisiones de alto nivel; (3) cmo: dar a conocer los resultados de la
investigacin y ampliar la participacin en el debate de sus resultados; y
(4) cundo: evitar el retraso.
Mensaje 4(a): delimitar las preguntas de poltica importantes
En diversos momentos del Foro de Poltica los participantes debatieron
las opciones disponibles para crear vnculos ms fuertes entre resultados,
reformas de poltica y accin. Se convino en que el simple acto de suministrar
datos y pruebas a un responsable de la toma de decisiones en materia de
educacin representaba una comunicacin genuina slo cuando el responsable
de la toma de decisiones escuchara activamente y se concentrara en un
problema afn. Sin estas condiciones, los planificadores e investigadores de
la educacin se pueden encontrar a s mismos aportando pruebas a una
audiencia que slo est interesada en encontrar respuestas a otras preguntas.
Los fallos de este tipo en la comunicacin nunca se pueden mejorar
suministrando ms informacin. Slo se pueden abordar si los planificadores
e investigadores de la educacin superan un enfoque mecanicista de
transmisin de datos y pruebas y, en su lugar, desarrollan estrategias
interactivas de difusin basadas en el dilogo con los responsables de la
toma de decisiones.
El propsito de este dilogo no es examinar los tipos de preguntas
impulsadas por la curiosidad que son centrales en los programas de
investigacin de los profesores universitarios. Ms bien, el propsito es
estimular a los planificadores e investigadores de la educacin para:
(1) escuchar a los responsables de la toma de decisiones que exigen
informacin en funcin de sus prioridades; (2) comprender cmo interpretan
y comprenden un problema los responsables de la toma de decisiones; y
(3) adoptar una postura dinmica ayudando a los responsables de la toma
de decisiones a delimitar sus preguntas y preocupaciones de poltica
susceptibles de ser objeto de investigacin de manera tcnicamente
solvente.
Varios participantes en el Foro de Poltica observaron que el enfoque
de investigacin adoptado por el SACMEQ era innovativo al armonizar
322
www.iiep.unesco.org
el diseo de la investigacin con las preocupaciones ms importantes de

poltica del ministerio. Esto funcion como un proceso en tres etapas que
se puso en ejecucin antes de que comenzara el trabajo de implementacin
del estudio internacional comparado sobre la calidad de la educacin.
En el primer paso se invit a los responsables de alto nivel de la toma
de decisiones en los ministerios de educacin a debatir sus preocupaciones
polticas y ordenarlas segn su prioridad. Despus, estas preocupaciones
polticas se combinaron entre los pases para lograr un conjunto de
preocupaciones generales de poltica. En el segundo paso los
investigadores utilizaron las preocupaciones generales de poltica para
construir preguntas de poltica especficas ms detalladas, que brindaran
una orientacin precisa en relacin con la informacin que era necesario
recolectar. Finalmente, se prepararon tablas ficticias o tablas en blanco
[dummy tables o blank tables] en el debate con los responsbles de la toma
de decisiones de modo que se ofrecieran plantillas para la presentacin
de los resultados de la investigacin.
Estos tres pasos se utilizaron para guiar todas las etapas del proceso
de diseo de la investigacin del SACMEQ, lo que garantiz que los
responsables de la toma de decisiones de alto nivel desempearan un papel
clave en la decision de qu datos se deberan recolectar y cmo seran
sintetizados y presentados.
Recomendacion 4(a): los ministerios de educacin deberan insistir en un
componente de preplanificacin para los estudios internacionales comparados
sobre la calidad de la educacin en el que: (1) los asuntos polticos ms importantes
de los responsables de alto nivel se utilicen para suministrar un marco de referencia
para el diseo de la investigacin; y (2) los responsables de alto nivel sean
consultados sobre todos los aspectos relativos a la sntesis de los datos y el informe
de la investigacin antes de implementar un estudio.
Mensaje 4(b): trabajar con los ministros y los responsables

de la toma de decisiones de alto nivel
Varios participantes en el Foro de Poltica indicaron la necesidad de
que los planificadores e investigadores de la educacin comprendieran lo
que los ministros y los responsables de la toma de decisiones de alto nivel
de los ministerios de educacin piensan realmente sobre los estudios
internacionales comparados sobre la calidad de la educacin. Para estas
personas, dichos estudios comportan riesgos debido a que los resultados
323
www.iiep.unesco.org
de la investigacin podran mejorar su imagen pblica o minar la confianza

en su calidad de dirigentes.
Los participantes convinieron en que un requisito esencial para
trabajar con ministros y responsables de la toma de decisiones de alto
nivel era que estas personas tuviesen confianza en las competencias y
experiencia tcnicas de sus equipos de investigacin, de modo que,
independientemente de las declaraciones o explicaciones que pudieran
ofrecer por los resultados de la investigacin, se podra verificar su
exactitud y coherencia antes de su publicacin. Aqu debe hacerse hincapi
en que, incluso si en un ministerio se decidi subcontratar muchas (o la
mayora) de las tareas involucradas en la participacin en un estudio
internacional comparado, subsista la necesidad de que un equipo interno
brindara sabios consejos en la etapa en la que los resultados se iban a
publicar, discutir y debatir.
Los participantes discutieron opciones para reducir la inquietud en
relacin con los riesgos. Observaron que era esencial que los responsables
de la toma de decisiones de alto nivel fueran actores activos en la
conceptualizacin y evolucin de los estudios internacionales comparados,
de modo que se consolidara su sentimiento de propiedad de los resultados.
El tema principal aqu fue que se evitaran las sorpresas en todas las
etapas de la investigacin, especialmente en la fase de informacin, en la
que puede haber una mezcla de buenas noticias y malas noticias sobre
las condiciones de la educacin y la calidad de la educacin.
Varios participantes informaron que los ministros de sus pases haban
apreciado ser informados acerca de los resultados de la investigacin
mucho antes de que circularan o fuesen publicados. Los ministros deseaban
tener tiempo para digerir las principales cuestiones que emergan de la
investigacin, as como tiempo suficiente para consultar con sus asesores
antes de que los medios de comunicacin o el parlamento les pidieran que
explicaran los resultados.
324
www.iiep.unesco.org
Recomendacin 4(b): los ministerios de educacin deben asegurar que los equipos
de investigacin que se constituyen para el estudio internacional comparado sobre
la calidad de la educacin: (1) tengan las competencias y experiencia necesarias
para inspirar confianza entre los responsables de la toma de decisiones de alto
nivel; (2) incluyan a los responsables de la toma de decisiones de alto nivel en el
proceso del estudio, de modo que tengan un sentimiento de propiedad; (3) se
aseguren de que no hay sorpresas para el personal responsable de la toma de
decisiones de alto nivel por los buenos o malos resultados; y (4) brinden informacin
y explicaciones sobre los resultados de la investigacin al ministro de educacin
mucho antes de su publicacin, de modo que pueda presentar y defender con
confianza los resultados a los medios de comunicacin y al parlamento.
Mensaje 4(c): presentar los resultados de la investigacin

Los participantes en el Foro de Poltica consideraron que muchos
planificadores e investigadores de la educacin no eran buenos
comunicadores de los resultados de la investigacin. La principal razn
de esta situacin es que han sido formados durante muchos aos para leer,
respetar y valorar la presentacin de la investigacin en el lenguaje y estilo
de las revistas acadmicas tradicionales, que tienden a ser algo inaccesibles
fuera de los lmites de las universidades dedicadas a la investigacin.
Los participantes convinieron en que a fin de llegar a audiencias ms
vastas de actores interesados con un impacto ms directo sobre la poltica
y la prctica educativas, los resultados provenientes de muchos estudios
internacionales comparados sobre la calidad de la educacin deberan
difundirse de manera ms competente y esmerada, utilizando mtodos de
comunicacin ms atractivos y accesibles.
Por ejemplo, es necesario otorgar ms atencin a liberarse de los
formatos de la presentacin acadmica tradicional empleando:
(1) periodistas y expertos en publicidad que reescriban los resultados de
la investigacin en formatos ms comunicativos; (2) medios electrnicos
para difundir los resultados de la investigacin al pblico; (3) informes
de investigacin ms cortos y accesibles, con el material tcnico colocado
en apndices; y (4) mayor cantidad de material visual (por ejemplo,
grficos en colores, ilustraciones e imgenes, en lugar de una sucesin de
pginas con cifras tabuladas).
Los participantes en el Foro de Poltica tambin observaron que era
necesario abordar el tono y equilibrio general de los informes de
investigacin En particular, sugirieron que se reexaminara el difundido
estilo acadmico de redaccin sobre los problemas, fallas, limitaciones,
325
www.iiep.unesco.org
desigualdades y discrepancias que tendan a restar importancia a los

esfuerzos, mejoras, contribuciones, trabajo intensivo y logros. Este
problema lo complican los medios de comunicacin, que en algunos pases
tienden a tratar los problemas educativos a golpe de titulares.
Los participantes convinieron en que una presentacin prudente de
los resultados de la investigacin controvertibles o duros poda generar
un debate de poltica productivo y reformas, siempre y cuando se
presentaran de manera equilibrada, de modo que los hallazgos positivos
se presentaran con el mismo entusiasmo que los resultados negativos. Este
enfoque tambin exiga tener cuidado en la presentacin de las opciones
de reforma de poltica para asegurar que fueran realistas y asequibles, y
que se postulara sin culpar a personas o grupos por esas carencias.
Asimismo, la presentacin de los resultados de la investigacin deba
tener en cuenta que una perspicaz eleccin de los temas de la investigacin
podra mejorar la recepcin de los informes en los ministerios de educacin.
Por ejemplo, varios informes del proyecto PISA de la OCDE abordaron
temas candentes en los pases de la OCDE (por ejemplo, relaciones
entre autonoma de la escuela y rendimiento escolar; la importancia de
que los estudiantes llegaran a ser educandos automotivados y el impacto
del agrupamiento en el rendimiento de los estudiantes). Por consiguiente,
estos informes de investigacin del proyecto PISA fueron capaces de
atraer la atencin de los responsables de la toma de decisiones de alto
nivel de los ministerios y el pblico.
Recomendacin 4(c): los ministerios de educacin deberan ampliar sus enfoques
de difusin al presentar los resultados de los estudios internacionales comparados
sobre la calidad de la educacin: (1) evitando el estilo tradicional de las revistas
acadmicas para utilizar alternativas ms accesibles que incluyan enfoques
periodsticos, difusin mediante medios electrnicos, formatos atractivos de
presentacin que sean breves, visuales y en colores; (2) equilibrando ms la
presentacin de los resultados positivos y negativos de la investigacin;
(3) presentando opciones de poltica realistas y asequibles que no busquen
descargar la culpa por las carencias encontradas; y (4) tomando debida cuenta de
los problemas y preocupaciones en materia de educacin, que son temas
candentes para los responsables de la toma de decisiones de alto nivel del
ministerio de educacin y el pblico.
326
www.iiep.unesco.org
Mensaje 4(d): ampliar la participacin en los debates sobre los

resultados de la investigacin
Los participantes en el Foro de Poltica observaron que el enfoque
tradicional de presentacin e intercambio de los resultados de la
investigacin de los estudios internacionales comparados sobre la calidad
de la educacin a menudo tenan como destinatarios a los profesionales
de los ministerios de educacin, universidades, instituciones de formacin
de profesores, as como de organizaciones y agencias especficas de
educacin. Se convino en que este enfoque ms bien estrecho puede ser
contraproducente, pues ignora el hecho de que muchos otros grupos de
actores interesados desempean un papel importante en relacin con la
aceptacin y la ejecucin de reformas de poltica educativa.
Entre estos grupos ignorados (a menudo inadvertidamente) estaban
medios de comunicacin, organizaciones religiosas, el sector privado,
organizaciones no gubernamentales, parlamentos, sindicatos de profesores,
grupos de padres de familia y directores de escuela. En muchos casos,
estas personas especialmente los parlamentarios y los directores de
escuela representaban a importantes defensores en fases crticas de un
ciclo de investigacin-poltica-accin, porque desempean un papel
importante en la toma de decisiones relacionadas con la identificacin,
facilitacin y otorgamiento de aprobaciones; legislacin, financiacin y
apoyo de la base necesarios para transformar los resultados de la
investigacin en poltica formal y, posteriormente, en acciones
concretas.
Los participantes en el Foro de Poltica observaron que era
particularmente preocupante que mientras que las leyes sobre los sistemas
educativos se hacan en los parlamentos, muy pocos planificadores e
investigadores de la educacin hubieran informado o debatido con
parlamentarios considerados individualmente o con grupos de
parlamentarios (que no fueran los ministros de educacin) acerca de las
implicaciones polticas que surgan de los estudios internacionales
comparados sobre la calidad de la educacin. Los participantes consideraron
que esta situacin requera atencin inmediata y animaron a los ministros
de educacin a pensar cuidadosamente sobre cmo se podra abordar este
problema, especialmente en pases donde la cultura poltica era muy
voluble y no poda animar ni permitir que los planificadores e investigadores
de la educacin empleados como funcionarios establecieran contacto con
los parlamentarios.
327
www.iiep.unesco.org
Otro grupo muy importante, pero tambin olvidado frecuentemente,

era el de los directores de escuela. Los participantes en el Foro de Poltica
observaron que este grupo se haba convertido en una audiencia objetivo
muy importante en relacin con los resultados de la investigacin, porque
la tendencia a una mayor descentralizacin del poder para la toma de
decisiones en los sistemas educativos a nivel mundial haba dado a los
directores de escuela mayor autoridad sobre muchos aspectos de la
organizacin escolar.
Se convino en que los directores de escuela apreciaban la
retroalimentacin a partir de las investigaciones en que participaban sus
propias escuelas, siempre y cuando los resultados comparados sobre el
rendimiento de los estudiantes fueran presentados conjuntamente, es decir,
los resultados de la escuela promedio y los resultados de otras escuelas
que tienen una admisin de estudiantes similar a la de mi escuela.
Varios participantes en el Foro de Poltica propusieron que la
comunicacin de los resultados de la investigacin a algunos grupos de
actores interesados en los ministerios de educacin podra ser ms eficaz si
se efectuase en un marco internacional. El propsito aqu era ofrecer
oportunidades a los pases para que aprendieran unos de otros al compartir
sus experiencias nacionales. Esto podra adoptar la forma de conferencias
o talleres internacionales destinados a grupos con intereses y responsabilidades
comunes en un ministerio de educacin (por ejemplo, personal directivo,
secretarios permanentes y directores de las reas de currculo y
exmenes).
Recomendacin 4(d): los ministerios de educacin deberan incorporar a una
mayor diversidad de grupos de actores interesados en los debates y reuniones
que ofrecen informacin en relacin con las implicaciones polticas de los estudios
internacionales comparados sobre la calidad de la educacin, especialmente
parlamentarios y directores de escuela, pero tambin a personas provenientes de
los medios de comunicacin, organizaciones religiosas, el sector privado, ONGs,
sindicatos de profesores, padres de familia y responsables de alto nivel de los
ministerios de educacin. La comunicacin de los resultados de la investigacin
a ciertos grupos que trabajan en los ministerios de educacin podra ser ms eficaz
si se efectuara en un marco internacional, con el propsito de estimular a
responsables de los pases para que aprendan unos de otros al compartir sus
experiencias nacionales acerca de las estrategias utilizadas para transformar los
resultados de la investigacin en poltica y accin.
328
www.iiep.unesco.org
Mensaje 4(e): evitar retrasos

En diversos momentos del Foro de Poltica los participantes indicaron
que los resultados de la investigacin provenientes de los estudios
internacionales comparados sobre la calidad de la educacin a menudo
llegaban muy tardamente a los responsables de la toma de decisiones de
alto nivel del ministerio. Sin embargo, se convino en que la rapidez con
la que se terminaban los informes de investigacin dependa en gran
medida de si dicho estudio daba la ms alta prioridad a la produccion de
indicadores educativos (tales como los de los estudios del TIMSS de la
IEA o el PISA de la OCDE) o al suministro de formacin avanzada en
las competencias tcnicas requeridas para monitorear y evaluar la calidad
de la educacin (como en el caso de los estudios del SACMEQ).
La OCDE y (ms recientemente) la IEA han asignado una muy alta
prioridad al suministro oportuno de indicadores internacionales comparados
en la primera ola de informes de investigacin para cada recoleccin de
datos. Esto ha requerido que la produccin de los informes iniciales fuera
puesta en manos de un pequeo crculo centralizado de personas con las
competencias y experiencia requeridas para elaborar excelentes informes
muy rpidamente, una vez concluda la recoleccin de los datos.
Por el contrario, los estudios del SACMEQ fueron concebidos para dar
la ms alta prioridad a la formacin prctica de los equipos nacionales de
investigacin. El objetivo fue asegurar que los coordinadores nacionales de
investigacin del SACMEQ comprendieran y completaran cada paso del
proceso de investigacin de poltica educativa, incluyendo la conceptualizacin,
el diseo de la investigacin, la construccin de instrumentos, el muestreo,
la gestin de los datos, la calificacin de las pruebas, el anlisis de los datos
y los informes, independientemente de cunto tiempo tomara completar cada
una de estas etapas.
El problema con el enfoque del SACMEQ para dirigir una
investigacin internacional comparada ha sido que retrasa la entrega de
los informes iniciales de investigacin. Un ejemplo como ilustracin: en
el proyecto del SACMEQ II, los planificadores e investigadores de la
educacin de varios pases (Mozambique, Tanzania, Uganda, Zambia y
Zanzbar) tomaron cerca de dos aos para completar las fases de depuracin
de datos segn los estndares establecidos para el estudio. Esto retras la
conclusin de todos los informes de investigacin del SACMEQ, porque
se requiri disponer de los datos de todos los pases para completar el
329
www.iiep.unesco.org
escalonamiento y la calificacin de los datos de las pruebas aplicadas a

los estudiantes.
Recomendacin 4(e): los ministerios de educacin que participen en estudios
internacionales comparados sobre la calidad de la educacin deben reconocer
que la rapidez con la que se presentan los resultados de la investigacin
internacional comparada en una forma adecuada para su uso en el anlisis y
elaboracin de poltica depende de si se asigna la ms alta prioridad a la produccin
y presentacin de indicadores educativos internacionales comparados o a la oferta
de formacin prctica a los equipos nacionales de investigacin en todas las etapas
del proceso.
Mensajes del Grupo 5: necesidades y modalidades del

fortalecimiento de capacidades
La complejidad de la metodologa requerida para disear y ejecutar
investigaciones de poltica internacional comparada ha aumentado
significativamente durante los ltimos 50 aos. A fines de la dcada de
los cincuenta y comienzos de la de los sesenta, cuando los programas
iniciales de investigacin de la IEA estaban en pleno auge, la mayora de
los coordinadores nacionales de investigacin de la IEA no tenan acceso
a computadoras y slo un pequeo nmero de investigadores especializados
de la sede de la IEA tenan acceso a computadoras centrales (que tenan
pocos recursos, eran difciles de utilizar y contaban con un nmero limitado
de aplicaciones).
Este temprano entorno de investigacin constrasta significativamente
con las condiciones y expectativas actuales, en las que los planificadores
e investigadores de educacin (incluyendo a los de los pases en desarrollo)
deben saber cmo utilizar computadoras para: (1) formatear las pruebas
y los manuales para el trabajo sobre el terreno; (2) disear y sesleccionar
las muestras de escuelas y estudiantes; (3) introducir y depurar datos;
(4) calificar las pruebas y elaborar registros; (5) tabular y analizar datos;
(6) preparar informes; (7) registrar electrnicamente los datos de la
investigacin y los instrumentos relacionados; y 8) intercambiar
informacin y recursos de investigacin entre los pases participantes.
La era moderna ha visto tambin avances en la metodologa de la
investigacin. Por ejemplo, actualmente, los equipos de investigacin son
capaces de efectuar estudios internacionales comparados beneficindose
de las nuevas tcnicas de medicin educacional (por ejemplo, el
escalonamiento de Rasch y su aplicacin a pruebas superpuestas) y
330
www.iiep.unesco.org
nuevos sistemas informticos (por ejemplo, programas computarizados

para efectuar clculos de error muestral y potentes anlisis de datos
multinivel).
Todos estos avances tcnicos han exigido que los coordinadores
nacionales de investigacin y sus equipos tengan niveles de formacin y
experiencia mucho ms elevados en mtodos cuantitativos de investigacin
de poltica educativa basados en el uso de computadoras, lo que ha
generado la necesidad de ampliar las oportunidades de fortalecer las
capacidades nacionales de los planificadores e investigadores de la
educacin, especialmente en los pases en desarrollo.
Hubo tres mensajes del Foro de Poltica en relacin con las
necesidades de formacin de los participantes en estudios
internacionales comparados sobre la calidad de la educacin:
formacin en mtodos cuantitativos avanzados, formacin para la
adquisicin de competencias en la transmisin de informacin y utilizacin
de modalidades de formacin eficaces.
Mensaje 5(a): formacin en metodologas tcnicas avanzadas
Los participantes en el Foro de Poltica observaron que los estudios
internacionales comparados sobre la calidad de la educacin modernos se
haban tornado muy complejos, provocando la tentacin de centralizar en
grupos de expertos la responsabilidad de tomar la mayora de las decisiones
importantes acerca de cuestiones tcnicas. Los participantes advirtieron
que esta situacin aumentaba el riesgo de que algunos pases con equipos
de investigacin con menos conocimientos tcnicos pudieran ser excluidos
de importantes debates y decisiones acerca del diseo de la
investigacin.
Un ejemplo como ilustracin: el uso de la tcnica del condicionamiento
de la calificacin de la prueba se ha difundido mucho en los estudios
internacionales comparados sobre la calidad de la educacin. Esta tcnica
compensa las calificaciones de los estudiantes para dar cuenta de la
informacin suplementaria sobre un estudiante y su entorno educacional.
Algunos observadores cuestionaron esta prctica basndose en que parece
raro (e incluso injusto) compensar la calificacin de la prueba del
estudiante hacia abajo si el estudiante logra un puntaje muy alto y proviene
de un hogar relativamente desfavorecido y de un entorno escolar
relativamente pobre en recursos. Desafortunadamente, los procedimientos
tcnicos requeridos para implementar el condicionamiento y las
331
www.iiep.unesco.org
justificaciones para emplear este procedimiento son muy complejos. Por

consiguiente, los ministerios de educacin slo pueden hacer contribuciones
significativas en el debate sobre si se utiliza o no el condicionamiento si
cuentan con personal con un slido conocimiento sobre la teora moderna
de la respuesta al tem.
Hubo muchas otras decisiones importantes sobre el diseo de la
investigacin de la que los ministerios de educacin podran haber sido
excluidos, si hubieran carecido de equipos de investigacin con formacin
y experiencia avanzadas en tcnicas de construccin y escalonamiento,
muestreo, as como en la gestin y el anlisis de datos recolectados en
gran escala.
Algunas de estas decisiones importantes implican elegir entre diseos
de investigacin competitivos tales como: aplicar un muestreo basado
en la edad o un muestreo basado en el grado, emplear la misma prueba
para todos los estudiantes o formatos de pruebas rotatorios, administrar
una prueba de una hora a estudiantes de 10 aos o una prueba de dos
horas, basar el proyecto de pruebas en marcos de referencia curriculares
oficiales o en predicciones de los expertos sobre las necesidadaes futuras
de competencias, utilizar slo cuestionarios con respuestas de eleccin
mltiple u otros formatos de preguntas tales como respuestas abiertas o
preguntas prcticas, permitir el reemplazo de las escuelas elegidas que
no quieran participar o utilizar slo escuelas que acepten participar,
calificar los tems de las pruebas que no fueron respondidos como
incorrectos o calificarlos como sin respuesta, utilizar slo traduccin
directa de las pruebas, o utilizar traduccin directa e inversa, presentar
las calificaciones de las pruebas en formato de escalas numricas o
transformarlas en escalas descriptivas que reflejen los niveles de
competencia y reducir las ponderaciones muestrales extremas o dejarlas
tal como fueron calculadas.
Recomendacin 5(a): los ministerios de educacin que desean participar
plenamente en debates y decisiones de carcter metodolgico y tcnico importantes
relacionados con el diseo fundamental de estudios internacionales comparados
sobre la calidad de la educacin deben asegurar que sus equipos de investigacin
hayan sido formados en las metodologas y tcnicas punta relacionadas con: el
muestreo aplicado a encuestas; la elaboracin, el escalonamiento y la calificacin
de pruebas de rendimiento de estudiantes, as como en tcnicas de anlisis de
datos para la investigacin de poltica educacional.
332
www.iiep.unesco.org
Mensaje 5(b): formacion para la adquisicin de competencias

en la transmisin de la informacin
Varios participantes en el Foro de Poltica indicaron que muchos
ministerios de educacin que haban participado en estudios internacionales
comparados a menudo disponan de grandes cantidades de datos y muchos
informes de resultados de investigacin, pero que tenan capacidades
limitadas o carecan de ellas para transformar este material bruto en
agendas de poltica y accin justificables, viables y asequibles.
Se estuvo de acuerdo en que esta situacin ocurra porque los
planificadores e investigadores de la educacin carecan de la capacidad para
efectuar dos tareas esenciales en el campo de la investigacin de poltica
educacional:
1)
2)
anlisis secundarios de datos de manera dinmica, concentrndose

en los problemas emergentes y en las correspondientes preocupaciones
polticas de los responsables de la toma de decisiones de alto nivel y,
luego, uso de los resultados de estos anlisis para preparar propuestas
polticas que aborden estos problemas y preocupaciones;
sntesis de investigacin de la literatura disponible sobre investigacin
en materia de poltica y de otras fuentes de informacin (tales como
informes oficiales de gobiernos y documentos de poltica relacionados
con la administracin, el personal, la asignacin de recursos, el
currculo, el rendimiento de los estudiantes, el presupuesto, etc.) a
fin de disponer de un marco de referencia basado en la investigacin
para analizar, formular e implementar poltica.
Estas dos tareas requieren que los planificadores e investigadores de

la educacin tengan altos niveles de competencia terica, metodolgica
y tcnica en materia de: (1) anlisis de archivos de datos grandes y
complejos; (2) la transformacin de sntesis de datos en argumentos
relacionados con la poltica; (3) anticipacin de pedidos de informacin
y de sus potenciales vnculos con informacin disponible; (4) extraccin
de temas y mensajes a partir de la vasta literatura disponible en materia
de investigacin a fin de ofrecer orientacin para la accin concreta; y
(5) capacidad para explorar, revelar y difundir el significado detrs de
los datos.
La demostracin de estas competencias por parte de los planificadores
e investigadores de la educacin sugiere que adopten el estilo de trabajo
de un agente de informacin, actuando en la zona intermedia entre las
333
www.iiep.unesco.org
inquietudes polticas de los responsables de la toma de decisiones de alto

nivel en los ministerios de educacin y las fuentes de informacin
disponibles en el mundo. El trmino agente parece apropiado porque
este trabajo tiene como propsito permitir que los responsables de la toma
de decisiones se adelanten al mercado, de tal manera que puedan
aprehender las tendencias y oportunidades emergentes y, al mismo tiempo,
eviten riesgos innecesarios.
Recomendacin 5(b): los ministerios de educacin que desean manejar y
capitalizar el potencial de informacin en materia de poltica que surge de los
estudios internacionales comparados sobre la calidad de la educacin deben
asegurar que sus equipos de investigacin hayan recibido formacin para adquirir
las competencias de agentes de informacin, de modo que puedan realizar:
(1) anlisis secundarios de datos con fines polticos y (2) sntesis de investigacin
destinada a informar el anlisis, la formulacin y la implementacin de
poltica.
Mensaje 5(c): utilizacin de modalidades eficaces de formacin

Los participantes en el Foro de Poltica manifestaron cierta preocupacin
sobre el hecho de que la participacin en un estudio internacional comparado
sobre la calidad de la educacin ofreciera oportunidades de aprendizaje
prctico para fortalecer las capacidades de los planificadores e investigadores
de la educacin de los pases participantes, a fin de evitar la posibilidad de
que los pases fueran tratados como agencias de recoleccin de datos para
estudios diseados en otra parte.
Los participantes convinieron en que el fortalecimiento de capacidades
no se debera abordar aisladamente, sino como algo articulado en la
ejecucin de un estudio internacional comparado sobre la calidad de la
educacin real. En otras palabras, los estudios internacionales
comparados deben ofrecer experiencia a los planificadores e investigadores
de la educacin mediante el aprender haciendo, concentrado en una
formacin prctica que se brinde de tal manera que permita que los equipos
de investigacin de muy diferentes pases trabajen juntos, compartan sus
experiencias y aprendan unos de otros.
334
www.iiep.unesco.org
Recomendacin 5(c): los ministerios de educacin que participen en estudios

internacionales comparados sobre la calidad de la educacin deben asegurar que
sus equipos de investigacin reciban formacin mediante la modalidad del
aprender haciendo que ofrece: (1) formacin prctica en nuevas metodologas
de la investigacin; y (2) oportunidades de trabajar bajo una modalidad cooperativa
de aprender haciendo con sus contrapartes de otros pases.
Comentarios finales
En un mundo cada vez ms globalizado y competitivo hay un gran
inters en ofrecer Educacin para Todos, de tal manera que se reconozca
la necesidad de que todos los estudiantes reciban una educacin de alta
calidad en lo que respecta a las condiciones generales de educacin y los
niveles de rendimiento de los estudiantes. Este creciente inters ha sido
acompaado y estimulado por el lanzamiento de varios estudios
internacionales comparados sobre la calidad de la educacin que han sido
utilizados por los ministerios de educacin para monitorear y evaluar el
desempeo de los sistemas educativos en relacin con los estndares
nacionales de educacin y el rendimiento de la educacin de otros sistemas
educativos.
Este libro se prepar a partir de las contribuciones al Foro de Poltica
organizado conjuntamente por el Instituto Internacional de Planeamiento
de la Educacin y la InWEnt que se realiz en la sede del IIPE en junio
de 2004. El foro focaliz su atencin en las acciones que deben emprender
los ministerios de educacin, si desean lograr los mximos beneficios en
materia de poltica de su participacin en estudios internacionales
comparados sobre la calidad de la educacin. Ms de 50 participantes
provenientes de 20 pases asistieron al foro, incluyendo a ministros de
educacin, profesores, investigadores, planificadores, funcionarios de
ministerios de educacin, as como personal de alto nivel de las Naciones
Unidas y de otros organismos internacionales y de proveedores de
fondos.
Las ponencias, debates y sesiones abiertas para la formulacin de
conclusiones del Foro de Poltica cubrieron una amplia gama de temas
relativos a cmo planificar y gestionar exitosamente estudios internacionales
comparados sobre la calidad de la educacin. Este captulo final del libro
pas revista a todos estos insumos del Foro de Poltica y luego los sintetiz
en forma de Mensajes del Foro de Poltica y Recomendaciones
asociadas para la accin. Por ejemplo, algunas recomendaciones se refieren
335
www.iiep.unesco.org
a las medidas que deben adoptar los ministerios de educacin para facilitar,
apoyar y mejorar el trabajo tcnico y logstico de sus equipos de
investigacin. Otras identifican una gama de necesidades de difusin y
formacin, mientras que otras sugieren a los ministerios, organismos y
proveedores de fondos cmo organizar entornos en los que los pases
puedan trabajar juntos y aprender unos de otros.
Los Mensajes del Foro de Poltica y sus Recomendaciones
representan una rica fuente para futuros debates, tanto en el seno de los
ministerios de educacin como entre ministerios y con diversos asociados
externos. Por consiguiente, el IIPE y la InWEnt presentan este libro como
una contribucin a la creacin y expansin de oportunidades para promover
intercambios nacionales e internacionales que sirvan para fortalecer las
capacidades de los pases a fin de planificar y gestionar la calidad de la
educacin que ofrecen sus sistemas educativos.
Bibliografa
Anderson, L.W.; D.W. Ryan; B.J. Shapiro (Eds.). 1989. The IEA classroom
environment study, Oxford, UK: Pergamon Press.
Andrich, D.; G. Luo; K.N. Ross; M. Saito; S. Dolata. 2007. The scaling
and scoring of the SACMEQ Reading and Mathematics Tests for
Pupils and their Teachers. Second version of working paper, Paris:
IIEP-UNESCO.
Association for the Evaluation of educational Achievement.
Hanushek, E.A. 2005. Economic outcomes and school quality, Paris:
IIEP-UNESCO (Education Policy Booklet Series n. 4).
Luo, G.; D. Andrich; K.N. Ross; M. Saito; S. Dolata. 2007. Linking pupil
performance on the reading tests used by the Southern and Eastern
Africa Consortium for Monitoring Educational Quality (SACMEQ)
and the International Association for the Evaluation of Educational
Achievement (IEA). Second version of working paper, Paris:
IIEP-UNESCO.
Mullis, I.V.; M. Martin; T.A. Smith; R.A. Garden; K.D. Gregory;
E.J. Gonzalez; S.J. Chrotowski; K.M. OConnor. 2001. TIMSS
assessment frameworks and specifications 2003, Chestnut Hill, MA:
Boston College.
336
www.iiep.unesco.org
OECD. 2001. Knowledge and skills for life: First results from PISA 2000,
Paris: OECD.
Ross, K.N. 2005. Sample design. Quantitative research methods in
educational planning. Module 3, Paris: IIEP-UNESCO.
Ross, K.N.; M. Saito; S. Dolata; M. Ikeda; L. Zuze; S. Murimba;
T.N. Postlethwaite; P. Griffin. 2004. The conduct of the SACMEQ II
Project, Paris: IIEP-UNESCO.
Singh, M. 2004. Understanding Life Skills. Paper presented to the
Inter-Agency Working Group Meeting on Life Skills in EFA, Paris,
29-31 March 2004. Hamburg: UNESCO Institute for Education.
Sylla, K.; M. Saito; K.N. Ross. 2005. SAMDEM: Sample design manager
software. Users guide, Paris: IIEP-UNESCO.
UNESCO. 2000. Marco de accin de Dakar, Pars: UNESCO, 2000, p. 8.
UNESCO. 2004. Report of the Inter-Agency Working Group on Life Skills
in EFA, Paris: UNESCO.
UNICEF. 2005. Life skills. Bsqueda: 10 de noviembre de 2005 en:
www.unicef.org/lifeskills
Versin en espaol: Aptitudes para la vida. Bsqueda: 10 de junio
de 2008:
www.unicef.org/spanish/lifeskills/index_whichskills.html
Werquin, P. 2004. Education and skills: a presentation on the OECD
perspective on life skills, en: UNESCO (Ed.).2004. Report of the
Inter-Agency Working Group on Life Skills in EFA, Paris: UNESCO,
p. 3.
World Health Organization (WHO). 1999. Partners in life skills education:
Conclusions from a United Nations Inter-Agency Meeting, Geneva:
World Health Organization (WHO/MNH/MHP/99.2). Cf.:
www.who.int/mental_health/media/en/30.pdf
337
www.iiep.unesco.org
APNDICE
Lista de participantes
www.iiep.unesco.org
Participantes en el Foro de Poltica del IIPE y la

InWent sobre Estudios internacionales sobre la
calidad de la educacin: la planificacin de su
diseo y la gestin de su impacto
Pars, 17-18 de junio de 2004
Ahmed Al-Arashi
Monitoreo y Evaluacin
Ministerio de Educacin
Sanaa, Yemen
Ibrahim Al-Houthy
Investigador principal
Sanaa, Yemen
Mohammed Al-Khateeb
Director General del Gabinete del Ministro de Educacin
Sanaa, Yemen
Hamoud M.G. Al-Seyani
Director Tcnico del proyecto de Educacin Bsica
Sanaa, Yemen
Hamid Alawhadi
Delegado permanente
Delegacin Permanente de Yemen ante la UNESCO
Pars, Francia
Ibrahima Bah-Lalya
Especialista principal de programa
Instituto Internacional de Planeamiento de la Educacin (UNESCO)
Pars, Francia
341
www.iiep.unesco.org
Apndice
Herbert Bergmann
Asesor tcnico
Gesellschaft fr Technische Zusammenarbeit (GTZ)
[Sociedad de Cooperacin Tcnica de Alemania]
Sanaa, Yemen
Franoise Caillods
Subdirectora
Pars, Francia
Zangazanga Chikhosi
Secretario principal
Ministerio de Educacin, Ciencia y Tecnologa
Lilongwe, Malawi
Stephanie Dolata
Especialista adjunta de programa
Pars, Francia
Carola Donner-Reichle
Directora de Desarrollo Social
Internationale Weiterbildung und Entwicklung (InWEnt)
Bonn, Alemania
Brahm Fleisch
Profesor Asociado
Universidad de Witwatersrand
Witwatersrand, Sudfrica
Pierre Foy
Investigador principal
IEA Data Processing Centre
Hamburgo, Alemania
Patrick Griffin
Profesor de Educacin
Universidad de Melbourne
Melbourne, Australia
342
www.iiep.unesco.org
Apndice
Aletta Grisay
Consultora independiente
Pars, Francia
Miyako Ikeda
Analista de poltica
Organizacin para la Cooperacin y el Desarrollo Econmicos (OCDE)
Pars, Francia
Ingrid Jung
Jefa de la Divisin de Educacin
Bonn, Alemania
Ilona Jrgens Genevois
Especialista adjunta de programa
Pars, Francia
Thomas Kellaghan
Director del Education Research Centre
St. Patricks College
Dubln, Irlanda
Carlos Lauchande
Tcnico en estadstica
Instituto Nacional para el Desarrollo de la Educacin
Maputo, Mozambique
Rainer Lehmann
Profesor de Medicin e Investigacin de la Educacin
Universidad de Humboldt
Berln, Alemania
Carl Lindberg
Subsecretario de Estado
Ministerio de Educacin y Ciencia de Suecia
Estocolmo, Suecia
343
www.iiep.unesco.org
Apndice
Pirjo Linnakyl
Profesora de Educacin
Universidad de Jyvskyl
Jyvskyl, Finlandia
Douglas Lynd
Especialista principal de programa
Instituto de Estadstica de la UNESCO (UIS)
Montreal, Canad
Demus Makuwa
Planificador principal de Educacin
Windhoek, Namibia
Carlos Malpica
Consultor independiente
Lima, Per
Lomthandazo Mavimbela
Director Ejecutivo
Education Foundation
Johannesburgo, Sudfrica
Katharina Michaelowa
Directora de Programa
Hamburg Institute of International Economics
Hamburgo, Alemania
Saul Murimba
Director
Consorcio del frica Oriental y Meridional para el Monitoreo de la Calidad
de la Educacin (SACMEQ)
Harare, Zimbabwe
John Mutorwa
Ministro de Educacin
Ministerio de Educacin Bsica
Windhoek, Namibia
344
www.iiep.unesco.org
Apndice
Kilemi Mwiria
Viceministro de Educacin
Nairobi, Kenya
Arnaldo V. Nhavoto
Coordinador del Centro de Investigacin en Educacin
Universidad Pedaggica
Maputo, Mozambique
Juliana Nzomo
Oficial regional de programa
Aga Khan Foundation
Nairobi, Kenya
Daniel N. Odongo
Subsecretario
Uganda National Examinations Board
Kampala, Uganda
Ana Passos
Responsable del Departamento de Formacin Docente
Instituto Nacional de Desarrollo de la Educacin
Maputo, Mozambique
Laura Paviot
Investigadora invitada
Pars, Francia
Katharina Petri
Consultora independiente
Bernrieg, Alemania
Mary Joy Pigozzi
Directora
Divisin de Promocin de la Calidad de la Educacin (UNESCO)
Pars, Francia
345
www.iiep.unesco.org
Apndice
Profesor (Emrito)
Universidad de Hamburgo
Hamburgo, Alemania
Kenneth Ross
Coordinador, Gestin Tcnica de Proyectos
Pars, Francia
Jeanne Rubner
Periodista
Sddeutsche Zeitung
Mnich, Alemania
Mioko Saito
Especialista de programa
Pars, Francia
Andreas Schleicher
Jefe de la Divisin de Indicadores y Anlisis
Organizacin para la Cooperacin y el Desarrollo Econmicos (OCDE)
Pars, Francia
Alette Schreiner
Subdirectora General
Ministerio de Educacin e Investigacin
Oslo, Noruega
Khadim Sylla
Especialista adjunto de programa
Pars, Francia
Directora de proyecto
Instituto Nacional de Evaluacin de la Educacin
Roma, Italia
346
www.iiep.unesco.org
Apndice
N.V. Varghese
Responsable de la Unidad de Formacin
Pars, Francia
Herald Voorneveld
Delegado Adjunto permanente
Delegacin Permanente de los Pases Bajos ante la UNESCO
Pars, Francia
Joachim Wagner
Especialista en Educacin
Gesellschaft fr Technische Zusammenarbeit (GTZ)
[Sociedad de Cooperacin Tcnica de Alemania]
Zomba, Malawi
Ulrike Wiegelmann
Administradora Principal de Proyecto
Bonn, Alemania
Yanhong Zhang
Especialista de programa
Instituto de Estadstica de la UNESCO (UIS)
Montreal, Canad
Linda Zuze
Investigadora invitada
Instituto Inernacional de Planeamiento de la Educacin (UNESCO)
Pars, Francia
347
www.iiep.unesco.org
ndice alfabtico
frica francfona
246
Agrupamiento por competencias
292
Alemania
274
Aprendizaje a lo largo de toda la vida
292
Calidad de la educacin
41, 43-45, 285
frente a equidad
287
marco de referencia
48
Calidad del estudio (buen estudio)
111
Camern
256
Capacidades
afectivas
155
mentales de orden superior
153
Cobertura
169-170
Conexiones entre investigacin y poltica
30-31, 280-282
CONFEMEN
247-249
Costos
199
estudio principal
213-221
impresin
217-218
personal
200-203
recursos materiales
204
Cte dIvoire
256
Cuestiones (preguntas) de poltica
62-67, 111-117, 128-139, 276
Descentralizacin
290
Diferencias regionales
276
Difusin
estrategias
235-236
retroalimentacin a partir de
237-239, 328-329
Diseo
141, 317
Estudios de la IAEP
79, 96
Estudios del IALS
80
Estudios de la IEA
76-78, 94, 269
Estudios del PASEC
247-249
Estudios del PISA
81-82, 263, 286
Estudios del SACMEQ
83, 94-95, 128, 229
Evaluaciones
internacionales comparadas
54, 61, 72
nacionales
54, 59, 72
348
www.iiep.unesco.org
ndice alfabtico
nuevas tendencias en
156 -158
Exmenes
estndares
233
pblicos
58
Fases
ensayo sobre el terreno
204-205
estudio principal
213
Finlandia
259
Fortalecimiento de capacidades
134-135, 330-332
Guinea
252-254
Impacto
259, 274, 321-322
Kenya
229, 237, 240
Madagascar
256
Mecanismos de monitoreo
54
Medicin
122-124, 143-161, 302-307
Medios de comunicacin (prensa, radio, tv)
248, 251, 260-263,
284, 289, 325, 327
Muestreo
correlacin intraclase (coeficiente)
184-185
diseo muestral
171-172, 311
errores
192-196
estratificacin
174-176
etapas
172-173
exclusiones
169-171
marco muestral
173
mediciones del tamao
177
muestreo mediante la PPT
178-180
no respuesta
188-190
poblaciones objetivo
87, 116, 167, 312
ponderaciones
186, 190-191, 315-316
tamao de la muestra
182-186, 313-315
unidades
172-173
Namibia
229, 238-239, 241
PIRLS
78, 169-170, 173, 185-186, 188
Presentacin de los resultados
90, 131-132, 159, 326-327
Productos educacionales
151
Propiedad (participacin)
136, 326-327
Recursos humanos
200
Redes
27-28
Rendicin de cuentas
131, 290
349
www.iiep.unesco.org
ndice alfabtico
Repblica Centroafricana
Resultados de la investigacin
controvertibles
importantes
informes
reformas basadas en
Senegal
Sindicatos de profesores
Tablas de clasificacin
Tamao del conglomerado
Taxonoma
TIMSS
Togo
Traduccin
Unidades de anlisis
Validez
Variables explicativas
256
230
230
126, 260-261
239-243, 246, 266, 280
249-252
254, 260-262, 278, 306
90
185
144
27, 78-79, 91, 93, 303-304
252-254
124, 206-207
168-169
84-85, 159-160
148-151
350
www.iiep.unesco.org
Publicaciones y documentos del IIPE

El Instituto Internacional de Planeamiento de la Educacin ha publicado ms de 1.200
ttulos sobre los diferentes aspectos de la planificacin de la educacin. stos figuran en
un catlogo completo que presenta los siguientes temas:
Planificacin de la educacin y cuestiones globales

Estudios generales cuestiones globales y de desarrollo
Administracin y gestin de la educacin
Descentralizacin participacin educacin a distancia mapa escolar
profesores
Economa de la educacin
Costos y financiacin empleo cooperacin internacional
Calidad de la educacin
Evaluacin innovacin supervisin
Distintos niveles de la educacin formal
Desde la educacin primaria hasta la superior
Estrategias alternativas de educacin
Educacin permanente educacin no formal grupos desfavorecidos educacin
de gnero
Para obtener el catlogo, dirjase a la:

Unidad de Comunicacin y Publicaciones del IIPE
info@iiep.unesco.org
Los ttulos y resmenes de las publicaciones ms recientes se pueden consultar
en el sitio del IIPE en la Web:
www.iiep.unesco.org
www.iiep.unesco.org

El Instituto Internacional de Planeamiento de la Educacin (IIPE), creado por la UNESCO
en 1963, es un centro internacional de formacin e investigacin avanzada en el campo
de la planificacin de la educacin. La financiacin del IIPE es asegurada por la contribucin
de la UNESCO y por donaciones de los Estados Miembros. Durante los ltimos aos, los
Estados Miembros que han brindado contribuciones voluntarias al Instituto son los
siguientes: Australia, Dinamarca, Finlandia, India, Irlanda, Islandia, Malasia, Noruega,
Pases Bajos, Suecia y Suiza.
El objetivo del Instituto es contribuir al desarrollo de la educacin en el mundo
mediante la difusin del conocimiento y la oferta de profesionales competentes en el
campo de la planificacin de la educacin. En esta perspectiva, el Instituto coopera con
las organizaciones de formacin e investigacin interesadas de los Estados Miembros. El
Consejo de Administracin del IIPE, que aprueba su programa y presupuesto, se compone
de un mximo de ocho miembros elegidos y cuatro miembros designados por la
Organizacin de las Naciones Unidas, as como por algunos de sus organismos
especializados e institutos.
Presidente:
Raymond E. Wanner (EE.UU.)
Asesor Principal del Vicepresidente de Programas sobre cuestiones relativas a la
UNESCO, Fundacin de las Naciones Unidas, Washington, DC, EE.UU.
Miembros designados:
Manuel M. Dayrit
Director, Departamento de Recursos Humanos para la Salud, Organizacin Mundial
de la Salud, Ginebra, Suiza
Ruth Kagia
Directora de Educacin, Banco Mundial, Washington DC, EE.UU.
Diry Seck
Director, Instituto Africano de Desarrollo Econmico y Planificacin, Senegal
Jomo Kwame Sundaram
Secretario General Adjunto para el Desarrollo Econmico de las Naciones Unidas,
Departamento de Asuntos Econmicos y Sociales, Nueva York, EE.UU.
Miembros elegidos:
Aziza Bennani (Marruecos)
Embajadora y Delegada Permanente de Marruecos ante la UNESCO
Birger Fredriksen (Noruega)
Consultor sobre Desarrollo de la Educacin del Banco Mundial
Ricardo Henriques (Brasil)
Asesor especial del Presidente, Banco Nacional de Desarrollo Econmico y
Social
Takyiwaa Manuh (Ghana)
Directora, Instituto de Estudios Africanos, Universidad de Ghana
Philippe Mehaut (Francia)
LEST-CNRS, Aix-en-Provence, Francia
Tuomas Takala (Finlandia)
Profesor, Universidad de Tampere, Tampere, Finlandia
Xinsheng Zhang (China)
Viceministro de educacin, China
Las consultas sobre el Instituto deben dirigirse al:
Secretariado del Director, Instituto Internacional de Planeamiento de la Educacin,
7-9, rue Eugne Delacroix, 75116 Pars, Francia
www.iiep.unesco.org

Calidad de La Educ

Hochgeladen von

Dokumentinformationen

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Calidad de La Educ

Hochgeladen von

Copyright:

Verfügbare Formate

Estudios internacionales sobre la calidad de la educacin:

la planificacin de su diseo y la gestin de su impacto

Estudios internacionales sobre

Las designaciones empleadas y la presentacin del material en este

Ttulo original: Cross-national studies of the quality of education. Planning

Diseo de la portada: Sabine Lebeau

Lista de abreviaciones y siglas

Lista de cuadros, grficos y recuadros

Introduccin: orgenes y contenido del Foro de Poltica

Parte I: Antecedentes de los estudios internacionales sobre la calidad

Qu es la calidad de la educacin? (Desde la perspectiva de la UNESCO) 41

Qu mecanismos de monitoreo se pueden utilizar para efectuar estudios

Cules son los principales estudios internacionales comparados?

Qu es un buen estudio internacional comparado?

Qu es lo que piensan realmente los ministros de educacin

Qu se debe medir en un estudio internacional comparado?

Capacidades mentales de orden superior que se deben medir

A quin se debe medir en un estudio internacional comparado?

Cules son los costos nacionales de un estudio internacional comparado?

Parte III: Administrar el impacto de los estudios internacionales comparados

Cmo pueden pasar los pases de los resultados de la investigacin

Cmo puede manejar un pas el impacto de resultados excelentes

Cmo puede un pas manejar el impacto de resultados pobres

Cmo pueden trabajar las organizaciones internacionales con los medios

En qu se concentraron los medios de comunicacin?

Parte IV: Conclusin

Principales mensajes del Foro de Poltica

Apndice: Lista de participantes

Sobre los autores

Sobre los autores

Aletta Grisay (Blgica), graduada en Filosofa y Letras, efectu la mayor

Sobre los autores

Rainer Lehmann (Alemania) es catedrtico de Medicin e Investigacin

Sobre los autores

des systmes ducatifs de la CONFEMEN (PASEC), un programa que realiza

Sobre los autores

sostenible, educacin para la paz y los derechos humanos, educacin para

Sobre los autores

cubre la poltica nacional y se ocupa fundamentalmente de temas

Lista de abreviaciones y siglas

Educacion para Todos

Education for All

Lista de abreviaciones y siglas

Medida del tamao

Evaluacin Nacional del

Lista de abreviaciones y siglas

Programa de las Naciones UNDP

Consorcio del frica

Southern and Eastern

Item Response Theory

Fondo de las Naciones

Lista de cuadros, grficos y recuadros

Un marco de referencia para la calidad de la educacin

Comparaciones mltiples de los puntajes nacionales

Comparacin de los resultados nacionales en matemtica

Niveles de competencia de los estudiantes y profesores

Mtodo sistemtico de muestreo mediante la PPT

Cuadro para el diseo muestral del PIRLS 2006

Grfico 14.1 La calidad y la equidad de la educacin

Los niveles de competencia en ciencias de la IAEP

reunin se acord que los ministerios de educacin especialmente aquellos

Antecedentes. Estas ponencias comienzan con una visin de conjunto

Las Sesiones Abiertas del Foro de Poltica consistieron en grupos

Introduccin: orgenes y contenido