S

DOCUMENTOS Laboratorio Latinoamericano de Evaluacin de la calidad de la educacin
Los sistemas de medicin y evaluacin de la calidad de la educacin V. Arancibia
UNESCO
Presentacin
El Laboratorio es la Red de los Sistemas de Medicin y Evaluacin de la Calidad de la Educacin de los pases Latinoamericanos, cuya coordinacin ha sido confiada a la UNESCO (Oficina Regional de Educacin para Amrica Latina y el Caribe). El Laboratorio se constituye como un marco regional de concertacin entre los pases en el mbito de la Evaluacin en Educacin y como apoyo tcnico en recursos humanos y bases de datos a disposicin de los pases. Adems, funciona como foro de discusin tcnico-poltica sobre el aprendizaje y las variables que en l inciden y como generador de conocimientos en este campo. Los objetivos del Laboratorio consisten en generar estndares regionales, establecer un sistema de informacin y de diseminacin de los avances en relacin con ellos, desarrollar un programa de investigaciones sobre las variables asociadas a la calidad de la educacin bsica y fortalecer la capacidad tcnica de los Ministerios de Educacin en el rea de la Evaluacin de Calidad Educativa. Adems, el Laboratorio tiene como objetivo realizar estudios comparativos sobre Calidad de la Educacin en
Lenguaje evaluacin
Matemtica vinculada a
promover
estudios
internacionales sobre temas especiales, tales como la objetivos transversales, multiculturalidad y competencias sociales.
Por qu la serie Documentos? La serie Documentos del Laboratorio tiene como propsito principal poner a disposicin de un pblico ms amplio su experiencia presente y acumulada sobre los tpicos anteriormente indicados. La serie corresponde a publicaciones tcnicas y de desarrollos conceptuales elaborados por especialistas en Medicin, Evaluacin, Educacin, Didctica de la Lengua Materna y Matemtica y otras reas propias del mbito de competencia del Laboratorio. La serie se orienta a fortalecer y apoyar el desarrollo de una red de informacin sobre la Evaluacin de la Calidad Educativa y temas vinculados a ella. Se espera que estas publicaciones sean de gran utilidad para investigadores, profesores, especialistas en los Ministerios de Educacin y para todos aquellos que trabajan en el campo de la Evaluacin de la Calidad de la Educacin.
Introduccin
La educacin, considerada como un proceso de transformacin que involucra cambios entre los factores y los productos, debe contar con un sistema de control que permita saber cmo ste est operando, si los productos finales se adecuan a los estndares de calidad preestablecidos, qu tan eficiente es la operacin del proceso, etc. Como el proceso educativo es prolongado en trminos de tiempo, deben hacerse controles intermedios para asegurar que los nios estn aprendiendo bien y as evitar que aprendizajes de mala calidad sigan en el proceso sin que se corrijan sus defectos y hacerse un control final para asegurar que los jvenes estn aprendiendo de acuerdo con las necesidades y expectativas de la sociedad.
Obviamente, medir los conocimientos de los estudiantes no resultar por s mismo en un mayor rendimiento acadmico. Sin embargo, constituye una condicin necesaria para poder: (i) establecer objetivos cuantitativos, (u) evaluar diferentes alternativas para la asignacin de recursos, combinacin de insumos y/o tecnologas pedaggicas y (iii) asignar recursos y esfuerzos para lograr los objetivos que se hubieran definido (Horn, Wolff y Vlez, 1991). El objetivo de este documento es la descripcin de la situacin actual de los sistemas nacionales de evaluacin en Amrica Latina y del Laboratorio Latinoamericano de
Por lo tanto, los sistemas educativos se pueden organizar de dos formas. Una es continuar enseando a los nios sin obtener informacin de lo que estn aprendiendo. La otra, es instituyendo un sistema nacional de medicin del rendimiento acadmico para supervisar el aprendizaje del estudiante y obtener informacin para mejorarlo. Si bien hoy en da la mayora de los sistemas educativos estn organizados de la primera manera, la situacin est cambiando. Muchos pases, entre los cuales se encuentran varios de Amrica Latina, han reconocido las posibilidades que brinda el medir el rendimiento acadmico como base para mejorar la calidad de la - educacin. Sin embargo, poner en marcha mecanismos semejantes no es tarea fcil. Hacerlo bien requiere experiencia compromiso tcnica, de las recursos financieros y el instituciones involucradas
Evaluacin de la Calidad de la Educacin. La informacin bsica que aqu se expone proviene de cuestionarios que fueron enviados a los distintos pases que participan en el Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin. Esa informacin fue complementada por la revisin de documentos donde se han expuesto diversas caractersticas de estos sistemas. El documento se estructura en los siguientes puntos: Breve anlisis conceptual de lo que entenderemos, por una parte, por calidad de la educacin y, por la otra, por sistemas nacionales de medicin o evaluacin. Descripcin de los sistemas nacionales de evaluacin, basada en la informacin que posee el Laboratorio. Descripcin del Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin. Conclusiones.
(Psacharopoulos, 1992). Las evaluaciones educativas constituyen
posiblemente una forma eficaz, en funcin de los costos, de ayudar a mejorar los resultados del aprendizaje.
Anlisis conceptual de calidad de la educacin y sistemas nacionales de medicin
El concepto de calidad
apreciaciones de la calidad pueden ayudar a superar el problema de la falta de equidad en el servicio educativo, al identificar las escuelas ms carentes y que consecuentemente requieren acciones concretas que les permitan mejorar la calidad de la Educacin entregada a los sectores ms desfavorecidos en lo cultural, social y econmico. Las autoridades encargadas de las decisiones educacionales deben ser sensibles a la idea de que son responsables (accountable) de favorecer o desfavorecer la equidad, por la va de su mayor o menor eficiencia. Los resultados de la determinacin de los niveles y calidad del aprendizaje constituyen tambin un elemento vlido para percibir la eficiencia de la gestin de los sistemas y su efecto sobre la equidad. En sntesis, las caractersticas de un sistema de evaluacin orientado a la toma de decisiones en relacin a la calidad de la educacin son: Clara definicin de metas, preferiblemente
n general se suele abordar el concepto de calidad a travs de dos una de ellas procura discutirlo y definirlo en forma constitutiva o conceptual y la segunda se centra en la operacionalizacin de la calidad y se refiere ms propiamente al nivel de logros en Educacin. Este ltimo enfoque emplea a menudo el trmino calidad como sinnimo de otros conceptos afines, tales como efectividad y eficiencia. Bajo esta perspectiva se alcanzan opciones para la determinacin de la calidad de la Educacin y la formulacin de polticas para su mejoramiento. Los aspectos ms relevantes y consensuales de la calidad de la Educacin son los siguientes: La necesidad de efectuar apreciaciones diagnsticas acerca de los niveles y calidad existentes, lo que implica la determinacin del nivel de logro de los objetivos educacionales y la estimacin de las habilidades y destrezas adquiridas por los educandos en la escuela. Aunque la calidad no es posible determinana con exactitud, principalmente por las limitaciones de las formas de operacionalizarlas utilizadas en las diferentes aproximaciones al problema, las informaciones disponibles acerca de la repitencia, desercin, relevancia curricular y magnitud del efecto de la Educacin en el desarrollo social, apuntan a que la calidad de los sistemas educativos latinoamericanos es deficiente. La calidad aparece ligada al problema de equidad. En efecto, la calidad de la Educacin que reciben los sectores ms pobres es notoriamente diferencias ms sociales baja, y acentuando econmicas. las Las -
proximaciones diferentes:
especificadas como objetivos operacionales. Distincin de fines y medios. Hiptesis causal o modelo conceptual acerca de las relaciones medios-fines que considere los factores relevantes. Perspectiva de largo plazo, especialmente en planificacin. Programas educacionales relativamente estables para que lo que se evales sea la relacin medio-fin y no la inestabilidad de los programas Clara identificacin de las instancias de toma de decisin.
mismas. Los juicios pueden apuntar al valor de Sistemas de evaluacin de la calidad de la educacin Analizaremos qu se entiende por sistema de evaluacin o medicin de la calidad de la educacin, cules son las ventajas, los propsitos y las caractersticas centrales que debieran tener estos sistemas, para as poder despus hacer una evaluacin sobre lo que efectivamente se observa en la realidad latinoamericana. Sistemas de evaluacin o sistemas de medicin? En este trabajo sostendremos que los sistemas nacionales han de ser de evaluacin y no de medicin, entendiendo que la medicin est incluida en el concepto de evaluacin. Tomaremos la definicin de evaluacin ms universal que es aquella dada por Beeby (1977) quien sostiene que la evaluacin es la recoleccin e interpretacin sistemtica de evidencias orientadas, Cabe mencionar que la evaluacin no es una prueba externa que intente suplantar la responsabilidad de los profesores en la evaluacin estudiantil. como parte del proceso, a un juicio de valor con un foco de accin. Destacan cuatro elementos en esta definicin. En primer lugar, el uso del trmino sistemtica implica que la informacin necesaria ser definida con algn grado de precisin y que se asegurar que sea planificada y reunida en forma permanente. El segundo elemento clave de la definicin dice relacin con la interpretacin de la evidencia; es decir, que no slo debe ser recogida la informacin, sino que debe adems ser interpretada y esto requiere de un especial cuidado. El tercer elemento corresponde a que en la evaluacin se emite una juicio de valor. La evaluacin no significa solamente reunir e interpretar informacin sobre cun exitoso es un programa educacional en alcanzar sus metas, sino que tambin requiere juicio sobre las metas Se diferencian en que fundamentalmente la investigacin contribuye a producir nuevos conocimientos, sin necesariamente referencia a decisiones prcticas; en cambio la evaluacin tiene inherente un foco de accin. Por otra parte los resultados de la investigacin pueden generalizarse, mientras que la evaluacin produce conocimientos especficos para un grupo particular. Esta ltima est centrada en los adelantos de cada estudiante ya sea para fines de diagnstico, de clasificacin y/o de promocin. Finalmente, tambin estamos distinguiendo evaluacin de investigacin que, aunque tienen caractersticas en comn, La medicin, en cambio, se refiere al proceso de medir, sin que hay aun valor en el objeto a medir. Adems la medicin en educacin es realizada con el propsito de realizar comparaciones entre individuos de acuerdo a alguna caracterstica. En la evaluacin, no es necesario ni deseable hacer comparaciones entre estudiantes individuales, porque interesa ms, por ejemplo, la efectividad de un programa. los programas , currculos o instituciones evaluadas, como asimismo a decisiones de futuras polticas o acciones. El ltimo elemento de la definicin dece relacin con un foco de accin; es decir, que en la evaluacin hay un juicio deliberadamente enfocado a las acciones futuras y a la toma de decisiones.
Para algunos autores la evaluacin educativa proveera retroalimentacin a quienes trabajan en los currculos, profesores y administradores, para que ellos tomen debe producir decisiones ser dirigida en cuanto al mejoramiento del programa. Otros piensan que la evaluacin pretende hacia estudios de comparativos experimentales, formales. Es decir se informes educacionales impacto pblico como resultado (Cronbach, 1963). La evaluacin del sistema educativo no se refiere nicamente a evaluar el logro escolar. El proceso educativo se basa en la interrelacin de objetivos, experiencias de aprendizaje y evaluacin estudiantil; por tanto, las posibilidades de evaluar el sistema dicen relacin con evaluacin de objetivos, de los docentes, de los factores que influyen en el proceso directores (textos, de establecimientos, establecimiento, padres, etc.) ambiente, -
indicadores de desempeo para diferentes tipos de estudiantes, escuelas individuales o grupos de escuelas y Efectividad de polticas: indicadores de la efectividad de un conjunto especfico de polticas adoptadas para el mejoramiento escolar (Lockheed, 1991). En consecuencia los sistemas nacionales de evaluacin debieran presentar al menos las siguientes caractersticas: Proveer informacin del sistema como un todo, no acerca de los estudiantes individuales. Incluir mediciones del aprendizaje escolar, de la historia de los estudiantes y de los factores y los procesos escolares, de loque permite quelos datos la evaluacin sean usados en el anlisis de
polticas educacionales. Monitorear el logro del sistema escolar a travs del tiempo, es decir, determinar si el sistema est haciendo o no progresos hacia sus metas. Usar medidas de logro de aprendizaje estudiantil. Los resultados deben ser divulgados a una variedad de audiencias: educadores, padres y pblico en general. En sntesis, una evaluacin nacional del rendimiento escolar expresa la actuacin acadmica de los estudiantes de un pas o regin y evala el progreso efectuado por escuelas, distritos escolares,
caractersticas personales de los alumnos como autoestima, influencia familiar, condiciones de vida, gasto en educacin, nutricin. La evaluacin del logro escolar corresponde, sin embargo, a la medicin del efecto que tiene el sistema sobre los estudiantes y es el requisito que permite confrontar los diversos factores que influyen en su rendimiento. El logro, de algn objetivo o conducta, es la meta del proceso educativo: se busca que el estudiante durante su permanencia en el sistema adquiera o desarrolle caractersticas que no posea al entrar al proceso.
En sntesis, las evaluaciones educacionales proveen de tres tipos de informacin: Desempeo del sistema: indicadores de cmo lo est haciendo el sistema educacional, como un todo, para alcanzar las metas propuestas; Desempeo de estudiantes y escuelas:
municipios o estados para lograr las metas de los programas de estudio y otras metas del sistema educativo. Las evaluaciones tambin pueden ser diseadas para identificar reas problemticas en el rendimiento acadmico y recomendar formas de mejoramiento del aprendizaje (Horn, Wolif y Vlez, 1991).
Por su parte, los estudios internacionales comparados, como los que realizar el Laboratorio, incluyen a millares de estudiantes que se someten a pruebas estandarizadas, previamente validadas, basadas en sus programas o adaptadas a otras necesidades intra o
extra escolares. Las pruebas tienen por objeto determinar el rendimiento del alumno en forma tal que pueda cuantificarse, adaptarse y compararse con el de otros pases y correlacionarse con otros indicadores de rendimiento, tales como la estructura de los
planes de estudio, la idoneidad del profesorado, las Cuadro 1 tecnologas de enseanza, los recursos escolares, etc. La El gran riesgo que existe en Amrica Latina es no utilizar los resultados de las evaluaciones en programas que permitan el mejoramiento de la calidad de la educacin. Por ello es fundamental al momento de formular los objetivos asegurarse que los resultados influirn en la toma de decisiones. Para ello es fundamental un trabajo conjunto con los Etapas de un sistema nacional de evaluacin Las etapas que debe considerar el establecimiento de un sistema nacional de evaluacin son: - Determinar objetivos y costos. Establecer un sistema de administracin para apoyar el proceso de evaluacin. tomadores de decisin del sector educacional y una divulgacin de los resultados que considere a la opinin pblica como parte del proceso. Para que las evaluaciones puedan ser orientadas a la toma de decisiones debe existir un sistema de evaluacin de la calidad de la educacin que sea continuo y peridico, de tal manera que sus resultados puedan ser usados efectivamente en la toma de decisiones. Adems se debe considerar el Seleccionar pruebas apropiadas. Disear y administrar instrumentos. Difundir los resultados de las pruebas y retroalimentar el sistema. Apoyar investigaciones complementarias. Asegurarse que los resultados de las evaluaciones se tomen en cuenta al momento de tomar decisiones a nivel local y nacional. contexto y la estructura de la toma de decisiones polticas y administrativas a la cual los resultados de la evaluacin contribuir. Y, por ltimo, debe realizarse una ampliacin del anlisis contextual de los proyectos educacionales considerando tambin las situaciones organizacionales e institucionales del sistema de evaluacin, de la relacin entre evaluadores y tomadores de decisiones.
finalidad de estos estudios es ofrecer un modelo lo suficientemente amplio para que puedan apreciarse los efectos globales de la enseanza sobre el aprendizaje.
Sistemas nacionales de evaluacin en Amrica Latina Antecedentes Los pases que en este momento estn desarroliando sistemas de medicin de calidad de la educacin son los siguientes: Argentina, Bolivia, Brasil, Chile, Colombia, Costa Rica, El Salvador, Honduras, Mxico, Paraguay, Repblica Dominicana y Venezuela. El cuadro 1 muestra cuando comenzaron estos estudios en los distintos pases.
Colombia y Repblica Dominicana. El Sistema Nacional de Medicin del Logro Educativo Pas Argentina Bolivia Brasil Chile Colombia Costa Rica El Salvador Honduras Mxico Paraguay Repblica Dominicana Venezuela 1993 1996 1988 1988 1991 1995 1993 1990 1994 1995 1992 1995 de Costa Rica se ha desarrollado en tres etapas. La primera se desarroll desde 1986 a 1988 como una iniciativa del Instituto de Investigacin para el Mejoramiento de la Educacin Costarricense (IIMEC) de la Universidad de Costa Rica. En esta etapa se elaboraron pruebas con referencia a criterios con carcter diagnstico, censal en 3_, 6_, 9_y 1 1_ grados en Espaol, Ciencias, Matemtica y Estudios Sociales. En el ao 1988 se produjeron las siguientes variantes: las pruebas fueron administradas a una muestra nacional, no se aplicaron en 110 grado y se incluyeron las asignaturas de Ingls y Francs para 9 grado. En la segunda etapa se produjo el desarrollo y administracin de pruebas con referencia a normas con carcter sumativo en 1 L grado (a partir de 1988) llamadas Pruebas de Bachillerato y en 6_grado (a partir de 1989) (Esquive!, 1992). Las pruebas de Bachillerato fueron elaboradas por el LI.M.E.C en base a un temario aprobado por el Consejo Superior de Educacin, mientras que las pruebas para 6 grado fueron preparadas en cada una de las regiones educativas con directrices del Departamento de Evaluacin del Ministerio de Educacin Publica. La tercera etapa, se inici en 1993, continuando con las pruebas sumativas y agregando pruebas con referencia a criterios en 3 y 90 grados, diagnsticos y aplicadas Esta informacin muestra que los sistemas de medicin comenzaron a desarrollarse a partir de 1988. Adems, muchos pases los iniciaron En Repblica Dominicana, en cambio, la posteriormente, lo que indica un bajo nivel de experiencia acumulada en general en la regin. Prcticamente en todos los pases han existido algunas experiencias que sirven como antecedentes al desarrollo de los sistemas de medicin. Sealaremos aqu algunos de los ejemplos ms destacables de la regin: Costa Rica, Chile, nacional. experiencia desarrollada se basa en la aplicacin de pruebas de promocin elaboradas por Tcnicos de la Secretara de Estado de Educacin, Bellas Artes y Cultos (SEEBAC) por varias dcadas. Estas pruebas eran obligatorias al terminar 6 y 8 grado de la primaria y el 4 ao del bachillerato. Sin embargo, ellas fueron discontinuadas el ao 1973 a una muestra nacional
Fuente: Laboratorio Latinoamericano de Medicin de Calidad de la Educacin. Cuestionario Sistema Nacional de Medicin del Rendimiento en el ciclo bsico en los pases que participan en el Laboratorio Latinoamericano de Medicin de Calidad de la Educacin. 1995.
Similar a este es el caso de Colombia, ya que este pas cuenta con un sistema de exmenes de admisin a la universidad los cuales se podran utilizar para fines de evaluacin desde el ao 1959. Desde esa fecha hasta 1968, el sistema funcion como un programa de orientacin profesional. En 1968, se creo el Servicio Nacional de Pruebas de Colombia (SNP) para administrar un examen de admisin a la universidad para todos los graduados de la secundaria que quisieran entrar a la universidad. En 1984, el SNP implant un examen las cuales fueron administrada de admisin a las escuelas
secundarias pblicas de Bogot para asignar un nmero de plazas limitado. Hasta 1986, estos exmenes de admisin midieron aptitudes (razonamiento verbal, matemtico y abstracto). Desde 1987, incluyen pruebas de conocimientos adquiridos en Matemtica, idioma Espaol, Ciencias Sociales y Ciencias Naturales. Todas las pruebas son del tipo de seleccin mltiple con cuatro respuestas posibles para cada pregunta
Finalmente, revisaremos el caso de Chile. En ste existen tres experiencias de medicin de calidad de la educacin desarrolladas con anterioridad al SIMCE (sistema de medicin actual que comenz el ao 1988). La primera corresponde a la medicin nacional del rendimiento acadmico que se desarroll entre 1968 y 1971, en el marco de la reforma educacional de los aos 60. A fines de 1968 se llev a cabo la primera Prueba Nacional de Octavo grado (...) Tanto esta prueba como la del ao siguiente permitieron cumplir este primer objetivo de difusin entre los maestros de los tipos de conocimiento que la reforma deseaba impulsar en l.
La segnda experiencia de medicin de calidad de la educacin se desarroll entre los aos 1982 y 1984, a travs del Programa
3
de
Evaluacin
del
Rendimiento Escolar PER el cual tena como objetivo ser una herramienta para hacer efectiva la descentralizacin, trasladando la iniciativa sobre mejoramiento educacional a los colegios y escuelas, al proporcionarles informacin detallada y de buena calidad sobre los rendimientos de sus alumnos, desagregada por objetivos. El gran supuesto era que los profesores podan mejorar la calidad de la educacin, si se daban cuenta de los problemas de aprendizaje de sus alumnos. Poco tiempo despus, el Centro de Perfeccionamiento, Experimentacin e Investigaciones
La prueba de 1970 permiti medir con precisin el rendimiento de los nios. Este ao se aplicaron, adems, encuestas a los alumno, profesores y directores. El anlisis del conjunto de antecedentes permiti establecer la importancia de que los nios tuvieran textos y una adecuada nutricin y se logr contar, entonces, con elementos que permitan reasignar los recursos de acuerdo a su impacto en el rendimiento de los alumnos. La prueba se aplic por ltima vez en 1791
Pedaggicas (CPEIP), una dependencia del Ministerio de Educacin, elabor el Sistema de Evaluacin de la Calidad de la Educacin (SECE), con el objetivo de identificar factores que pudieran usarse para mejorar la calidad de la educacin en la educacin preescolar, primaria y secundaria. El SECE tuvo una duracin muy corta porque tena una infraestructura dbil y contaba con pocos recursos. La prueba se administr slo una vez, en 1986, examinndose a 9.300 estudiantes de octavo grado en 300 escuelas
A modo de sntesis, entonces, observamos que en general en los pases de Amrica Latina, la medicin de la calidad de la educacin, entendida como sistemas nacionales, no se desarrollaron hasta mediados de los aos 80. Anteriormente, se haban registrado evaluaciones que, por una parte, eran limitadas y especificas y, por otra, eran utilizadas para la promocin y el acceso a niveles educacionales superiores. A continuacin nos referiremos en detalle a las caractersticas de los sistemas de evaluacin de la calidad de la educacin en Amrica Latina. Propsitos y objetivos de los sistemas de medicin Un aspecto importante del que es necesario dar cuenta es el de los propsitos y objetivos de estos sistemas de medicin. Es decir, es necesario responder a la pregunta de porqu y para qu se realizan estos sistemas de medicin de la calidad. Este dato es relevante para la posibilidad de evaluacin de estos sistemas, para ver si estn cumpliendo sus fines y objetivos. Finalmente, estos objetivos son centrales porque ayudan a definir, posteriormente, las caractersticas tcnicas de los sistemas y sus instrumentos. En general, el propsito de evaluar el aprendizaje a nivel nacional es expresar el rendimiento acadmico de los estudiantes de una nacin o regin, evaluar el progreso efectuado por las escuelas, los distritos escolares, los municipios o los estados mismos para alcanzar las metas de sus programas escolares u otras del sistema educativo, identificar problemas en los programas de estudio, la instruccin en la sala de clases y el comportamiento de los estudiantes en el pas. Las evaluaciones educacionales pueden ser
diseadas para diferentes propsitos y el objetivo de la evaluacin determinar su diseo. Larach y Lockheed (1992) identifican los propsitos ms comunes de la evaluacin: Seleccionar estudiantes para continuar en el sistema educativo. Certificar logros estudiantiles. Monitorear las tendencias de logro a travs del tiempo. Evaluar polticas o programas educacionales especficos. Mantener informacin del rendimiento escolar en escuelas y regiones. Diagnosticar aprendizaje. Consideracin de varios propsitos simultneamente. Algunos autores consideran que no es apropiada la ltima alternativa (es decir, tener objetivos mltiples), ya que buscar ms de un propsito en una evaluacin educativa generalmente no permite un diseo ptimo del sistema, de forma que ninguno de los objetivos se alcanza satisfactoriamente. Al evaluar un programa, parece razonarble determinar si ste cumple con sus objetivos propuestos. De all que uno de los primeros pasos de un sistema de evaluacin nacional sea formular sus objetivos claramente y encontrar 1 medidas confiables para ello y usar la informacin del logro escolar para juzgarlos. En el cuadro 2 podemos ver los propsitos y objetivos de los sistemas de medicin en los diferentes pases de Amrica Latina. necesidades individuales de
Cuadro 2 Propsitos de la evaluacin Pas Argentina Insumo para toma de decisiones de poltica Objetivos de los sistemas de medicin Misin del SINEC: producir en forma permanente informacin relevante acerca de los aprendizajes alcanzados por los alumnos en todos los niveles, ciclos, regmenes y modalidades del sistema educativo argentino y las variables institucionales y socioculturales asociadas a dichos aprendizajes, de modo de retroalimentar los procesos de evaluacin y toma de decisiones por parte de las diversas instancias y actores involucrados en la accin educativa.
Medicin de calidad de la educacin
Brasil
Insumo para toma de decisiones de poltica
Insumo para el maestro sobre nivel de aprendizaje de alumnos Servicio de informacin para alumnos y padres Medicin de calidad de la educacin Formulacin de polticas de mejoramiento Chile Insumo para toma de decisiones de poltica Insumo para el maestro sobre nivel de aprendizaje de alumnos Servicio de informacin para alumnos y padres Medicin de calidad de la educacin Objetivos del SIMCE: entregar resultados sobre la calidad del proceso educativo que se imparte, para que as, cada establecimiento en particular y las autoridades, en gene-ral, puedan guiar la toma de decisiones para el buen funcionamiento, regulando las condiciones del aprendizaje, la participacin y la distribucin equitativa de los recursos.
Colombia
Insumo para toma de decisiones de poltica Insumo para el maestro Servicio de informacin Medicin de calidad
Costa Rica
Insumo para toma de decisiones de poltica Insumo para el maestro Servicio de informacin Medicin de calidad de la educacin Graduacin de tercer ciclo y graduacin de la educacin media Insumo para toma de decisiones de poltica Insumo para el maestro Medicin de calidad Retroalimentacin del currculo
El objetivo principal es emplear la informacin obtenida para proponer y ejecutar medidas correctivas, en el mbito del aula, de la direccin de la escuela y el colegio y de la supervisin circuital.2
El Salvador
Los dos objetivos principales para la recoleccin de estos datos (medicin de 1994) fueron: 1) establecer un promedio del alcance de aprendizaje del estudiante que ser til para evaluar el proceso en los prximos aos; y 2) proporcionar informacin a los esfuerzos de mejorar el sistema educativo del Proyecto SABE (Solidificacin del Alcance de Educacin Bsica) y el Ministerio de Educacin.3
Pas Honduras poltica
Propsitos de la evaluacin Insumo para toma de decisiones de Insumo para el maestro Servicio de informacin Medicin de calidad Logro de rendimientos bsicos
Objetivos de los sistemas de medicin Los objetivos son: a) monitorear y dar seguimiento permanente a la implementacin progresiva del nuevo modelo educativo nacional; b) conocer los estados de calidad del comportamiento de los diferentes actores internos del pro-ceso y la gestin educativa; c) evaluar la incidencia de la relacin de los elementos constituyentes del proceso y en base a ella procurar el mejoramiento de la calidad de interaccin de los factores que influyen en el resultado del proceso de aprendizaje de los alumnos; d) manejar informacin base para fundamentar y justificar la toma de decisiones; e) suministrar informacin para orientar y optimizar el uso de los recursos en el logro de las prioridades del sistema educativo nacional; y f) proveer informacin analtica para mejorar la accin de supervisin tcnico pedaggica.
Mxico educativa
Insumo para decisin de poltica Los objetivos son: 1) detectar las variaciones que se presentan en el nivel de aprendizaje de los alumnos de Educacin primaria durante el perodo de accin Insumo para el maestro del PARE, a travs de mediciones peridicas, con el Medicin de calidad propsito de lograr la conformacin de series histricas de datos de estos niveles, en las entidades involucradas y a su vez obtener informacin que sirva de insumo para efectuar la Evaluacin del Impacto del Programa; 2) obtener un diagnostico sobre los procedimientos de evaluacin que utiliza el docente en el aula, a fin de disear e implantar estrategias encaminadas a elevar la calidad de dichos procesos y 3) proponer el diseo, validacin e implantacin de lineamientos que propicien la autoevaluacin escolar y la difusin de resultados de aprendizaje en la comunidad escolar, as como el uso adecuado de los mismos, considerando la utilidad de estos para orientar, modificar y ratificar estrategias dirigidas a elevar su calidad.5 Evaluar la eficacia y eficiencia del Sistema Escolar Producir informacin vlida, confiable y oportuna Difundir los resultados Crear la capacidad de utilizacin de las Informaciones. Los objetivos generales son: 1) contribuir al mejoramiento de la calidad de la Educacin Paraguaya, con la provisin permanente de informacin, confiable y oportuna que permitan juzgar alternativas y tomar decisiones, en torno a las polticas educativas del pas; 2) valorar los insumos que inciden en la calidad de la educacin, a fin de retroalimentar las diferentes instancias; 3) consolidar el proceso de la Reforma Educativa; 4) identificar factores que expliquen las diferencias en los resultados de la medicin del rendimiento acadmico; 5) mantener bases de datos con las informaciones recogidas que promuevan investigaciones educativas.
Paraguay
Repblica Promocin de 1 a 2 ciclo Dominicana Insumo para toma de decisiones de poltica Insumo para el maestro Servicio de informacin Medicin de calidad Promocin de nivel bsico a medio
Los objetivos del Sistema de Pruebas Nacionales son: a) elevar la calidad de la educacin; b) integrar a los padres de familia a la escuela y a los procesos de enseanza y aprendizaje; c) producir y hacer llegar a los educandos y a los educadores textos escolares, cuadernos de trabajo o guas actualizadas; d) desarrollar una intensa actividad de capacitacin de educadores, especialmente de aquellos que no tienen titulo docente; e) hacer efectiva la supervisin escolar; f) lograr un mayor esfuerzo del educando y una mejor preparacin en este ao escolar; g) lograr un mayor esfuerzo cualitativo por parte del educador; h) lograr un mayor esfuerzo de los Asesores Tcnicos de la SEEBAC, de las Direcciones Regionales y Distritos Escolares, para que apoyen el aula; 1) lograr que las universidades apoyen con una actividad concreta el mejoramiento de la calidad de la Educacin Dominicana.7
Venezuela
Insumo para toma de decisiones de poltica Insumo para el maestro Medicin de calidad
Fuente: Laboratorio Latinoamericano de Medicin de Calidad de la Educacin. Cuestionario Sistema Nacional de Medicin del Rendimiento en el ciclo bsico en los pases que participan en el Laboratorio Latinoamericano de Medicin de Calidad de la Educacin. 1995. 1 Ravela, P. A. (1994). Bases conceptuales del sistema nacional de evaluacin de la calidad de la educacin bsica y media. Documento preparado por solicitud de la Direccin Nacional de Evaluacin Subsecretaria de Evaluacin de la Calidad / Ministerio de Cultura y Educacin de la Nacin. Argentina. 2 Esquivel, J.M. (1993). Sistema de Medicin de Logros de! Aprendizaje en Costa Rica. Costa Rica. ~ Ministerio de Educacin de Costa Rica (1994). Informe de Evaluacin del Rendimiento en 3 y 40 grado de educacin bsica en lenguaje y matemtica basado en la aplicacin nacional de pruebas de abril de 1994. Direccin Nacional de Educacin, Direccin de Diseo de Currculo, Proyecto SABE: Solidificacin del Alcance de Educacin Bsica. ~ OEI. (1994). Evaluacin de los Sistemas Educativos. Informes Nacionales 1. 27 y 28 de octubre. Buenos Aires, Argentina. ~ Direccin General de Evaluacin y de Incorporacin y Revalidacin. Direccin de Evaluacin del Proceso Educativo. Programa para Abatir el Rezago Educativo. Componente 11. Evaluacin del Aprendizaje. Informe de Resultados. Primer Levantamiento de Datos.(Informe de la evaluacin de 1992). 6 Informacin extrada de Ministerio de Educacin y Culto. Informaciones sobre el Sistema Nacional de Evaluacin del Proceso Educativo . SNEPE. Material Preparado para el Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin. Junio, 1996. ~ Reyes, R. M. y Grman, A. (1992). Hacia el establecimiento de un Sistema de Pruebas Nacionales. Naturaleza, Proceso y Logros. Documento presentado en el Seminario Regional sobre Sistemas Nacionales de Medicin del Logro Educativo. 31 de agosto al 4 de septiembre. Santiago, Chile.
Se puede observar, a modo de sntesis, que en general los objetivos de los sistemas de medicin buscan establecer la calidad de la educacin en sus respectivos pases, para poder as establecer o
ayudar a definir polticas de mejoramiento de la calidad de la educacin. Los sistemas de evaluacin se presentan como una fuente esencial de informacin para la toma de decisiones ya sea a
nivel de las autoridades centrales de los distintos pases o a nivel de profesores, en la definicin de cambios de prcticas instruccionales o de mejoramiento de la enseanza. Tambin se observa que los distintos sistemas de evaluacin de la calidad tienen como meta al
menos uno de los posibles objetivos identificados por Larach y Lockheed (1992) que sealamos ms arriba y que, adems, los distintos pases tienen propsitos mltiples, lo que podra significar una disminucin en la calidad de la informacin posible de obtener.
Instrumentos Se entiende por calidad de la educacin, en los sistemas nacionales de evaluacin, el logro que obtienen los estudiantes en diversas pruebas que miden conocimientos y habilidades que deberan haber sido enseados (de acuerdo con los programas de los Ministerios) en su paso por la escuela. Si la educacin recibida es de buena calidad, entonces los alumnos obtienen buenos resultados y viceversa: ese es la premisa fundamental de los sistemas de medicin. Ahora bien, como ya vimos en los objetivos, los sistemas de medicin no buscan solamente saber cul es el nivel de la calidad de la educacin en sus pases, sino que tambin estn interesados por conocer cules son los factores asociados a los distintos niveles de rendimiento obtenidos por los estudiantes para as poder efectivamente ayudar en la definicin de polticas educacionales, dado que eso permite saber lo que realmente est afectando el buen funcionamiento del sistema educacional.
directores, profesores, padres e incluso a los mismos alumnos.
En evaluaciones nacionales, sin embargo, lo principal es la evaluacin de las reas bsicas de habilidades, las cuales generalmente estn dadas por lenguaje y matemtica. Otras reas son frecuentemente evaluadas, pero tienen segunda prioridad. A este respecto es conveniente sopesar los costos y la capacidad tcnica que implica la evaluacin de varias asignaturas; la eleccin de las asignaturas est relacionada con el propsito de la evaluacin. En el cuadro 3 se muestran las asignaturas y habilidades sociales que son consideradas en las pruebas de rendimiento a los alumnos, los cuestionarios aplicados a otras personas y el tipo de informacin que se obtiene de ellos. A partir de la informacin presentada se
Para poder obtener informacin que permita dar respuesta al primer objetivo, los sistemas de medicin elaboran pruebas adecuadas a los grados en que son medidos los estudiantes en diversas materias. Las ms comunes son: Lenguaje, Matemtica, Ciencias y Estudios Sociales.
puede concluir, entonces, que en general los sistemas nacionales de evaluacin en Amrica Latina slo pueden medir la calidad de la educacin, pero no pueden identificar los factores asociados al logro de los estudiantes. Sin esta informacin es poco factible que los
Para poder obtener informacin sobre los factores asociados, en cambio, es necesario conseguir otro tipo de informacin, para lo cual se aplican cuestionarios a distintos agentes que puedan estar influyendo en el nivel educacional de los alumnos y se controlan diversas variables de inters. Para esto, se suelen aplicar cuestionarios a los
sistemas de medicin puedan ayudar efectivamente en la elaboracin de polticas educacionales o en el desarrollo de investigacin educativa, ya que slo se puede conocer qu saben los alumnos y no qu explica esos niveles de rendimiento. Con este tipo de informacin, probablemente lo nico que se puede hacer es describir la situacin de la
educacin, identificar con detalle qu saben y qu no saben los alumnos y tal vez entregar sugerencias pedaggicas y metodolgicas a los profesores, pero no pueden desarrollar polticas que, a travs ie
intervencin, permitan focalizar los gastos mejorar lo que efectivamente no funciona. todo caso, este tema de la utilizacin de los resultados lo veremos con detalle ms adelante.
Pas Argentina
Cuadro 3 Asignaturas y habilidades medidas Lenguaje: espaol Matemtica Ciencias Sociales Ciencias Naturales Lenguaje: lengua materna (portugus). Matemtica Ciencias Naturales Lenguaje: espaol Matemtica Ciencias Sociales Ciencias Naturales Autoestima Actitudes hacia el ambiente Estrategias de aprendizaje Aceptacin de la labor educacional Lenguaje: espaol Matemtica Ciencias Sociales (en experimentacin) Ciencias Naturales (en experimentacin) Lenguaje: espaol Matemtica Ciencias Sociales Ciencias Naturales Ingls / francs Aptitud fisica (desde 1995) Socioafectivo (desde 1996) Lenguaje: espaol Matemtica Lenguaje: espaol Matemtica Ciencias Sociales Ciencias Naturales Lenguaje: espaol Matemtica Ciencias Sociales Ciencias Naturales Ingls/francs (se trabaja por asignatura especifica)
Cuestionarios cuestionarios a padres cuestionarios a directores cuestionarios a profesores cuestionarios a alumnos cuestionario a directores cuestionario a profesores cuestionario a alumnos cuestionario a la escuela cuestionario al director (ficha de empadronamiento) aceptacin de la labor educacional para padres, profesores y alumnos
Brasil
Chile
Colombia
Costa Rica
El salvador Honduras
Mxico
cuestionario al director (infraestructura escolar y condiciones socioeconmicas de la comunidad) cuestionario a los profesores mtodos y tcnicas de evaluacin a los alumnos)
Pas Paraguay
Asignaturas y habilidades medidas Comunicacin Matemtica Lenguaje: castellano y/o guaran Vida Social y Trabajo2 Medio Natural y salud Ciencias Naturales Ciencias Sociales
Cuestionarios Encuestas estructuradas a: alumnos directores docentes padres
. Republica Dominicana
Lenguaje: espaol Matemtica Ciencias Sociales Ciencias Naturales Lenguaje: espaol Matemtica Caractersticas personales y socioeconmicas
Venezuela
Fuente: Laboratorio Latinoamericano de Medicin de Calidad de la Educacin. Cuestionario Sistema Nacional de Medicin del Rendimiento en el ciclo bsico en los pases que participan en el Laboratorio Latinoamericano de Medicin de Calidad de la Educacin. 1995. 1 Secretaria de Educacin Pblica. Evaluacin del Aprendizaje. Informe de Resultados Primer levantamiento de datos. 2 Las pruebas de Vida Social y Trabajo y Medio Natural y Salud se aplicaran alternadamente a los alumnos de primer ciclo. Las pruebas de Ciencias Naturales y Ciencias Sociales se aplicaran alternadamente a los alumnos de segundo ciclo.
Aplicacin de los instrumentos Estudios transversales vs longitudinales
rendimiento tales como regin geogrfica, tipo de establecimiento, estudiantes. nivel socioeconmico de los
Se puede dar una amplia variedad de combinaciones de los niveles escolares en que se aplicar la medicin, dependiendo del nmero de cursos o grados del sistema y del propsito de la evaluacin. En todo caso, hay dos grandes posibilidades en las evaluaciones. La primera, es aquella donde la evaluacin se aplica en un solo nivel escolar: estudios transversales. Este tipo de evaluacin permite comparar estudiantes entre ellos, as como tambin escuelas y regiones o distritos escolares. Si lo que se evala es un solo programa escolar y una sola metodologa, este enfoque permitira inferir en que lugar ste se aplica en forma ms efectiva y si existen factores que influyen en el
El segundo tipo de evaluacin es aquella que se aplica en ms de un nivel educacional, lo que corresponde a los estudios longitudinales, en el cual la investigacin se realiza a raves del tiempo. Si se define enseanza como el cambio en la conducta o habilidades, para poder determinar en qu medida se produce este cambio, es necesario confrontar al menos dos mediciones en el tiempo, pudiendo comparar una situacin inicial y una final. Al aplicar evaluaciones educativas en dos cursos o grados diferentes es posible determinar cmo est actuando el sistema escolar en los estudiantes, determinando qu cambios se producen en su conducta y conocimientos y habilidades.
Segn Wolf (1990) es esencial en un sistema de evaluacin la recoleccin de informacin en el estado inicial de los estudiantes y posteriormente despus de un perodo de instruccin, porque despus es imposible inferir el estado inicial de los estudiantes. Es importante tambin evaluar la factibilidad de que estas investigaciones sean llevadas a cabo, puesto que el sistema de evaluacin aumentar sus costos considerablemente al incrementar el nmero de niveles escolares evaluados. Si se adopta la evaluacin de dos niveles escolares es recomendado por Horn, Wolf y Vlez (1991) elegir el ltimo ao del sistema (primario o secundario) y algn nivel intermedio. De acuerdo a Carroll (1993) las evaluaciones nacionales deben evaluar los mayores hitos de la educacin. Sin embargo, la evaluacin de ms de tres o cuatro niveles corre el riesgo de no procesar adecuadamente la informacin reunida. En Gran Bretaa se evalan los niveles 7, 11 y 14 y en los Estados Unidos los niveles 9, 13 y 17. En ambos casos representan niveles de transicin. En el cuadro 4, podemos observar los grados o cursos en los que son aplicados los instrumentos a los alumnos en los diferentes pases de Amrica Latina. En general, existen mediciones para cursos tanto de educacin primaria como de educacin secundaria, los que representan niveles intermedios de enseanza como grados de trmino de ciclos acadmicos. No tenemos informacin sobre la periodicidad de la aplicacin de las pruebas, pero se puede suponer que las mediciones se realizan todos los aos para todos los cursos mencionados. La excepcin a esto es Chile, donde la medicin para 4 y 8 grados se produce en forma alternada; es decir, un ao se mide a los 4 bsicos y el ao siguiente al 8 grado. La medicin en 2 grado de enseanza secundaria, en cambio, se realiza todos los aos desde 1993.
Cuadro 4 Pas Argentina Brasil Grados en que se aplican las pruebas 3, 7, 9 y 12 grados 1990 y 1993: la, 3, 5 y 7 series de la Enseanza Fundamental (E. de la Bsica) Enseanza y a partir de 1995, se agregan 4 y 8 serie Fundamental, adems de 2 y 3 serie de la enseanza media. Chile Colombia Costa Rica El Salvador Honduras Mxico Paraguay Republica Dominicana Venezuela 3, 6 y 9 grados 4 y 8 de educacin bsica y 2 de educacin secundaria 3, 5, 7 y 9 grados 3, 6, 9, 11 y 12 grados de 1 a 6 grados de 1 a 6 grados todos los grados (de 1 a 9) 3 y 6 grados 4 y 8 grados
Mediciones censales vs longitudinales Otra caracterstica importante de destacar en este punto es si las mediciones realizadas son censales o si por el contrario, son aplicadas a una muestra de la poblacin. Es decir, el tema de la cobertura de los sistemas nacionales de evaluacin. La determinacin de la cobertura de la evaluacin est relacionada con el propsito de ella, considerando el costo que representa. La decisin de la cobertura de la evaluacin corresponde a dos reas: cobertura geogrfica y nivel de muestreo. En cuanto a la cobertura geogrfica debe decid irse si la evaluacin se aplica a todo el pas o slo en algunas regiones. En este punto es importante considerar que pueden existir notables diferencias regionales en el rendimiento, por ejemplo entre la capital de un pas y una regin selvtica o montaosa de difcil acceso, o si la zona es urbana o rural, o si el lenguaje autctono de la regin es diferente a la lengua oficial. El otro punto corresponder a si la prueba se aplicar a toda la poblacin de la regin seleccionada o a una muestra de la poblacin del lugar. Las alternativas son evaluar a toda la poblacin o slo a una muestra de ella. Evaluacin a toda la poblacin: este tipo de evaluacin corresponde a un censo y debe utilizarse cuando el propsito es de seleccin y certificacin de estudiantes. La realizacin de un censo significa mayor costo y dificultad en la recoleccin y anlisis de datos y se aconseja slo cuando es estrictamente necesario evaluar a todos los estudiantes. Tambin se
un censo puede mostrar una realidad desconocida en algunas partes pequeas de la poblacin y que no hubiera sido posible detectar en un muestreo. Evaluacin de una parte de la poblacin: cuando la distribucin de la poblacin es relativamente homognea, lo que ms conviene es trabajar sobre una muestra de la poblacin. Si los objetivos del sistema de evaluacin nacional son nicamente hacer un seguimiento del desempeo de los estudiantes a nivel nacional y proporcionar informacin para mejorar la calidad de la educacin especialmente determinando que tan bien se cumplen los objetivos de los programas de estudio y como debera modificarse la asignacin de recursos lo ms apropiado es usar una muestra bien diseada y seleccionada que pueda proporcionar gran parte de la informacin que se recoge con un censo, pero a un costo y un esfuerzo bastante ms bajos. Adems si las muestras estn bien diseadas, pueden proporcionar a lo menos alguna informacin a los docentes y a las escuelas (pero no a los estudiantes) sobre su actuacin. Horn, WolfyVlez(1991)advierten en este punto que la muestra deber ser cientficamente estratificada, con base en un marco muestral actual, construido para la poblacin objetiva y representativa de todos los estratos pertinentes. De no ser as la evaluacin puede dar resultados muy inexactos y confusos. A continuacin analizaremos qu tipo de cobertura realizan los distintos sistemas de medicin de los que tenemos informacin. En Argentina la medicin se realiza a una
requiere una evaluacin censal cuando se quiere realizar un diagnstico individual a los estudiantes. Muchas veces cuando la poblacin es muy heterognea
muestra, la cual se justifica como la ms eficiente tanto en trminos de costos como de oportunidad.
La opcin por la enumeracin completa (censo) implicara un operativo de mayor envergadura, con altsimos costos y fuertes requerimientos de personal especializado.
5
En el caso de Costa Rica, las mediciones han sido diferentes. Las mediciones de los aos 1986 y 1987 fueron censales para toda la poblacin de nios y jvenes matriculados en los grados tercero, sexto, noveno y undcimo. Por razones econmicas y de conveniencia para el Ministerio de Educacin Pblica se decidi aplicar las pruebas en el ao 1988, a una muestra estratificada por regin educativa y por tipo de escuela o colegio. No tenemos referencias sobre esta materia para las mediciones posteriores. En el caso de Chile, la medicin se realiza, en 4 y 8 grado, de manera censal, llegando a cubrir a ms del 90% de las escuelas del pas. La aplicacin en 2 grado de educacin secundaria, en cambio, es muestra! en la definicin de los alumnos pero censal si se considera a las escuelas. En Mxico, para la medicin realizada en 1993 la poblacin objeto de estudio estuvo constituida por las escuelas de educacin primaria general, indgena y cursos comunitarios en los estados de Chiapas, Guerrero, Hidalgo y Oaxaca. El estado de Michoacn particip como grupo control. Para la seleccin de la muestra del primer levantamiento de datos se consider un diseo polietpico estratificado y aleatorio simple, definiendo como unidad muestral la escuela. En Paraguay, finalmente, la medicin se realiza a
Para
los
operativos
nacionales de 1993 y 1994, el universo investigado es el conjunto de alumnos que en la Argentina cursaron, en 1993 y 1994, el ltimo grado de la enseanza primaria comn y el ltimo ao en la enseanza media en las modalidades de bachillerato, comercial y tcnica. Se ha excluido del universo la enseanza primaria especial, as como algunas especialidades del nivel medio (especial, adultos, artstica, etc.). La muestra utilizada en estas mediciones es aleatoria, estratificada (por jurisdiccin, mbito y modalidad) y por conglomerado. La seleccin se hace en una etapa. El diseo muestral que se propone es, en general, el muestreo aleatorio estratificado en una sola etapa de seleccin. Esto es vlido para las siguientes unidades de observacin: docentes (maestros y profesores directores en ambos niveles de enseanza). En cambio, el diseo es complejo en el caso de los alumnos (ambos niveles) y las familias (nivel primario). Se denomina complejo a un diseo muestral que combina dos o ms tcnicas simples de muestreo. En el caso de las unidades de observacin de alumnos y familias, el diseo muestra! previa
7 6
propuesto con el
combina muestreo
la por
estratificacin
conglomerados.
En El Salvador, por otra parte, las pruebas de los grados 3 y 4 se administraron a los alumnos que estn comenzando Por los grados razn, de la 4 y 5 respectivamente. esta poblacin
una muestra, dado que ofrece mayor ventaja en cuanto a la sostenibilidad, menor costo y menor resistencia de los docentes a la medicin.2 La seleccin se realiza entre los ltimos cursos de cada ciclo de la Educacin Secundaria (esto es, 3 y 6 grados). La medicin se realiza alternadamente en cada uno de estos grados. Por otra parte, los aos 1999 y 2002 se aplicarn las pruebas en forma censal, que permitir hacer un seguimiento a los efectos de la reforma y comparar los resultados alcanzados por los alumnos de una misma cohorte.3
seleccionada se define como todas las escuelas pblicas que tienen estudiantes en los grados 4 y 5. Se incluyeron solamente las escuelas que, de acuerdo con las estadsticas de matrcula, tienen al menos 7 alumnos en cada uno de los grados. Se uso una estrategia de muestreo proporcional, mantenindose la seleccin representativa al interior de cada uno de los Departamentos.8
En trminos generales, entonces, podemos sealar que la mediciones en Amrica Latina se han realizado preferentemente a muestras de la poblacin y dependiendo de los objetivos de los estudios, estas muestras han sido referidas a la nacin o a estados especficos. La aplicacin de la muestra parece ser una forma menos costosa de medicin y que permite obtener resultados que sirven de igual manera, tanto para la determinacin de la calidad de la educacin, como para ayudar en la determinacin de polticas educacionales.
Costa Rica El Salvador Honduras Mxico Paraguay Repblica Dominicana Venezuela
X X X X2 X3 X 4
Aspectos tcnicos de los instrumentos En la mayora de los pases a todos los alumnos se les hacen las mismas pruebas. Sin embargo, en varios de ellos se especifica que se aplican pruebas paralelas o de distintas formas. Cuadro 5 Pas Argentina Brasil Chile Colombia S X X Xl No X
Fuente: Laboratorio Latinoamericano de Medicin de Cali dad de la Educacin. Cuestionario Sistema Nacional de Medicin del Rendimiento en el ciclo bsico en los pases que participan en el Laboratorio Latinoamerica no de Medicin de Calidad de la Educacin. 1995. 1 Hay distintas formas. 2 Para 4, 5 y 6 se usan formas complementarias. En secundaria se usan 3 formas paralelas por grado asignatura. 3 Versiones paralelas y equivalentes. 4 No se ha definido.
Caractersticas de la medicin Las pruebas aplicadas a los alumnos pueden diferir dependiendo de cules son los aspectos que se quieren averiguar con ellas y de las diferentes formas de medir los mismos objetivos. Existen bsicamente dos formas de pruebas: las pruebas de aptitud y las pruebas de rendimiento.
Las pruebas de aptitud tienen como fin medir la capacidad de los estudiantes para adquirir nuevos conocimientos y aptitudes acadmicas y para aplicar principios acadmicos de tipo general necesarios para tener xito en la educacin. Las pruebas de rendimiento, en cambio, son herramientas de evaluacin usadas para medir el logro de los estudiantes respecto de los resultados cognitivos propuestos por la escolarizacin (Haertel, 1990). Estas pruebas han demostrado predecir mejor el desempeo futuro de los sucesivos niveles educativos. Por otro lado, como las pruebas de rendimiento se ajustan a los programas de estudio, la estrategias para mejorar la actuacin de los estudiantes en una determinada asignatura son ms evidentes (Horn, WolffyVlez, 1991). En las evaluaciones educativas nacionales, normalmente, se usan las pruebas de rendimiento, las que son exmenes o tests que sirven para medir hasta qu punto se adquieren ciertos conocimientos o los estndares preescrtos. Estas pruebas tienen tambin la ventaja de poder predecir los futuros niveles de instruccin con ms precisin que otras pruebas, tales como la de aptitud por ejemplo. En esta parte se incluyen distintas caractersticas sobre la forma de medir que tienen los instrumentos administrados a los alumnos. Una primera caracterstica se refiere al tipo de ejercicio, la cual presenta una doble dimensin: por una parte, se refiere a silos ejercicios son por escrito, orales o prcticos y por otra parte, si se realizan en forma individual o grupa!. Una segunda caracterstica se refiere a la identificacin que se realiza de los alumnos; es decir, si
las pruebas son respondidas en forma annima o si existe algn tipo de identificacin personal de quienes las contestan. Finalmente, la tercera caracterstica se refiere al los tipos de preguntas de las pruebas. Hay dos alternativas bsicas en la decisin del formato de las pruebas: pruebas de desarrollo y pruebas objetivas. Adems, las pruebas objetivas pueden tener diferentes formatos: seleccin mltiple, verdadero o falso, completacin de oraciones, etc. Al momento de la decisin, lo ms importante es comparar cul de estos dos tipos de pruebas, es decir, las de desarrollo o las objetivas, ofrece resultados ms confiables y precisos. Las pruebas objetivas son aquellas en las cuales las reglas para corregir son tan especficas y claras que cualquiera que califique una prueba de este tipo, de acuerdo con estas reglas, llegar al mismo resultado. Las pruebas objetivas, del tipo de seleccin mltiple o de respuestas cortas, son ms eficaces en funcin de sus costos, ms confiables, se prestan ms para hacer anlisis estadsticos y sus resultados son ms fciles y rpidos de calcular que los obtenidos en pruebas de desarrollo, tales como los exmenes de redaccin larga o la demostracin de aptitudes. Entre las desventajas de las pruebas objetivas se menciona que requieren que los estudiantes reconozcan la respuesta correcta y no que la construyan. Ponen nfasis en habilidades de lectura ms que de escritura. En el caso de temes de seleccin mltiple, estos posibilitan que el estudiante aprenda informacin incorrecta en las pruebas, ya que tres o cuatro alternativas son falsas. Otra crtica es que este tipo de pruebas estimula la conducta de adivinar las respuestas. Las pruebas de desarrollo son las que contienen preguntas que requieren una respuesta
de interpretacin abierta u otro tipo de redaccin. Los partidarios de este tipo de pruebas argumentan que en ellas el individuo se enfrenta a situaciones similares a la vida real y tambin seran superiores para evaluar la capacidad de sntesis y anlisis de los estudiantes. La desventaja de este tipo de pruebas es la gran cantidad de personas que se necesita para corregirlas en aplicaciones en gran escala, siendo difcil establecer criterios comunes de correccin, de modo que la precisin y confiabilidad de la prueba depende de la calidad, capacitacin y experiencia de los correctores. No obstante, de ser financiera y tcnicamente viable, las evaluaciones podran incluir temes similares a los que se usan en las pruebas de desarrollo, como forma de asegurar que se enseen y aprendan tcnicas de redaccin, originalidad, anlisis y sntesis, sobre todo en preguntas de escritura, uso del idioma, anlisis matemtico y ciencias naturales y sociales. En el cuadro 6 podemos ver cules son las caractersticas de las pruebas que se aplican en los distintos sistemas de medicin de la calidad de la educacin en Amrica Latina. A partir del cuadro 6 podemos ver, en primer lugar, que los tipos de ejercicios son por escrito en todos los pases y que en algunos de ellos se aaden algunas otras modalidades como, por ejemplo, ejercicios prcticos en Argentina, o de lectura oral en Costa Rica. Adems, los ejercicios son en la gran mayora de estos pases desarrollados en forma individual. Slo en Costa Rica, Mxico y Repblica Dominicana, los ejercicios son preferentemente colectivos. En relacin con la identificacin, seis de los 10 pases exigen la identificacin personal de los alumnos, aun cuando esta identificacin no se presente posteriormente en los resultados, o no se
entreguen los resultados a cada alumno en particular. Finalmente, respecto de las formas de las pruebas, podemos ver que se utilizan diversas formas de plantear los ejercicios y que no existe un patrn nico en este aspecto. En todo caso, el modo utilizado en prcticamente todos los pases es el de preguntas de seleccin mltiple. Es interesante destacar que en la mayora de estos sistemas se combinan los formatos de las preguntas, incluyendo tanto preguntas objetivas como de desarrollo (sobre todo en las pruebas de lenguaje, para la medicin de la redaccin de los alumnos). Esta combinacin de modalidades permitira tener las ventajas de ambas y, por lo tanto, poder evaluar tanto el conocimiento de ciertas materias como la habilidad para elaborar respuestas originales frente a distintos problemas, lo que evaluara la capacidad de pensar de los alumnos. Criterios de correccin de las pruebas Veremos aqu cuales son los criterios que se utilizan para la correccin de las pruebas. Estos criterios de correccin estn de acuerdo al tipo de preguntas que se incluyen en las pruebas y buscan obtener una calificacin de los alumnos lo ms confiable posible (cuadro 7). Pruebas con referencia a criterios vs pruebas con referencia a normas De acuerdo al propsito de la evaluacin debe determinarse si se realiza una prueba con referencia a criterio o a normas. Ambos tipos de pruebas tienen importantes roles que jugar en la entrega de informacin a los usuarios de la evaluacin.
Cuadro 6
Pas Argentina
Tipo de ejercicios por escrito prcticos individuales por escrito individuales
Identificacin annima
Forma de pruebas preguntas cerradas con respuestas propuestas respuestas extendidas preguntas cerradas con respuestas propuestas seleccin mltiple Items abiertos (respuesta extendida corta) seleccin mltiple redaccin preguntas cerradas con respuestas propuestas preguntas abiertas cortas respuestas extendidas (tipo ensayo) planteamiento de problemas en matemticas seleccin mltiple preguntas abiertas cortas redaccin en espaol seleccin mltiple respuestas abiertas cortas seleccin mltiple preguntas cerradas con respuestas propuestas seleccin mltiple seleccin mltiple prueba de expresin escrita seleccin mltiple preguntas cerradas con respuestas propuestas seleccin mltiple preguntas abiertas cortas respuestas extendidas (tipo ensayo)
Brasil
annima
Chile Colombia
por escrito individuales por escrito
Costa Rica
El Salvador Honduras Mxico Paraguay Repblica Dominicana Venezuela
por escrito lectura oral colectivos por escrito individuales por escrito individuales por escrito colectivos por escrito individuales por escrito colectivos por escrito
identificacin personal ~ identificacin personal identificacin personal identificacin personal identificacin personal annima
identificacin personal annima
Cuadro 7
Pas Argentina
Criterios de correccin una respuesta modelo criterios preestablecidos un procedimiento de consenso criterios preestablecidos una respuestas modelo criterios preestablecidos criterios preestablecidos y un procedimiento de consenso en las pruebas de redaccin una respuesta modelo criterios preestablecidos en lenguaje en base a criterios preestablecidos ajustados a partir de respuestas de estudiantes una respuesta modelo criterios preestablecidos utilizando juicios recolectados utilizando juicios recolectados y por procedimientos de consenso una respuesta modelo
definida para la poblacin. Para estas pruebas basta con preparar objetivos generales de comportamiento. En relacin con el desarrollo de la prueba, los parmetros estadsticos de los temes (dificultad e ndice de discriminacin) cumplen un importante rol en la seleccin de stos. Las pruebas con referencia a criterios son necesarias para facilitar la interpretacin del desempeo de los examinados en relacin con criterios o estndares bien definidos. Permiten establecer cunto y qu sabe el estudiante en cada una de las materias. Estas pruebas exigen preparar especificaciones de contenido mucho ms detalladas, pero en el desarrollo de la prueba los temes son rechazados cuando se determinan que no corresponden a las especificaciones de contenido o principio estndar de escritura de temes. Las pruebas con referencia a normas comparan y clasifican los conocimientos de los estudiantes con niveles de rendimiento acadmico promedio. Para los efectos de la evaluacin se prefiere en general pruebas con referencias a criterios, porque estn diseadas para examinar la habilidad de los estudiantes con respecto a los objetivos pedaggicos del sistema. La idea de las pruebas con referencia a criterios es determinar hasta qu punto se lograron objetivos especficos y prescritos y permite la generalizacin de los resultados. En el Cuadro 8, podemos ver cmo en la mayora de los sistemas de medicin se utilizan pruebas referidas a criterios, o pruebas que combinan ambas modalidades de evaluacin. Esto permitira, en cierta medida, poder comparar los resultados de los distintos pases, ya que la evaluacin es realizada en funcin de objetivos de logro que pueden ser equivalentes en los distintos pases.
Brasil Chile
Colombia
Costa Rica El Salvador Honduras
Mxico una respuesta modelo Repblica una respuesta modelo Dominicana Venezuela todava no esta establecido
Las pruebas referidas a normas son necesarias en la obtencin de resultados normativos confiables y vlidos para la comparacin de los estudiantes examinados. Son pruebas estandarizadas que slo permiten saber cmo est un alumno o un grupo de alumnos respecto de una media
Cuadro 8
Cuadro 9
Pas Argentina Brasil Chile Colombia Costa Rica
Las pruebas aplicadas son referidas a criterios de logro referidas a criterios de logro referidas a normas (estandarizadas para la poblacin) referidas a criterios de logro referidas a criterios (formativas) referidas a objetivos instruccionales (sumativas) referidas a criterios de logro referidas a normas (estandarizadas para la poblacin) referidas a criterios de logro (establecido por el programa nacional) referidas a criterios referidas a normas (estandarizadas para la poblacin) referidas a normas (estandarizadas para la poblacin) referidas a criterios de logro
Pas Brasil
Como se asegura la confiabilidad en la correccin de las pruebas informatizacin de las correcciones para los items de respuesta cerrada. Criterio de jueces competentes para las respuestas extendidas cortas (temes abiertos). lectora ptica y criterio de jueces para la prueba de redaccin las preguntas cerradas por medios electromagnticos las preguntas abiertas con calculo de confiabilidad a partir de un proceso planificado de recalificacin de un porcentaje de las pruebas lectora ptica tribunales capacitados nacionales se mide la confiabilidad entre calificadores
Chile Colombia
El Salvador Honduras Mxico
Paraguay Repblica Dominicana Venezuela
Costa Rica
El Salvador tomando en cuenta los ndices de discriminacin y de dificultad Honduras levantando una base de datos y realizando la correccin a travs de paquetes estadsticos computarizados aplicando una plantilla nica de respuestas y se realiza la lectura ptica de hojas de respuestas se suministra plantilla y luego se verifica en Cenfro de Cmputos (4 bsica) se usa lector ptico y slo se corrige en SEEBAC esta por definirse
Mxico
Repblica Dominicana Confiabilidad de la correccin Finalmente, sta es tambin una caracterstica importante que merece ser revisada, debido a que nos permite saber qu tan confiables son Venezuela
evaluacin de la calidad de la educacin. El mtodo de asegurar la confiabilidad es Central, ya que hay algunos ms efectivos que otros. En general, observamos que se tienden a utilizar formas mecnicas y computacionales para asegurar la confiabilidad en las pruebas y que en varios pases se usan lectores pticos para la correccin. La principal ventaja del uso de correctores automatizados es el ahorro de tiempo y personal, la reduccin de fuentes de error en al correccin e ingreso de datos y la facilidad de procesamiento de la informacin (correccin, ingreso de datos, anlisis de temes y anlisis de las pruebas).
hoc a quienes hacen las polticas, los implementadores y los investigadores. Por ejemplo, al tratar de comprender las variaciones del rendimiento acadmico, uno debiera considerar no slo las caractersticas de los alumnos, sino el propio proceso de aprendizaje que ellos tuvieron (por ejemplo, el tiempo en la tarea), el tipo de mtodo de enseanza, las polticas adoptadas en relacin al currculum. Lo importante es cambiar la pregunta de lo que los estudiantes conocen, a lo que los estudiantes conocen y pueden hacer como resultado de su experiencia educacional. El manejar la complejidad implica estadsticamente modelar la naturaleza multivariada del sistema educacional, comprender cmo el proceso educacional afecta el rendimiento usando indicadores de oportunidad de aprender, haciendo una sintona fina de ellos, capturando la complejidad de los resultados de los estudiantes en indicadores ajustados de rendimiento o usando pendientes de regresin como indicadores de logro. En este sentido es necesario educar a los que hacen polticas en la complejidad. De otra manera ellos sufrirn las consecuencias de las polticas simplistas que necesitaran una continua revisin debido a que no funcionan. Indicadores de logro Por ejemplo, es importante el tema de los temes que no se han respondido, porque no se sabe cmo los hubieran contestado los sujetos si hubieran podido. En un anlisis de las respuestas omitidas en una prueba de matemticas del National Assesment Education Program (NAEP)
Los resultados La forma bsica de presentacin de los resultados de una prueba corresponde a la determinacin y presentacin del porcentaje de respuestas correctas para la prueba total, de acuerdo con los objetivos o contenidos medidos y por temes. Este anlisis puede hacerse desde niveles bsicos (estudiantes) a nivel de agregados (clases, escuelas, distritos escolares, regiones y hasta el total nacional) por tipo de establecimiento (pblico u oficial, subvencionado, particular pagado) sexo, edad, regin geogrfica, etc., dependiendo de los objetivos de la evaluacin. Es posible, de esta manera, establecer la frecuencia de las respuestas correctas y determinar su distribucin de acuerdo con algn atributo especfico. La educacin tiene que ser considerada en toda su complejidad. Para ello se requiere utilizar anlisis multivariados, en un sistema altamente contextualizado. Cualquiera simplificacin del sistema lo ms probable es que no genere las informaciones ad-
Cuadro 10 se encontr que los temes omitidos tenan relacin con el formato. La mayora de los temes omitidos correspondan a respuestas abiertas. Sin embargo, los temes que no se alcanzaban hacer eran los ltimos y los ms difciles. Se recomienda hacer anlisis peridicos de las respuestas omitidas y su relacin con las caractersticas del alumno y las caractersticas del tem. Tambin se recomienda variar la ubicacin de los temes con alto rango de no respuesta, e indicar estos datos en los reportes tcnicos. En el ltimo tiempo ha habido un marcado cambio en informar el desempeo del alumno en base a un estndar. Se ha dejado de lado la ubicacin en percentiles porque tcitamente se acepta la actual distribucin de desempeo y no provee ninguna informacin si el desempeo del estudiante es aceptable o no. Los programas nacionales de evaluacin se han reportado mayoritariamente en trminos del porcentaje de los alumnos que han alcanzado un estndar determinado. Por ejemplo, la NAEP cre un grupo que identific desde 1988 las metas apropiadas para cada edad y nivel en cada tema. Propuso tres estndares de desempeo: bsico, proficiente y avanzado. Esto ha sido muy controvertido tanto en relacin al proceso como a la significacin de los estndares. Algunos piensan que los estndares son juicios acerca de lo que los estudiantes deberan saber y no de lo que efectivamente saben; pero la medicin es siempre sobre lo que el alumno sabe. Entonces lo que hace esta medicin es decir el porcentaje de alumnos que pueden hacer lo que deberan hacer. 15
Pas Argentina Cmo se expresan los resultados Porcentaje de respuestas
correctas (logros) Puntajes estndar Anlisis pormenorizados cualitativos
Brasil
Porcentaje
de
respuestas
correctas (logros) Escalas de habilidades Porcentaje de respuestas
Chile
correctas (logros) Puntajes estndar Porcentaje de estudiantes por niveles de logro
Colombia Costa Rica
Notas de examen (para las pruebas sumativas. Puntajes total obtenido y porcentaje de puntaje total obtenido)
Dominio amplificados
de
objetivos (Para las
pruebas formativas. Puntaje por objetivos amplificado
medido)
El Salvador Honduras
Porcentajes
de
respuestas
correctas (logros) Porcentajes de respuestas
correctas (logros) Puntajes estndar Porcentaje de respuestas
Mxico
correctas (logros) Puntajes estndar Porcentajes de logro Notas de examen Promediados con calificacin anual del profesor
Paraguay Repblica Dominicana Venezuela
Porcentaje
de
respuestas
correctas (logros)
Puntajes estndar
Fuente: Laboratorio Latinoamericano de Medicin de Calidad de la Educacin. Cuestionario Sistema Nacional de Medicin del Rendimiento en el ciclo bsico en los pases que participan en el Laboratorio Latinoamericano de Medicin de Calidad de la Educacin.1995.
En este punto nos referiremos a cmo son entregados los resultados; es decir, si ellos son entregados en puntajes, o en porcentajes de logro, o en puntajes estandarizados, etc. (cuadro 10). En general, los resultados son expresados en forma de porcentajes de logro. Tener este punto en consideracin no ayuda a la comparacin de resultados en los diferentes pases, ya que como se expresan de manera diferente hay que interpretar esos resultados tambin de manera distinta. Algunas recomendaciones para las evaluaciones basadas en estndares son: sacar los ejemplos con criterio estadstico de lo que ha sido el desempeo en cada uno de los niveles que se propongan y el criterio empleado debe ser claramente identificado. Debe corresponder la descripcin de cada nivel razonablemente bien con el desempeo de los estudiantes en ese nivel y la naturaleza de la correspondencia debe ser claramente indicada. Se sugiere que el establecimiento de los niveles de estndares y la construccin de las pruebas est ligada.
apropiadas en la forma ms clara y til posible. Los usuarios a los que van dirigidos los informes poseen necesidades de informacin distinta. Tyler (1990) presenta indicaciones de contenido para informes destinados a distintos usuarios: Informe a los padres, profesores y directores: ellos requieren la informacin acerca de cada individuo cuyo aprendizaje est orientando. Por ello los informes a los padres y maestros no deberan indicar solamente lo que los nios han aprendido de lo que se les ha enseado, sino tambin las clases particulares de la conducta de aprendizaje, con sus contenidos y contexto, en la que demostraron efectividad y qu dificultades se evidenciaron. El director, por otra parte, necesita conocer los progresos de aprendizaje en cada curso evaluado para que pueda dar asistencia donde se necesita. Reportar los resultados en trminos del porcentaje de nios que alcanzan estndares definidos y aceptados, provee al director con informacin necesaria para establecer metas anuales y para monitorear el progreso hacia ellas. Informes regionales, estatales y nacionales: son tiles para el desarrollo de polticas as como para el monitoreo de la educacin. Debe considerarse informacin de acuerdo con los factores que se han contemplado para determinar la calidad de la educacin. Como podemos ver en el cuadro 11, los siete ms de evaluacin tienen como beneficiarios de los resultados de las pruebas administradas a una amplia gama de actores sociales. Esto debera promover, entonces, un incremento en la utilizacin de los resultados generados por los siete temas, ya que la responsabilidad adquirida frente tantos sectores no puede ser eludida. Los distintos sistemas de medicin funcin de los diferentes beneficiarios
Difusin de los resultados y beneficiarios del sistema La divulgacin de los resultados de las evaluaciones es un elemento fundamental de un sistema de evaluacin. Los problemas ms importantes y las decisiones a tomar en esta rea son: planificar qu informacin se comunicar y a quin; decidir el contenido y el desglose de los resultados y el momento oportuno para presentarlos; proporcionar informacin sobre investigacin y la evaluacin del proceso mismo. Para garantizar que se logre una de las metas principales de la evaluacin, que es au mentar el aprendizaje de los estudiantes promoviendo mejoras en la calidad de la enseanza, es fundamental comunicar la informacin adecuada a las autoridades
Cuadro 11
Pas Argentina Beneficiarios Pas Padres y tutores El Salvador Maestros Autoridades a nivel central Autoridades locales Instituciones Acadmicas Honduras Publico en general ___________ _________________________________ Brasil Alumnos Padres y tutores Maestros Autoridades a nivel central Autoridades locales Mxico Instituciones Acadmicas Publico en general Chile Padres y tutores Maestros Autoridades a nivel central Autoridades locales Instituciones Acadmicas Beneficiarios Maestros Autoridades a nivel central Autoridades a nivel local Alumnos Maestros Autoridades a nivel central Autoridades a nivel local Instituciones acadmicas Instituciones que los solicitan Maestros Autoridades a nivel central Autoridades a nivel local Instituciones acadmicas
Paraguay
Maestros Directores Padres Alumnos Autoridades Polticos Comunidades Sociales Poblacin en general
Colombia
Alumnos Padres y tutores Maestros Autoridades a nivel central Autoridades locales Instituciones Acadmicas Pblico en general
Repblica Dominicana
Costa Rica
Alumnos Padres y tutores Maestros Autoridades a nivel central Autoridades locales Instituciones Acadmicas Publico en general
Alumnos Padres y tutores Maestros Autoridades a nivel central Autoridades locales Instituciones Acadmicas Maestros Autoridades a nivel central Autoridades a nivel local Instituciones acadmicas El publico en general
Venezuela
______________________________
Fuente: Laboratorio Latinoamericano de Medicin de Calidad de la Educacin. Cuestionario Sistema Nacional de Medicin del Rendimiento en el ciclo bsico en los pases que participan en 1 Laboratorio Latinoamericano de Medicin e Calidad de la Educacin. 1995.
de estos sistemas, realizar informes distintos, de manera tal de ayudar en el principal objetivo que es el de mejorar la calidad de la educacin. De esta manera, se deberan considerar los aspectos sealados anteriormente, para que cada actor obtenga la informacin que necesita y la que le es ms til en el campo de accin en el que est inserto. En este punto nos referiremos a las polticas de difusin de los resultados que tienen los distintos sistemas de medicin. A quin se proporciona la informacin entregada por los sistemas y, sobre todo, cmo se realiza esa entrega de informacin. El SIMCE (de Chile) entrega dos tipos de informes. En primer lugar, los informes agregados, los cuales presentan los resultados de los establecimientos educacionales por Comuna, Provincia, Regin y a Nivel Nacional. Los destinatarios de este tipo de informes son: las autoridades de Gobierno, el nivel central del Ministerio de Educacin, los departamentos provinciales de educacin, los departamentos de administracin de educacin municipal o corporaciones municipales de educacin. Los informes desagregados, por otra parte, contienen informacin de un curso o de la unidad educativa y sus cursos. Los destinatarios de este tipo de informes son: supervisores tcnico-pedaggicos, directores de establecimientos, jefes tcnicospedaggicos de cada colegio, profesores y padres o tutores. Por otra parte, los resultados por escuela se han hecho pblicos por la prensa desde 1995. El SINEC (Argentina) desde su creacin ha producido una serie de informes tcnicos que dan cuenta del proceso de implementacin del sistema, de la construccin de los instrumentos
de medicin y de la muestra, as como de los principales resultados obtenidos en el Primer Operativo Nacional. La difusin se ha realizado desde el Ministerio de Cultura y Educacin a travs de mltiples estrategias: El Seor Ministro de Cultura y Educacin presenta los resultados en: informacin al Gabinete Nacional, conferencias de prensa, informe al Consejo Federal de Cultura y Educacin (Asamblea de Ministros de Educacin provinciales). Informacin a la prensa, a travs de la publicacin de artculos que presentan los resultados profundizando en algunos aspectos. Informacin al Consejo Federal de Cultura y Educacin: cada Ministro Provincial recibe la informacin correspondiente a su provincia y a su regin a fin de disponer la oportunidad y el modo de su publicacin en su jurisdiccin. Los funcionarios tcnico-polticos de las provincias tambin reciben informacin de resultados a travs de la unidad de evaluacin provincial. Para ello se realizan reuniones con Directores de lnea y de nivel, supervisores, directores de escuelas y docentes, con el apoyo de la unidad central. Transferencia a las provincias de procedimientos para el uso de los resultados y de metodologa para el diseo de los instrumentos de evaluacin: se trata de actividades de capacitacin en seminarios con el objetivo de interpretar la medicin reatizada para plantear recursos correctivos; y para entrenar equipos provinciales en el diseo de temes en las distintas disciplinas, a fin de permitir la medicin del ren
dimiento en forma peridica y a nivel nacional. Informe anual de resultados a las Comisiones de Educacin de ambas Cmaras del Parlamento. En las pruebas de diagnstico, realizadas en Costa Rica, se ofrecieron dos tipos de informes de resultados. Para el Ministro de Educacin Publica y sus colaboradores normativo cercanos inclua: se ofreci medias un informe y que aritmticas
El uso de los resultados Como sealamos en un comienzo, la medicin de la calidad de la educacin tiene varios propsitos y objetivos. Los ms frecuentes son: el insumo para toma de decisiones de poltica y un insumo para el maestro sobre el nivel de aprendizaje de sus alumnos. De acuerdo con estos objetivos, entonces, se podra esperar que a partir de la aplicacin de la medicin y de la obtencin de resultados, se lleven a cabo diversas acciones que permitan que se cumplan estos objetivos. Desde un punto de vista terico, el uso de los resultados debera servir para:
porcentajes de aprobacin por regin educativa, provincia, situacin legal de las instituciones y zona de residencia, tipo de escuela y modalidad de colegio. Por otra parte, a cada escuela y colegio se le envi un informe diferente. Adems de los datos normativos, medias aritmticas por asignatura y grado, se ofrecieron datos comparativos para el circuito escolar, la regin, el tipo de escuela y el nivel nacional. De ms importancia fue la informacin de dominio de objetivos que inclua: la lista mimeografiada de los objetivos medidos, la media por objetivo para la escuela o colegio, el circuito, la regin y la poblacin nacional. Tambin, el porcentaje de alumnos de la escuela o colegio que domin cada objetivo.
8 7
Apoyo pblico para mejorar la calidad de la educacin Un sistema de evaluacin educativa que mide el rendimiento de los estudiantes y da cuenta de cmo ste se ajusta a estndares de actuacin claramente establecidos, ayuda al pblico no slo a comprender los conocimientos de los estudiantes, sino tambin a seguir su progreso. Por lo tanto, las autoridades responsables de formular polticas educativas pueden establecer metas claras y el pblico puede controlar el progreso hacia esas metas. Con base en estas mediciones se pueden justificar tambin cambios y ajustes en la orientacin y el financiamiento del sistema. Cuando se establecen metas demasiado
En Paraguay, finalmente, se pretende entregar dos tipos de informes. El primero, folletos de interpretacin de resultados y orientaciones pedaggicas, que sern entregados tcnicamente en seminarios y jornadas. El segundo, es la difusin masiva a travs de los medios de comunicacin.
ambiciosas, tales como estndares para evaluar el rendimiento acadmico, el pblico puede llegar a desilusionarse si los informes muestran que muy pocos estudiantes o escuelas (o slo determinados grupos de estudiantes o escuelas) lograron alcanzar dichas metas. Esta dimensin poltica indica que todo el proceso de evaluacin debe planearse cuidadosamente.
Mejora del diseo de la instruccin y formacin docente Los sistemas de evaluacin del rendimiento pueden utilizarse para obtener informacin til a los educadores para mejorar el diseo de instruccin y la pedagoga en el saln de clases. Los educadores pueden evaluar la eficiencia de determinadas prcticas, mtodos utilizados en la formacin docente y materiales curriculares. Por ejemplo, un sistema escolar puede redisear su programa de actualizacin de docentes conforme con lo que el anlisis de la evaluacin indique ser ms eficaz. Efectos de repercusin Se dice que los sistemas tienen efecto de repercusin, en relacin con el efecto que tiene un examen en lo que los profesores ensean y en lo que los estudiantes se esfuerzan en aprender. Por ejemplo, ensear lo que se cree que se va a preguntar en las evaluaciones nacionales es un efecto de repercusin. Tambin se puede dar en sentido positivo si efectivamente el sistema de evaluacin introduce elementos, preguntas y situaciones que obliguen a los profesores a realizar ese tipo de ejercitacin. En ese sentido la evaluacin tendra una repercusin en el aprendizaje. Diagnstico y tratamiento de problemas El sistema de evaluacin se puede disear para mejorar las prcticas educativas en la medida que proporcione a docentes, padres y estudiantes un diagnstico de contenido e informacin especfica. El sistema de medicin puede tener un efecto directo y positivo en el aprendizaje de los estudiantes, cuando se complementa el sistema de retroalimentacin con un anlisis de los tipos de errores que cometen los estudiantes y con sugerencias sobre tcnicas para mejorar la enseanza para ayudarlos a no cometer esos errores. Esto, por ejemplo, se hace en la Argentina, donde se entregan
documentos con sugerencias metodolgicas a los profesores, que buscan mejorar el aprendizaje de los alumnos en los contenidos que obtienen los ms bajos resultados. Incentivar la buena actuacin Las evaluaciones pueden utilizarse tambin para recompensar la buena actuacin o ayudar a mejorar a los que no tienen una buena actuacin. Uno de los problemas relacionados con los sistemas de reconocimiento y sanciones es que los docentes directores y distritos puedan tener un mayor incentivo para alterar la informacin o informar calificaciones ms altas que las reales o las que de hecho se obtuvieron. En varios estados y distritos en los Estados Unidos se han utilizados los resultados de las evaluaciones para responsabilizar a las regiones, municipios o distritos o a las mismas escuelas y a sus lderes por la actuacin de los estudiantes. Por ejemplo, en Boston y Carolina del Sur, los distritos que acusan una mejora importante en los puntajes de las pruebas reciben fondos adicionales en reconocimiento; a los distritos que continan por debajo de ciertos estndares se les sanciona transfiriendo su autoridad sobre la escuela a un grupo de expertos externos. En general, podemos sealar que las mediciones no se han utilizado en la realizacin efectiva de polticas educacionales y que, ms bien, el uso de los resultados queda en el mbito de las intenciones. A partir de la informacin recopilada slo fue posible identificar dos formas de uso de los resultados generados. La primera, se desarrolla en Argentina y consiste en
la elaboracin de un manual con recomendaciones metodolgicas para los profesores. Esta Propuesta Metodolgica para los Docentes llega a todas las escuelas del pas y se transforma en una gua para la accin en el aula, que permite mejorar la prctica. estructura: los temes que presentaron mayor dificultad a los alumnos. la estrategia cognitiva evaluada. el contenido evaluado. la dificultad detectada. las observaciones conceptuales para superarla. la propuesta metodolgica para la resolucin de la dificultad. La segunda experiencia detectada se realiza en Chile. Aqu, los resultados han sido utilizados, junto con otros instrumentos, para la identificacin de las escuelas que tienen los ms bajos resultados del pas e incorporarlas en el Programa de las 900 escuelas, el cual pretende focalizar la accin hacia las escuelas ms pobres y con ms bajos resultados, interviniendo en un conjunto de factores que afectan la calidad de la educacin y as poder mejorarla.
9
Ministerio de Educacin o Universidades de los distintos pases. Como podemos ver en el cuadro 12, en la gran mayora de los pases los rganos encargados de los distintos aspectos de los sistemas de medicin son oficinas pertenecientes a los Ministerios de Educacin respectivos. En muy pocos pases existe la participacin de instituciones autnomas en el diseo y administracin de las pruebas. Ambos sistemas de dependencia tienen ventajas y desventajas. Por una parte, los sistemas que dependen de los Ministerios de Educacin tienen la ventaja de que estn orientados en funcin de objetivos nacionales y que se insertan en la planificacin y evaluacin de los sistemas educacionales nacionales. Por otra parte, la desventaja que tienen es que, al insertarse dentro de los ministerios, se ubican dentro de la burocracia y de los problemas de financiamiento de los sistemas. Los sistemas de evaluacin que se desarrollan en universidades o centros de investigacin tienen la gran ventaja de tener un personal tcnico de alto nivel. El problema es que pueden ser no considerados como evaluaciones vlidas y tiles por parte de los Ministerios y, por lo tanto, el objetivo de estos sistemas
Esta propuesta metodolgica presenta la siguiente
La dependencia administrativa de los sistemas nacionales de evaluacin La pregunta aqu es cul es la insercin institucional de estos sistemas. De quin dependen y quines toman las decisiones relevantes.
que es el mejoramiento de la calidad de la educacin, quedara sin realizarse.
Los costos de los sistemas nacionales de evaluacin Los costos de un sistema de evaluacin varan
En esta seccin nos referiremos a los organismos de los cuales dependen estos siste mas de medicin de calidad existentes en la regin. Las dos grandes posibilidades son, por una parte, el
ampliamente respecto del desarrollo, administracin y divulgacin de la prueba. Estas varia-
Cuadro 12
Pas
Responsable de directrices generales
Responsable de diseo de instrumentos
Responsable de administracin de Direccin nacional de evaluacin. Ministerio de cultura y educacin e la Nacin
Responsa ble de la correccin de prueba Direccin Nacional e evaluacin. Miisterio de cultura y ducacin de la Nacin Instituciones con tratada
Argentina
Direccin Nacional de Direccin Nacional evaluacin. Ministerio de evaluacin. Mide cultura y educacin nisterio de cultura y de la Nacin educacin de la Nacin
Brasil
Ministerio de educacin, Ministerio de Educa- Ministerio d EducaMEC/SEDLAE cin, MECISED E/ cin DAEB institucin s con Instituciones contra- tratadas tadas. Secretaria estaduales de Educacin MINEDUC SIMCE MINEDUC SIMCE SIMCE
Chile Colombia
S IMCE Servicio Nacional de pruebas 1 MEC
Ministerio de Educacin Servicio Nacional de Instituto SER y Sery Servicio nacional de Pruebas vicio Nacional de pruebas Pruebas Consejo Superior de Educacin IIMEC HMEC y Divisin de control de calidad y macro evaluacin del Ministerio
Costa Rica
El Salvador
Direccin nacional de educacin
Direccin de diseo Departamento de de currculo investigacin y evaluacin educativa Direccin de diseo de currculo Componente 0bjetivos y evaluacin del aprendizaje Componente Objetivos y evaluacin del aprendizaje Autoridades educativas de las entidades y direccin general de evaluacin
Departamento de investigacin y evaluacin educativa Direccin de diseo de currculo Componente Objetivos y evaluacin el aprendizaje Direccin general de evaluacin
Honduras
Ministerio de educacin
Mxico
Direccin general de evaluacin
Direccin genera de evaluacin
Repblica Dominicana
Secretaria de estado de educacin bellas artes y cultos (SEEBAC) El ministerio de educacin nivel central
La SEEBAC a travs La SEEBAC con orgade la comisin ejecunismos regionales y tiva de pruebas nadistritales cionales Una firma consulto ra (Universidad o empresa privada La firma consultora
Los docentes (jurados) y 1a SEEBAC
Venezuela
La firma consultora
Fuente: Laboratorio Latinoamericano de Medicin de Calidad de la Educacin. Cuestionario Sistema Nacional de edicin del Rendimiento en el ciclo bsico en los pases que participan en el Laboratorio Latinoamericano de Medicin d Calidad de la Educacin. 1995.
ciones ocurren de acuerdo con la estructura y el contexto. Las diferencias estructurales se refieren al tipo de pruebas, as como a la cobertura de sta, dependiendo de cuntos niveles escolares se evalan, cuntas asignaturas en cada nivel y qu parte de la poblacin objetivo. En cuanto al contexto debe tenerse en cuenta que existen amplias variaciones entre pases respecto de su capacidad de evaluacin. Si un pas cuenta con especialistas en evaluacin y con procedimientos ya aplicados, el costo de la aplicacin de una prueba es mucho menor que en el caso de realizar la evaluacin por primera vez.
estimado en EUA$5 por alumno, o sea cerca de 0,1% del presupuesto del Ministerio de Educacin (Horn, Wolff y Vlez, 1991). Este costo incluye servicios de impresin y computacin, transporte, materiales de oficina, honorarios, convenios de servicios con personas naturales y jurdicas (OEI; 1994) En Costa Rica el costo por estudiante oscil entre EUA$1.34 y EUA$7.69. El costo total fue de alrededor de 0,1% del presupuesto del ME (Horn, Wolff y Vlez, 1991). En Mxico, el costo por estudiante de EUA$35
Presentaremos aqu algunos datos sobre los costos anuales por alumno de los sistemas de evaluacin de calidad de la educacin. Slo contamos con la informacin de tres pases. En Chile, el costo anual del programa fue
es ms alto que en otros pases latinoamericanos, porque en el caso de Mxico la en-cuesta se administra tambin a padres, docentes y jefes de docentes. El presupuesto anual de la DGEIR representa menos del 0,1% del presupuesto de la SEP Horn, Wolff y Vlez, 1991).
Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin
El Laboratorio es la Red de Sistemas de Medicin y Evaluacin de la Calidad de la Educacin de los pases Latinoamericanos, cuya coordinacin ha sido confiada a la UNESCO. De este modo, el Laboratorio es: Un marco regional de concertacin entre los pases en el mbito de la evaluacin en educacin. Un recurso tcnico en recursos humanos y bases de datos a disposicin de los pases de Amrica Latina. Un foro de discusin tcnico-poltica sobre el aprendizaje y las variables que en l inciden. Un generador de conocimiento en este campo.
Los objetivos del Laboratorio son: Realizar estudios comparativos sobre calidad de la educacin en lenguaje y matemticas; promover estudios internacionales sobre temas especiales, tales como la evaluacin vinculada a objetivos transversales, multiculturalidad, competencias sociales; y experimentar nuevas modalidades de evaluacin. Generar estndares regionales y establecer un sistema de informacin y de diseminacin de los avances en relacin a ellos. Desarrollar un programa de investigaciones sobre las variables asociadas a la calidad de la educacin bsica. Fortalecer la capacidad tcnica de los Mi-
nisterios de Educacin en el rea de la evaluacin de calidad. El Laboratorio mantiene un espacio de interaccin entre los pases e instituciones miembros, con capacidad para brindar los siguientes beneficios: Intercambio de experiencias entre los sistemas de medicin y evaluacin. Asistencia tcnica especializada en evaluacin de la calidad de la educacin. Participacin internacionales. Acceso directo a documentos e informacin derivada de cada levantamiento de pruebas y cuestionarios, a las bases de datos, a las innovaciones y desarrollos tcnicos y conceptuales. Aportes a las autoridades sobre el origen de los problemas de aprovechamiento para la formulacin de polticas educativas. - Conocimiento de oportunidades y condicionantes relativas a la calidad de la educacin desde una perspectiva regional y comparativa. en evaluaciones y estudios El Laboratorio evala la calidad de la educacin a travs de la medicin del aprendizaje de los alumnos y del estudio del entorno en el cual el alumno obtuvo ese grado de aprendizaje, desde una perspectiva de comparabilidad regional. El Laboratorio cuenta con aporte financiero de los pases miembros, del BID, de la Fundacin Ford, SECAB, ellos y adicionalmente el Banco Mundial, apoyan acciones que contribuyen a afianzar los mecanismos de concertacin de los pases en el mejoramiento de la calidad y la equidad de la educacin. El Laboratorio trabaja mediante mecanismos de consulta y concertacin permanentes. Las decisiones de los pases son acuerdos que se toman a travs de consultas directas. Para ello se realizan importantes esfuerzos de comunicacin a distancia y reuniones de coordinadores y especialistas de todos los pases miembros. En las labores tcnicas se cuenta con la participacin de expertos y autoridades de cada pas, as como con el apoyo de acadmicos especializados en los temas de evaluacin y calidad.
Conclusiones
Con la excepcin de algunos pases, el tema de la evaluacin de la calidad de la educacin y en particular la creacin de sistemas nacionales de evaluacin es un tema que se ha puesto en la agenda educativa slo desde fines de la dcada de los 80. Por lo tanto, una de nuestras principales conclusiones es la importancia fundamental de producir una capacitacin en este tema, porque en la medida que las personas que trabajan en estos sistemas tengan una alta preparacin se podr asegurar la calidad del proceso y de los productos. Prcticamente todos los sistemas nacionales de
evaluacin se centran en el desempeo escolar despus de un perodo de instruccin. Esto es correcto porque el proceso educativo pretende producir cambios en los estudiantes. Estos cambios pueden incluir incremento en los conocimientos, en las habilidades para resolver varias clases de problemas o para dominar varios tipos de temas en un campo, en los adelantos en ciertas habilidades, cambios de actitudes, intereses y preferencias. Los cambios dependern de la naturaleza del programa, la edad y otros
factores. El nico camino para determinar estos cambios es a travs de estudios del logro escolar. Sin embargo, no se ha incluido an la medicin del estado inicial de los estudiantes. Interesa saber quines son y cun hbiles son con respecto a lo que se les va a medir. Lo primero es fcil de obtener a travs de los datos demogrficos tales como sexo, edad, soporte educativo previo, etc. Con respecto a su habilidad, es necesaria la evidencia inicial para estimar el grado en que el aprendizaje ocurre durante el perodo de instruccin estudiado. Esto es clave porque si lo que estamos midiendo es aprendizaje, ste es un cambio en la habilidad o conducta que se produce en el tiempo. Esta medicin inicial no se observa en los sistemas nacionales de Amrica Latina. En relacin a la recoleccin de informacin sobre el procedimiento del proceso de enseanza en cada uno de los grados, (lo que algunos autores denominan la oportunidad de aprendizaje), se observa que probablemente, dada su complejidad, esta informacin no ha sido incorporada en los sistemas nacionales. Por su parte, el Laboratorio ha incluido como uno de sus objetivos el enfatizar no slo la medicin de los productos, sino tambin la del proceso. Una evaluacin responsable debe determinar cul y cmo fue administrado el programa educativo. Es necesario buscar la formas de representar proceso
contextualizada y sabiamente. En relacin con los costos, desafortunadamente, no se ha dado la atencin adecuada. Una evaluacin sin referencia a los costos rara vez tiene algn valor prctico; es decir, sin esa informacin se presentarn dificultades para la implementacin de los sistemas nacionales de evaluacin. La utilizacin de los resultados debera ser mucho mayor, tanto por los objetivos planteados por los sistemas de medicin, como por la gran cantidad de conocimiento que acumulan estos sistemas. Este es, por lo tanto, uno de los desafos que los sistemas de medicin y el Laboratorio deberan comenzar a desarrollar. Nos parece que una vez que el sistema se ha implementado, que se ha adquirido conocimiento y experiencia en esta materia y que se han evaluado formas de mejorar los instrumentos, es posible comenzar a pensar en la forma de utilizacin de los resultados. De esta manera, los sistemas de evaluacin sern efectivamente un instrumento que permita el desarrollo de polticas educacionales orientadas hacia el mejoramiento de la calidad de la educacin en la regin. Es necesario considerar la complejidad y variedad de los sistemas de medicin en la regin. Sin embargo, ni an los sistemas nacionales de medicin del rendimiento acadmico que proporcionen la mejor calidad de los datos pueden garantizar mejoras en los aprendizajes de los alumnos de la regin. Para ello, se requiere tambin que los lderes locales y nacionales, docentes y directores de escuela y el pblico en general se comprometan a aprender, entender y ser francos sobre los resultados de la evaluacin educativa y modificar las prcticas escolares y las polticas del sector de acuerdo con la informacin y anlisis que se obtienen con las evaluaciones de la educacin a nivel nacional.
adecuadamente
complejidad
del
educacional en modelos de efectos de la educacin en el logro y no descontextualizar el rendimiento. Hay que ser muy responsables de no revertir a la simplicidad abrumarnos, complejidad cuando sino la ms complejidad bien parece la confrontar
sensiblemente,
inteligentemente,
Cmo pueden ayudar los sistemas nacionales y el Laboratorio Latinoamericano a mejorar la calidad de la educacin? Algunas de las medidas ms importantes para mejorar la calidad de la educacin en los distintos pases podran ser: Estableciendo una medida de referencia del aprendizaje o en la fijacin de estndares. Identificando insumos y procesos eficaces, a fin de lograr avances mensurables en el rendimiento acadmico; Movilizando a la opinin pblica en el apoyo a la educacin; Ofreciendo informacin a los educadores para que estos reexaminen los diseos didcticos y la formacin de profesores; Instituyendo mecanismos de incentivo, directos o indirectos, a la buena actuacin de los -
docentes y a las escuelas; Contribuyendo al anlisis de los problemas de los estudiantes sobre comprensin y aplicacin de conocimiento; y Apoyando la investigacin conexa como forma de identificar una distribucin ms eficaz de los insumos pedaggicos en funcin de los costos, as como un medio acadmico y procesos pedaggicos ms eficaces. Es de particular importancia que los sistemas de evaluacin cuenten con un componente de investigacin permanente porque es una fuente de enriquecimiento continuo para la educacin. En este tema uno de los aportes importantes del Laboratorio es recoger informacin de calidad acerca de las condicionantes contextuales de la educacin. Ello porque es necesario mejorar la informacin que de educacin se maneja en el debate pblico.
Referencias bibliogrficas
Beeby, C. E. (1977). The meaning of evaluation en Current Issues in Education, n 4: Evaluation. Department of Education, Wellington, pp. 68-78. Carroll, D. J. (1993). Development of a Comprehensive System for Monitoring Educational Quality in Indonesia. Indonesia National Assessment Program (INAP). NCEEE, Cairo, Egipto. Cronbach, U. (1963). Course improvementthrough evaluation. TEach.Coll.Rec. 64: 762-83. Esquivel, J.M. (1992). El Sistema Nacional de Medicin del Logro Educativo: Costa Rica. Aspectos Tcnicos. Instituto de Investigacin para el Mejoramiento de la Educacin
Costarricense, Universidad de Costa Rica, Facultad de Educacin. Agosto, 1992. Esquivel, J.M. (1993). Sistema de Medicin de Logros del Aprendizaje en Costa Rica. Costa Rica. Haertel, E. H. (1990). Achievement Tests en H. J. Walberg y G. D. Haertel (eds). The International Encyclopedia of Educational Evaluation. Oxford, Pergamon Press, 1990. Horn, R., Wolff, L. y Vlez, E. (1991). Establecimiento de sistemas de medicin del rendimiento acadmico en Amrica Latina. Un anlisis de los problemas y la experiencia mas reciente. Programa Mundial. de estudios regionales, Banco
Koretz D. (1995). The Qualityofinformation from NAEP: two exampless of work donne in collaboration with Leigh Burstein Educational Evaluation and Policy Analysis Fail 1995, Vol, 17, N3, pp 280-294. Larach, L. P. y Lockheed, M. E. (1992). World Bank Lending for Educational Testing. A General Operational Review. PHREE 92/62R. Education and Employment Division, Population and Human Resources Department, World Bank, Washington, D.C. Lockheed, M. E. (1991). World Bank support for capacity building: the challenge of educational assessment. PHREE 92/54. Education and Employment Division, Population and Human Resources Department, World Bank, Washington, D.C. Ministerio de Educacin de Costa Rica (1994). Informe de Evaluacin del Rendimiento en 3 y 40 grado de educacin bsica en lenguaje y matemtica basado en la aplicacin nacional de pruebas de abril de 1994. Direccin Nacional de Educacin, Direccin de Diseo de Currculo, Proyecto SABE: Solidificacin del Alcance de Educacin Bsica. Moraga, E. (1995). Diseo de un modelo de evaluacin del rendimiento para Amrica Latina Tesis para optar al titulo de Ingeniero Civil de Industrias con mencin en Qumica. P. Universidad Catlica. OEI. (1994). Evaluacin de los Sistemas Educativos. Informes Nacionales L 27 y 28 de octubre. Buenos Aires, Argentina. Psacharopoulos, G. y Chu Ng. Y. (1992). Earning and Education in Latin America. Assessing Priorities for Schooling Investments. Education and Employment Working
Papers, WPS1O56. Technical Department Latin America and the Caribbean Region, The World Bank. Ravela, P. A. (1994). Bases conceptuales del sistema nacional de evaluacin de la calidad de la educacin bsica y media. Documento preparado por solicitud de la Direccin Nacional de Evaluacin Subsecretaria de Evaluacin de la Calidad/Ministerio de Cultura y Educacin de la Nacin. Argentina. Reyes, R. M. y Grman, A. (1992). Hacia el establecimiento de un Sistema de Pruebas Nacionales. Naturaleza, Proceso y Logros. Documento presentado en el Seminario Regional sobre Sistemas Nacionales de Medicin del Logro Educativo. 31 de agosto al 4 de septiembre. Santiago, Chile. Schiefelbein, E. (1991). Anlisis del Sistema de Medicin de la Calidad de la Educacin (SIMCE) y sugerencias para mejorar su impacto en la calidad. Santiago, Chile. Shavelson, R.; Webb, N. (1995). Qn Getting it right EducationalEvaluation and PolcyAnalysis. FaIl 1995, 17, N3, pp 275-279. Tyler, R. W. (1990). Reporting Evaluations of Learning Outcomes en H. J. Walberg y G. D. Haertel (eds). The International Encyclopedia of Educational Evaluation. Oxford, Pergamon Press, 1990 y en The International Journal of Educational Research, vol. 10, N 1, 1986. Wolf, R. M. (1990). The Nature of Educational Evaluation en H. J. Walberg y G. D. Haertel (eds), The International Encyclopedia of Educational Evaluation. Oxford, Pergamon Press, 1990 yen The International Journal of Educational Research, vol. 11, n 1, 1987.

S

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

S

Hochgeladen von

Copyright:

Verfügbare Formate

DOCUMENTOS Laboratorio Latinoamericano de Evaluacin de la calidad de la educacin

Los sistemas de medicin y evaluacin de la calidad de la educacin V. Arancibia

(Psacharopoulos, 1992). Las evaluaciones educativas constituyen

Anlisis conceptual de calidad de la educacin y sistemas nacionales de medicin

Medicin de calidad de la educacin

Insumo para toma de decisiones de poltica

Pas Honduras poltica

directores, profesores, padres e incluso a los mismos alumnos.

Cuestionarios Encuestas estructuradas a: alumnos directores docentes padres

Aplicacin de los instrumentos Estudios transversales vs longitudinales

Costa Rica El Salvador Honduras Mxico Paraguay Repblica Dominicana Venezuela

Tipo de ejercicios por escrito prcticos individuales por escrito individuales

por escrito individuales por escrito

El Salvador Honduras Mxico Paraguay Repblica Dominicana Venezuela

identificacin personal annima

Costa Rica El Salvador Honduras

Pas Argentina Brasil Chile Colombia Costa Rica

El Salvador Honduras Mxico

Paraguay Repblica Dominicana Venezuela

correctas (logros) Puntajes estndar Anlisis pormenorizados cualitativos

correctas (logros) Escalas de habilidades Porcentaje de respuestas

correctas (logros) Puntajes estndar Porcentaje de estudiantes por niveles de logro

Colombia Costa Rica

objetivos (Para las

pruebas formativas. Puntaje por objetivos amplificado

correctas (logros) Porcentajes de respuestas

correctas (logros) Puntajes estndar Porcentaje de respuestas

Paraguay Repblica Dominicana Venezuela

Esta propuesta metodolgica presenta la siguiente

que es el mejoramiento de la calidad de la educacin, quedara sin realizarse.

ampliamente respecto del desarrollo, administracin y divulgacin de la prueba. Estas varia-

Responsable de directrices generales

Responsable de diseo de instrumentos

Responsable de administracin de Direccin nacional de evaluacin. Ministerio de cultura y educacin e la Nacin

S IMCE Servicio Nacional de pruebas 1 MEC

Direccin nacional de educacin

Direccin general de evaluacin

Direccin genera de evaluacin

Los docentes (jurados) y 1a SEEBAC

Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin

Das könnte Ihnen auch gefallen