1

Para comprender cmo es que estudiamos la efectividad de las escuelas o las clases consideremos un sencillo modelo de una organizacin Una organizacin cuenta con ciertos inputs o recursos, los cuales a travs de ciertos procesos transforma en outcomes o resultados y se sita en cierto contexto. Esto es un modelo sobre-simplificado, pero que sirve a nuestros propsitos de comprender cmo es que se estudia la efectividad de las escuelas y de las aulas. Sirve a nuestro inters de comprender cules son los procesos educativos que incrementan los outcomes de los estudiantes considerando los inputs (Scheerens, 2000).

Este sencillo modelo de una organizacin se puede complejizar ampliamente si consideramos que existen diversos inputs, procesos y outcomes en una organizacin. Por ejemplo, en una escuela habrn inputs de los profesores, los estudiantes, sus familias, etc. Habrn diversos outcomes como rendimiento acadmico en matemticas, ciencias, lenguaje, resultados de ndole valorica, cvica, resultados como nivel de ingreso a universidades o institutos tcnicos, etc. Tal como usted pudo corroborar en la actividad anterior, los outcomes o resultados que los distintos actores del sistema educativo esperan de la escuela son tan variados como actores hay en el sistema, por no mencionar el sinnmero de procesos e interacciones que ocurren al interior de las organizaciones.

Y as, podemos analizar las organizaciones de manera sistmica. Los outcomes de una organizacin servirn de inputs a otras que a su vez generaran otros outcomes Por ejemplo, los outputs de la educacin preescolar servirn como inputs a la educacin escolar. La formacin inicial de profesores servir tambin como input a la educacin de la escuela. Los resultados o outcomes de la educacin escolar, por su parte, servirn como inputs a la educacin tcnica o universitaria, etc. Este mapa general no podemos perderlo de vista. Pero analizarlo completo sera muy complejo. Imagina tener en consideracin todas estas organizaciones y sistemas en la cabeza al mismo tiempo! Es por ello que, analizaremos cmo es que se estudia la efectividad de las escuelas y cmo un mini sistema dentro de esta escuela, cmo es que estudiamos la efectividad instruccional, o bien, la efectividad de una clase. Sin embargo, el modelo organizacional y metodolgico con el que analizamos las escuelas y clases no es solo aplicable a estas, sino que podramos traspasar estos modelos a otras organizaciones y sistemas. No te preocupes, de eso no nos encargaremos ahora, pero si es importante que lo tengas presente uno nunca sabe cuando habr de necesitar recursos como estos. En fin, volvamos a las escuelas y las clases que es lo que nos compete en este curso.

Los objetivos de la escuela y la instruccin se discuten desde los inicios de su existencia. Se han discutido objetivos tan variados como aquellos religiosos, productivos, valricos, ciudadanos, etc. Comnmente, hoy en da, las discusiones de los objetivos de aprendizaje abordan temas tan amplios como el desarrollo de habilidades para el siglo XXI u otros ms acotados y concretos como el aprendizaje de la literacidad y numeracidad bsica. Asimismo, se espera que las escuelas desarrollen actitudes positivas, educacin fsica, sentido de pertenencia, respeto, amor por el aprendizaje. Posiblemente la expectativa ms comn es que la escuela logre el rendimiento acadmico de sus estudiantes (Hattie & Anderman, 2013). Teniendo en consideracin que el rendimiento acadmico es un objetivo limitado, dado que es un objetivo ms o menos consensuado, y el ms estudiado, utilizaremos este objetivo de la educacin como el foco de este curso.

Ahora bien, qu es el rendimiento acadmico? Este tambin es un tema controversial tanto en trminos de su definicin como en trminos de cmo logramos mejorar el rendimiento. Hay para quienes el rendimiento acadmico es incrementar el aprendizaje de matemticas o lenguaje, o porque no incrementar los resultados en pruebas estandarizadas (Guskey, 2013) como SIMCE o PSU. Y si pensamos en cmo es que se puede mejorar el rendimiento, nuevamente aparecen tantas posibles respuestas como contextos. Comnmente escuchamos aqu es diferente con estos nios funciona as.

En trminos muy simples, rendimiento significa lograr algo. En educacin, ese algo suele referirse a ciertas metas educativas articuladas. Porque las metas educativas o acadmicas suelen ser muy diversas y multifacticas, el rendimiento acadmico de los estudiantes debe considerarse como tal. Para ser precisos, las discusiones sobre rendimiento acadmico de los estudiantes debe ir de la mano con definiciones muy estrictas de qu refiere, con claros descriptores que clarifiquen la especificidad con la que los distintos participantes de la escuela comprenden las metas de la escuela. De este modo podemos poner atencin a las actividades instruccionales que nos permitirn alcanzar tales objetivos claramente descritos.

Adems de la necesidad de especificidad y diversidad de medidas de rendimiento escolar, es necesario tener en consideracin que, si empleamos medidas de rendimiento escolar como las pruebas estandarizadas, entonces tenemos que considerar mediciones reiteradas. Puede suceder que una medicin se realiza un da de mucho calor, o un da en el que en el colegio hay mucho ruido, etc. Las mediciones de ese ao pueden ser muy bajas, aun cuando la escuela A normalmente saca altos resultados. Es el resultado de ese ao una indicacin de que la escuela ha empeorado. No necesariamente. Es por ello que, es importante tener en consideracin que las medidas de pruebas estandarizadas son tan solo una medida, que puede ser inestable (Chay, McEwan & Urquiola, 2005), y que debe comprenderse en contexto. Se debe tener en consideracin que los resultados de una prueba estandarizada son indicadores del rendimiento acadmico de los estudiantes, y como indicadores, estos son tan precisos como lo son las medidas en s mismas.

Pero no todos los estudiantes que ingresan a nuestras escuelas o nuestras aulas son iguales. Nuestros nios y nias llegan a las escuelas con distintos niveles de desarrollo, salud, gnero, personalidad, actitudes, aspiraciones, niveles de concentracin, cultura, intereses, conocimientos y habilidades.

Asimismo, los nios y nias provienen de familias diversas, con diversa composicin familiar, recursos familiares (que les permiten acceso a cultura, libros, transporte escolar, etc.), con padres con distintos niveles de educacin, con o sin empleos, con distintas disposiciones a relacionarse con la escuela y el trabajo que ellas desarrollamos.

10

Asimismo, los colegios tambin difieren respecto de los recursos con los que cuentan (entindase recursos no solo en trminos monetarios), recursos puede ser desde recursos monetarios como el nivel de gasto por estudiante, infraestructura, acceso a tecnologas, el nivel de experiencia de sus directivos y docentes. Asimismo un recurso puede verse como la cantidad de estudiantes por profesor como el tamao del colegio. Tambin pueden considerarse como inputs los servicios de apoyo con los que cuenta el colegio en su comunidad, como sera por ejemplo, contar con apoyo de las familias, apoyo de los servicios de salud, etc.

11

El contexto en el cual opera la escuela tambin genera influencias que afectan el funcionamiento de la organizacin. Dentro de las variables contextuales que podemos identificar estn, por ejemplo, el curriculum nacional, las pruebas nacionales estandarizadas, los estndares curriculares, de profesores, el lugar geogrfico en que se ubica la escuela, si este es urbano o rural, el funcionamiento del sistema educacional nacional en general, si estamos en el contexto de un pas desarrollado o uno en vas de desarrollo habrn diferencias tremendas dependiendo del contexto. Por ejemplo, la evidencia emprica nos muestra que en pases desarrollados, las variables que ms explican la efectividad de las escuelas son los procesos educativos ms que los inputs, mientras que en los pases menos desarrollados es al revs, la diferencia en efectividad de las escuelas es explicada ms que nada por los inputs ms que por los procesos educativos (Scheerens, 2000). Puedes imaginar por qu sucede esto? (Pon pausa en el video por un momento, hazte un caf y piensa porque crees que sucede esto). Pues bien en un pas de muy escasos recursos, no importa tanto que tan bueno sea el profesor, si la sala de clases no tiene bancos escolares, luz, suelo, agua, y donde los nios tal vez no han tomado desayuno. En este caso parece ser ms importante el equipamiento bsico del colegio y la alimentacin de los estudiantes. En cambio, en un pas desarrollado, donde las necesidades bsicas de los nios estn cubiertas y la infraestructura de las escuelas es ms apropiada, entonces claro que la diferencia en el aprendizaje de los estudiantes puede estar marcada por las acciones que realicen los profesores en sus clases, es decir, por los procesos educativos. Ves? Si quieres leer respecto de esta interesante discusin te invito a leer la lectura de Scheerens (2000) disponible en las lecturas complementarias.

12

Entonces, no sera justo evaluar la efectividad de un colegio o de una clase comparando solo los outcomes. Es fundamental tomar en consideracin cuales son los inputs de nuestros estudiantes. As, lo importante es que para evaluar la efectividad de una escuela debemos tener alguna medida que nos permita dar cuenta de la ganancia en aprendizaje que obtienen los estudiantes, o bien, porque la escuela A es mejor que la escuela B, si las diferencias no se deben a diferencias en la poblacin de estudiantes de los dos colegios? (Scheerens, 2000). Ejemplo de SIMCE. Debemos evaluar el valor agregado que aportan las escuelas al aprendizaje de los nios y nias. Como habrs de imaginar, esto supone un tremendo desafo, puesto que para tener una buena medida de valor agregado debisemos tener evaluaciones iniciales y finales de los nios en variados outcomes.

13

Y a su vez debemos tener estas mediciones para nios y nias de variadas escuelas dado que como vemos, la efectividad de una escuela es un concepto relativo. Una escuela no es buena en s misma, sino en comparacin con otras escuelas. Las medidas de valor agregado nos permiten hacer un ranking o posicionar las escuelas para ver cules son mejores que las otras.

14

En los estudios de efectividad escolar, no es solo importante el ranking de las escuelas en tanto a su valor agregado, y las caractersticas que tienen esas escuelas. La pregunta ms relevante desde los estudios de efectividad escolar es qu caractersticas llevan a las escuelas a incrementar su rendimiento? O bien, por qu es que la escuela A logra incrementar el valor agregado sus estudiantes ms que la escuela B? Esto implica que no queremos solo tener informacin fotogrfica de las caractersticas de las distintas escuelas, sino que la informacin que necesitamos es ver la evolucin de estas escuelas en el tiempo. Queremos ver cmo es que estas escuelas estn mejorando.

15

Cmo estudiamos la causalidad? Imagine un mundo hipottico en el cual podemos controlar todo absolutamente todo: el color de pelo de las personas, su personalidad, sus habilidades, sus emociones, sus conocimientos, su bagaje cultural y social todo Compararamos los resultados de dos estudiantes exactamente iguales (igual color de pelo, iguales conocimientos previos, padres iguales, etc.) que van a distintas escuelas A y B.

16

Entonces podramos comparar los resultados, y el grupo de estudiantes que obtienen mejores resultados entonces podremos decir que ellos atendieron el colegio que es ms efectivo.

Este mismo mundo hipottico puede aplicarse cuando queremos estudiar la efectividad instruccional. Simplemente tenemos que pensar en una sala de clases en lugar de una escuela.

17

Pensemos un momento en que refiere la causalidad. Empleare una metfora para hacer el punto. Por ejemplo, imaginemos que lo que quiero es comprender porque cierta planta de rosas A crece mas rpido que una planta B. Como ve, estoy preocupada del crecimiento de la planta, y no del porte de la planta en si mismo, es decir, estoy preocupada del valor agregado del porte de la planta, de la diferencia entre el porte en un tiempo 0 y el porte en un tiempo 1 entre ambas plantas. La pregunta ms bsica entonces es: que caractersticas tienen las plantas y los ambientes de A y B y cmo se comparan. La planta A tiene 4 botones, mientras que la planta B tiene 5. La planta A esta en un campo de riego, mientras que la planta B esta en tierra mas rida. La planta A recibe 8 horas de sol al da, mientras que la planta B recibe 10 horas de sol. Y as Si pudiera cuantificar todas las caractersticas, entonces podra ver cules son los atributos en los cuales las plantas se diferencian ms y entonces podra pensar que esos atributos de la planta y su ambiente son los que explican las diferencias en crecimiento. Esto sera una explicacin muy dbil de las causas que hacen que una planta crezca mas rpido que la otra. En cambio, si pudisemos comparar dos plantas similares y observar cambios especficos que suceden en los atributos del ambiente, entonces podremos tener una explicacin ms clara sobre qu genera las diferencias en la tasa de crecimiento. Por ejemplo, si lo nico que diferencia entre el tiempo 0 y 1, y las plantas A y B es la cantidad de horas de exposicin solar, digamos que esta ha ido incrementando para la planta A y para la planta B se ha mantenido constante, entonces podramos inferir que, a medida que incrementa la exposicin solar para las rosas, incrementa tambin la tasa de crecimiento de la misma. Una conclusin as supone que no existen otras diferencias entre las plantas A y B ni el ambiente de ambas. Pero a pesar del supuesto, que por lo cierto no es un supuesto irrelevante, podemos tener mayor confianza en que las conclusiones de nuestra observacin son acertadas. Detn el video y piensa un momento en algn ejemplo que a ti te haga mas sentido. Por el momento he revisado un ejemplo de efectividad de escuelas, y de crecimiento de una planta. Piensa y escribe en un prrafo, cul sera el panorama perfecto para evaluar causalmente la efectividad de una clase. Postalo en el foro. Lee tambin las respuestas de tus compaeros y comenta las fortalezas y debilidades de las propuestas que ha realizado al menos uno de tus compaeros. No olvides continuar revisando el video una vez que hayas terminado la actividad. O por el contrario, puedes decidir realizar la actividad una vez que hayas terminado el video.

18

Ahora bien, ya que esta claro qu la efectividad escolar requiere de una definicin clara de outcomes a evaluar, que refiere al valor agregado de las escuelas, de que es un concepto relativo y que para realizar un estudio de causalidad se requiere de la comparacin de diversas escuelas.

19

Cmo es que realizamos tales comparaciones si no contamos con los mundos hipotticos que mencionamos e imaginamos antes?

20

no existen nios y nias exactamente iguales. No podemos controlarlo todo para satisfacer nuestra curiosidad por responder a estas preguntas

Es por ello que recurrimos a distintas herramientas de investigacin como son por una parte el diseo de las investigaciones, y por otra parte, los controles estadsticos. No entraremos en detalle en metodologas de investigacin puesto que no es el objetivo del curso. Pero si entraremos a revisar qu evidencia emprica nos ofrecen las investigaciones y revisaremos sus implicancias practicas.

21

Ya hemos comprendido que la efectividad escolar es un concepto que refiere al valor agregado de las escuelas, que es un concepto relativo y que busca comprender la causa de la efectividad. Ahora bien, la comprensin del concepto de escuelas o clases efectivas requiere de ciertas precauciones:

22

Una de ellas es que las escuelas no son homogneas. Es decir, la escuela A no tiene necesariamente el mismo efecto en todos los estudiantes que atienden la escuela A. Asimismo, no necesariamente la escuela A es buena en incrementar las habilidades de razonamiento lgico, las habilidades de comunicacin y los valores de sus estudiantes. Hay algunas escuelas que son mejores para algunos estudiantes, mientras que otras son mejores para otro grupo de estudiantes. As como hay escuelas que son mejores incrementando el aprendizaje de los estudiantes en algunos objetivos y no en otros. Sin embargo, cuando comparamos las escuelas tendemos a basarnos en una ganancia promedio, de grupos de estudiantes y de reas acadmicas, y no necesariamente en la ganancia de ciertos grupos de estudiantes o una amplitud diferenciada de metas escolares. Si queremos ser ms rigurosos en nuestros estudios de escuelas efectivas debemos considerar la especificidad de los grupos de estudiantes y evaluar diversas metas de aprendizaje.

23

Otra de las precauciones que se debe tener en consideracin es, qu es aquello que los apoderados ven como efectividad de una escuela consideran los paps los resultados finales del colegio o ponen atencin al valor agregado que ofrece la escuela a sus hijos? Este no es un tema trivial para la situacin chilena donde nuestros apoderados tienen la posibilidad de elegir libremente a que colegio envan a sus hijos La evidencia emprica indica que parece ser que el valor agregado de un colegio no es necesariamente lo que los apoderados consideran cuando seleccionan el establecimiento educacional para sus hijos, sino el resultado final (Carrasco & San Martin, 2012), el SIMCE o la PSU o el nivel de ingreso a las universidades de sus ex-alumnos Sin embargo, esto no debiera desincentivar la investigacin de efectividad escolar, sino por el contrario, esto debiera incentivar medidas para ofrecer mayor informacin a los apoderados para que tomen decisiones ms acertadas.

24

25