3. Metaevaluacion de las escuelas: el camino del aprendizaje, del rigor, de la mejora y de la ética Se est hablando y escribiendo mucho sobre la evaluacién de las instituciones escolares, se estan haciendo muchas evaluaciones, se est4 generando una cultura sobre la evaluacién. Ante ese hecho no hay que lanzar las campanas al vuelo, porque lo mas importante no es hacer muchas evaluaciones, ni siquiera hacerlas bien. Lo mds importante es saber al servicio de qué personas y de qué valores se ponen. Quiero llamar la atencién en este capitulo sobre la necesidad de analizar lo que sucede con las evaluaciones. No basta, pues, con ponerlas en marcha para que ya nos sintamos satisfechos. La me- taevaluacién (0 proceso de evaluacién de las evaluaciones) permite preguntarse, al menos, por algunas cuestiones que analizo a conti- nuacién. EI aprendizaje Es necesario aprender de las evaluaciones que se realizan. Todos po- demos aprender: los patrocinadores, los evaluadores, los evaluados. Pero solamente lo podremos hacer si reflexionamos de forma riguro- sa y desapasionada sobre los procesos y los resultados. No es razona- ble repetir los errores de manera casi mecdnica. En la evaluacién que se pone en marcha por prescripcidn legal se produce un cruce de modelos verdaderamente inquietante. Se corre el peligro de que no responda plenamente nia uno nia otro. Por una parte se trata de una evaluacién de rendimiento de cuentas (accoun- Micuet Ancet SANTOS GUERRA * 49tability) ya que la ordena el poder y la realiza la autoridad académica (inspectores). Por otra parte se pretende hacer de ella una evaluacién negociada, consensuada, participativa y democritica. Si se negocia, gse puede plantear la posibilidad de que los evaluadores sean agentes externos al sistema?, jse puede sugerir que sean otros los métodos?, gse puede decidir desde las escuelas qué hacer con los informes? Es necesario preguntarse por la actitud de los profesores y profesoras, por la artificializacién del comportamiento cuando se hacen obser- vaciones, por la calidad de la informacién cuando se hacen entrevis- tas, por la riqueza de los informes elaborados, por la negociacién de los mismos, por la capacidad de transformacidn que estd teniendo la evaluacién... Es necesario preguntarse por la preparacién de los ins- pectores para hacer un tipo determinado de evaluacién, por el tiem- po de que disponen, por sus habilidades para Ilevarla a cabo... Es imprescindible interrogarse por la actitud del profesorado ante la evaluacién: por sus reticencias, por su colaboracién, por su disposi- cién al cambio... ¢Por qué repetir los errores de una forma irracional y perseverante? ¢Quién garantiza que los buenos propésitos al realizarla no han pro- ducido efectos secundarios dafiinos? ;Quién puede afirmar que esta inmunizado contra la comisién de errores? Si as{ ha sido, gno es razo- nable y justo que se traten de evitar en futuras experiencias? El aprendizaje no se produce solamente sobre los fallos, errores 0 conflictos. También es importante analizar y desentrafiar las explica- ciones sobre los aciertos, sobre la colaboracién abierta, sobre la re- flexi6n rigurosa, sobre el conocimiento elaborado, sobre los cambios efectivos, etc. La mejora Sé que la palabra mejora es casi infinita en sus contenidos semanti- cos. {Qué es mejora? Sin embargo es una pregunta capital. Hay que desentrafiar el significado de este concepto como hay que hacerlo con el de calidad. De lo contrario no sélo se produciré confusién sino perversién. Cuando se realizan simplificaciones suele hacerse de manera interesada. Quien identifica calidad con rendimiento de alum- nos es porque esté interesado en que asf sea. 50 * LA EVALUACION COMO APRENDIZAJELa evaluacién tiene que estar encaminada a la mejora de la practica educativa. Serd una garantfa de la calidad para la institucién educati- va (Casanova, 1992), siempre y cuando se realice, se oriente, se enca- mine a la mejora y no tanto al control, a la comparacién, a la clasifi- cacién, ala jerarquizacién o a la discriminacién. Para que la mejora se produzca es necesario que la disposicién de los que intervienen en ella sea abierta y comprometida. Si no existe acti- tud autocritica y apertura a la opinién externa es muy dificil que cambie algo profundamente. Si no existe una actitud comprometida con la prdctica, es imposible que las transformaciones afecten a 20- nas significativas. Los cambios, si se producen, serdn superficiales y anecdéticos. Hablo de disposicién positiva de todos los que intervienen en la eva- luacién. Eso atafie también a la Administracién. Si la evaluacién muestra carencias, deficiencias o errores en la gestién del sistema educativo, habrén de percibir los profesores que existe disponibili- dad para asumir las decisiones de mejora. Si no sucede asf, el profe- sorado veré la evaluacién como un fendémeno de jerarquizacidn y de control. La mejora exige una negociacién de los informes extensa y profun- da. Esta etapa es la piedra angular de la evaluacion (Santos Guerra, 1998) porque permite conocer con claridad y rigor qué es lo que sucede y por qué. De ese conocimiento pueden surgir las decisiones de cambio. El rigor Una de las preocupaciones mds importantes de la metaevaluacién es la comprobacién del rigor que ha tenido la evaluacién. Defiendo un tipo de evaluacién que es de naturaleza cualitativa por considerar que no se pueden captar fenédmenos complejos desde métodos cuan- titativos y, por consiguiente, simplificados. No se deben aplicar a la utilizacién de la metodologfa cualitativa los presupuestos de la validez que se vienen empleando en la investiga- cién experimental. Esa dependencia genera una distorsién del mo- delo y no da respuesta a la verdadera cuestién: ;cémo saber si la evaluacién que se ha realizado refleja con le en la JEL Ne eae 51 Se |escuela? Es preciso aplicar los criterios de credibilidad y comprobar en qué medida esa evaluacién los cumple. Veamos algunos ejemplos: Si se han utilizado métodos diversos para explorar la escueda y se han triangulado las informaciones procedentes de estas, habra mds rigor que si sdlo se ha utilizado un método. El proceso de triangula- cién consiste en la contrastacién, en la depuracién de los datos. La informacién procedente de distintos métodos no siempre dice lo mismo. No se trata de eliminar las discrepancias sino de explicarlas. Si se ha permanecido un tiempo largo en el instituto educativo ob- servando lo que en él sucede, habr4 mds garantfas que si solamente se ha permanecido en él un tiempo muy breve. Las pistas de revisién permiten hacer una valoracién sobre la naturaleza, el sentido, la ética y el rigor de la evaluacién. ;Existen esas pistas? La transferencia La evaluacién que se hace de una escuela puede servir para el aprendi- zaje y el cambio de otras escuelas. El hecho de que cada institucién sea diferente no oculta las caracteristicas comunes que las definen a todas. Difundir los informes de las evaluaciones, salvaguardando el anoni- mato de los protagonistas, puede ayudar a comprender lo que suce- de con las escuelas. Y puede servir para que algunas reflexionen sobre los resultados habidos en otras. Para que la transferibilidad pueda producirse hay que partir de des- cripciones minuciosas. Las afirmaciones de cardcter genérico no apor- tan informacién relevante. Decir que un colegio “funciona bien”, que tiene “clima excelente”, que tiene “magnificos resultados”, no nos permite conocer nada. En la medida que los colegios tengan caracteristicas y contextos mds similares la transferibilidad ser4 més facil. En efecto, es razonable esperar que lo que sucede en una escuela privada se repita en otra de este mismo tipo. Es probable que una escuela rural se parezca mds a otra de este cardcter que a una situada en una gran urbe. Y que un colegio de gran tamafio se asemeje mds a otro de estas caracterfsticas que a una escuela unitaria. Existe otra forma de establecer transferibilidad que se ha denomina- do reader made, hecha por el lector del informe. Este se pregunta: 52 * LA EVALUACION COMO APRENDIZAJEgpasard algo parecido en esta otra escuela? Quien lee un informe so- bre la evaluacién de una escuela y esta en otra, puede preguntarse facilmente: gpasar4 algo similar en la mfa? éP: t La ética Me detendré algo mis en este apartado por considerarlo esencial en la metaevaluacién. Esta no es un proceso exclusivamente técnico. Como la misma evaluacién, tiene una dimensién sustancialmente ética. Por eso, la metaevaluacién no se centra exclusivamente en la busqueda de criterios de carécter metodoldgico 0 algoritmico, sino que se ha de centrar en su vertiente moral. En otro lugar (Santos Guerra, 1993) he hecho referencia a los abusos de la evaluacién. Los que describo en ese trabajo y denuncio han sido descubiertos en la prdctica de la evaluacién en nuestro pais. No hablo, pues, de memoria. No es necesario desarrollar el contenido de estos enunciados que hablan por sf solos. — Convertir la evaluacién en un eldgio a quien la patrocina o la realiza. — Elegir sesgadamente algunas parcelas 0 experiencias que favorez- can una realidad o una visién sobre la misma. — Hacer una evaluacién de diferente naturaleza y rigor para realida- des igualmente importantes. — Convertir la evaluacién en un instrumento de dominacién, con- trol y opresién. — Poner la evaluacién al servicio de quienes mds tienen o més pue- den. — Atribuir los resultados a causas mds o menos supuestas a través de procesos atributivos arbitrarios. — Encargar la evaluacién a equipos o personas sin independencia o valor para decir la verdad. — Silenciar los resultados de la evaluacién respecto a los evaluados 0 a otras audiencias. — Seleccionar aquellos aspectos que permiten tomar decisiones que apoyan las iniciativas, ideas o planteamientos del poder. — Hacer publicas sdlo aquellas partes del informe que tienen un cardcter halagador para el poder. Micuet ANGEL SANTos GUERRA * 53— Descalificar la evaluacién achacdndole falta de rigor si los resulta- dos no interesan. — Dar por buenos los resultados de la evaluacién a pesar de su falta de rigor, cuando esto es lo que interesa. — Utilizar los resultados para tomar decisiones clara o subrepticia- mente injustas. — Aprovechar la evaluacién para hacer falsas comparaciones entre lo que es realmente incomparable. — Atribuir los malos resultados no al desarrollo del programa sino a la torpeza, la pereza o la mala preparacidn o voluntad de los usua- trios del mismo. Es necesario mantener la vigilancia sobre esta cuestién ética, tan trascendental, porque no se trata de evaluar mucho, ni siquiera de evaluar de forma técnicamente perfecta, sino de saber al servi- cio de quién y de qué valores se realiza. Nadie se alegrarfa de que se abriese una fabrica de cuchillos en una localidad si supiera que su destino serd la distribucién de los mismos entre los ciudada- nos para ejercitarse en el acuchillamiento de sus enemigos. El quebrantamiento de la ética puede darse en el fendmeno mis- mo de Ja evaluacién, en su globalidad o en algunas de sus partes especificas. Se puede poner en marcha una evaluacién al servicio del poder, del dinero o del prestigio de los patrocinadores, por ejemplo. Y se puede obtener informacién de forma fraudulenta realizando entrevistas que estdn falsamente planteadas. Care (1978) plantea las exigencias de un contrato equitativo de evaluacién. En ese proceso se ponen los cimientos del edificio de la ética. Aunque no todas las exigencias tienen la misma impor- tancia ni su presentacién est4 organizada segtin criterios axioldgi- cos, es de interés enumerarlas con un brevisimo comentario. 1. Ausencia de coercién: La equidad exige que los que tienen que participar en la evaluacién (evaluadores, evaluados, co- laboradores, jueces...) no estén sujetos a presiones coerciti- vas. Se sabe que esas presiones pueden ser brutales o sutiles. Internamente, tampoco deben existir mecanismos de con- trol: nadie (persona o grupo) debe ejercer presién ni control sobre otros. 54 + LA EVALUACION COMO APRENDIZAJE10. Racionalidad: Los participantes han de actuar de forma ldgica y sensata. Esto quiere decir que el discurso y el proceso de la eva- luacién estan presididos por argumentos y no por caprichos 0 intereses. Aceptacién de los términos: Las partes que firman el acuerdo acep- tan libremente las reglas de procedimiento que han sido for- muladas de manera clara y transparente, tanto por lo que res- pecta a la naturaleza, como a los objetivos ya los métodos de la evaluacién. Acuerdo conjunto: La equidad requiere que el acuerdo se conside- re como algo més que la coincidencia entre opciones individua- les. La negociacién, cuando es intensa y sincera, no es un proce- so sencillo. Exige tiempo; exige valentfa. Y una discusién sin ba- rreras de todos los participantes. Desinterés: Hay que someter los intereses particulares a las pre- ocupaciones, problemas y necesidades de la causa comuin. Llegar aun acuerdo no garantiza que se hayan supeditado los intereses particulares a los generales. Universalidad: La normativa tiene que afectar a todos por igual, incluidos los evaluadores. Si la normativa exige que se trate de forma distinta a diferentes personas, todos pueden situarse en cualquiera de ellas. Interés comunitario: Quienes legan a un acuerdo para realizar la evaluacién deben tener como meta que se produzca el maximo beneficio para cada uno de los participantes. Informacién igual y completa: Nadie debe tener acceso a una in- formacién privilegiada. Una condicién de la equidad consiste en que los participantes reciban informacién sobre los hechos perti- nentes y que ésta se distribuya por igual. Ausencia de riesgos: Uno de los propésitos del contrato de evalua- cidn es que no se deriven riesgos para quienes se someten a ella, o bien reducirlos al minimo. Viabilidad: El contrato de evaluacién ha de ser de tal naturaleza que sea posible llevarlo a cabo. Los evaluadores no deben prome- ter actividades y oportunidades fantdsticas, por mds deseables que éstas fueran. El interés por conseguir el contrato puede lle- var a realizar promesas inviables. Cuando no es posible cumplir el contrato, éste no es equitativo. Micuet ANcet Santos Guerra * 5511. Contar con todas las opiniones: Para que el contrato sea equitati- vo, las partes deben tener la oportunidad de hacer constar lo que crean conveniente. 12. Participacién: La condicién final del contrato es que todos los participantes puedan participar. Todo el mundo debe tener voz. La ética que se exige a la evaluacién ha de presidir también la metaeva- luacién. ;Hasta dénde ha de llegar esta exigencia? ;Quién evaltia a los metaevaluadores? Si se establecieran Comisiones de Garantia de la Eti- ca, ¢quién ejercerfa el control democratico sobre ellas? En su excelente y ya clésica obra Evaluation with validity, waducida al castellano con el titulo Evaluacién, ética y poder, Ernest House (1980, versién espafiola de 1994) exige a la evaluacién veracidad, belleza y Justicia. No siempre se plantea la evaluacidn siguiendo estos criterios. Cuando se pretende medir los resultados de las experiencias y de los centros escolares a través de pruebas estandarizadas con el fin de hacer una clasificacién segiin la posicién en la escalay se conceden luego recursos siguiendo esa clasificacién, se est4 utilizando la evaluacién al servicio de la injusticia y de la desigualdad. Por muy rigurosas y precisas que sean las pruebas, no se evita el desajuste moral. Se esté dando a los que mds tienen (cultura, dinero, poder...) todavia mds, a través de un ins- trumento que parece neutral y aséptico. Es una trampa terrible que algunos defienden de forma ingenua y muchos de manera interesada. éCémo se realiza la metaevaluacién? La metaevaluacién puede emprenderse paralelamente a la evalua- cién, aunque también puede realizarse una vez finalizada la misma. Por tratarse de una evaluacidn, han de exigirsele todos aquellos re- quisitos que se le pide a ésta. Existen varias formas de responder las cuestiones que aqui se plantean: A) El proceso de negociacién El proceso de negociacién de informes es un excelente camino que nos permite conocer cémo ha sido el proceso de evaluacién y cémo 56 + LA EVALUACION COMO APRENDIZAJEse pueden considerar los resultados de la misma. La negociacién no sdlo se refiere al contenido del informe. Afecta también a la calidad de los procesos que han hecho posible su eleboracién. Y, cémo no, a las posibilidades de mejora que parten del mismo. Si existen, como en el caso de las escuelas, muchas evaluaciones, se puede emitir un juicio mds riguroso sobre lo que supone la evalua- cidn y sobre lo que serfa preciso hacer para mejorarla. Algunas expe- riencias apuntan a este tipo de procesos de metaevaluacién (Lujdn Castro y Puente Azcutia, 1996). Lo importante es sacar de ellas los elementos necesarios para iluminar y dirigir las decisiones politicas, la intervencidn de los expertos y la prdctica de los docentes. B) Aplicacién de criterios Hay que remitirse a un artfculo de Guba (1993) que sirve de referen- cia para la respuesta a la pregunta de la validez y de la transferibili- dad. Guba dice que no hay criterios absolutos, pero que existen exi- gencias que permiten garantizar que se ha alcanzado el rigor necesa- rio para afirmar que lo que contiene el informe es un reflejo fiel de lo que sucede y no una invencidn del evaluador. Anteriormente me he referido ya a algunos criterios que plantea Egon Guba refiriéndose de forma especial a las evaluaciones de cardcter naturalista. C) Juicio critico de expertos Se puede encomendar a expertos que no han participado en la eva- luacién y que tampoco estén vinculados a la accidn evaluada, la emi- sidn de opiniones sobre el proceso de evaluacién. Para poder realizar un juicio fundado, los expertos tienen que conocer lo que ha sucedi- do en la evaluacidn. Para ello dispondran de todos los materiales y podran entrevistar a los protagonistas: patrocinadores, evaluadores y evaluados. La metaevaluacién debe facilitar el aprendizaje de los evaluadores quienes, a través del andlisis, sugerencias y preguntas se acercan a la comprensi6n de los procesos. Micuet ANGEL SaNTos GueRRA * 57D) Opinion de los protagonistas Una vez finalizada la evaluacién, los protagonistas de la misma pue- den emitir sus opiniones por escrito o de forma oral, de manera que sea posible descubrir aquellos problemas, dificultades o fallos que hayan condicionado el proceso. Silos protagonistas de la accién tienen la clave del significado, los de la evaluacién tienen en sus manos la interpretacién de lo que ha sucedido en todas las fases de la misma. Ellos saben qué sucedié con lainiciativa, cémo se hizo la negociacién, cémo se ha explorado, qué ha sucedido con los informes, cémo se han respetado las normas. A ellos pues, hay que preguntarles, garantizando las condiciones de una libre expresidn. 58 + LA EVALUACION COMO APRENDIZAJE