Material extrado de : Teora y desarrollo del currculum Editorial Aljibe, Mlaga.1994. J.

Flix Angulo / Nieves Blanco (Coordinadores)

TEORA Y DESARROLLO DEL CURRICULUM

EDICIONES ALJIBE

QUE LLAMAMOS EVALUACION?: LAS DISTINTAS ACEPCIONES DEL TRMINO EVALUACIN O POR 1 QU NO TODOS LOS CONCEPTOS SIGNIFICAN LO MISMO J. Flix ngulo Rasco Universidad de Mlaga

Ni siquiera estoy seguro de que la enseanza con xito sea un criterio de la buena enseanza
1

Tengo que agradecer a J. Contreras Domingo, Miguel Sola y Nieves Blanco sus comentarios y aportaciones alas versiones previas de este trabajo; pero muy especialmente a mis alumnos/as de Doctorado (ao 1994), a quienes present y con quienes discut la penltima versin del mismo.

Hirst, P.H. (1977,322) Por razones que no tienen nada que ver con el lenguaje, el concepto de evaluacin" posee ms sinnimos de los que un buen diccionario de la lengua espaola podra soportar. En este trabajo quisiera despejar algunas confusiones y proponer, de paso, un concepto de evaluacin bastante distinto probablemente al que subyace a muchas de las prcticas que, a veces con cierta ligereza, denominamos prcticas de evaluacin. En castellano es frecuente utilizar el trmino evaluacin para toda una gama de procesos: evaluacin de curricula, de centros, alumnos/as y de profesores/as, e incluso, lo que en psicologa se denomina evaluacin conductual. Adems cuando se hace referencia a los alumnos/as, encontramos otros trminos asociados al mismo, utilizados en la misma prctica, como los de control, pruebas, calificacin, rendimiento y exmenes (Alvarez Mndez, 1985; Gimeno Sacristn y Prez Gmez y 1992). Sin embargo, en los pases anglosajones se suele hacer una distincin entre evaluation y assessment. Mientras el primer trmino puede traducirse en espaol sencillamente por evaluacin, la 2 traduccin del segundo abriga problemas casi insuperables . Pero podemos aclaramos si abordamos ambos conceptos y otros relacionados, pero igualmente importantes. haciendo uso de dos enfoques: uno procesual y otro estructural, que recogen lo establecido en la literatura pertinente. a)Enfoque procesual. Segn este enfoque, evaluar es formular un juicio sobre la actuacin de un individuo o grupo de individuos o un curso de accin, un programa o una realidad educativa, en cuyo caso podemos hablar, con propiedad, de evaluacin educativa y no slo de evaluacin a secas (Angulo, Contreras, Santos Guerra, 1991; Airasian, 1994); por el contrario, el concepto de assessment se refiere, nica y exclusivamente, al proceso a travs del cual se recoge, sintetiza y analiza la informacin pertinente para formular el juicio de la evaluacin, es decir, para evaluar (Airasian, 1994). b)Enfoque estructural. Desde este enfoque, la diferencia entre dichos conceptos se realiza en relacin a su sentido y su objeto correspondiente. El sentido de evaluacion hace referencia a todo proceso orientado al conocimiento de la calidad de/servicio educativo prestado, mientras que assessment lo hara con respecto al impactoy las 3 4 repercusiones" que dicho servicio ha tenido sobre los receptores . Teniendo en cuenta el objeto, la evaluacin se ocupa de la influencia en la calidad educativa que puedan tener los distintos y diversos componentes de los procesos de enseanza/aprendizaje (curriculum, metodologa, experiencias de aprendizaje, organizacin de los centros de enseanza, administracin educativa -provincial, autonmica, estatal-, los docentes y los mismos alumnos/as); mientras que assessment se orientada nica y exclusivamente a los individuos o grupos de individuos receptores del servicio (alumnos/ as) (MacDonald, 1976, 1988a; Angulo,1990; Sriven, 1991).
2 El trmino "assessment" deriva segn Conner (1 (1991) de la expresin latina "assidere" que significa sentarse al lado de, aunque en el diccionario latin/espaol slo aparece la palabra assideo que adems de significar estar sentado junto a, acepta como traduccin la de asediar. En los diccionarios espaol/Ingls dicho concepto viene traducido como evalu acin y como tasacin. Siendo un tanto crticos, la utilizacion de dicho concepto en los pases anglosajones, terica y prcticamente, est ms cerca de la ltima, tasacin, que de evaluacin. Con lo que "Assessment" supondria sensu stricto tasar algo. Pero nadie estara dispuesto, ni siquiera los anglosajones, a aceptar semejante traduccin. 3 Una frmula muy empleada por algunos docentes para desembarazarse de responsabilidades es la de afirmar, en este sentido, que se trata de aprovechamiento, en lugar del mencionado en el texto repercusiones. 4 As es como se ha concebido en Estados Unidos de Norteamrica el National Assessment of Educational Performance (Evaluacin Nacional de la Actuacin /Logro/Educativa), yen el Reino Unido el Assessment of Performance Unit (Unidad de Evaluacin de la Actuacin /Logro/). Es interesante constatar que en Espaa se suele traducir, de modo desafortun ado, performance y achievement por rendimiento.

Podramos afirmar que ambos enfoques son, en realidad, complementarios. La ventaja del primero estriba en situar la evaluacin correctamente en el terreno de los juicios, dejando al concepto de assessment en el de la metodologa, los instrumentos, en una palabra, la indagacin necesaria para sustentar cualquier juicio que queramos realizar. Sin embargo, este enfoque acarrea la dificultad de no diferenciar claramente entre el sentido y el objeto; con lo que propicia la reduccin, cuando no la equiparacin errnea, del concepto de evaluacin a otros ms discutibles y limitados como los de calificacin, test, prueba objetiva y exmenes, por ejemplo. Con ello, diluye, de alguna manera, la frontera entre instrumento y juicio, pero ademas, suprime una importante diferencia que es necesario situar desde el principio y que juega un papel clave en los procesos educativos: evaluar es algo mas que recoger datos e informaciones sobre una realidad educativa. Por lo tanto, el primer enfoque procesual- introduce un elemento muy importante . Lo que aqu podemos denominar genericamente evaluacion, supone siempre la formulacion de un juicio, formulacion que sostiene y justifica en razon de cierta informacion obtenida sobre la entidad o el ambito, sea este cual fuere, que evaluamos. Pero si utilizamos lo especificado por el segundo enfoque, tenemos que en el primer caso el juicio se realiza sobre la calidad del servicio y en el segundo sobre el aprovechamiento o impacto sobre los receptores del mismo. En estos casos los parametros del juicio son distintos: considerablemente amplio en el primero, particularmente reducido y estrecho en el segundo. Podemos acordar, pues, desde estas distinciones dos acepciones del termino evaluacion: una acepcion amplia que corresponderia al proceso por el cual conocemos y valoramos la calidad del servicio y el papel de los distintos componentes en el mismo y otra acepcion estrecha (o reducida)que sealaria al proceso o procedimiento por el que averiguamos su calidad unicamente a traves de la repercusion de dicho servicio en individuos o grupos de individuos receptores del mismo, restringiendo la comprension 5 de calidad a su incidencia sobre los receptores (alumnos/as) . En ambos casos, repito, formulamos un juicio pero con la importante diferencia de que en el segundo, el juicio es una atribucion a individuos o grupos de individuos o, en todo caso, a las actividades (por ejemplo sus aprendizajes) que hayan realizado; mientras que en el primero la atribucion se realiza sobre una actividad social o una institucin compleja, incluyendo acciones, decisiones, propuestas, experiencias, circunstancias, opiniones, y juicios tanto individuales como colectivos.

Barbier (1993, 17). reformula esta distincin en lo que denomina tipos funcionales de evaluacin: la evaluacin de agentes y la evaluacin de acciones.

Existen dos cuestiones problemticas que pueden enunciarse a partir de lo que hasta ahora llevamos visto: En primer lugar, y haciendo referencia al ttulo de este apanado, es necesario preguntarse a qu llamamos evaluacin? Acabamos de ver que evaluar, sea cual sea la acepcin que adoptemos, supone siempre Ja formulacin de un juicio; por ello, recoger informacin sobre lo evaluado o evaluable, aunque necesario, es insuficiente para conformar un proceso o una prctica de evaluacion. Como la contestacin a este problema, una vez planteado, requiere la explicacin de otros conceptos que suelen utilizarse como sustitutos del de evaluacin, tendremos que esperar un poco ms. Veamos la otra problemtica. En segundo lugar, un error importante que suele cometerse con respecto a estas dos acepciones, estriba en tomarlas de modo intercambiable; es decir, centrarse metodolgicamente en el plano de la acepcin 6 estrecha para formular juicios en el plano de la acepcin amplia . Esto suele ocurrir cuando, para valorar o enjuiciar ciertos curricula, innovaciones o reformas educativas, utilizamos informacin sobre el impacto y repercusin de las mismas en sus receptores, normalmente el alumnado. El salto subrepticio que aqu se realiza, de una plano a otro, constituye un craso error, al que lamentablemente nos estamos acostumbrando. La informacin sobre los receptores y la valoracin del impacto que ciertas innovaciones tiene en ellos es un elemento clave para conocer el valor del servicio que dichas iniciativas han prestado, pero no es necesariamente el nico que nos ayuda a comprender esa compleja interrelacin que se produce en los ambientes institucionales de la escolaridad en los que dicha iniciativa se adopta (MacLaughlin, 1985; Fullan y Stiegelbauer, 1991). Pero podemos dar la vuelta a esta segunda problemtica que venimos tratando del modo siguiente. Teniendo en cuenta la acepcin estrecha, la evaluacin del alumnado supondra, casi exclusivamente, la recogida de informacin sobre su trabajo en la clase: el contenido asimilado, los trabajos realizados, la participacin, en el mejor de los casos, o simplemente sus respuestas a ciertas pruebas y exmenes, en
6 Un claro ejemplo de este error tan extendido lo encontramos en Rossi y Freeman (1982), que paramayordecepcin se refieren, retricamente, a laevaluacin en su acepcin amplia: Lainvestigacin evaluativaes la aplicacin sistemticade procedimientos de investigacin social para medir la conceptualizacin y el diseo, la implementacin y la utilidad de programas de intervencin social. En otras palabras la investigacin evaluativa implica el uso de metodologas de investigacin socia para juzgar y mejorar la planificacin, control, efectividad y eficiencia de programas en sanidad, educacin, bienestar y olros servicios sociales (pg. 20).

el peor. Con la acepcin amplia, sin embargo, su evaluacin tendra que situarse en relacin con la calidad de las experiencias que el docente ha planificado y realizado, la calidad del material (libros de textos, materiales curriculares, experiencias de laboratorio) seleccionadas y con la calidad de la enseanza misma y la atencin pedaggica que el docente ha prestado al alumnado a lo largo del perodo de tiempo establecido. Con este breve ejemplo, podemos darnos cuenta que lo que hemos denominado acepcin estrecha, lo es en razn de que se olvida que lo que impacta, lo que genera consecuencias y repercute en la vida escolar del alumnado, es un servicio y que, como tal servicio -su calidad intrnseca y su calidad prctica- se encuentra directamente imbricado con la calidad del impacto en los receptores. Dicho de otro modo, cuando evaluamos al alumnado pasamos por alto que la calidad de sus aprendizajes" est relacionada tanto con la calidad de nuestras decisiones, concepciones y acciones docentes como con la calidad contexto escolar en el que se realizan. Probablemente, sin el conocimiento de dichas concepciones, decisiones y acciones y sin el conocimiento de las caractersticas del contexto, resulta difcil (si no imposible) explicar y situar dichos aprendizajes, o la informacin que sobre los mismos obtenemos. Lo que, volviendo a la terminologa utilizada, viene a decirnos que la acepcin estrecha de evaluacin reduce los parmetros de nuestro juicio al omitir, o dar por descontado, la calidad del servicio ofertado y del contexto de actuacin. Qu valor educativo y profesional tiene, entonces, lo que hagamos siguiendo una acepcin estrecha si no tenemos en cuenta lo que podramos hacer y conocer adoptando una acepcin amplia de evaluacin? Dejemos esta pregunta en suspenso y analicemos a continuacin dos conceptos que suelen aparecer relacionados, cuando no confundidos, con el de evaluacin en su acepcin estrecha. Me refiero a los de calificacin y test o prueba.

Evaluacin versus Calificacin. Como todos sabemos, calificar es traducir a una escala, usualmente numerica , un juicio de valor. La escala no slo traduce, sino que, mucho ms importante, permite cuantificar los criterios que subyacen a todo juicio. Pero no podemos traducir nada hasta que no tengamos datos de la realidad evaluada. Por ejemplo, calificar el aprendizaje matemtico de un alumno/a, implica poder determinar si es capaz de resolver determinados problemas matemticos y s domina ciertos conceptos que creemos bsicos y fundamentales. Para ello necesitamos un instrumento (o una prueba) que nos proporcione datos a partir de los cuales situar su aprendizaje en la escala utilizada. Este proceso vale incluso cuando utilizamos ` calificadores como los de suspenso, aprobado, notable, sobresaliente o el ms novedoso de progresa adecuadamente. Puestas as las cosas, la calificacin es un concepto muy parecido al de cuantificacin. Este no es un proceso que podamos realizar con ligereza, al menos porque no siempre es posible establecer una definicin cuantitativa de modo directo de un concepto o de un constructo. En estos casos, que suelen ser los ms comunes en ciencias sociales, la definicin se realiza incluyendo en ella otras variables cuantitativas. Por ejemplo, la velocidad de un objeto es igual al espacio recorrido en relacin al tiempo empleado. Podemos medir el tiempo y el espacio directamente porque ya disponemos de escalas numricas precisas para ello, cuya relacin matemtica nos ayuda a medir la velocidad. Un ejemplo en educacin -bastante discutible por cierto viene representado por la ecuacin de rendimiento utilizada expresamente para la evaluacin de la reforma de las Enseanzas Medias (Alvaro Page et al. 1988,26 y ss.). Segn sus autores, el rendimiento est en funcin del tipo de enseanza, definido por relaciones aditivas y multiplicativas entre variables aptitudinales, actitudinales, personales, familiares, contextuales y 0 didcticas. (Vase cuadro n 1). Aqu, y una vez aceptada dicha ecuacin, falta seleccionar los instrumentos de medicin que traduzcan cuantitativamente todas y cada una de las variables seleccionadas.
7

La escala puede ser nominal (a travs de etiquetas como progresa adecuadamente), U ordinal (por ejemplo, el primero de la clase o el ltimo de la clase): no obstante, son las escalas numricas (o cardinales) las que se aplican previamente a cualquiera de las otras escalas: y, en este sentido, parecen mucho ms bsicas y fundamentales.

R= f (E) R= f (Ap + Ac + Pe + Fa + Co + Di. R= f (Ap + Ac + Pe + Fa + Co + Di) + (Ap, Ac) + (Ap, Pe) + (Ap, Co) + (Ap, Di) + (Ac, Pe) + (Ac, Fa) + (Ac, Co) + (Ac, Di) + (Pe,Fa) + (PeFa) + (Pe, Co) + (Pe, Di) + (Fa, Co) + (Fa, Di) + (Co, Di). R= Rendimiento Ap= V. Aptitudinales Ac= V.Actitudinales Pe =V.Personales Fa=V.Familiares Di = V. Didcticas

E= Tipo de Enseanza Co=V. Contextuales,

Cuadro n0 1. Ecuacin de Rendimiento utilizada en la Evaluacion de la Reforma de Enseanzas Medias.

As pues, las definiciones cuantitativas se constituyen como reglas por las que asignamos acontecimientos fcticos, empricos y observables, a la variable definida. O como dice Bunge, un concepto, una cualidad recibe interpretacin objetiva cuando se establece una regla que asigna a un signo un objeto fsico (cosa, proceso, etc.) tanto si el objeto est o no bajo la observacin como si la relacin de referencia la satisface actualmente la pareja signo-objeto (1972, 116). Pero la cosa todava es ms complicada. Basta con darnos cuenta que no podemos cuantificar un concepto o una variable, a menos que no sepamos o hayamos delimitado las variables numricas que se relacionan con lo cuantificable. La cuantificacin, por lo tanto, precede a la medicin (Bunge, 1969,769); la primera, antes que nada, es una operacin conceptual, en la que est implicada la delimitacin del concepto u objeto evaluado, e incluso teoras relacionadas con el mismo y valores subyacentes, mientras que la segunda es una operacin emprica. Sin embargo, cuando sustituimos la evaluacin por la calificacin, estamos haciendo dos cosas discutibles: Primero, estamos obviando la necesaria clarificacin conceptual que toda calificacin supone, centrndonos exclusivamente en la operacin emprica. Si, por ejemplo, aceptamos que los juicios admisibles para la evaluacin (en su acepcin estrecha) son los que corresponden a una escala 0 numrica que va del suspenso al sobresaliente (como en la fig. n 2), se requiere que podamos establecer conceptualmente a qu llamamos suspenso o a qu llamamos sobresaliente. La respuesta, y he aqu el problema, suele ser: llamamos suspenso a una puntuacin inferior a cinco segn la prueba (o exmen o control) X. Con ello, tergiversamos el juicio de valor, reducindolo al dato o a la medicin emprica y soslayamos lo que debera ser una de las responsabilidades docentes fundamentales en la evaluacin del alumnado: el anlisis conceptual de lo que significa adquirir conocimiento en la escuela. Algo que nos llevaria, con toda seguridad, no slo a discutir, entre otras cosas, la idea de aprendizaje que subyace a nuestro proceso de evaluacin sino tambin la idea de enseanza y de conocimiento con 8 los que se relaciona . Esta es una cuestin que puede aplicarse a la ecuacin de rendimiento arriba citada. Como puede comprobarse, ella misma supone una visin de la escolaridad; aunque dicha visin no aparezca sustentada conceptual y argumentativamente sino oculta en el entramado cuantitativo. Esto quiere decir que, cuando se ha evaluado la reforma de las EE.MM. haciendo uso de dicha definicin cuantitativa y
8 Esta cuestin ha sido criticada abiertamente por Barbier (1993,65): Ese carcter "factual" de los datos de referencia tiene como consecuencia importante fundamentar buena parte del discurso, y sobre todo de la ideologa producida, en torno a la evaluacin. Por razones de ocultacin de las apuestas sociales presentes en el acto de evaluacin, esta ideologa se ha constituido ampliamente como una ideologa de los hechos, de la objetividad. Un Indice de esa ideologa es, por ejemplo, el desarrollo, a propsito de la evaluacin, de importantes instrumentos metodologicos, esencialmente estadisticos, de constitucin de los datos, aun cuando su inters y funcin operatoria no son siempre evidentes. A nuestro juicio, el desarrollo de tal ideologa, tan contraria a los actos reales de evaluacin, no es posible de hecho ms que apartirde esestatusde los datos de referencia de la evaluacin.

de unos instrumentos de medicin compatibles con la misma, probablemente se ha estado utilizando un modelo de reforma y de enseanza secundaria, no necesariamente relacionado con lo que los docentes, el alumnado, los centros y los apoyos administrativos y los documentos de reforma, han planteado y desarrollado en la prctica. En la medida en que quienes han ideado dicha ecuacin de rendimiento no hacen explcitos los fundamentos conceptuales que les subyacen, la afirmacin anterior es incontestable. En segundo lugar, al utilizar un instrumento o una prueba como definicin cuantitativa, o dicho de otra manera, como el nico sustrato razonable de la calificacin, confundimos evaluar con administrar una prueba o utilizar un instrumento; y esto es algo que, desde luego, hacemos cotidianamente cuando, por ejemplo, aceptamos que conocer matemticas, en un momento determinado de la escolaridad, significa superar o contestar correctamente a ciertas preguntas o problemas en una prueba matemtica que hemos elaborado. Pero aqu ya es necesario entrar a analizar el concepto de test", suficientemente genrico como para englobar a los de prueba y examen. Evaluacin versus test. Es bien conocido que un test no es ms que un instrumento psicomtrico de medida aunque en educacin puede ser entendido como la seleccin de cuestiones o situaciones (tems) de un dominio de contenido o de un universo de inters (Madaus, 1988). Desde sus orgenes a finales del siglo XIX, los tests han sido considerados como los instrumentos ms objetivos, vlidos y fiables, es decir, cientficos, de medicin de caractersticas psicolgicas y dominios educativos como la inteligencia o los conocimientos acadmicos (Gould, 1984; Madaus, 1985a, 1985b, 1988; MacDonald, 1988b).
9,

Cronbach (1972, 49) seala que un test es una tcnica sistemtica que compara la conducta de dos o ms personas; esta definicin ms orientada a la psicometria psicolgica, tambin es vlida igualmente para educacin, porque existe una marcada tendencia a comparar los resultados del alumnado, ya sea para identificar el Indice de dificultad de la prueba, o, ms socialmente, para clasificarlos jerrquicamente.

Gran parte de la tecnologa que los docentes utilizan para obtener informacin sobre el aprendizaje del alumnado puede ser denominada tests, aunque en ocasjones se utilicen otras como examen, prueba de evaluacin y control. Lo que une a estas denominaciones se encuentra en quella lgica general de su construccin es idntica. Supongamos que queremos elaborar una prueba o un test aritmtico para medir el aprendizaje matemtico que nuestros alumnos/as han podido realizar en el primer ciclo de primaria. Sabemos que las dimensiones bsicas de la aritmtica trabajadas han sido la suma, la resta, la multiplicacin y la divisin; pues bien, lo que corresponde, siguiendo dicha lgica de construccin es 0 seleccionar ciertos tems-problemas de cada dimensin, por ejemplo cinco, como muestra la figura n 3. No obstante, existe una diferencia notable. Al contrario que las pruebas estandarizadas, especialmente diseadas para ordenar a los estudiantes o indicar su posicin en una poblacin en relacin a una habilidad mental

o unos conocimientos acadmicos, las pruebas que se elaboran en el trabajo cotidiano de clase son especialmente diseadas para asegurar si el alumno/a ha adquirido (domina) una serie de objetivos de enseanza (formulados como aprendizajes concretos). Estas suelen ser denominadas pruebas criteriales (Romberg, 1992). A pesar de su constante y creciente utilizacin, los tests y las pruebas en general, plantean una serie de dificultades que es necesario tener en cuenta. No me extender aqu en todas ellas, pero si quisiera abordar algunas de las queme parecen ms importantes, en tomo a tres conjuntos de dificultades. (Vase infra). En primer lugar, ciertas dificultades tienen que ver con la lgica de la construccin. Como acabamos de ver retomando el ejemplo anterior, no se trata simplemente de seleccionar, sino de asegurarnos que la seleccin es representativa del universo de problemas y conocimientos aritmticos que conforman la aritmtica matemtica (general si se trata de una prueba estandarizada; particular, si es criterial), pero 10 esto es slo un apartado de la validez de un test . Como ha sealado Messick (1989a), la validez no est asegurada a menos que no tengamos en cuenta otras cuestiones importantes en su interpretacin y su utilizacin, como las implicaciones valorativas del mismo, las consecuencias sociales y la utilidad
10 Dicho de modo ms tcnico: la validez de un test estriba en" el gradoen elque unainferencia particular y cualquier descripcin o decisin resultante sobre un individuo o institucin, hecha en raznde losresultados es apropada o significativa. Noexiste-aade Madaus- unavalidez general de los test, ni un test es vlido en abstracto (Messick 1989b pgs. 32-33). No siempre lavalidez hasido el criterio de rigorms importante: durante gran parte de lahistoria de la psicometra hasido lafiabildad (constanciaen lamedida) laque ha ocupado un lugar privilegiado. Por otro lado, la validez no siempre ha sido concebida de la misma manera.

concreta. Lo que nos lleva al siguiente grupo de problemas. En segundo lugar, aunque las preguntas que seleccionemos puedan ser representativas, la concepcin de conocimiento matemtico u otro tipo de conocimiento, puede llegar a ser perfectamente inadecuada. Como han sealado algunos autores, pruebas tpicas de este tipo como las de eleccin mltiple y ciertas formas de exmenes escritos, parecen estar directamente diseadas para suprimir el pensamiento complejo y la creatividad, fomentando la reproduccin y la memorizacin episdica, en lugar de la organizacin significativa e interrelacionada de los conceptos y los contenidos; adems de, incluso, llevar a confusin e implantar esquematismos rgidos en la mente del alumnado (Stake, 1973; Romberg, 1992; 0 Newmann, 1992). Un buen ejemplo de ello se encuentra en las tres preguntas criteriales del cuadro n 2, que hablan por s mismas. En tercer lugar, a veces olvidamos, arrastrados por la costumbre o por la aparente objetividad de ciertas 11 pruebas que se nos ofrecen que un test o una prueba o exmen no son ms que instrumentos de medicin, que recogen informacin muy determinada y limitada sobre un individuo o un grupo de individuos. No nos sealan, ni pueden, las causas que subyacen a las respuestas (positivas o negativas) del alumnado, es decir, las razones educativas por las que ciertas puntuaciones son altas o bajas, ni nos informan u orientan sobre la solucin o mejora de los problemas que puedan detectarse. El fracaso de un alumno/a en un examen de matemticas no informa sobre las causas ni sobre la manera a travs de la cual podamos evitar dicho fracaso; tan slo nos dice que no ha respondido correctamente a los problemas y preguntas planteadas... y nada ms.

A qu llamamos Evaluacin?
Despus de este breve repaso a dos conceptos que con mayor o menor intensidad se encuentran en el vocabulario prctico de muchos docentes, ya podemos indicar algunas conclusiones. Como decamos antes, construir y administrar una prueba no es necesariamente sinnimo de evaluacin y tampoco lo es utilizar dicha prueba como operacin emprica con la que juzgar el aprendizaje de un alumno/a. Si en su acepcin estrecha evaluar significa juzgar la calidad del servicio educativo (un curso escolar en matemticas, por ejemplo) a travs del impacto y la repercusiones en los receptores del mismo, entonces requerimos algo ms que instrumentos o escalas numricas para detectar dichas repercusiones y dicho impacto. Es necesario que los docentes realicen un anlisis profundo de lo que entienden por

11

Lamentablemente, tenemos tendencia a primar, o incluso confundir, a objetividad sobre la imparcialidad. Por otro lado, como ha afirmado Cronbach (1980,11> La cualidad cientifica no es el estndar ms importante; una evaluacin debera ser comprensible, correcta, completa y creble a todos los participantes e implicados.

Cuadro n 2. Ejemplos de preguntas planteadas en pruebas de evaluacin criterial para la enseanza primaria. Tomado de F. Rivas y P. Alcatud (1989,498,600,609). conocimiento, aprendizaje y enseanza y es necesario tambin, el anlisis del contexto escolar en el que se desarrolla el alumnado. Pero incluso, todo ello, puede ser insuficiente en razn de que cuando hablamos de incidencia en los receptores olvidamos, con frecuencia, que aqu tambin se encuenta implicada la calidad propia del servicio, algo que depende de los docentes, en primera instancia, aunque no solamente de ellos/as. No basta pues con mejorar nuestro conocimiento sobre el contexto ecolgico y la evolucin del alumno con respecto al conocimiento, es imprescindible un anlisis serio sobre la calidad de enseanza que los docentes mismos ofrecen. Para evaluar hay que comprender. Cabe afirmar que las evaluaciones convencionales del tipo objetivo no van destinadas a comprender el proceso educativo. Lo tratan en trminos de xito y de fracaso... el docente debera ser un crtico y no un simple calificador (Stenhouse, 1984,156).

Es necesario conocer lo que va a ser juzgado, pero el conocimiento es insuficiente. Porque formular un juicio de valor, y no un juicio numrico, es un proceso cognitivo mucho ms complejo que relacionar, como decamos antes, puntuaciones con calificaciones. Ambos conceptos o accones se encuentran en planos intrnsecos distintos. Creer que las puntuaciones (calificaciones) son los nicos elementos necesarios para formular un juicio de valor, supone desconocer u ocultar la participacin normalmente inconsciente de otros elementos como los valores que sustentamos, nuestras concepciones educativas y docentes. La informacin de la que podamos disponer sirve para enriquecer nuestro juicio, no para sustituirlo o hacerlo suprfluo. Sin embargo, no se trata de aumentar la informacin disponible, o no slo. Es un error creer que la cantidad de informacin sobre el alumnado constituye una condicin suficiente del juicio, cuando en realidad es nicamente una condicin necesaria. Est claro que el juicio se alimenta y nutre de informaciones, pero no es la informacin disponible. Formular unjuicio debera ser entendido como un proceso social de construccin, articulado en el dilogo, la discusin y la reflexin, entre todos los que, directa o indirectamente se encuentran implicados en y con la realidad evaluada (Angulo, Contreras, Santos 1991). Slo as podemos esperar que la evaluacin misma se convierta en un proceso de aprendizaje, que como dice Cronbach, constituye el autntico xito. El evaluador es un educador; su xito debe serjuzgado por lo que otros aprenden (Cronbach 1980, 11). Puede que el primer paso en esta direccin se encuentre en no confundir, en nuestro lenguaje yen nuestro entendimiento, los distintos conceptos que hasta aqu hemos ido explicando, tal como seala la 0 fig. n 4. Pero es en ltima instancia a nuestra acciones evaluadoras donde debemos remitirnos para juzgamos a nosotros mismos, y descubrir el valor educativo de lo que hagamos.

EVALUACIN EDUCATIVA Y PARTICIPACIN DEMOCRTICA J.Flix Angulo, Jos Contreras y Miguel A. Santos Universidad de Mlaga; Universidad de Barcelona
13

12

Una Evaluacin que pretenda ser formativa respecto a un Programa en desarrollo, as como informativa con audiencias externas, tiene que desarrollar una relacin con el Programa que sea colaborativa, crtica y constructiva. Una gran parte de su potencial formativo se basa en la calidad del dilogo entre participantes y evaluadores; es decir, en un intercambio de informacin e interpretaciones abierto, igual, tolerante y responsable. En semejante clima, la evaluacin puede tanto ser educativa como puede, a su vez, ser educada. B.MacDonald e l. Stronach(1988)

INTRODUCCION. Si bien en nuestro pas evaluacin ha significado hasta ahora, en lo que se refiere al mundo de la educacin, aquello que tena que ver con las formas de averiguar y sancionar el aprendizaje de los alumnos, cada vez ms nos estamos encontrando con un significado nuevo, reflejo de una actividad que, aunque en otros pases cuenta ya con una cierta tradicin, en el nuestro es an un terreno de novedad.

Nos estamos refiriendo a la evaluacin educativa, entendida como evaluacin de los programas o de las actividades y contextos educativos. En este sentido, la evaluacin educativa, como algo que va ms all 14 de la evaluacin de alumnos, remite, por tanto, a la evaluacin de la educacin . Que hasta ahora no haya sido sta una forma de entender el significado de este trmino, ni una actividad muy desarrollada, no quiere decir que vaya a seguir as. Debido entre otras razones al particular momento socio-poltico en el que nos encontramos, los procesos de evaluacin educativa que se han realizado y que se van a realizar empiezan a cobrar una popularidad y una expectacin general, de la que hasta ahora no haban gozado en nuestro pas, y no slo porque la evaluacin venga especialmente sealada en los documentos de trabajo de la Reforma educativa, sino porque historicamente sta se encuentra conectada de forma ntima a cualquier proyecto de racionalizacin social (del que dicha
12 13 Este texto fue publicado por primera vez en Cuadernos de Pedagoga, n0 195, septiembre 1991, pp.74-79.

Lo que nuestros planteamientos deben a los trabajos de Robert Stake, Barry MacDonald y Ernest House, es ms de lo que podramos agradecerles. Es evidente que lo educativo no tiene por qu reducirse a lo escolar. Englobara, ms bien, a toda actividad, contexto o programa que tiene implicaciones educativas. 14 De hecho, es a este campo al que aqu nos queremos referir al que en el mbito anglosajn se le denomina evaluacin (evaluation), refirindose a la medicin de los aprendizajes de los alumnos con el trmino assessment, trmino ste al que es realmente difcil buscarle un equivalente cmodo en nuestro idioma (tasacin o medicin podran ser los ms parecidos, pero nunca valoracin, como alguna vez se ha llegado a afirmar). En cualquier caso, la cuestin no es doblegarse a la nomenclatura anglosajona, sino reconocer que el campo de la evaluacin educativa, en cuanto que evaluacin de la educacin, no tiene por qu identificarse con la evaluacin de los alumnos.

Reforma educativa es nicamente una parte) y engarzada a su vez con los intereses, necesidades y requisitos de las sociedades capitalistas occidentales. Pero la evaluacin no es una actividad neutral, por ms que sean los as llamados expertos y especialistas quienes la realicen y la lleven a cabo. La evaluacin, adems de legitimar ciertas polticas educativas y desacreditar otras, puede llegar a convertirse en uno de los mecanismos ms poderosos de control social y educativo. Tradicionalmente, los procesos de evaluacin se han puesto al servicio de intereses que, encubiertos en la retrica del bien comn y social, no han hecho ms que imponer necesidades y preferencias 15 particulares -crudamente tecnocrticas - paralizando, burocratizando y simplificando, en muchas ocasiones, la propia realidad

educativa, con el costo aadido de reducir hasta su desaparacin las propuestas educativas ms creativas e innovadoras y obviando, prescindiendo de y anulando la voz de aqullos que estn directamente implicados en las mismas realidades evaluadas. Las administraciones educativas y las administraciones pblicas en general nunca se han visto libres de la tremenda tentacin de utilizar las evaluaciones de esa manera. No estamos seguros, desde luego, de que la administracin educativa espaola vaya a ser la excepcin. Sin embargo, nosotros creemos que la evaluacin educativa puede tener otro sentido y otra realidad, orientada hacia el aprendizaje social, hacia la toma de conciencia, la participacin, el conocimiento y la responsabilidad de todos y cada uno de los que ayudan, contribuyen y colaboran a la construccin del sistema educativo y de la sociedad en general. 1. QU ENTENDEMOS POR EVALUACIN EDUCATIVA? Entendemos por evaluacin educativa la formulacin de un juicio sobre el valor educativo de un centro, un proyecto curricular, la organizacin de un aula, un libro de texto, o de cualquier otra realidad. Es decir, una evaluacin siempre se interroga e intenta explicitar el valor educativo que una realidad, como las sealadas, posee o ha ido desarrollando. 16 Normalmente, nos sentimos realmente intranquilos ante cualquier propuesta de evaluacin de nuestras actividades, pues los temores, a veces slidamente fundados, nos indican que dichos juicios pueden no ser ms que una serie, en ocasiones difcilmente justificable, de afirmaciones categricas e irrefutables sobre lo bueno y lo malo de un programa, una actividad o una institucin, es decir, sobre nosotros mismos y la realidad que hemos contribuido a crear. Quin debe ser el responsable de la formulacin de esos juicios y en qu basarlos, es el doble problema que nos asalta desde el principio cuando se maneja y defiende una definicin de evaluacin educativa como la arriba presentada. Dmonos cuenta de que no son dos problemas independientes. Vistos en su profundidad real las respuestas que podamos encontrar para uno de ellos, nos lleva a tomar determinadas posturas con respecto al otro. La contestacin a ambas cuestiones aparecer, por consiguiente, necesariamente entrelazada.
15 Sin entrar en otras consideraciones de mayor calado, queremos referirnos aqu con tecnocracia a aquella manera de regir la vida politica en donde los argumentos no se justifican en su valor ideolgico (ya sea un futuro deseado, o una concepcin de asociedad ), sino en su procedencia del mundo de los especialistas. De este modo, al presentarse como argumentos tcnicos, parecen estar desprovistos de intereses y preferencias, para ser necesarios y neutrales. Vanse al respecto los trabajos de House (1978,1986), Popkewitz (1981) y los ms especializados de House (1974, 1979 y 1988b), Noble (1977), Silva y Slaughter (1984) yAngulo (1989,1991)sobre el papel de los expertos, el modelo de ingeniero y la estructura del pensamiento tecnocrtico en general, as como su repercusin en la educacin, en particular Vanse tambin MacDonald (1976), House (1980,1 988a), Norris (1990). 16

Como ha sealado no sin cierla irona House (1973)," evalen el trabajo de un evaluador y vean cmo reacciona.

Intentemos dar respuesta al primer problema: Quin es el responsable de la formulacin del juicio? Supongamos que, por unas u otras razones, atribuimos tal potestad a personas o grupos. como por 17 ejemplo, un equipo externo de evaluacin o los promotores de la evaluacin . En el primer caso, siempre podemos decir, que quin ms cualificado que los mismos evaluadores externos e independientes para emitir dicho juicio; en el segundo, podemos afirmar, que al fin y al cabo, una vez obre el informe en su poder, deberan ser los responsables mximos (esto es, los 18 patrocinadores ) los que tendran la encumbrada misin de enjuiciar. Nosotros creemos que dando una u otra respuesta, estaramos aceptando demasiadas cosas sin discutirlas, o al menos sin ponerlas en cuestin. Veamos. En primer lugar, podramos confundir el poseer un punto de observacin privilegiado con respecto a otros sujetos y su actividad, con la capacidad de formular juicios de valor. Est claro, y en alguna medida sta es su misin original, que los evaluadores tendran que desarrollar dicho punto de vista privilegiado a travs de las observaciones, las entrevistas, las discusiones informales con la gente, los cuestionarios. etc., pero no deberamos confundir este hecho con la cuestin mucho ms compleja de enjuiciar. Un juicio, al contrario que un experimento, no es algo que pueda ser calificado simplemente como verdadero o falso; un juicio de valor puede, y debe, aspirar a la credibilidad y, al convencimiento. Las observaciones, las entrevistas, en fin, los datos que un equipo de evaluacin hayan podido recoger, son elementos importantes para la formulacin del juicio; son, por decirlo de una manera muy grfica, las piezas del juego de ajedrez, pero no el juego en s. Un juicio de valor (y aqu se nos entrelaza ya el segundo problema asumido: en qu basar el juicio), se alimenta de dichos datos, pero nunca unjuicio es los datos que maneja, porque la formulacin de un juicio no es un proceso demostrativo ni es el resultado de una demostracin. Es, por el contrario, el proceso por el que apreciamos y discernimos el valor (en este caso educativo) de acciones y realizaciones; un proceso profundamente humano que se nutre y se articula en el dilogo, la discusin y la reflexin de todos aquellos que estn implicados directa o indirectamente en la realidad evaluada. De otra parte, las actividades humanas no se reparten fcilmente en categoras tan simples como bueno o malo y ni siquiera en categoras intermedias que podamos ponderar con facilidad. Y ello no se debe tanto a que la realidad social sea ms compleja que la realidad natural, como a que las personas, los actores sociales, nos diferenciamos unos de otros, entre otras razones, por la forma y el contenido con el que valoramos, sentimos, y apreciamos las distintas actividades y empresas humanas, ya que no todos percibimos nuestra realidad, nuestras acciones y realizaciones de la misma manera, ni todos vemos, desde luego, lo mismo en ellas. Por ltimo, podramos estar confundiendo tambin el hecho, en relacin con lo anterior, de poseer autoridad y responsabilidad administrativa con la capacidad de enjuiciar. Con ello borraramos de un plumazo algo absolutamente esencial: los grupos humanos, las organizaciones, los procesos sociales de relacin e interaccin, estn, como decamos arriba, fuertemente determinados por la multitud de puntos de vista, intereses, deseos y necesidades que configuran cualquier proceso social. Al menos en este 19 sentido, las realidades sociales son pluralistas . Cuando confundimos autoridad, jerarqua y reponsabilidad con capacidad de juicio, estamos pasando por encima no slo de esa multitud de pequeos juicios que mereceran ser odos, sino que estamos subvirtiendo la capacidad que los mismos grupos humanos tienen para comprender y cambiar su realidad de forma colectiva, sin delegar esta capacidad en otros. Tampoco resulta tan evidente que un grupo de evaluadores, de expertos, por el slo hecho de serlo, posean las categoras o los criterios correctos y mgicos de valoracin, que estipulen con validez y rigor el valor de las cosas, acciones,
17 Para nuestra argumentacin resulta del todo indiferente si incluimos cualquier otro grupo humano implicado en el programa, ya sea ste de profesores, alumnos, padres de alumnos, directores de centro, coordinadores, u otro cualquiera.
18

19

Dicho de otra manera: los que han contratado y pagado por la evaluacin; casi siempre la administracin educativa.

Esto es algo que ya advirti MacDonald (1976) en referencia al modelo de evaluacin por objetivos: La teoria y la prctica del modelo de evaluacin por objetivos estn, de este modo ntimamente ligados al punto de vista americano de la sociedad, y a una fe americana en la tecnologa. Las sociedades pluralistas encontrarn que es dificil utilizar este modelo, Las sociedades unificadas lo usarn y descubrirn que son pluralistas (pg. 471). La importancia de promover el aprendizaje social a travs de la evaluacin ha sido claramente sealado por Cronbach et al (1985).

interacciones, logros y fracasos, de las instituciones, los grupos o los individuos. Creemos que el juicio sobre la calidad de una realidad social no puede ser ni delegado ni sustrado a los sujetos implicados; el juicio es, en ltima instancia y como sugeramos arriba, un proceso de construccin, y la riqueza de dicha construccion estriba, a su vez, en que se convierta en un aprendizaje colectivo, en un dilogo y una reflexin conjunta, un proceso a travs del cual los sujetos puedan adquirir la capacidad y la responsabilidad para cambiar y decidir sobre la realidad inmediata. Una evaluacin educativa debera contribuir y animar a que alumnos, profesores, responsables, coordinadores, patrocinadores, padres de alumnos, en fin, todos aquellos que directa e, incluso, indirectamente estn implicados en la realidad evaluada, encuentren un espacio terico y tico en el que discutir, dialogar y profundizar an ms, si cabe, en su compleja, rica y en ocasiones sorprendente realidad socio-educativa. 2. POR QU UNA EVALUACIN INDEPENDIENTE Y EXTERNA? Cualquier realidad educativa, ya sea un centro escolar, unos cursos de formacin de profesorado, un aula, un centro de profesores, una universidad, el trabajo de un profesor, o cualquier otra, tiene por objetivo absolutamente bsico servir ala sociedad, papel que deberan cumplir con independencia de que el origen de su financiacin est en fondos pblicos o privados. Como servicio a la sociedad, resulta susceptible a las exigencias y demandas de conocimiento pblico sobre la calidad (esto es, el valor) del servicio que est prestando. Los ciudadanos, cualquier ciudadano, de esta manera, estn en su perfecto derecho, en una sociedad democrtica, de pedir razones y explicaciones sobre la calidad, las 20 aspiraciones y los logros del servicio que se est realizando . Explcita e histricamente, sta ha sido la justificacin para proponer evaluaciones externas que, se supone, tendran que mostrar la calidad del servicio analizado, con lo que se podra, entonces, determinar no slo los cambios pertinentes, sino tambin la posibilidad de cortar, reducir, o ampliar las subvenciones y el apoyo econmico, tcnico y humano. Visto as, las evaluaciones externas han podido cumplir un papel que, como decamos antes y en calidad de trabajo de expertos, se encuentran implicadas en una concepcin fuertemente tecnocrtica del cambio social. No queremos entrar a discutir en profundidad tal concepcin, adems de lo que arriba hemos apuntado; pero nos gustara afirmar que las demandas y exigencias, en una sociedad democrtica, por la calidad del servicio que se est brindando a los ciudadanos, es claramente legtima y necesaria, an 21 reconociendo que en su nombre se ha podido cometer ms de un desaguisado . Por ello estimamos que la realizacin de evaluaciones externas e independientes cuyos evaluadores no estn directamente implicados en las circunstancias y desarrollos de la realidad evaluada pueden, a la vez, dentro de las dificultades metodolgicas y humanas conocidas, cumplir con dichas demandas y exigencias democrticas y sociales genricas; es decir, movilizar preguntas, cuestiones, informaciones y reflexiones sobre la realidad analizada, en coordinacin y colaboracin con los implicados, que es otra manera, no menos importante, de responder a las demandas y exigencias sociales, situndola, adems, fuera de los parmetros tecnocrticos. Pensamos, pues, que la realizacin de evaluaciones externas e independientes puede asegurar el funcionamiento democrtico de una necesidad social de primer orden como es la de conocer el valor del servicio que las instituciones y los grupos humanos estn prestando al conjunto de la sociedad. Dicho esto, habra que apuntar ciertas matizaciones: Primero, la sola calificacin a una evaluacin de externa e independiente, sin mayores especificaciones. no asegura absolutamente nada con respecto a la calidad y tica de la misma evaluacin. Estamos convencidos de que los adjetivos externo e independiente no dicen nada si al menos no se explicita su significado. En lo que a nosotros respecta, 22 dichos adjetivos deben ser traducidos en forma de los criterios de evaluacin que ms abajo se indican .
20 Demandas y exigencias que pueden orientarse a otros servicios sociales, adems del educativo, como por ejemplo el sanitario, el judicial, la polica y seguridad ciudadana o los transportes 21 22 Tenemos que referirnos aqui tambien a las obras de McLaughling (1975) y House (1 988a).

Un evaluador puede vender la retrica externos e independiente al mejor postor, a lo que viene aserio mismo, a aquellos que tienen poder para sesgar, manipular y comprarla evaluacin. Con ello, tambin un evaluador exierno e independiente se puede corromper y corromper su trabajo.

Segundo, y teniendo en cuenta lo anterior, quisiramos enfatizar el carcter de externalidad e independencia del evaluador, habida cuenta de que la tendencia en los pases occidentales con mayor tradicin que el nuestro en este tema, se ha escorado fuertemente, en los ltimos aos, hacia evaluaciones internas, que las propias administraciones realizan con la utilizacin de sus propios 23 expertos . En este tipo de evaluaciones en las que se confunden peligrosamente el promotor (y financiador) de la innovacin, por ejemplo, con el evaluador de la misma, las tentaciones de todo tipo que se producen, aunque especialmente de legitimidad poltica, pueden llevar a la larga, no slo al descrdito (algo a lo que cualquier evaluador est expuesto) sino, lo que es mucho ms grave, a la corrupcin misma del proceso. Entre otras cosas, los intereses polticos y econmicos puestos en juego suelen ser tan importantes que las administraciones (o los patrocinadores privados) no estn, normalmente, dispuestos a perder un pice de aceptacin poltica, obligando a que el informe de evaluacin muestre una imagen interesada (positiva o negativa) de la realidad evaluada. Tercero, la defensa que hacemos de evaluaciones externas e independientes no ha de ser entendida como desacreditacin de las necesarias auto-evaluaciones que los protagonistas de las propias realidades educativas puedan llevar a cabo; porque podra parecer que al insistir en evaluaciones externas estamos queriendo afirmar que las realidades evaluadas y los individuos en ellas comprometidos son incapaces de conocer, comprender, analizar y criticar sus acciones y decisiones con correccin e imparcialidad. Nosotros creemos que la eleccin entre una y otra es falsa, como es contraproducente convertir en mito la evaluacin externa, en razn de una falsa concepcin segn la cual las realidades educativas carecen de la autonoma, la preparacin y la capacidad para realizar autoevaluaciones de su trabajo. Es necesario reconocer que cada una tiene distintos cometidos, momentos y ritmos, as como cada una posee y pone en funcionamiento orientaciones y valoraciones propias. La realizacin de una evaluacin independiente no exime de la prctica de auroevaluaciones porque una de las cosas a las que aspira la evaluacin educativa que proponemos es, como ya hemos afirmado, a facilitar los procesos de auto-aprendizaje y, por lo tanto, de autoevaluacin, a crear los vnculos y canales que mejoren las formas de intercambio entre distintos sectores, ya proporcionar y ayudar a crear procedimientos de anlisis y valoracin que mejoren la comprensin y el juicio de los participantes. La evaluacin educativa, externa e independiente que defendemos en este escrito, debera tener como uno de sus resultados sociales ms importantes la implantacin y el desarrollo de procesos de 24 autoevaluacin all donde se lleve a cabo . Pero tambin aspira, y esto no debe ocultarse, a que aumente el conocimiento pblico de los programas y actividades que desarrollan las instituciones pblicas. Pensamos que las instituciones educativas no debieran quedar al margen de ello, tanto por su responsabilidad contrada con la sociedad como por la responsabilidad que, en contrapartida, la sociedad contrae en relacin a su mejora, atencin y promocin, en aras del propio desarrollo social. 3. CARACTERSTICAS DE LA EVALUACIN EDUCATIVA. Segn lo dicho, podemos sealar las siguientes caractersticas como definidoras del tipo de evaluacin educativa que proponemos: a) Es una evaluacin que entiende que ni la verdad ni la valoracin correcta estn en posesin de grupos o personas privilegiadas, ya sean los evaluadores, los patrocinadores o los sujetos implicados en la realidad evaluada. La verdad y la valoracin es asunto de construccin democrtica de todos, porque en

23

Este fenmeno ha sido claramente sealado por House (1990) quien afirma, no sin cierta irona: durante la dcada de los ochenta... la evaluacin ha llegado a ser demasiado importante como para dejarla en manos de los evaluadores, por lo que los grandes aparatos burocrticos han desarrollado sus propias agencias de evaluacin (pg. 24).

24

Esto puede venir facilitado si la iniciativa de que se lleve a cabo una evaluacin externa parte de los propios protagonistas e implicados. Este hecho favorece la exploracin del investigador y la prolundizacin en el anlisis de Ja realidad a travs de la discusin democrtica entre evaluadores y participantes.

su bsqueda no puede haber ms que participantes

25

b)Es una evaluacin en la que no es el evaluador el que juzga, sino que facilita que sean los implicados los que lo hagan. Desde esta perspectiva, una evaluacin se hace preguntas sobre el sentido y el valor de las realidades objeto de evaluacin, con el fin de orientar la recoleccin de las evidencias, informaciones y puntos de vista que permitan a los interesados ampliar y matizar su comprensin, profundizar en su reflexin, elaborar apreciaciones ms informadas y dirigir sus actuaciones futuras de forma colectiva y en colaboracin. e)Es una evaluacin que no pretende convertir las complejidades naturales en simplificaciones que falsifiquen la realidad, con la justificacin de que simplificando es ms fcil establecer conclusiones o emitir juicios (lo que no es del todo cierto). Si bien la simplificacin parece que hace ms fcil la valoracin, tambin lo es que la hacen ms errnea e injusta. 26 d)Es una evaluacin que no pretende caer en la mstica de los nmeros o de las estadsticas aunque pueda utilizar mediciones y procedimientos estadsticos de anlisis de datos. Es consciente de que la tecnologa psicomtrica es muy pobre con respecto a las esperanzas y responsabilidades de todo tipo, 27 pero especialmente polticas y de seleccin, que pretenden legitimarse en ella . Mediciones cuantitativas y anlisis estadsticos pueden contribuir a comprender las realidades evaluadas, pero no pueden evitar simplificar, en muchas ocasiones hasta el absurdo, la riqueza y profundidad de los procesos educativos de enseanza y aprendizaje. e)Es una evaluacin que se siente ms comprometida con la utilizacin de procedimientos metodolgicos sensibles a la riqueza, complejidad estructural e interacciones que se producen en toda realidad social, as como con procedimientos suficientemente sensibles como para captar las valoraciones, aspiraciones, interpretaciones e intereses de las personas tal como son expresadas por 28 ellas mismas, sin presuponerlos de antemano . f)Es una evaluacin que parte de la clara explicitacin de los criterios ticos que conformarn los lmites de su desarrollo. Con ello pretende no slo asegurar su aplicacin democrtica, sino mantener en lo posible el difcil equilibrio entre el derecho a la privacidad y la necesidad de conocimiento y responsabilidad social de aquellos que estn implicados en la realidad evaluada. Quiere mantener tambin con ello el nivel de justicia democrtica necesario con respecto a la entidad evaluada; nivel que no depende nicamente de la correccin formal de los procedimientos o de las interpretaciones
25 Esto es algo que ha sealado claramente Habermas (1963, pg. 48). Existe una leyenda persa que afirma que los dioses en el comienzo de los tiempos repartieron la verdad entregando a cada ser humano una par-te de ella, de formaque para reconstruirla es preciso poner en comn la parte de verdad que cada uno tiene. 26 Siedman ha afirmado (1977, pg. 415): Nuestra bsqueda de la racionalidad cientfica y evidencia factual nos ha llevado a una reverencia irracional por la autoridad de los nmeros, raramente cuestionada. La cuantificacin ha llegado a ser de buen tono porque contar es confortable, y la prediccin es una necesidad cientifica. Los nmeros parecen tangibles e innegables. Es inevitable, entonces, que preguntas como en qu cantidad? y cunto? reemplacen a preguntas sobre el por qu?, como cuestiones clave del anlisis. Vase tambin el excelente artculo de Bogdan y Ksander (1980) sobre las repercusiones sociales de las puntuaciones y, en general, la fascinante obra de Gould (1981). 27 Tenemos que recordar, siguiendo a Madaus (1988, pgs. 31), que un test es una representacin, en muchas ocasiones extremadamente pobre, de un dominio o universo de contenido (como la fsica o la geografa) o de un mbito de inters (como la personalidad). Por ello, y esta vez siguiendo a Stake (1989), un test no nos indica lo que un alumno sabe o no sabe (excepto dentro de los lmites estrechos de la representacin misma del test), y, por supuesto, nada dice sobre lo que un profesor tendra que hacer en vista de los resultados, ni sobre la calidad de la educacin que los alumnos estn recibiendo. Vase tambin sobre el mismo tema Stake (1973). 28 La literatura al respecto es bastante considerable pero pueden consultarse en espaol los siguientes textos: Schwartz y Jacobs (1984), Goetz y LeCompte (1984), Taylor y Bogdam (1984), Walker (1985), Santos Guerra (1990). No obstante, es necesario aclarar, en contra de lo que viene siendo costumbre, que una evaluacin educativa no es una etnografa. El uso de tcnicas etnogrficas ha de estar siempre al servicio de las exigencias de la evaluacin. En ltima instancia, la pregunta sobre para qu se emprende? una evaluacin es mucho ms importante que la pregunta sobre el cmo? metodolgico con el que se realiza: adems de las respuestas dadas a la primera pregunta determinan poderosamente las respuestas posibles a la segunda.

generadas . g)Es una evaluacin que tiene como objetivo material la publicidad de sus informes, rechazando cualquier imposicin para mantenerlos en secreto o el ocultamiento de informacin valiosa. Y no slo por el derecho de la sociedad en general a conocer el valor de las instituciones y acciones educativas, sino porque la publicidad de los informes puede contribuir a un conocimiento ms informado y menos demaggico. Aceptar y alentar informes secretos, parciales y sesgados no alimenta ms que el engao, el beneficio privado (aunque su receptor sea el estado y la administracin pblica) y la arbitrariedad autoritaria. h)Es una evaluacin que cuidar que el lenguaje de sus informes sea accesible no slo a los directamente implicados en la realidad evaluada, sino a cualquier otro ciudadano interesado en el conocimiento de dicha realidad. Por ello, no acepta que los tecnicismos formales, la mstica de los numeros, o las conceptualizaciones academicistas empobrezcan y limiten, cuando no tergiversen, la compresin del informe. La calidad del trabajo de los evaluadores no puede cifrarse en la ilegibilidad o dificultad de comprensin de un informe sino en la capacidad -a travs del mismo- de situara los lectores en la realidad evaluada, sus logros, sus errores, sus dificultades y sus aspiraciones. i)Es una evaluacin que se pretende educativa, de dos maneras: 1)Porque se pregunta por, e indaga, el valor educativo del programa, porque significa que el mismo programa, a travs de su conocimiento y la reflexin sobre su desarrollo, sus caractersticas, sus circunstancias materiales, humanas y polticas,sus logros y errores, es uno de los ms importantes y directos beneficiarios de la evaluacin. Pero la interrogacin e indagacin sobre el valor educativo de un programa, una institucin o una actividad de enseanza, no puede basarse nicamente en la cantidad y la calidad de los aprendizajes de los alumnos, aunque, claro es, no puede prescindir de este tipo de informacin. El valor educativo depende tambin de un conjunto de circunstancias humanas, tcnicas, polticas y materiales que van ms all del aprendizaje de los alumnos o de los receptores del programa
30

29

2)Porque busca favorecer la reflexin y el debate de los implicados y su aprendizaje a partir de su propia experiencia. Con esto queremos decir que una evaluacin no puede orientarse nicamente a la toma de decisiones polticas a gran escala, si es que alguna vez lo ha conseguido. El contenido de un informe de evaluacin ha de servir como punto de referencia para dicha discusin, alimentando y proponiendo dudas, interpretaciones, hechos y recomendaciones para dicha reflexin y aprendizaje. Pero un informe 31 no debera sustituir la capacidad de juicio de los implicados, sino consolidarla y profundizarla . j)Es una evaluacin que reconoce que un informe de evaluacin no es solamente un contenido que se hace pblico; un informe de evaluacin tambin puede crear una estructura social de relacin y participacin. Es decir, la manera en que un informe se hace pblico y el grado de participacin de los implicados en la realidad evaluada es un elemento de primer orden para afianzar socialmente la reflexin y el aprendizaje de aqullos. Un informe no es la conclusin inapelable y taxativa de la evaluacin; un informe crea procesos y dinmicas sociales o las anula. En la medida en que los evaluadores sean conscientes de ello y acepten el compromiso de que el informe y la evaluacin en su conjunto deberan ayudar a la introduccin y generalizacin de procesos y dinmicas democrticas de conocimiento y reflexin, no slo estarn sirviendo a la sociedad, y enriqueciendo a los participantes, sino que estarn ellos mismos aprendiendo.
29 Sobre criterios ticos en la evaluacin, vanse los trabajos de Kemmis y Robottom (1981), Simons (1989b), y el ms genrico de House (1980). 30 La reflexin en colaboracin a travs de lo que una evaluacin ofrece, permite a los implicados pensar sobre cuestiones educativas, lo que no tiene que signiticar pensaracerca de cuestiones sobre el rendimiento instructivo, la eficiencia y la eficacia de los aprendizajes en los programas, proyectos y realidades educalivas. Toda esta problemtica pertenece a una concepcin tecnocrtica, muy extendida actualmente, que busca el valor educativo de un programa en las acumulaciones y reacciones comportamentales o cognitivas en las que se estipulan los rendimientos. Nosotros creemos que este tipo de cuestiones y valores no pueden ser aceptables a menos que, al mismo tiempo, aceptemos la visin simplista y fuertemente burocrtica que introducen (House 1974 y 1978; MacDonald 1976, Angula 1991). Sin embargo, conocer la calidad y cantidad de los aprendizajes es un elemento del que la evaluacin no puede prescindir, reconociendo, no obstante, como sealbamos arriba, los lmites de la tecnologia de medicin disponible y sus repercusiones sociales. 31 De ah, tambin, la importancia del punto anterior h).

k)Es una evaluacion que se siente comprometida con la sociedad en general y con el desarrollo y la profundizacin de la democracia poltica. Por ello, no es una perspectiva neutral, sino que orienta su trabajo hacia la creacin de espacios terico-ticos en los que los ciudadanos que trabajan en la educacin y en la administracin educativa puedan comprender y asumir sus responsabilidades mutuas a la luz de las informaciones, datos, interrogaciones hechos e interpretaciones que la evaluacin aporta. En este compromiso con la sociedad en general se encuentra uno de los fundamentos de la independencia de los evaluadores. 32 La realizacin y el cumplimiento de estas propuestas no es cuestin fcil ni balad Se requiere voluntad de realizacin y tiempo para profundizar y mejorar todas y cada una de las propuestas. Pero pensamos que vale la pena aceptar este compromiso poltico y social, y que es preciso, y probablemente necesario intentarlo.

32

Los firmantes de este escrito han trabajado y estan trabajando en el cumplimiento de las ideas aqu expuestas, en una serie de evaluaciones, algunas ya realizadas (Evaluacion de un programa de Educacion para Diabeticos, en la Evaluacion del Curso para la obtencion del Certificado de Aptitud Pedagogica ), y algunas en periodo de realizacion (Evaluacion del M.I.R. en Medicina Familiar y Comunitaria y Evaluacion de un Centro de Profesores ). Para las dificultades de la introduccion y el desarrollo de una evaluacion educativa como la que proponemos puede verse Simons (1987).