Marco de Evaluacion para Proy Educ

5
MARCO REFERENCIAL PARA LA EVALUACIN DE UN PROYECTO EDUCATIVO Samuel Gento Palacios Facultad de Educacin UNED. Madrid
a evaluacin es un componente ineludible de todo proyecto educativo que aspira a ser vlido y eficaz. Esta evaluacin ha de plantearse, en todo caso, con una finalidad esencialmente formativa, lo que implica que ha de llevarse a cabo con el propsito firme de utilizarla para mejorar los resultados, para optimizar el proceso de ejecucin y, si fuera preciso, para reconsiderar los objetivos propuestos. Debe, pues, constituir un elemento potenciador del replanteamiento constante de todo el proyecto en sus diferentes fases. La evaluacin de un proyecto puede entenderse como "un proceso sistemtico, diseado intencional y tcnicamente, de recogida de informacin -valiosa y fiable- orientado a valorar la calidad y los logros del mismo, como base para la posterior toma de decisiones de mejora, tanto de dicho proyecto, como del personal implicado y, de modo indirecto, del cuerpo social en que se encuentra inmerso" (Prez, R., 1995, pp. 85).
El anlisis de los resultados, logrados o no, del proyecto debe hacerse teniendo en cuenta los objetivos planteados y debe conducir a la elaboracin de las conclusiones y propuestas; estas ltimas se orientarn al reforzamiento de los aciertos y a la modificacin, si acaso, de los aspectos menos satisfactorios. En todo caso, ofrecer una visin global del proyecto, as como el detalle pertinente de los aspectos especficos de los diferentes sectores, reas y mbitos concretos.
94
EDUCACIN XXI
La evaluacin de un proyecto no debe, pues, constituir una accin puntual llevada a cabo en un solo momento de su gestin o desarrollo; por el contrario, ha de ser inherente al desarrollo del propio proyecto en sus diferentes fases y debe estar p e r m a n e n t e m e n t e presente desde antes, incluso, de su implantacin. En realidad, pues, formar parte de cada una de las fases de desarrollo del proyecto, de modo que pueda analizarse cada una de ellas y pueda llegarse al reconocimiento de los factores o causas de los xitos y de los fallos, as como de las posibles interacciones entre los mismos. Pero, "para que la evaluacin produzca efectos beneficiosos es preciso contar con la cooperacin voluntariamente ejercida de los implicados en el proyecto; por el contrario, cuando se realiza contra la voluntad de aqullos, nos encontramos ante el denominado "sndrome de Penlope", en el que, por no existir el necesario clima de confianza, la evaluacin estar condenada al fracaso" (Plante, J., 1994, p. 50). Aunque resulte difcil establecer un escalonamiento definido y preciso de las fases de evaluacin de un proyecto, pueden considerarse, con carcter general, tres momentos prototpicos, a saber: inmediatamente despus de su elaboracin, pero antes de pasar a su aplicacin; en su ejecucin; y despus de su realizacin. Con el fin de proceder a u n a cierta sistematizacin, siquiera por razones metodolgicas, del conjunto del proceso de evaluacin, consideraremos las tres acotaciones de temporalizacin siguientes: en la fase preactiva, previa a su aplicacin; durante la fase interactiva o de explotacin; y en la fase postactiva, una vez finalizada su aplicacin (GENTO, S., 1995a, p. 185).
1. V A L I D A C I N P R E A C T I V A
Es aqulla que se realiza sobre la documentacin que constituye el proyecto mismo, una vez finalizado el diseo, pero antes de su aplicacin o realizacin. En este momento parece conveniente proceder a la validacin del proyecto, con el fin de comprobar si efectivamente responde a lo que debe ser de acuerdo con la concepcin terica que se tiene del mismo: se trata, pues, de determinar el grado de adecuacin de lo pretendido con lo realmente diseado (Plante, J., 1994, pp. 19). En este sentido, podran considerarse en esta fase evaluativa los siguientes tipos de validez: la de apariencia, de contenido, de constructo y de contraste (Gento, S., 1995a, pp. 185-7. Fig. 1).
1.1. VALIDEZ D E A P A R I E N C I A O A P A R E N T E La validez de apariencia o aparente es la que se realiza a partir de la opinin de quienes han de manejar el proyecto diseado, o que han de tomar
M A R C O REFERENCIAL PARA LA EVALUACIN DE UN PROYECTO EDUCATIVO
95
c
!A
o
(U O X t^ (U
'C 3
3
u 3
O 3
< o
i o 3 T3
o o
a
c
3
1
'' o c
lo
t-
-0 rt
R 5 1)
o
0)
o
t
-O
c3
_> c
0
o C
-3
-a
c5
6
c >
o u -a >
u
>
1
2
o c
2
3
*-
c '9 'o
c3 -O O
c 0 u
P
(
w-
^ o
o
2 o 3 & S 5
= < o o o c o o c " ft^
96
EDUCACIN X X I
decisiones basadas en los resultados que se deriven de su ejecucin (GENTO, S., 1989, pp. 103). As, en un proyecto educativo podra preguntarse a los profesores y alumnos responsables de su realizacin, y tambin a directivos o personas con responsabilidad en las respectivas instituciones o programas. Para obtener informacin que sirva para estimar la validez de apariencia o aparente habr de recabarse la opinin estimativa de las mencionadas personas implicadas en su realizacin, utilizando para ello diferentes tcnicas e instrumentos de evaluacin (Gento, S., 1994b), entre ellos: cuestionarios, escalas de valoracin, encuestas, entrevistas y otros. Pero, para obtener informacin de utilidad relativa a la validez de apariencia o aparente, tendremos que recoger opiniones en tomo a diversos criterios, tales como los siguientes: si constan en el proyecto todos los componentes que ha de tener; si, por el contrario, faltan algunos elementos fundamentales; si se acomodan a los requisitos necesarios que definen su calidad tcnica (entre otros: claridad, objetividad, adecuacin a la fnalidad; viabilidad, exactitud o rigor conceptual); si estn convenientemente estructurados en el orden preciso; si el proyecto y sus componentes son comprensibles; si se estima que ofrecen garantas de viabilidad; si su duracin es la adecuada; si se define oportunamente a los responsables; etc. Parece tambin que, adems de ofrecer valoraciones ponderadas sobre los aspectos que se someten a estimacin, las personas que opinen en esta evaluacin de apariencia deben responder a cuestiones abiertas en las que puedan formular aportaciones sobre elementos a aadir o quitar, en su caso, reformulaciones, estructuracin, etc.
1.2. VALIDEZ DE CONTENIDO

La validez de contenido trata de comprobar tambin la consistencia en el proyecto mismo de los elementos precisos con que debe contar. Pero, a diferencia de la de apariencia, la validacin se obtiene aqu a partir de las aportaciones estimativas procedentes de jueces extemos supuestamente expertos en la problemtica que aborda el proyecto, o mediante la opinin de los propios realizadores del diseo, a quienes cabe considerar como expertos internos del proyecto mismo. La credibilidad de los jueces evitar la aparicin del llamado "Efecto Blancanieves", que puede aparecer en aqullos que se sienten mal valorados por la constatacin de deficiencias del proyecto. Para comprobar este tipo de validez pueden utilizarse instrumentos idnticos a los empleados para la de apariencia: en ellos se trata de recoger informacin facilitada por los expertos (internos o extemos) en relacin con la existencia en el proyecto de todos los elementos precisos y con la proporcionalidad convenientemente otorgada a cada uno de ellos. En todo caso, la esti-
MARCO REFERENCIAL PARA LA EVALUACIN DE UN PROYECTO EDUCATIVO
97
macin de dicha estructuracin no debe agotarse con la simple apreciacin, sino que ir acompaada de propuestas alternativas y de las justificaciones que las avalen. Algunos de los posibles contenidos sobre los cuales podra pedirse opinin en torno al grado de suficiencia y exactitud con que se tratan en el proyecto podran ser los siguientes: Proceso de elaboracin: considerar si en su elaboracin ha existido una participacin de los sectores implicados, particularmente profesores a u n q u e tambin alumnos, y otros sectores; tambin podr recogerse aqu si el proceso ha promovido actuaciones de trabajo en equipo; si se ha contado con asesoramiento especializado; si se ha consensuado su configuracin con los implicados; etc. Fundamentacin ideolgico-conceptual: por ejemplo, modelo antropolgico en que se basa, concepcin pedaggica, m a r c o jurdico-administrativo, mbito institucional, etc. Contextualizacin: a t e n d i e n d o a dimensiones de tipo sociopoltico, sociocultural y, en nuestro caso, socioeducativo. Acomodacin al perfil psicopedaggico de los usuarios: en este sentido, cabra atender a la experiencia vital de los mismos, a sus necesidades, intereses, expectativas, motivaciones, etc. Componentes de calidad tcnica del proyecto: aqu cabra referirse a la suficiencia o no con que se tratan los componentes necesarios, entre ellos, por ejemplo: los objetivos propuestos, los contenidos con los que se pretende lograrlos, la metodologa a utilizar, las actividades previstas para su realizacin, la evaluacin de resultados, los recursos a emplear, la temporalizacin y la previsin de evaluabilidad del proyecto. Como posibles criterios de valoracin que podran emplearse, especialmente a la hora de ponderar los componentes que definen la calidad tcnica de u n proyecto, cabra citar: su viabilidad; su relevancia o trascendencia, su rentabilidad o dimensionalidad de sus efectos; inmediatez; eficacia; fuerza implicativa para los diversos agentes; actualidad; tratamiento equilibrado; rigor conceptual; claridad; etc. Tambin podran incluirse dentro de este tipo de validacin de contenido las opiniones relativas a la estructuracin u orden de los componentes que constituyen el proyecto.
1.3. VALIDEZ DE CONSTRUCTO

La validez de constructo pretende mostrar la acomodacin del proyecto diseado a la concepcin terica sobre la que se fundamenta: implica, por tanto, la valoracin del ajuste de lo realizado con el modelo de diseo (bases filosficas, antropolgicas, sociolgicas, psicopedaggicas, epistemolgicas, etc.), con la concepcin estructural del mismo y con a perspectiva de desarrollo.
98
EDUCACIN XXI
Aunque la apreciacin de este tipo de validez puede ser ms difcil que las anteriores, con ella se trata de evidenciar si el proyecto responde a la concepcin terica bsica del modelo concebido. Para precisar adecuadamente esta validez de constructo podran estructurarse los rasgos fundamentales que definen el modelo terico que ha querido seguirse, valorndose posteriormente si aparecen y en qu medida en el proyecto elaborado. Tambin cabe incluir como integrante de la validez de constructo la atencin al proceso de elaboracin seguido para el diseo del proyecto; en este sentido, podra atenderse al seguimiento de las fases o etapas precisas, a la secuenciacin debida, al grado de participacin o implicacin de las personas o sectores afectados por el proyecto, etc. La apreciacin de esta validez puede hacerse por los propios autores del proyecto, que realizan la autoevaluacin del mismo mediante el contraste entre el arquetipo que tratan de realizar, comparado con la realidad palpable de lo que han hecho; para ello habrn de revisar el proyecto realizado y comprobar, entonces, su acoplamiento con el modelo concebido. Tambin podra realizarse este tipo de validacin previa por expertos conocedores del modelo, que actuaran en este caso como jueces externos. Cabe, incluso, plantear la posibilidad de que los propios usuarios del proyecto (en el mbito educativo f u n d a m e n t a l m e n t e profesores y alumnos) efecten u n a validacin de constructo, aunque, a tal efecto, se les debiera ofrecer algn instrumento que sea comprensible y fcilmente manejable por ellos.
1.4. V A L I D E Z D E C O N T R A S T E La validez de contraste trata de llevar a cabo una estimacin de un proyecto estableciendo un parangn con otro u otros de similares caractersticas. Obviamente, el referente con el que se compare debiera ser u n o que haya superado satisfactoriamente las valoraciones pertinentes y, en lo posible, que haya mostrado que funciona adecuadamente en su aplicacin prctica. Los descriptores sealados anteriormente para los tipos de validacin a los que nos hemos referido pueden utilizarse, tambin, para c o m p a r a r el diseo que se haya realizado con el modelo o prototipo. La validez de contraste puede llevarse a cabo por jueces externos; pero tambin pueden llevarla a cabo los propios autores del diseo e, incluso, aquellos que han de ejecutarlo. Con el fin de llevar a cabo la validacin de modo objetivo y fiable, sera conveniente, tambin en este tipo, disponer de instrumentos que acrediten tales garantas.
99
2. EVALUACIN INTERACTIVA
La evaluacin interactiva se lleva a cabo durante la realizacin del proyecto educativo mismo, mediante la intervencin colaborativa de los responsables de su ejecucin. La experiencia reflexiva y contrastada, que constituye una actitud evaluativa continuada de las fases y componentes de un proyecto, supone un elemento enriquecedor de gran alcance, tanto para el proyecto mismo, como para los que participan en dicha experiencia (en especial, para los responsables de su puesta en accin). La implantacin del proyecto puede requerir adaptaciones para acomodarlo a la propia realidad o a las circunstancias que aparezcan y que no pudieron ser previstas. Pero, sin perjuicio de tal eventualidad, el diseo efectuado servir de gua en la ejecucin y se utilizar como referencia para la valoracin del proceso. La responsabilidad ltima sobre el control del desarrollo del proyecto corresponder a la direccin del mismo; pero sta podr delegar el seguimiento y control especfico de determinados aspectos en las comisiones que resulten m s apropiadas o en quienes puedan desempear eficazmente tal cometido que, en todo caso, trasladarn la informacin recogida a dichas comisiones. La valoracin del proyecto durante la fase de su ejecucin puede hacerse teniendo en cuenta diversos criterios, que habrn de definirse previamente. Algunos de tales criterios pueden ser su ajuste con lo planificado, consider a n d o a tal efecto si el desarrollo se acomoda a lo previsto o si ha habido retraso o anticipacin; tambin puede comprobarse si durante el desarrollo del proyecto han aparecido algunos resultados no previstos; otro aspecto, de extraordinaria importancia en un proyecto educativo, ser la satisfaccin de los implicados que intervienen en su ejecucin (por los materiales utilizados, por el clima de trabajo, por la metodologa empleada, por las actividades desarrolladas, etc.). En la evaluacin interactiva pueden utilizarse diversos procedimientos, tcnicas e instrumentos, cuyo uso depender de la situacin y de los condicionamientos de cada caso (Gento, S., 1994c, pp. 382-3. Fig. 2). Muchos de estos tipos p o d r n tambin manejarse luego, en la evaluacin postactiva, adems de poder utilizarse en la evaluacin que lleven a cabo los profesores con sus alumnos y en las aulas. Aunque no siempre los trminos anteriormente mencionados se manejan con todo rigor y, en ocasiones, hasta se utilizan indistintamente con significado equivalente, debe entenderse que, en el mbito de la evaluacin, un procedimiento es el modo o mtodo especfico y estructurado de operativizar los pasos necesarios para llegar a la valoracin de aquello que es objeto de evala-
100
Procedimientos Tcnicas
EDUCACIN X X I
Instrumentos - Guas de evaluacin. - Inventarios.
Observacin: - Etnografa. Autoevaluacin - Participante. - No participante. - De instalaciones. materiales y resultados. Heteroevaluacin
- Listas de cotejo o control. - Anecdotarios. - Diarios (cuadernos de campo). - Rejillas. - Estudio de casos. - Anlisis de contenido. - Anlisis de trabajos. - Anlisis de tareas. - Escalas de observacin.
Interrogativas: Coevaluacin - Orales.
- Exmenes orales. - Entrevistas. - Cuestionarios. - Escalas de evaluacin. - Pruebas sociomtricas.
Interrogativas: Triangulacin - Escritas.
- Memorandos. - Informes. - Tests estandarizados. - Pruebas objetivas. - Exmenes tradicionales - Autobiografas.
FIGURA
2. Tcnicas, procedimientos e instrumentos de evaluacin.
101
cin. Implica, por tanto, una forma o modo determinado de actuacin en este campo y, en cierto modo, nos sita ante un enfoque conceptual de dicho modo de actuacin peculiar Los procedimientos bsicos de actuacin, cuya utilizacin es posible en la valoracin de planes o proyectos educativos, son los siguientes: autoevaluacin, heteroevaluacin, coevaluacin y triangulacin. Tcnicas de evaluacin Una tcnica supone, por su parte, el acopio de recursos y la realizacin de procesos que conduzcan a la consecucin ms eficaz, eficiente y cmoda posible del objetivo o meta perseguida. En tal sentido, requiere que se acte de acuerdo a unos criterios y modos de actuacin perfectamente definidos y contrastados, para garantizar la consecucin del propsito perseguido en las mejores condiciones posibles, siempre que se acte de acuerdo con las especificaciones de dicha tcnica. En el mbito propio en que nos situamos, una tcnica de evaluacin hace referencia a una actuacin sistemticamente organizada y estandarizada, para garantizar el xito en la obtencin de una valoracin del modo ms rentable posible. Para conseguirlo, la tcnica trata, mediante procesos de actuacin peculiares, de controlar el error, de reducir el costo y de lograr una definicin valorativa con la mejor utilizacin de los recursos y la mxima satisfaccin de los implicados. Ya se trate de tcnicas de evaluacin que respondan a paradigmas de tipo cuantitativo, o que se acojan al de ndole cualitativo, la propia condicin de dichas tcnicas exige para su credibilidad que se sometan a las garantas de rigor cientfico en cada caso (Castillo, S. y Gento, S., 1995, pp. 31-2; 36-7). Bsicamente, las tcnicas evaluativas pueden reducirse a dos, a saber: la de observacin y la de tipo interrogativo. Pero la experiencia que va acumulndose en tomo a la utilizacin de las mismas va haciendo surgir diversas modalidades de utilizacin de una y otra, con lo que cabra distinguir, de un lado, entre tcnicas interrogativas orales y escritas y, de otro, entre las de observacin de carcter no participante, participante, etnogrfica, o de instalaciones, materiales y resultados. Tal como hemos sealado anteriormente, la tcnica implica el sometimiento a parmetros de sistematizacin, estandarizacin y contraste, orientados a la mayor eficacia, eficiencia y satisfaccin de los implicados. La necesidad de utilizar diversas tcnicas para garantizar, as, la consistencia de la evaluacin efectuada procede de diversas causas, a saber: la necesidad de complementar y contrastar la informacin que puedan ofrecer, en su caso, diferentes evaluadores; la limitacin de los propios instrumentos de medida;
102
EDUCACIN XXi
y la diversidad de los aspectos que conviene valorar, que pueden requerir diferencias en el modo de apreciacin de los mismos. Las tcnicas de observacin nos sitan ante la recogida de informacin sobre situaciones o procesos en el m o m e n t o en que se producen, generalmente de modo natural (sin provocacin externa) y por alguien ajeno a los mismos (salvo en el caso de la autoobservacin). Para que la observacin resulte de utilidad se requiere una especial predisposicin para percibir la realidad tal como se presenta y, adems, agudeza para explorar en lo observado, de modo que pueda llegarse a captar el sentido de la realidad o lo que sucede. De este modo, la percepcin y reflexin atenta de una realidad o de un proceso permite identificarlo de modo autntico y en su verdadero significado. Pero la observacin implica un riesgo de "subjetivismo" en la valoracin que realiza el observador, particularmente cuando interpreta hechos o acontecimientos. Para eliminar la arbitrariedad del subjetivismo, el observador ha de adoptar un equilibrado distanciamiento; de este modo, evitar la falta de conocimiento del contexto, as como la excesiva implicacin; tambin puede obviarse el riesgo de subjetividad mediante el contraste de los resultados de la observacin realizada por diversos evaluadores. Otros requisitos que debiera reunir la observacin para garantizar su fiabilidad y consistencia cientfica seran los siguientes: la naturalidad, que permita la recogida de situaciones que se desarrollan espontneamente, y la intencionalidad en la atencin a los acontecimientos, lo que requerir una seria planificacin de los aspectos a evaluar. La utilizacin de la tcnica de observacin est propiciando la aparicin de modalidades de la misma. As, la observacin etnogrfica pretende recoger no tanto los acontecimientos mismos, cuanto la interpretacin que los sujetos humanos o los grupos de ellos otorgan a situaciones concretas; claro que tales interpretaciones obedecern frecuentemente al propio referente cultural, en virtud del cual efectuarn el filtro de lo que perciben a travs de los sentidos. Algunos supuestos que conviene tener particularmente en cuenta a la hora de realizar esta modalidad de observacin son los siguientes (Santos, M.A., 1990, pp. 46-50): enfatizar el valor de los intercambios psicosociales de sus elementos personales, subrayar el valor de los procesos, utilizar la opinin de los protagonistas, dar prioridad a los aspectos cualitativos de la evaluacin, y promover la autorreflexin sistemtica y rigurosa. La observacin participante supone que el agente evaluador se integre en la propia situacin, compartiendo incluso el protagonismo de las actuaciones y aspectos que van a valorarse. Para ello, el observador participante, que en ningn caso deber obstruir o perturbar la marcha del proyecto, habr de sumergirse en el grupo y en el mbito a evaluar sin preconceptos; por el contrario, tratar de observar la realidad de modo incontaminado, tal cual surge
103
de las actuaciones y circunstancias. Pero, para que el evaluador participante pueda ser oportunamente aceptado por el grupo de personas responsables del proyecto o proceso en cuestin, habr de llevar a cabo previamente con stas la negociacin que desemboque en su aceptacin y en la ubicacin de su propio nicho de responsabilidad. Diferenciamos la observacin participante de la no participante, ya que esta ltima se realiza sin la inmersin en la responsabilidad del desarrollo del proyecto de que se trate. Tambin consideramos aparte la observacin de instalaciones, materiales o resultados, por entender que no aluden propiamente a la estimacin de procesos en marcha, tpicos de la evaluacin interactiva. Otro tipo de tcnicas evaluativas son, precisamente, las que hemos denominado como interrogativas. Son aqullas en las que la evaluacin se realiza sobre la informacin que ofrecen los individuos o grupos objeto de indagacin evaluativa, a travs de instrumentos en los que son preguntados, de forma directa o indirecta, sobre aquellos aspectos que hacen relacin al tema evaluado (Gento, S., 1994b, p. 388). Claro que puede ocurrir que la interrogacin se produzca por agentes extemos (en cuyo caso nos encontramos con el procedimiento de la evaluacin externa o heteroevaluacin), o por los sujetos implicados que se someten a sus propias preguntas (y entonces nos situaramos dentro del procedimiento de autoevaluacin o evaluacin interna). Si la interrogacin se lleva a cabo a travs de la comunicacin hablada, nos encontramos ante la utilizacin de tcnicas interrogativas orales. Pero, si lo que se maneja son preguntas y respuestas de escritura, tendremos que hablar de tcnicas interrogativas escritas. Cabe, incluso, considerar tcnicas interrogativas grficas, si lo que se utiliza son smbolos de carcter icnico; pero, a efectos de simplificacin, incluimos las dos ltimas dentro de un mismo tipo, en el que situamos tanto la utilizacin de smbolos lingsticos como los de tipo icnico.
Instrumentos de evaluacin Cuando los procedimientos y las tcnicas tratan de ponerse en accin surge la necesidad de contar con elementos materiales o concreciones operativas que sirvan de mediacin para lograr el propsito perseguido. Y aqu es, precisamente, donde surge la necesidad y la utilidad de los instrumentos, en tanto que recursos operativos o materiales de uso cuya utilizacin es precisa para la puesta en prctica de una tcnica o de un procedimiento. El instrumento supone, por tanto, el mximo nivel de concrecin, tanto referido a los materiales a utilizar, como a las acciones a realizar.
104
EDUCACIN X X I
En el mbito propio al que aqu nos referimos, un instrumento de evaluacin hace, pues, referencia a cualquier material de uso o modo concreto de actuacin que pueda ser convenientemente utilizado para la recogida, contrastacin y acopio de la informacin precisa para conducir a la valoracin propuesta, dentro de una perspectiva educativa. Para la operativizacin de las tcnicas evaluativas que hemos descrito, se utilizarn los instrumentos que mejor se acomoden a las mismas. Algunos de los que cabe manejar cuando se utilizan tcnicas de observacin son los siguientes: Guas de evaluacin (como planificaciones organizadas que orientan el proceso evaluativo). Inventarios (que relacionan la existencia o aparicin de elementos o aspectos que figuran en ellas). Listas de cotejo o control (tambin conocidas como "listas de punteo o verificacin ", en las que se recogen datos o aspectos siguiendo un listado ya establecido). Anecdotarios (llamados, tambin "fichas anecdticas" o, asimismo, "registros de ancdotas, de incidencias o de hechos significativos", recogen el relato de circunstancias o situaciones significativas. El registro puede ser de carcter escrito, sonoro, visual fijo o mvil, o audiovisual). Diarios (llamados, tambin, "cuadernos de campo", permiten recoger la descripcin de determinados procesos o actuaciones en su totalidad. Pueden ser tanto del profesor como de los propios alumnos). Rejillas (tambin denominadas "matrices", permiten valorar hechos o situaciones mediante la utilizacin de documentos normalizados en los que figuran dos tipos de categoras; en las filas generalmente el tema o hecho a valorar, y en las columnas las categoras de evaluacin). Estudio de casos (en ellos se recogen datos y posibles soluciones a adoptar ante problemas o situaciones cuyo relato se describe previamente). Anlisis de contenido (se recoge informacin valorativa en tomo a documentos que se han analizado, por ejemplo, el Proyecto Educativo de un centro determinado). Anlisis de trabajos (o "anlisis de producciones"; en ellos se lleva a cabo la valoracin de las producciones realizadas, tales como una composicin escrita o una maqueta realizada). Anlisis de tareas (aluden a la evaluacin que se lleva a cabo de los procesos o actividades que se han realizado dentro de un proyecto o cometido llevado a cabo). Escalas de observacin (llamadas, tambin, a veces "de estimacin o de valoracin", se utilizan para la ponderacin de rasgos o aspectos determinados, utilizando para ello estimaciones numricas, verbales o descriptivas).
105
Entre los instrumentos que cabe manejar para la utilizacin de tcnicas interrogativas orales cabe referirse a los exmenes orales y a las entrevistas. En aqullos el examinador puede acomodarse con mayor facilidad a la peculiaridad de la persona evaluada y a las circunstancias de cada situacin; pero, en cambio, ofrecen mayor riesgo de subjetividad en la valoracin. En las entrevistas la persona o personas sometidas a valoracin responden a las preguntas que formula el entrevistador. Pero la entrevista como instrumento evaluativo de carcter oral puede adoptar varios tipos, segn el modo en que se realice. As, cabe hablar de entrevistas "libres", cuando no se maneja u n guin o listado previo de preguntas. En las entrevistas "estructuradas" existe ese guin y las preguntas a formular previamente a la realizacin de dicha entrevista. En la entrevista "semiestructurada" se da una combinacin de las dos anteriores (aunque existe un guin previo y, tal vez, algunas preguntas predeterminadas, el entrevistador puede modificar el esquema inicial o introducir algunas cuestiones durante el desarrollo de la entrevista). Puede, tambin, hablarse de entrevistas "grupales" cuando las preguntas se dirigen a diversas personas q u e se e n c u e n t r a n f o r m a n d o p a r t e de u n grupo durante la realizacin de tal entrevista. En las de tipo "formal" suele seguirse un esquema o diseo previo muy ajustado a la temtica a tratan Por el contrario, en las entrevistas de tipo "informal" las preguntas surgen espontneamente en un clima distendido y sin necesidad de seguir rigurosamente un esquema previo. Cuando lo que se pretende es llevar a cabo tcnicas de evaluacin de tipo interrogativo, pueden utilizarse instrumentos que respondan a este peculiar modo o uso concreto. En tal caso, cabe referirse a los instrumentos siguientes: Cuestionarios (serie de preguntas escritas a las que responden las personas evaluadas. Pueden ser de carcter cerrado, c u a n d o de lo que se trata es de elegir una o varias respuestas ya elaboradas; abierto, si la respuesta ha de ser elaborada por quien cumplimenta el cuestionario; o mixto, cuando incluye rasgos de uno y de otro). Escalas de evaluacin (similares a los cuestionarios, pero en las que la respuesta escrita supone una valoracin, que se lleva a cabo utilizando para ello diversas categoras numricas o verbales previamente establecidas). Pruebas sociomtricas (instrumento evaluativo realizado a partir de preguntas destinadas a medir las interacciones sociales y para mostrar la configuracin de las relaciones entre los miembros de un grupo determinado). Memorandos (suponen la existencia de u n instrumento gua para la realizacin de u n proceso de evaluacin de cierta complejidad, tal como la
106
EDUCACIN X X I
auditora. Pueden incluir, entre otros aspectos, los elementos a valorar, los objetivos de cada evaluacin, los controles a efectuar, la validez interna de los controles, etc.). Informes (descripcin detallada que realiza un experto de las evidencias detectadas y de la valoracin de las mismas). Tests estandarizados (construidos por expertos, con ellos se pondera el valor de los resultados en base a baremos contrastados para diversos grupos de poblacin). Pruebas objetivas (en ellas la valoracin se hace de acuerdo a criterios objetivos que se aplican a preguntas cuyas respuestas han sido previamente fijadas). Exmenes tradicionales (se constituyen a base de pruebas de ensayo o temas abiertos - que pueden ser extensos o breves- y adoptan a veces la forma de problemas, traducciones, comentarios de texto u otras modalidades que requieren una elaboracin de cierta intensidad a cargo de la persona evaluada). Autobiografas personales (conocidas, t a m b i n c o m o "curriculum vitae", recogen la experiencia profesional acumulada por una persona, frecuentemente referida a un mbito de actividad profesional determinada). Por su especial relevancia en la evaluacin de u n proyecto educativo, desarrollaremos seguidamente de modo separado los procedimientos de evaluacin del mismo.
2.1. AUTOEVALUACION
Entre los posibles procedimientos de evaluacin a utilizar que tienen aplicacin en esta fase interactiva, cabe referirse a la autoevaluacin (que se lleva a cabo por los propios implicados; en el caso de un centro educativo, pueden f u n d a m e n t a l m e n t e ser los profesores y a l u m n o s , a d e m s de los directivos, padres y otros profesionales que constituyen dicho centro). En ocasiones, este procedimiento recibe la denominacin de "evaluacin interna", dado que se realiza por los propios sujetos evaluados y en virtud de su propia iniciativa. En el mbito de las instituciones educativas, la autoevaluacin pretende especialmente la mejora de la profesionalizacin de los docentes y del funcionamiento general de los centros. Pero la aportacin ms relevante de este procedimiento de evaluacin es, precisamente, el incremento del potencial de autoanlisis que desarrolla entre los implicados, particularmente entre los docentes. Asimismo, se desarrolla tambin en quienes se autoevalan la habilidad para valorar con ms exactitud su propia actuacin y los resulta-
107
dos alcanzados. La importancia de este procedimiento resulta cada vez ms evidente, considerndose que la autoevaluacin es un promotor fundamental de la mejora, mucho ms relevante que la heteroevaluacin: "El control autogenerado de la calidad es mucho ms eficaz que la calidad del control llevado por la inspeccin externa" (Peters, T.J. & Waterman, R.H., 1993, p. 29). Para que la autoevaluacin sea efectiva ser preciso contar con la aceptacin y el apoyo de los directivos del centro, adems de la de los propios profesores; pero, adems, habr ocasiones en las que deber contarse tambin con la intervencin de los alumnos y hasta de los padres de los mismos en la medida que corresponda (esto ltimo, especialmente en los niveles bsicos del sistema educativo no universitario). En definitiva, todos los sectores implicados habrn de comprometerse con esta autoevaluacin, como medio para mejorar el funcionamiento y los resultados, de acuerdo con el proyecto diseado. Pero, para que la implicacin voluntaria de los sectores afectados se fortalezca, resultar conveniente consensuar la forma y contenido de la autoevaluacin.
2.2. HETEROEVALUACIN
Otro procedimiento de posible utilizacin es el de la heteroevaluacin o evaluacin externa (que realizan personas ajenas al centro, por ejemplo, la que lleva a cabo la Inspeccin educativa). En este procedimiento la estimacin es realizada, generalmente, por profesionales que no forman parte de la estructura de la institucin, y a los que se otorga cierta autoridad como jueces expertos. Por llevarse a cabo por agentes externos, a quienes se les supone una autoridad o preparacin tcnica para la tarea, parece que su actuacin y juicios valorativos puedan tener ms independencia; sin embargo, su falta de conocimiento del contexto y de las necesidades de la institucin en la que actan puede dificultar una percepcin adecuada de la realidad. Parece, en todo caso, que tales expertos evaluadores externos han de ser conocedores de la educacin. Deben, a d e m s , formar un equipo homogneo, que acte con honestidad y con autonoma de criterio. Adems de ello, han de utilizar tcnicas e i n s t r u m e n t o s que sean fiables y que faciliten informacin con las garantas precisas. Para que la evaluacin externa tenga un efecto estimulador sobre la institucin, sobre los miembros de la misma y sobre el proyecto educativo cuya valoracin se realice, parece conveniente que se lleve a cabo, a ser posible, a solicitud de la propia institucin y de modo consensuado con ella. Se plantear, adems, como una experiencia enriquecedora para la institucin, implicar \3. participacin activa de los propios implicados y garantizar el uso con-
108
EDUCACIN XXI
veniente de la informacin dencial o reservada).
obtenida (que, en algunos casos, podr ser confi-
De acuerdo con los requerimientos sealados, la tendencia predominante en la actualidad (especialmente cuando se evalan instituciones, su funcionamiento, o sus planes o proyectos de actuacin) es considerar bsica la autoevaluacin o evaluacin interna. Es, precisamente, sobre sta y con el propsito de garantizar la consistencia tcnico-cientfica de tal evaluacin, como se llevar a cabo la evaluacin externa o heteroevaluacin; la conjuncin de ambos procedimientos habr de suscitar un consenso y requerir, en ltima instancia, la aceptacin del dictamen final por los implicados como algo propio. Es posible, incluso, que la redaccin definitiva del informe en el que conste el dictamen final deba hacerse por tales implicados o, caso de hacerlo los evaluadores externos, al menos con la intervencin de los autoevaluadores.
2.3. COEVALUACION
Otro procedimiento lo constituye la coevaluacin (que se realiza conjunt a m e n t e por varios sectores: as, por ejemplo, la que p u e d a n realizar los alumnos y el profesor conjuntamente, o los propios alumnos de los aspectos que a ellos mismos les afectan). E n definitiva, se trata de llevar a cabo procesos valorativos de forma que participen en los mismos tanto aqullos que son objeto de estimacin, como otras personas n o comprometidas con aquello que se evala. As entendida, la coevaluacin resulta ser un procedimiento en el que la multiplicacin de los agentes externos e internos que participan en la evaluacin constituye una garanta mxima de corresponsabilidad. Puesto que la optimizacin de los procesos docentes y educativos requiere, en todo caso, la concurrencia del propsito de los profesores, la iniciativa en la dinamizacin de un procedimiento de coevaluacin parece que debe corresponder a estos ltimos. Los evaluadores extemos, por su parte, han de estar a disposicin de todo el personal de la institucin, ofrecindoles su experiencia y los instrumentos necesarios para llevar a cabo la evaluacin con garantas de rigor cientfico y que responda a las necesidades manifestadas. La dinamizacin de equipos mixtos de evaluadores externos e internos debe poner en accin tcnicas participativas de colaboracin que conduzcan a la asuncin conjunta y compartida de responsabilidades evaluativas. Es, precisamente, la implicacin en la decisin lo q u e constituye el m x i m o exponente de la participacin y la mejor garanta de compromiso para colaborar en el logro de los propsitos fijados, es decir, en las acciones de mejora. El procedimiento de coevaluacin puede adoptar diversas modalidades. As, puede ser llevada a cabo conjuntamente por el profesor y sus alumnos;
109
por los propios alumnos entre s; por profesores, alumnos y padres; por profesores y directivos del centro; p o r profesores, directivos e inspectores o supervisores; o adoptando otras composiciones.
2.4. TRIANGULACIN
Finalmente, el procedimiento de la triangulacin permite contrastar diferentes perspectivas evaluativas sobre un mismo hecho o fenmeno (Santos, M. A., 1990). Se utiliza para establecer contrastes desde diferentes enfoques, para apreciar acuerdos o desacuerdos, y para precisar elementos que permitan decidir sobre la credibilidad de la informacin. En virtud del mismo, diversos sectores o personas valoran los mismos supuestos en situaciones sucesivas o simultneas. Posteriormente, deben compararse los resultados que cada uno de los responsables de evaluacin ha obtenido, al objeto de extraer las conclusiones ms vlidas y fiables. La definicin clsica de la triangulacin aportada por Denzin, N. (1978), la considera como "la combinacin de metodologas en el estudio del mismo fenmeno". El procedimiento pretende eliminar la subjetividad apreciativa basada en un solo individuo u observador, as como el sesgo que puede suponer la utilizacin de una nica fuente de evaluacin. Pero este procedimiento admite diversos enfoques (Santos, M., 1990, pp. 116-121): triangulacin de mtodos (mediante la utilizacin de diversos procedimientos), triangulacin de sujetos (contrastando los diferentes puntos de vista de los distintos sujetos en la exploracin), triangulacin de momentos (exploracin en diversos ngulos temporales), triangulacin de expertos (contraste de opiniones de evaluadores expertos, ajenos al proyecto, y miembros activos del mismo). En ocasiones, la triangulacin se basar en el contraste de datos obtenidos por diferentes fuentes o por la utilizacin de distintos mtodos. En otros casos, puede fundarse en la contrastacin de los datos obtenidos por los distintos miembros de un equipo de evaluacin. Cuando stos hayan obtenido sus datos y llegado a sus propios resultados, se p o n d r n en c o m n para determinar las coincidencias, que ratifiquen la informacin, o las discrepancias, que debern aclararse o analizarse de nuevo, en su caso. Para la ejecucin de los procedimientos que acabamos de mencionar, pueden utilizarse diferentes tcnicas evaluativas. Como posibles tcnicas de evaluacin a utilizar cabe referirse a la observacin en sus diversas modalidades (etnogrfica, participante, no participante, o de instalaciones, materiales y recursos). Tambin pueden manejarse otras de tipo interrogativo: stas pueden ser orales o escritas.
lio
EDUCACIN X X I
La realizacin de la evaluacin interactiva implica una oportunidad extraordinariamente eficaz para la consolidacin de una sntesis profesional superadora de la dialctica entre teora y prctica, que se conjugan en un intento de fusin sublimador; el autoanlisis de la prctica y la continua reflexin sobre la teora deben, pues, conjugarse de un modo funcionalmente operativo. Se trata, por un lado, de reflexionar sobre las aportaciones que la teora supone para la prctica; pero, adems, de partir del anlisis de la prctica como referente inicial para lograr una teora generalizadora sobre la misma. Fruto de esta experiencia reflexiva podra ser la elaboracin de la memoria de contraste, que refleje la diferencia entre lo previsto y lo practicado. De todos modos, para el establecimiento de una cultura evaluativa en las instituciones educativas pueden emplearse recursos tales como los siguientes (Scheerens, J., 1992, p. 90): Utilizando materiales didcticos y libros que lleven incorporada la evaluacin: esta estructura aparece frecuentemente en los materiales didcticos elaborados por la UNED para su explotacin por alumnos a distancia. Empleando pruebas estandarizadas de rendimiento escolar que permitan establecer c o m p a r a c i o n e s con los resultados obtenidos por los alumnos. Haciendo uso de bancos de datos, sistemas de evaluacin y de informacin sobre la gestin educativa. Institucionalizando conversaciones y reuniones del director con los profesores e, incluso, con los alumnos y hasta con los padres, para tratar sobre la eficacia de la enseanza. Potenciando el manejo de instrumentos de autoevaluacin, tanto para los alumnos (a fin de que comprueben su desarrollo), como para los profesores (para que puedan valorar los resultados de su intervencin educativa, empleo de metodologas y materiales, etc.). Estableciendo ios requisitos organizativos necesarios mnimos para la realizacin y explotacin de la evaluacin, como por ejemplo: reuniones peridicas entre los profesores a travs de los equipos o departamentos docentes dentro del centro. Pero, adems de la autoevaluacin que realizan los propios profesionales responsables de le ejecucin del proyecto, vale la pena tambin considerar las aportaciones estimativas que realicen otros implicados en el mismo. Ya se trate de tcnicas de evaluacin que respondan a paradigmas de tipo cuantitativo, o que se acojan al de ndole cualitativo, la propia condicin de dichas tcnicas exige para su credibilidad que se sometan a las garantas de rigor cientfico en cada caso (Castillo, S. y Gento, S., 1995, pp. 31-2; 36-7). Para este propsito podra emplearse la recogida de opiniones personales, o podran utilizarse tcnicas de autoanlisis o heteroanlisis grupal.
MARCO REFERENCIAL PARA LA BVALUACIN DK UN PROYECTO KDUCAIIVO
111
El autoanlisis grupal supone una prctica colaborativa de investigacin accin de enorme fuerza enriquecedora para los que la realizan. Se trata, en definitiva, de comprobar de modo conjunto la propia ejecucin del proyecto, la adecuacin y la coordinacin de todos los c o m p o n e n t e s (Medina, A. y Gento, S., 1991, pp. 104). En el heteroanlisis grupal la reflexin colaborativa de la accin prctica debe permitir, debidamente canalizada, una aportacin comprometida que conduzca a valoraciones y propuestas en las que los distintos miembros se sientan responsablemente implicados. En el nivel ms concreto de operativizacin evaluativa, los procedimientos y tcnicas se ponen en accin mediante i n s t r u m e n t o s de evaluacin. stos se refieren a "materiales o modos concretos de presentacin que pueden ser convenientemente utilizados para la recogida, contraste y acopio de la informacin precisa que conduzca a la valoracin". Para la determinacin de las garantas de rigor cientfico de tales instrumentos, habrn de precisarse los coeficientes de fiabilidad de los mismos. Para recoger informacin a partir de una tcnica evaluativa de observacin, en sus diversas modalidades, pueden utilizarse diversos instrumentos, entre los que cabe mencionar los siguientes: guas de evaluacin, inventarios (de comportamiento, de intereses, percepciones, sentimientos, etc.), listas de cotejo o control, anecdotarios o registros de ancdotas, registros (de incidencias por escrito, grabaciones o filmaciones de situaciones reales), diarios o cuadernos de campo (del profesor, del alumno, del aula), rejillas, estudio de casos, anlisis de contenido, anlisis de producciones o trabajos realizados, anlisis de tareas, o escalas de observacin. Instrumentos propios de las tcnicas de tipo interrogativo oral seran las entrevistas en sus diversas modalidades (libre, estructurada o semiestructurada) y los exmenes orales. Como instrumentos a utilizar dentro de las tcnicas de tipo interrogativo escrito cabra referirse a las siguientes: cuestionarios, escalas de evaluacin, pruebas sociomtricas, memorandos, informes, tests estandarizados, cuestionarios, pruebas objetivas, exmenes tradicionales, o autobiografas. Como criterios posibles de valoracin podra atenderse al ajuste a la planificacin y su insercin en el contexto. El primero de ellos podra considerar: la temporalizacin, la secuenciacin, y la flexibilidad en la aplicacin. La insercin contextual, por su parte, podra atender a la estimacin de: el clima institucional (dentro del mismo, la satisfaccin del personal por el proceso, el grado de participacin de individuos o sectores implicados, las actividades, etc.), la coherencia institucional (del proyecto con otros proyectos o marcos rectores de la institucin), el clima social, la utilizacin de los recursos, etc.
112
EDUCACIN X X I
3.1 VALORACIN POSTACTIVA

Evaluacin postactiva es aqulla que se lleva a cabo una vez concluida la aplicacin del proyecto. La integracin de los datos recogidos en esta evaluacin postactiva o "postfacto" conducir a la elaboracin de las conclusiones pertinentes sobre el proyecto, para las que se tendrn en cuenta las evidencias puestas de manifiesto. Parece, adems, conveniente que esta fase evaluativa finalice con una "propuesta fundamentada", en la que se formulen las sugerencias para el funcionamiento futuro del proyecto. El anlisis de los resultados, propio de esta fase postactiva, podra contemplar los descriptores que se exponen a continuacin (Gento, S., 1989; Medina, A. y Gento, S., 1991. Fig. 3).
3.1. INDICADORES DE EFICACIA

La medicin de la calidad resulta especialmente difcil en las empresas o instituciones orientadas a la provisin de servicios (Peters, T.J. & Waterman, R.H., 1993, p . XIX). Los centros educativos caen de lleno d e n t r o de este grupo de organizaciones, por lo que hemos de tener en cuenta la especial dificultad que supone la evaluacin en los mismos. Ello no debe, sin embargo, llevarnos a eludir el esfuerzo necesario para lograrlo. Los indicadores de eficacia tratan de llegar a una estimacin de los resultados conseguidos o productos logrados, aunque sin plantearse la repercusin que sobre los mismos hayan podido tener los elementos que constituyen el "input" (bsicamente, el contexto y recursos). Ello implica, por tanto, la valoracin de si se han conseguido los objetivos o metas previstos y en qu medida, tanto en cantidad como en calidad y en tiempo previsto. Cabra, por tanto, incluir aqu la ponderacin de los xitos logrados, los fracasos y las carencias o deficiencias, todo ello en funcin de la previsin realizada. Estos resultados podrn analizarse en relacin con una referencia normativa (en la que se tendrn en cuenta haremos establecidos al margen del proyecto por autoridades externas al mismo), o con referencia criterial (en la que se atendrn a los objetivos planteados en el propio proyecto). E n t r e los indicadores de eficacia p o d r a n incluirse aspectos c o m o los siguientes: xitos logrados (objetivos cumplidos), carencias apreciadas (objetivos n o logrados), deficiencias acaecidas, malfuncionamientos ocurridos, satisfaccin con los proveedores (en el sistema educativo, podran ser los niveles o etapas previos), satisfaccin de los clientes externos (alumnos) y de los internos (personal del centro), proyecto de formacin de personal, y otros. Pero, adems del anlisis de los resultados referidos a los objetivos programados previamente, la evaluacin postactiva podra entrar en la consideracin de los efectos no previstos. Estos efectos, que podran ser desea-
M A R C O REFERENCIAL PARA LA EVALUACIN D E U N PROYECTO EDUCATIVO
113
!A
a (/) <u > < u 3 3 ex Z o e x
o >
Vi
u
3
1)
-o
i "O
-D
O
u
(U
>>
O u C 3
<D
cu
ex
-O
--' /)
c -o 'u o
O
Si
o. o
u
i:
3 O
l-H
fe
l)
l-H
I
^
<
(U
<
^ o -o -n c
1 <
O b U
< HH
o u
114
EDUCACIN X X I
bles o no, suelen aparecer con frecuencia y relevancia suficiente como para merecer ser tenidos en cuenta en dicha evaluacin "postfacto". En relacin con la determinacin de los indicadores no faltan autores que muestran la dificultad de la misma. As, Santos, M.A. (1990, pp. 58-59) seala que "someter los indicadores de calidad de un centro educativo a un principio estructurador u organizador es difcil, ya que cualquiera que se elija resultar insuficiente e impreciso. No hay fronteras claras entre funciones, estructura, valores y medios". Antes, sin embargo, de la determinacin y, sobre todo, ponderacin de los indicadores, es preciso definir el modelo de referencia por el que se opta y la estructura bsica del mismo; a partir de ah puede iniciarse la tarea de determinar los indicadores y trabajar en la estructuracin ponderada de los mismos. En cuanto a los responsables de la evaluacin, parece conveniente contar con la participacin de los diversos mbitos o sectores de la comunidad educativa (directivos, profesores en sus diversas funciones, otros profesionales del centro, a l u m n o s y padres) y de elementos externos a la m i s m a (tales como inspectores y otras autoridades acadmicas. Administracin educativa en general, u otras agencias no incluidas en la estructura del centro).
3.2. INDICADORES DE EFICIENCIA

La experiencia pone frecuentemente de manifiesto que los resultados que se obtienen en un proyecto educativo pueden tener factores determinantes que ofrecen diversas procedencias. As, es sobradamente conocida la incidencia que sobre la educacin que se adquiere en un centro educativo tiene la familia de origen del alumno; tambin se reconoce el efecto determinante que el entorno social en que se desenvuelve un alumno puede tener sobre los resultados que se obtengan, e, incluso, el espacio fsico en que se encuentra puede, tambin, repercutir en su rendimiento. Pero, adems de los citados factores, otros muchos pueden estar influyendo directa o indirectamente en los resultados. Esta relacin entre factores determinantes o "nput" y los resultados obtenidos o "output" es lo constituye la eficiencia de una accin o proyecto educativo. Los indicadores de eficiencia s tienen en cuenta la relacin entre los resultados logrados ("output") y el "input" del propio proyecto. En este sentido, tales indicadores tratan de determinar la adecuada rentabilidad del proyecto, mediante el anlisis de costo-resultados y la incidencia del punto de partida (fundamentalmente contexto y recursos disponibles) en los efectos producidos.
115
Dentro de estos indicadores de eficiencia podramos situar la denominada "referencia idiosincrtica", en la que se tienen en cuenta las circunstancias que rodean al proyecto. En este sentido, podra considerarse aqu la valoracin de las instituciones proveedoras (por ejemplo, nivel de confianza de las instituciones de apoyo presupuestario, logstico, de materiales, etc.). Est claro que la provisin o no de los elementos que conlleva su aportacin e, incluso, la forma en que tal provisin se produce son elementos determinantes de un cierto rendimiento o producto educativo. En definitiva, los indicadores de eficiencia tratan, pues, de determinar si los resultados muestran un elevado grado de "rentabilidad" del proyecto, en el ms amplio sentido, que podra tambin entenderse como "nivel de productividad" o, incluso, "perfil econmico" de dicho proyecto. No debe ello estrictamente entenderse, particularmente en el mbito educativo, como la preocupacin p o r reducir los recursos disponibles, c u a n t o el inters p o r hacer ms eficaces los que se poseen. De un modo ms simple, parece evidente que un incremento de los recursos debiera producir un a u m e n t o o mejora de resultados; sin embargo, puede ocurrir que no se produzca tal mejora en dichos resultados o que stos no mejoren tanto como cabra esperar de la inversin realizada; esto significara que nos encontramos ante una mala utilizacin de los recursos o, lo que es lo m i s m o , u n bajo nivel de eficiencia. Algunos posibles indicadores de eficiencia a los que cabra referirse son los siguientes: optimizacin de la capacidad formativa de los a l u m n o s ; empleo del tiempo, aprovechamiento de recursos humanos, explotacin de recursos fsicos (inmueble, instalaciones, mobiliario, materiales), utilizacin de medios econmicos, funcionamiento de estructuras organizativas, etc. La coherencia en los niveles deseables de eficiencia exigira, por ejemplo, que cuando los alumnos poseen una elevada capacidad intelectual o educativa, los resultados que se obtengan con los mismos han de ser elevados. Lo mismo cabra decir cuando un centro o institucin posee un cuadro de profesores de elevada cualificacin. O cuando se han puesto a disposicin de un proyecto de mejora excelentes instalaciones o cuantiosos recursos.
3.3. INDICADORES DE FUNCIONALIDAD

Los indicadores de funcionalidad tratan de valorar la idoneidad del proceso de ejecucin del proyecto mismo, con independencia de los resultados obtenidos y, en lo posible, los recursos puestos en accin. En todo proceso humano, y particularmente en los de carcter educativo, se produce una relacin entre los sujetos que intervienen, crendose un clima interno determinado; en muchas ocasiones, el despertar de relaciones de proximidad emocional y la propiciacin de m a r c o s de estmulo positivo constituyen un patrimonio mucho ms valioso que los fros resultados acadmicos. Cuntas
116
EDUCACIN X X I
veces, por ejemplo, el entusiasmo despertado por un gran profesor en sus alumnos ha sido ms determinante para su futuro que la simple acreditacin acadmica recibida! Es obvio, en todo caso, que la forma en que se lleven a cabo procesos educativos determinados tiene una gran trascendencia formativa. Parece, por tanto, necesario, atender a estos efectos como elementos constitutivos de la valoracin de un proyecto educativo; aunque, en ocasiones, resulten difciles de valorar, el esfuerzo a ello dedicado puede ser muy valioso pues, a travs de tal evaluacin, podemos detectar actitudes cuya influencia sobre los alumnos participantes en una determinada accin educativa puede ser altamente decisiva. Entre los posibles indicadores a utilizar para la valoracin de la funcionalidad de un proyecto cabe referirse a los siguientes: la coherencia de la realizacin con la concepcin bsica del diseo, el respeto a los propsitos generales, la racionalidad y sistematizacin de los procedimientos empleados, la oportunidad de las estrategias o actividades realizadas, la evolucin de la cultura institucional, del clima relacional de los participantes y de su participacin en el proceso, el tipo de liderazgo ejercido o el estilo de direccin del proyecto, las relaciones con los clientes internos (personal del centro) y externos (alumnos y padres), etc.
3.4. INDICADORES DE IMPACTO

Para completar la evaluacin de un proyecto educativo parece conveniente valorar, tambin, el efecto que fuera del mbito estricto donde se lleva a cabo la accin educadora tienen los resultados del mismo. Los indicadores de evaluacin del impacto pondrn de manifiesto los efectos que un proyecto produce en el mbito de incidencia de sus resultados, pero con independencia de estos ltimos. Para llevar a cabo esta estimacin, habr que contar con la opinin de representantes del entorno fsico, social y organizativo del proyecto mismo (en nuestro caso: espacio fsico, padres, alumnos, administradores, profesores, otros centros educativos, organizaciones, familia, otros proyectos, etc.). Pero, adems, habr que tener en cuenta todos aquellos sectores en los que de un modo directo o indirecto tiene algn efecto el producto educativo conseguido (as, habr que considerar el impacto que se produce sobre el propio mbito familiar, sobre otros niveles, etapas e instituciones educativas; sobre los sectores laborales y productivos, y sobre el entorno social en general en el que van a situarse los que han participado como implicados en el proyecto de accin educativa). Cabe, por tanto, referirse a la repercusin que la formacin lograda por tales alumnos tiene en diferentes mbitos que siste-
M A R C O REFERENCIAL PARA LA EVALUACIN D E U N PROYECTO EDUCATIVO
117
-a
>
di
S3
o
.0
1
'3) .2 l-J 'o 2 ^ ^*-' o c ^ o 2 o
3 -a "u o
o c/)
8
o
o
1) O u Ci 1)
C
-cfl X
.'9
'o
6
<u
u
TS C u N
Vi
(/) lU
o 1
'H m
0)
Ti N
8
o u
-II
u
4-
'o
4->
2
i-i
O c/1
9
O H b
ti
0
>> 4- o
O
4-'
S -o
Ti
o
0 ? 1
c _o 'u
0 u
US
-O
-a -a c V) '2 c
'u u
c/) X3
ex ex -a > B > o U
1 1 1
" c 3
1
1
u 3 "es ce
I
41
< 1
o I
O)
c
M1
c
u u
T3
T3
o
e
V
~0
O TI
l-H
n u
-O
c
o
CT3
C 'c/5 <r\' -O
4-*
.. 3 O
^
o IM
Ti fl
O 13 C3 1>
2
4-t
1)
a
a
o
-O
t-
,,n
(U
"5. 0 6 -2
TJ
o r E di - O -o o c c ^n -o c 1) (J
<.4-( t/J
4-1
1^
^
i-H
s 6
1
S -o c o o
u
V
o & n 13 u >
c o
O
e
I
c
1 1
13 > Z
1
o ni en 01
a
i
O O c o o *'*^ o H u (J -0 t U <u a u - rsc > o u |3! fa -o o O
11 8
EDUCACIN X X I
matizamos en torno a los siguientes (Fig. 4): acadmico, familiar, laboral y social. En el mbito acadmico habremos de referirnos al efecto que sobre estudios o resultados acadmicos posteriores tiene lo conseguido mediante el proyecto. A estos efectos, partimos del supuesto de que un d e t e r m i n a d o alumno de un nivel o etapa educativa, adems de la formacin recibida en uno y otra, suele continuar su formacin en estadios posteriores. En ltimo extremo, hoy constituye una realidad generalmente aceptada la necesidad de "el aprendizaje a lo largo de toda la vida" o la "formacin permanente". Esto supuesto, no cabe d u d a de que la formacin que un individuo adquiere en un momento determinado tiene su efecto en la que vaya a adquirir en otro posterior E, incluso, suele frecuentemente ocurrir que las propias acreditaciones acadmicas estn influenciadas por lo que viene conocindose c o m o el "expediente acadmico" a c u m u l a d o por un a l u m n o hasta ese momento. En el mbito familiar nos situaremos dentro del efecto que la preparacin lograda por los alumnos tiene sobre su propia familia. Asistimos, en la actualidad, a una acentuacin de las relaciones entre las instituciones y proyectos o programas educativos con la familia de la que proceden los alumnos, especialmente cuando stos se sitan en los niveles bsicos del sistema educativo; estas relaciones se basan en el hecho de que el ncleo familiar tiene una clara e intensa incidencia en el proceso educativo que se lleva a cabo en las instituciones educativas . Menos tratada, sin embargo, es la incidencia que la propia educacin que los alumnos adquieren tiene sobre la familia de los mismos. Pero un planteamiento multidimensional de la accin formadora dentro del paradigma de la calidad total nos lleva a considerar este efecto como derivado naturalmente de la transferencia que la educacin tiene sobre este sector de ubicacin generalizada del ser h u m a n o (Gento, S., 1995). Es obvio que la intensidad y calidad de la educacin recibida por los alumnos repercute sobre sus propias familias. Sern diversos los componentes de la vida familiar sobre los cuales tendr repercusin la educacin; por citar slo algunos, cabe referirse al clima familiar y a las relaciones entre los distintos miembros; puede, asimismo, mencionarse la incidencia culturizadora que sobre el conjunto de los otros miembros de u n a familia puede tener la formacin de alguno de ellos; y cabe, tambin, considerar hasta la posible mejora de las condiciones econmicas de la familia en cuestin por el efecto que sobre la misma puede tener la educacin de sus propios componentes.
MARCO REFERENCIAL PARA LA EVALUACIN DE UN PROYECTO EoucArivo
119
En el mbito laboral habr que referirse a la repercusin o efecto que la educacin pueda producir en el sector laboral y productivo. Debe reconocerse que esta proyeccin de la formacin fuera del mbito estrictamente acadmico ha sido considerada, si acaso, como responsabilidad de los educadores (al menos los de los sistemas formalizados) slo en los niveles en los que dicha formacin se orientaba claramente hacia la formacin laboral o profesional. Pero, en todo caso, el seguimiento de la repercusin o impacto real que la educacin recibida tena sobre la ocupacin y la produccin ha sido generalmente escaso. Sin embargo, cada vez en mayor medida los responsables de polticas de empleo y aun los propios trabajadores, adems de los empresarios, contemplan la necesidad de que la educacin considere este necesario impacto, de que lo tenga en cuenta y de que aborde la necesidad de atenderlo convenientemente. A pesar de las dificultades de acceso a un empleo o trabajo fijo en el momento actual, cada vez se pone ms de manifiesto que la educacin ayuda a lograrlo, a consolidarlo y a mejorarlo. Tambin resulta cada vez ms evidente que la formacin de trabajadores, empleados y profesionales contribuye en gran medida a incrementar el progreso de los sectores productivos de una determinada comunidad. En qu medida un proyecto educativo contribuye a lograr un efecto satisfactorio en los mbitos mencionados constituir el fundamento de la evaluacin de impacto en dicho sector. Finalmente, en el mbito social habra que considerar el efecto que la educacin recibida por los sujetos acogidos por un proyecto educativo puede tener sobre el entorno social en el que continan conviviendo con sus semejantes. Al igual que en el mbito familiar, tambin aqu ha sido profusamente analizada la incidencia que el entorno social (en sus componentes de tipo econmico, cultural, etc.) tiene sobre la educacin recibida en las instituciones, hasta el punto de considerarse que esta ltima era desbordada por la anterior. Pero cada vez es mayor la preocupacin por la contribucin que la educacin, a travs de las personas que participan en proyectos educativos, tiene sobre el entorno social en que tales personas se desenvuelven. El desarrollo de una forma de organizacin predominantemente urbana, en la que afloran numerosos subproductos no deseables, cada vez en mayor grado, reclama la asistencia de la accin educadora para resolver sus problemas. En este sentido, es indudable que el nivel cultural del conjunto social puede verse afectado; pero tambin ello puede ocurrir en rasgos de dicho conjunto tales como las manifestaciones de convivencia (civismo, respeto, seguridad, etc.), la mejora del medio ambiente y en otros ms. Esta responsabilidad, a u n q u e implique un efecto diferido de la accin educativa, ha de tenerse en cuenta, tambin, en la evaluacin de un proyecto educativo.
120
EDUCACIN XXI
4.1 PROPUESTA OPTIMIZADORA

Adems de la estimacin de resultados, en la fase de evaluacin y retroalimentacin se formular u n a p r o p u e s t a o p t i m i z a d o r a f u n d a m e n t a d a en torno al proyecto, basada en los datos recogidos y en las conclusiones a que se haya llegado. Esta p r o p u e s t a p o d r incluir, en su caso: la ratificacin (sobre la base del xito del proyecto), las modificaciones de mejora (a base de la rectificacin, supresin u optimizacin de los aspectos pertinentes), y, en definitiva, la continuidad del proyecto, en su caso, con las matizaciones a que acabamos de referirnos. La propuesta debe ser o p o r t u n a m e n t e fundamentada; ello supone que debe procurarse, en lo posible, poner de manifiesto las causas que han determinado resultados satisfactorios, as como las razones que han motivado la aparicin de fallos o deficiencias. Algunos de los supuestos replanteados en la propuesta podran ser los siguientes: reconsideracin de la fundamentacin ideolgico-conceptual, redefinicin de la acomodacin al contexto, reestructuracin del proyecto estratgico en su conjunto, replanteamiento de la metodologa de actuacin, reelaboracin de actividades a llevar a cabo, replanteamiento de los objetivos, mejora de procesos fundamentales, planes sectoriales de mejora, mejoramiento de la cultura institucional (nivel tico, modales y maneras, etc.), provisin de recursos e instrumentos ms convenientes, etc.
4.1. FUNDAMENTACIN
La evaluacin no puede ser un fin en s misma, ni agota el proceso de optimizacin, aun en el caso de que nos refiramos a la final o postactiva. Muy al contrario, la evaluacin ha de tener una finalidad propedutica: su autntica utilidad radica en el efecto que sobre u n proyecto determinado tiene para mejorarlo. Por tanto, los resultados que la evaluacin ponga de manifiesto habrn de interpretarse a la luz de los supuestos que inciden en los mismos y habrn, adems, de conducir a unas conclusiones en las que se destaquen aquellos aspectos que por su especial relevancia y signifcatividad reclaman una actuacin sobre los mismos; en definitiva, la evaluacin ha de tener en ltima instancia una intencionalidad formativa o de mejora fundamentada. Tambin ha de tenerse particularmente en cuenta que la evaluacin no puede concebirse estrictamente como u n control que se ejerce sobre los resf)onsables de un determinado aspecto o proceso, con el propsito de proponer la utilizacin de sanciones que se llevan a cabo sobre quienes no han llevado a cabo c o r r e c t a m e n t e sus cometidos; e, incluso, ni siquiera han de contemplarse los resultados de la evaluacin como un medio para determinar las recompensas que han de otorgarse a aquellos individuos que se acomodan a determinados parmetros. Ambos planteamientos son extremada-
121
mente peligrosos, especialmente cuando poseen una vinculacin estrictamente individual, por lo que debe procurarse utilizarlos con extrema cautela. En todo caso, los reconocimientos parece ms conveniente que se realicen hacia colectivos o grupos de jjersonas que trabajan en un determinado proyecto o consecucin de un determinado objetivo, y han de manejarse con acentuada precaucin. Lo que s resulta especialmente defendible dentro de un enfoque de calidad es, insistimos, el aprovechamiento de los resultados de la evaluacin para actuar sobre un proyecto determinado y sobre los elementos que inciden en uno u otro, y ello con el propsito de optimizacin en la medida de lo posible. Pero, para que la propuesta concreta de actuacin para ocasiones sucesivas tenga solidez y resulte incontrovertible en alto grado, habr de estar convenientemente fundamentada. Dicha fundamentacin se basar en la manifestacin evidente de los resultados de la evaluacin, en la interpretacin que se haga de los mismos y en el enunciado de las conclusiones. Pero la evidencia de los datos que se utilicen deben estar suficientemente respaldados por comprobaciones que pongan de relieve la consistencia cientfica de los datos sobre los que se basan las deducciones que se realizan. Adems de ello, sera oportuno contar con la intervencin de los propios implicados en los hechos o procesos, con el fin de garantizar su aquiescencia en tales deducciones La utilizacin concurrente de los diversos procedimientos de evaluacin ya descritos facilitar la aquiescencia de los implicados en los aspectos evaluados; pero, adems, su participacin ha de estar presente en el anlisis de datos, en su interpretacin y en las conclusiones. E, incluso, conviene contar con dicha intervencin en la priorizacin de posibles acciones de mejora que se lleven a cabo tras la evaluacin; en dicha priorizacin podran incidir, junto a la evidencia cientficamente contrastada, otros criterios no estrictamente implcitos en la evaluacin, pero cuya importancia puede hacer necesaria su consideracin. Con todo ello, podr llegarse a la formulacin de propuestas de mejora, que podrn girar en torno a los tres tipos siguientes: de reafrmacin de aciertos, de correccin de deficiencias y de formulacin de nuevas iniciativas.
4.2. REAFRMACIN DE ACIERTOS

Una evaluacin de calidad no ha de orientarse exclusivamente hacia la bsqueda de los errores o imperfecciones, sino que tratar de poner en evidencia si los planteamientos, los procesos y los productos son los ms adecuados para las metas que pretenden lograrse, supuesto que stas se acomodan a los marcos institucionales y personales en los que se produce el fenmeno educativo concreto.
122
EDUCACIN X X I
La evaluacin, as entendida, pondr de manifiesto que algunos de los supuestos analizados aparecen evidente y consistentemente como aciertos o logros reales. Tales aspectos deben ser puestos de relieve, no solamente durante la evaluacin propiamente dicha, sino que han de aparecer tambin en la propuesta optimizadora que de ella se derive. Sin perjuicio de la apetencia, implcita en el paradigma de calidad total, por seguir mejorando los aciertos (puesto que cualquier intervencin del ser h u m a n o puede mejorarse), los que aparezcan consolidados y los que resulten indiscutibles deben ser asumidos como un patrimonio de la institucin, del proyecto o del equipo de personas responsables de la actuacin educativa de que se trate. Adems de ello, ha de proponerse la consolidacin de los mismos. Claro que los aciertos podrn referirse a mbitos diversos implcitos en el proyecto especfico; en algn caso, tal vez puedan hacer relacin con los medios puestos a disposicin para el diseo, para la realizacin o hasta para la valoracin de determinados aspectos; en otros casos, los logros podrn estar en los diseos mismos, que se han llevado a cabo de modo conveniente; podrn, tambin, aparecer aciertos en la realizacin de procesos de calidad para el logro de objetivos o metas de tal condicin; y, por supuesto, los propios resultados podrn ser tambin considerados como adecuados en trminos absolutos y, sobre todo, en funcin del "input" (contexto, disponibilidad de recursos, viabilidad de actividades, etc.). Estos aciertos pasarn a formar parte del patrimonio de calidad de una institucin o grupo.
4.3. CORRECCIN DE DEFICIENCIAS

La evaluacin podr, tambin, poner de manifiesto que d e t e r m i n a d o s supuestos, procesos o resultados no alcanzaron los niveles deseables de calidad. Tal como hemos sealado, resulta particularmente necesario que la evidencia de las deficiencias o imperfecciones sea absolutamente incontrovertible; e, incluso, que sea asumida como tal por los propios protagonistas, lo que no implica una valoracin peyorativa de su implicacin, sino un aprendizaje que puede ser altamente de utilidad para plantear su mejora. Resulta obvio que la asuncin de dichas imperfecciones ser ms fcilmente lograda si no existe un efecto directo de las mismas para sancionar a los que hayan podido, en su caso, producirlas; la intencionalidad debe ser claramente optimizadora, que no sancionadora de demritos ni de mritos. En la propuesta de optimizacin del proyecto deber, por tanto, incluirse la eliminacin, en lo posible, de los errores o deficiencias o, al menos, la dism i n u c i n de los m i s m o s . Pero, p a r a que p u e d a n en ocasiones sucesivas mejorarse tales aspectos, ser necesario que se enuncien con claridad y objetividad, de modo que no den lugar a dudas o a diferentes interpretaciones. De igual modo, las propuestas de correccin de deficiencias indicarn, en lo posible, las causas determinantes de las mismas y, en cuanto lo permitan las
123
circunstancias, habrn de sugerir la forma de eliminarlas o reducirlas. Cuando este ltimo aspecto no pueda ser propuesto de modo concreto o no pueda ser desarrollado con detalle suficiente, se sugerirn vas de ejecucin o, en ltimo extremo, fuentes o referencias para estudiar la problemtica en cuestin y para encontrar la informacin que permita plantear convenientemente su mejora.
4.4. NUEVAS INICIATIVAS

La evaluacin del proyecto educativo es, en definitiva, la valoracin de un proyecto de innovacin para determinar la mejora de las actuaciones que implica; puede, por tanto, entenderse c o m o un estudio f u n d a m e n t a d o y veraz o, en cierto modo, como una investigacin en la accin. En este sentido, al igual que ocurre en cualquier estudio o investigacin, la realizacin del mismo no solamente permite extraer evidencias y conclusiones estrictamente derivadas de la hiptesis que desencadena la indagacin; adems de ello, suele suscitar otros campos de anlisis o de tratamiento que, si bien no estn expresamente incluidos en el enunciado de la hiptesis o en el planteamiento de partida, guardan relacin con el proyecto. De la misma forma, el anlisis e interpretacin de los datos de la evaluacin del proyecto educativo puede sugerir campos de tratamiento y, en definitiva, de mejora, no estrictamente incluidos entre los aciertos a consolidar o las deficiencias a rectificar. Se tratara, ms bien, de otro tipo de iniciativas cuya propuesta y posterior puesta en accin puede contribuir a mejorar el mencionado proyecto o alguno de sus aspectos. Algunas de las iniciativas que se sugieran pueden requerir un estudio ms en profundidad de su autenticidad y solidez, y pueden exigir la bsqueda del consenso de los implicados antes de asumirlas con firmeza y de proponer acciones concretas. Pero, en todo caso, resulta conveniente propiciar la oportunidad de que se formulen dichas iniciativas que, en definitiva, pueden suponer la extensin del paradigma de la calidad total en educacin e, incluso, la afloracin de otros paradigmas de visin, anlisis y mejora de la realidad educativa.
124
EDUCACIN X X I
BIBLIOGRAFA
ALVIRA, F. (1991). Metodologa de la Evaluacin de Programas. Madrid: Centro de Investigaciones Sociolgicas. CARDONA, J. (1994). Metodologa Innovadora de Evaluacin de Centros Educativos. Madrid: Sanz y Torres. CASTILLO, S. y GENTO, S. (1995). "Modelos de evaluacin de programas educativos". MEDINA, A. y VILLAR, L.M. Evaluacin de Programas Educativos, Centros y Profesores. Madrid: Universitas. COLAS, M.P. y REBOLLO, M.A. (1993). Evaluacin de programas. Sevilla: Kronos LINDZEY, G. y ARONSON, E. (edits.). Handbook of Social Psychgology. New York: Random House. CRONBACH, L.J. (1980). Toward Reform of Program Evaluation: Aitns, methods and Institutional Arrangements. San Francisco: Jossey-Bass. CRONBACH, L.J. (1982). Designing Evaluations of Educational and Social Programs. San Francisco: JosseyBass. FERRNDEZ, A. y PUENTE, J.M. (1991). Material Autodidacta de Formacin de Formadores de Adultos. Madrid: Fondo de Promocin de Empleo. FITZ-GIBBON, C.T (1987). How to Design a Program Evaluation. London: Sage. HERMN, J.L. (1987). Program Evaluation Kit. Evaluator's Handbook. London: Sage. GARANTO, J. (1989). "Modelos de evaluacin de programas educativos". ABARCA, P. (coord.). La Evaluacin de Programas Educativos. Madrid: Escuela Espaola. GENTO, S. (1989). Formacin y Actuacin Profesional de los Profesores de Ingls en EGB. Madrid: Universidad Complutense. GENTO, S. (1992). "Formacin cultural bsica de personas adultas". UNED. Formacin de Educadores de Adultos II. Madrid. GENTO, S. (1994 a). Participacin en la Gestin Educativa. Madrid: Santillana. GENTO, S. (1994 b). "Tcnicas y estrategias didcticas en educacin de personas adultas". SANZ, F. (Coord). La Formacin en Educacin de Personas Adultas. Madrid: UNED, pp. 859-918. GENTO, S. (1994 c). "Tcnicas, procedimientos e instrumentos de evaluacin para la Escala de Evaluacin Diagnstica". CARDONA, J. Metodologa Innovadora de Evaluacin de Centros Educativos. Madrid: Sanz y Torres. GENTO, S. (1995). Instituciones Educativas para la Calidad Total. Madrid: La Muralla. KEEGAN, D. (1993). Theoretical Principies of Distance Education. London: Routledge. KING, J. (1987). Hov^ to Assess Program Implementation. London: Kogan. MARCELO, C. (1996). "Evaluacin de las innovaciones educativas". MACHO, A.; MARCELO, C , y MURILLO, R (Coords.). Jomadas sobre Proyectos de Innovacin. Alcal de Guadaira (Sevilla): C.E.R, pp. 153-223. MARTNEZ, J. (1993). Proyectos Curriculares y Prctica Docente. Sevilla: Diada. MEDINA, A. ( 1980). Didctica e Interaccin en el Aula. Madrid: Cincel. MEDINA, A. y DOMNGUEZ, C. (1995). Enseanza y Curriculum para la Formacin de Personas Adultas. Madrid: Ediciones Pedaggicas. MEDINA, A. y GENTO, S. (1991). "Configuracin del diseo curricular en educacin de adultos". MEDINA, A. (Coord). Formacin de Educadores de Adultos. Madrid: UNED (PFP). MEDINA, A. y GENTO, S. (1996). "Diseo y valoracin del proyecto curricular en educacin secundaria para personas adultas". MEDINA, A. y GENTO, S. (Coords.). Formacin de Formadores en Educacin Secundaria para Personas Adultas. Madrid: UNED.
125
MEDINA, A. y VILLAR, L.M. (1995). Evaluacin de Programas Educativos, Centros y Profesores. Madrid: Universtas. PALUMBO, D. (1987). The Politics ofProgram Evaluation. Newbury Park: Sage. PREZ, G. (1995). "La educacin permanente de adultos: perspectivas internacionales". DEPARTAMENTO DE TEORA. Segundas Cuestiones Actuales sobre Educacin. Madrid: UNED, pp. 255-74. PREZ, R. (1995). "Evaluacin de programas educativos". MEDINA, A. y VILLAR, L.M. Evaluacin de Programas Educativos, Centros y Profesores. Madrid: Universitas, pp. 73-106. PETERS, T.J. & WATERMAN, R.H. (1993). In Search of Excellence. New York: Harper Collins (Ist. edition, 1982). PLANTE, J. (1994). Evaluation de Programme. Laval (Canad): Universit Laval. POSAVAC, E. y CAREY, R. (1989). Program Evaluation. Englewood Cliffs (NJ): Prentice Hall.
PROVUS, M. (1971). Discrepancy Evaluation for Educational Program Improvement and Assessment. Berkeley (Ca.): McCutchan. SANTOS, M. A. (1990). Hacer Visible lo Cotidiano: Teoras y Prctica de la Evaluacin de Centros Escolares. Madrid: Akal. SCHEERENS, J. (1992). Effective Schooling. London: Cassell. SCHEIRER, M.R. y RENSO, E.L. (1983). "Measuring the degree of Program Implementation: a methodological review". Evaluation Review, 7, pp. 559-653. URIARTE, K. (1996). "Evaluacin y estrategia de cambio de un centro educativo". ICE-UNIVERSIDAD DE DEUSTO. Direccin Participativa y Evaluacin de Centros. Bilbao: Mensajero, pp. 717-727. VICENTE, R DE (1994). "Estrategias y competencias de enseanza prctica". VILLAR, L.M. y VICENTE, P de. Enseanza Reflexiva para Centros Educativos. Barcelona: PPU, pp. 211238.
RESUMEN
Partiendo de la consideracin de que la evaluacin es ineludible a cualquier proyecto educativo que aspire a ser de autntica calidad, se ofrece aqu un marco de referencia cuya aplicacin a la realidad concreta depender de la decisin de los implicados en el propio proyecto. Se destaca, como requisito previo, que la evaluacin a que aqu nos referimos no slo ha de realizarse a partir de la decisin de los propios protagonistas, sino con su intervencin directa; ello no obsta a que se acuda al asesoramiento y estimacin de jueces expertos que ayuden a encontrar la evidencia potenciadora de la mejora. ' La evaluacin de un proyecto de esta naturaleza se plantea en tomo a tres fases fundamentales, a saber: la validacin preactiva (en la que se trata de
126
EDUCACIN XXi
poner de relieve la adecuacin entre el proyecto diseado y el modelo terico aplicable al mismo); la evaluacin interactiva (en la que se busca la idoneidad de la puesta en accin, contando para ello con la opinin concurrente de los agentes fundamentales y de otros que puedan servir de base para el contraste); y la valoracin postactiva (en la que se plantea la estimacin de los resultados tras la puesta en accin del proyecto). Adems de ello, se propone la explotacin de las evidencias logradas en la propuesta optimizadora que, suficientemente fundada, sugerir la reafirmacin de los aciertos, la posible correccin de deficiencias, y la asuncin de nuevas iniciativas. Palabras clave: Autoevaluacin, Coevaluacin, Eficacia, Eficiencia, Evaluacin interactiva, Funcionalidad, Heteroevaluacin, Impacto (del producto educativo), Propuesta optimizadora. Tcnicas de evaluacin. Triangulacin, Validacin preactiva. Validez de apariencia o aparente. Validez de constructo. Validez de contenido. Validez de contraste. Valoracin postactiva.
ABSTRACT
By assuming that evaluation is impending for any educational project tending to be of true quality, it is offered here a reference framework whose applicability to a particular situation willbe decided by the people involved in the project. It is stressed that, as a necessary condition, the evaluation here proposed will be implemented when the involved protagonists decided it and, furthermore, they will be the main agents of such evaluation. Nevertheless, it is accepted the contribution ofextemal experts who help to find out the evidence necessary to promote improvement. The evaluation ofsuch project is proposed here throughout three main stages: the preactive validation (in order to study the accommodation between the designed project and the conceptualised theoretical model); the Interactive evaluation (to look for the right implementation, according to opinions of protagonists and other contrasting experts); and the postactive assessment (to estmate the obtained results produced by the educational project). Apart from that it is suggested here the opportunity of setting up the improvement proposal that, based enough, will include the confirmation of success, the possible rectification of deficiencies and the assumption of new initiatives.
127
Key words: Co-evaluation, Content validity, Construct validity, Contrast validity, Efficacy, Efficiency, External evaluation, Evaluation techniques, Face validity, Functional implementation, Impact (of educational product), Improvement proposal, nter-active evaluation, Post-action evaluation, Pre-action validity, Self-evaluation (internal evaluation), Triangle evaluation.

Marco de Evaluacion para Proy Educ

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Marco de Evaluacion para Proy Educ

Hochgeladen von

Copyright:

Verfügbare Formate

5

M A R C O REFERENCIAL PARA LA EVALUACIN DE UN PROYECTO EDUCATIVO

= < o o o c o o c " ft^

1.2. VALIDEZ DE CONTENIDO

MARCO REFERENCIAL PARA LA EVALUACIN DE UN PROYECTO EDUCATIVO

1.3. VALIDEZ DE CONSTRUCTO

MARCO REFERENCIAL PARA LA EVALUACIN DE UN PROYECTO EDUCATIVO

Instrumentos - Guas de evaluacin. - Inventarios.

Observacin: - Etnografa. Autoevaluacin - Participante. - No participante. - De instalaciones. materiales y resultados. Heteroevaluacin

Interrogativas: Coevaluacin - Orales.

- Exmenes orales. - Entrevistas. - Cuestionarios. - Escalas de evaluacin. - Pruebas sociomtricas.

Interrogativas: Triangulacin - Escritas.

- Memorandos. - Informes. - Tests estandarizados. - Pruebas objetivas. - Exmenes tradicionales - Autobiografas.

2. Tcnicas, procedimientos e instrumentos de evaluacin.

MARCO REFERENCIAL PARA LA EVALUACIN DE UN PROYECTO EDUCATIVO

MARCO REFERENCIAL PARA LA EVALUACIN DE UN PROYECTO EDUCATIVO

MARCO REFERENCIAL PARA LA EVALUACIN DE UN PROYECTO EDUCATIVO

MARCO REFERENCIAL PARA LA EVALUACIN DE UN PROYECTO EDUCATIVO

veniente de la informacin dencial o reservada).

obtenida (que, en algunos casos, podr ser confi-

MARCO REFERENCIAL PARA LA EVALUACIN DE UN PROYECTO EDUCATIVO

MARCO REFERENCIAL PARA LA BVALUACIN DK UN PROYECTO KDUCAIIVO

3.1 VALORACIN POSTACTIVA

3.1. INDICADORES DE EFICACIA

M A R C O REFERENCIAL PARA LA EVALUACIN D E U N PROYECTO EDUCATIVO

a (/) <u > < u 3 3 ex Z o e x

3.2. INDICADORES DE EFICIENCIA

MARCO REFERENCIAL PARA LA EVALUACIN DE UN PROYECTO EDUCATIVO

3.3. INDICADORES DE FUNCIONALIDAD

3.4. INDICADORES DE IMPACTO

M A R C O REFERENCIAL PARA LA EVALUACIN D E U N PROYECTO EDUCATIVO

'3) .2 l-J 'o 2 ^ ^*-' o c ^ o 2 o

O O c o o *'*^ o H u (J -0 t U <u a u - rsc > o u |3! fa -o o O

MARCO REFERENCIAL PARA LA EVALUACIN DE UN PROYECTO EoucArivo

4.1 PROPUESTA OPTIMIZADORA

MARCO REFERENCIAL PARA LA EVALUACIN DE UN PROYECTO EDUCATIVO

4.2. REAFRMACIN DE ACIERTOS

4.3. CORRECCIN DE DEFICIENCIAS

MARCO REFERENCIAL PARA LA EVALUACIN DE UN PROYECTO EDUCATIVO

4.4. NUEVAS INICIATIVAS

MARCO REFERENCIAL PARA LA EVALUACIN DE UN PROYECTO EDUCATIVO

MARCO REFERENCIAL PARA LA EVALUACIN DE UN PROYECTO EDUCATIVO

Das könnte Ihnen auch gefallen

O O c o o '^ o H u (J -0 t U <u a u - rsc > o u |3! fa -o o O