Evaluacion de Programas PDF

Evaluacin de programas de formacin de formadores
5 . LA EVALUACIN DE PROGRAMAS DE FORMACIN

DE FORMADORES.
5.1 Introduccin.
No cabe duda de que cualquier profesional de la formacin o incluso para aquellos
profesionales que no trabajan en el mbito de la formacin, asume que la
evaluacin es un mecanismo de mejora continua. Llama la atencin por contra que,
aunque en el mbito terico existe un desarrollo muy exhaustivo del tema, en la
prctica existe poca cultura evaluativa. Posiblemente el examen continuo, la
cantidad de tiempo y espacio que se necesita para realizar procesos de evaluacin
coherentes y justificados y la necesaria competencia conceptual, procedimental y,
sobre todo actitudinal, de aquellos que realizan procesos de evaluacin, justifiquen
el poco desarrollo prctico de la evaluacin dentro y fuera de las instituciones de
formacin.
En el captulo que presentamos a continuacin introduce un breve recorrido por la
conceptualizacin de la evaluacin, desde la visin positivista hacia
posicionamientos ms cualitativos en la que la evaluacin es un proceso de mejora
de la prctica. Esta conceptualizacin nos ayuda a posicionarnos en torno a una
concepcin de la evaluacin mucho ms cualitativa y en la que toma cuerpo la idea
de la evaluacin como proceso de toma de decisiones para la mejora de las
actuaciones profesionales y personales implicadas en los procesos de formacin de
formadores.
Indudablemente que en este captulo hay que conceptualizar la evaluacin de
programa y analizar las fases y los procesos de desarrollo en dicha evaluacin. No
podemos olvidar, en este sentido, la descripcin y anlisis de algunos de los
modelos tericos de la evaluacin de programas como elemento de reflexin,
conjuntamente con otros aspectos analizados en captulos anteriores, para la
elaboracin de una propuesta de evaluacin de programas de formacin de
formadores en el contexto de la formacin ocupacional.
Carme Ruiz Bueno, (2001)
193
5.2 En torno al concepto de evaluacin educativa.

Tal como suceden en muchas otras disciplinas del campo de las ciencias sociales,
en el campo de la evaluacin educativa sera no slo difcil, sino probablemente
incorrecto, ofrecer una definicin nica y acabada de los conceptos, sin haber
revisado y ponderado previamente las distintas definiciones que se han realizado
sobre el particular.
Si nos detenemos en la revisin histrica acerca el concepto de evaluacin, nos
daremos cuenta como sta ha estado sujeta a las distintas posiciones filosficas,
epistemolgicas y metodolgicas que en el devenir de la reflexin han
predominado en uno u otro momento.
A partir de tales consideraciones, mi intencin no es la de desarrollar un exhaustivo
estudio de las distintas definiciones de evaluacin, pero s dejar constancia de una
manera sinttica de la evolucin que ha sufrido el trmino y cmo esta evolucin
ha marcado posteriormente un avance en la prctica evaluativa.
Para ello agrupar las distintas definiciones en funcin de como se conciben:
a) Definiciones que se centran en el logro de objetivos, en la evaluacin del
rendimiento de los alumnos y en la preocupacin por los resultados.
Tyler (1950:69): proceso que determina hasta que punto se han conseguido
los objetivos educativos.
Lafourcade (1972:21): Etapa del proceso educacional que tiene por fin
controlar de modo sistemtico en que medida se han conseguido los objetivos
que se hubieran especificado con antelacin.
Gronlund (1973:2): proceso sistemtico para la determinar hasta que punto
alcanzan los alumnos los objetivos de la educacin.
b) Definiciones relativas a la evaluacin como emisin de juicios de valor o
determinacin de mritos.
Scriven (1967) (citado por Stufflebeam y Shinkfield (1993:343-344): es la
determinacin sistemtica y objetiva del valor o el mrito de algn objeto....
Popham (1980:16): la evaluacin educativa sistemtica consiste en un
juicio formal del valor de los fenmenos educativos.
Nevo (1983:124): apreciacin o juicio en cuanto a la calidad o valor de un
objeto..
194
Alvira (1991: 10-11): emitir juicios de valor, adjudicar valor o mrito a un

programa/intervencin, basndose en informacin emprica recogida
sistemtica y rigurosamente..
Se observa ya en estas definiciones cmo la evaluacin no se reduce
simplemente a la medicin, sino que evaluar tambin implica la emisin de
juicios de valor respecto a la medida realizada. Se aprecia una evolucin en la
conceptualizacin, ya que no slo se reduce a la evaluacin de los alumnos
sino que se consideran otros objetos. Se ha de pensar tambin que los grandes
problemas o dificultades en la evaluacin estn justamente en la emisin de
juicios de valor; es en este punto donde surge el problema de la subjetividad;
en funcin de qu criterios emitimos juicios?, quin ha de realizar esa
valoracin?.
c) Definiciones que consideran la evaluacin como un proceso de recogida de
informacin para la toma de decisiones.
Stufflebeam (1987:183). proceso de identificar, obtener y proporcionar
informacin til y descriptiva acerca del valor y el mrito de las metas, la
planificacin, la realizacin y el impacto de un objeto determinado, con el fin
de servir de gua para la toma de decisiones, solucionar los problemas de
responsabilidad y promover la comprensin de los fenmenos implicados.
Cronbach (1963:244): Proceso de recopilacin y utilizacin de la
informacin para tomar decisiones.
Ferrndez (1993:11): emitir un juicio valorativo sobre una realidad
educativa en funcin de unos datos y con el propsito de tomar decisiones al
respecto.
En estos planteamientos se completan las lagunas que las anteriores
definiciones presentaban. De qu nos sirve valorar los procesos educativos si
posteriormente no se toman decisiones?.
En este apartado, igualmente, se incorporan nuevas funciones, (en este caso la
evaluacin diagnstica, cuando se habla de planificacin), haciendo
referencia a la utilidad de la evaluacin en la medida que se toman decisiones
encaminadas al perfeccionamiento o mejora de la prctica.
d) Definiciones que intentar aglutinar los aspectos anteriores.
De la Orden (1982:22): proceso de recogida y anlisis de la informacin
relevante para descubrir cualquier faceta de la realidad educativa y formular
un juicio sobre su adecuacin a un patrn o criterio previamente establecido,
como base para la toma de decisiones.
195
Cabrera (1987:101): proceso sistemtico de obtener informacin para

describir, sea algn elemento, sea el proceso, sean los resultados educativos,
con el objeto de emitir un juicio sobre los mismos, segn su adecuacin a
unos criterios previamente establecidos, y en todos ellos en orden a servir de
base para una eventual decisin educativa.
Prez Gmez (1983:431): proceso de recogida y provisin de evidencias,
sobre el funcionamiento y evolucin de la vida en el aula, en las cuales se
forman decisiones sobre la posibilidad, efectividad y valor educativo del
curriculum.
Casanova (1995:55): Recogida de informacin rigurosa y sistemtica para
obtener datos vlidos y fiables acerca una situacin con objeto de formar y
emitir un juicio de valor con respecto a ella. Estas valoraciones permitirn
tomas de decisiones consecuentes en orden a corregir o mejorar la situacin
evaluada.
La revisin que se ha realizado hasta el momento nos ha permitido establecer una
panormica de las distintas definiciones de la evaluacin, diferencindolas en
funcin de los elementos que contempla cada una.
Ahora bien, tal como decamos al principio, esta diversidad de definiciones con sus
matices diferenciales, responde a distintas posturas terico-ideolgicometodolgicas, teniendo en cuenta adems que tales posturas no se asumen en un
vaco social, sino que estn condicionadas, tanto por las ideas de la comunidad
cientfica, como por las circunstancias del contexto socio-poltico ms amplio.
Resulta interesante comentar el trabajo de House (1992) quien analiza los cambios
en la conceptualizacin de la evaluacin, pero desde el punto de vista histrico,
destacando la influencia del contexto socio-poltico en la generacin de tales
cambios. Dicho autor considera que desde hace ms de veinte aos a esta
parte,...tanto las bases estructurales como los pilares conceptuales del campo de
la evaluacin han cambiado profundamente. Mientras que estructuralmente se ha
ido integrando cada vez ms en el funcionamiento organizativo de las instituciones,
conceptualmente se ha desplazado desde la utilizacin de nociones monolticas al
pluralismo conceptual y a la utilizacin de mtodos, criterios e intereses
mltiples. (House 1992:43).
Desde el punto de vista metodolgico, se ha pasado de un nfasis inicial en los
mtodos cuantitativos a una actitud ms pluralista, desde la aceptacin de las
metodologas cuantitativas y cualitativas hasta un empleo simultneo de ambas.
Todo lo que hasta ahora se ha aportado, viene a reflejar que el campo de la
evaluacin, caracterizado por la estrechez de objetos y enfoques, ha experimentado
una mltiple apertura.
196
Despus de este largo recorrido histrico, y en consonancia con Tejada (1997), se

conceptualiza la evaluacin como:
un proceso sistemtico de recogida de informacin, no improvisado,
sino organizado en todas sus fases, donde la mxima preocupacin es la
objetividad y totalidad de los datos. Es necesario que toda la informacin
recogida sea vlida y fiable y que intente recoger todos los aspectos de la
realidad que se va a evaluar. Por ello es importante que los instrumentos
sean multivariados, utilizados en diversas circunstancias y en tiempos
distintos, as como la participacin de diversos agentes.
Emisin de juicios de valor respecto la informacin recogida, en funcin
de unos criterios previamente establecidos y teniendo muy en cuenta el
referente en el cual nos movemos. En este punto aparece de nuevo el
problema de la objetividad, ya que muchas veces la valoracin se realiza
en funcin de criterios y opciones personales. Es necesario que el
establecimiento de los criterios se realice de forma colegiada, con la
participacin de todos los implicados en el proceso de evaluacin, e
igualmente con la participacin de agentes externos. Como dice Santos
Guerra (1993:35): la evaluacin colegiada es un tipo de evaluacin que
asume un equipo y no slo un individuo. No porque la que se realiza bajo
la responsabilidad nica de una persona sea deficiente sino porque la
realizada por un equipo goza del aval del contraste, de la pluralidad de
los enfoques, de una mayor garanta de rigor, y de una diversidad
estratgica de acceso y actuacin.
Orientada a la toma de decisiones. Se dice que la evaluacin ha de tener
una utilidad, un sentido, y por tanto esa toma de decisiones ha de ir
encaminada a la mejora y perfeccionamiento del proceso educativo.
Como proceso de formacin permanente, de todas las personas
implicadas en la evaluacin
En el siguiente grfico se recoge los aspectos ms importantes en la
conceptualizacin de la evaluacin.
197
TOTALIDAD
RECOGIDA DE
INFORMACIN
JUICIO
DE VALOR
TOMA DE
DECISIONES
OBJETIVIDAD
ELABORACIN DE
CRITERIOS
CONVENIO
Grfico 5.1: Elementos configuradores en la definicin de evaluacin. (Ferrndez, 1993:10)
5.3 . Dimensiones de la evaluacin.

La definicin presentada pone de manifiesto que al hablar de evaluacin, no slo
nos referimos a un trmino, sino a una actividad, a un proceso. Por esta razn
hablar de evaluacin implica previamente planificar la accin, y elaborar el diseo
ms pertinente con la realidad la cual va a ser objeto de evaluacin.
Sin duda pensar en la planificacin de la evaluacin, como primer momento de
toma de decisiones, nos lleva a detenernos en las dimensiones y variables que la
misma, en tanto actividad, comprende, ya que ser este acotamiento el que decidir
el camino o recorrido a tomar.
198
QUE?
OBJETO
PARA QU?
FINALIDAD
Diagnstica
Formativa
Sumativa
Contexto
Necesidades
Objetivos
Contenidos
Instituciones
Profesores
Alumnos
Metodologa
Recursos
......
Evaluacin
Inicial
Continua
Final
Diferida
CUNDO?
MOMENTO
Observacin.
Entrevistas
Cuestionarios
Tests
Pruebas Objetivas
Escalas
......
CMO?
MODELO
Experimental
Naturalista
Basado en demanda
Basado en costos
Toma de decisiones
Verificacin logros
........
Cuantitativa
Cualitativa
.....
Profesores
Alumnos
Equipo directivo
.....
Usuario
Experto
.....
Autoevaluacin
Heteroevaluacin
Interna-externa
QUIN?
EVALUADOR
..Validez
Fiabilidad
Pertinencia
CON QU?
INSTRUMENTO
REFERENTE
Coherencia con las

Adecuacin a las necesidades
finalidades
Adecuacin
a
formativas
del
contexto
definidas por la
determinados principios
inmediato
poltica
de
psicopedaggicos
formacin
Adecuacin a los
participantes
(necesidades,
expectativas,
intereses
Grfico 5.2:Dimensiones bsicas de la evaluacin educativa, Tejada, (1997:247).
El autor considera siete dimensiones bsicas de la evaluacin educativa, que de

alguna manera responde a las siete grandes decisiones que el evaluador/es han de
tomar en el momento de la planificacin, decisiones que por otro lado van a
determinar el diseo del proceso evaluativo; QU evaluar?, CMO evaluar?,
CUNDO evaluar?, QUIN evala ?, PARA QU evaluar?, y CON QU
evaluar? y EN FUNCIN de QU evaluar?.
Si nos detenemos en el anlisis de cada una de las dimensiones, ste nos indica que:
a) El objeto de evaluacin, puede ser diverso, desde los alumnos a los
docentes, personal no docente, curricula, programas, necesidades, estrategias
metodolgicas, recursos, centros..., aunque como nos dice Santos Guerra
199
(1993:10): todo y todos, no slo los alumnos, deben ser objeto de

evaluacin, porque todo y todos tienen incidencia en el proceso educativo".
Es cuando se ha decidido cul es el objeto de evaluacin cuando comienza la
planificacin de la misma, ya que es el objeto el que determinar las
posteriores decisiones.
b) La finalidad perseguida por el proceso de evaluacin, cul es el objetivo,
el propsito de la evaluacin?. Segn esta dimensin la evaluacin puede ser:
-diagnstica, que nos permite conocer la realidad donde se
desarrollar el proceso de E-A, el contexto donde operar un
programa, las caractersticas y necesidades formativas de los
destinatarios del programa, de los alumnos, etc. Esta evaluacin de
entrada, como otros autores suelen denominarla, nos permite
diagnosticar para tomar decisiones respecto a las caractersticas de los
alumnos, la adecuacin-acomodacin de los curricula a los
destinatarios, a los alumnos, la admisin, y establecimiento de los
grupos de incidencia, la orientacin de los alumnos y las posibilidades
y viabilidad del programa, del curriculum.
-Formativa, tambin denominada evaluacin de proceso, nos permite
valorar una accin educativa durante su desarrollo en un contexto
determinado, con el propsito de mejorar o optimizar esa accin
durante el transcurso de la accin formativa. Permite, durante su
implementacin, tomar decisiones respecto las actividades y
estrategias utilizadas, si funcionan o no, si son pertinentes, si los
recursos son los adecuados, si los tiempos estn bien ajustados. En
definitiva nos permite mejorar las acciones educativas en funcin de
las incidencias que van surgiendo durante su desarrollo.
-Sumativa. (evaluacin de productos), tambin denominada
retroactiva por Stufflebeam; nos permite conocer si los objetivos se
han conseguido o no, los cambios producidos, verificar la vala de un
programa, tomar decisiones respecto a la promocin, certificacin de
los participantes, rechazo o aceptacin de un programa.
-De impacto. Esta finalidad de la evaluacin nos permite analizar los
resultados de un programa a medio y largo plazo. Asimismo, nos
permite evaluar hasta qu punto los destinatarios del programa han
cambiado sus prcticas y si stos son producto de los resultados del
programa o de otras variables.
c) El momento evaluativo. Esta dimensin est en estrecha relacin con la
anterior, como podemos apreciar en la siguiente tabla, y determinar que la
evaluacin sea inicial, si se refiere a la finalidad diagnstica; continua, si se
refiere a la formativa; final si hace referencia a una finalidad sumativa. Es
200
importante aadir otro momento en la evaluacin, la evaluacin diferida,

aquella que permite verificar los efectos de un programa o accin formativa a
medio o largo plazo.
FINALIDAD MOMENTO
Diagnstica
Inicial
OBJETIVOS
DECISIONES A
TOMAR
Formativa
Continua
Sumativa
Final
Identificar las
caractersticas de los
participantes (intereses,
necesidades,
expectativa).
Identificar las
caractersticas del
contexto (posibilidades,
limitaciones,
necesidades, etc.)
Valorar la pertinencia,
adecuacin y viabilidad
del programa
Mejorar las posibilidades
personales de los
participantes.
Dar informacin sobre
su evolucin y progreso.
Identificar los puntos
crticos en el desarrollo
del programa.
Optimizar el programa
en su desarrollo
Valorar la consecucin
de los objetivos as como
los cambios producidos,
previstos o no.
Verificar la vala de un
programa de cara a
satisfacer las necesidades
previstas.
Admisin,
orientacin,
establecimiento de
grupos de
aprendizaje.
Adaptacin-ajuste e
implementacin del
programa
Adaptacin de las
actividades de
enseanzaaprendizaje (tiempos,
recursos, motivacin
estrategias, rol
docente, etc.,)
Promocin,
certificacin,
reconsideracin de
los participantes.
Aceptacin o rechazo
del programa.
Tabla 5.1: Relaciones entre finalidad y el momento evaluativo (Tejada, 1999:258)
En la prctica no siempre se evidencia el paralelismo establecido, ya que a

veces se realiza la evaluacin continua pero con finalidad sumativa, puesto
que la recogida de informacin no es tanto para optimizar el programa,
estrategias, actividades, sino para ir registrando resultados parciales que
posteriormente se utilizarn en la evaluacin final.
e) La instrumentalizacin. Esta dimensin hace referencia a las estrategias,
instrumentos y tcnicas de recogida de informacin, como la observacin, el
anlisis de tareas o las pruebas, escritas o orales. Sean cuales fueren los
instrumentos o tcnicas, tanto procedentes de metodologas cuantitativas o
cualitativas, stos deben responder a las caractersticas de fiabilidad, validez y
pertinencia con el objeto de evaluacin. Uno de los puntos ms importantes y
buscado en todo proceso evaluativo es el principio de objetividad. ste ha de
201
estar presente ya en la recogida de datos. Es necesario, en una palabra, la

complementariedad, la triangulacin de instrumentos, ya que ser uno de los
puntos para intentar superar la subjetividad, a la hora de la recogida de
informacin.
f) El evaluador, pieza fundamental en el proceso evaluativo. Se puede decir
que los protagonistas de la evaluacin han de ser aquellos que intervienen en
la actividad educativa, han de ser los usuarios, los que participen en la
evaluacin. Ahora bien, es necesario tambin que exista una colaboracin
externa, ya que proporcionar una visin mucho ms objetiva fuera de
posturas ideolgicas, que puedan contaminar los juicios de valor realizados
(Santos Guerra, 1993). Podemos hablar entonces de evaluacin interna (slo
los protagonistas, los que participan en toda la actividad educativa, los
usuarios), o evaluacin externa (realizada por agentes externos,
administracin, equipos staff) o tambin hablar de heteroevaluacin
(cuando existe colaboracin entre los protagonistas y los agentes externos) o
la autoevaluacin.
Es importante la idea sobre evaluacin interna y evaluacin externa que nos
propone Fernndez Ballesteros, 1995. Esta autora considera que la evaluacin
desde dentro (evaluacin interna), al ser realizada por las mismas personas
que desarrollan el programa resulta ms fcil la toma de decisiones respecto la
mejora del programa. Por el contrario, la evaluacin desde fuera tiene menos
repercusiones sobre el programa ya que el evaluador externo, ajeno a la
institucin, tiene menos posibilidades de actuar sobre el programa para
mejorarlo o cambiarlo.
Evaluacin
desde dentro
Evaluacin
desde fuera
VENTAJAS
Optima la mejora del programa.
Minimiza la reactividad de
aspectos.
Menos costosa.
los
Maximiza la objetividad.
Maximiza la utilizacin de tecnologa
dura (diseo, instrumentos).
Maximiza la credibilidad social de la
evaluacin.
Maximiza la utilizacin de estndares.
INCONVENIENTES
Minimiza la objetividad
Minimiza la credibilidad social de
la evaluacin.
Minimiza la utilizacin de
estndares y tecnologa dura.
Minimiza la posibilidad de mejorar
el programa.
Maximiza la reactividad de los
sujetos.
Ms costosa.
Menor
influencia
sobre
el
programa.
Grfico 5.3:Ventajas e inconvenientes de la evaluacin dentro/fuera.(Fernndez Ballesteros, 1995:34)
Al margen de utilizar una u otra, en la prctica suelen combinarse todas,

aspecto que ayuda muchas veces a poder obtener pluralidad de enfoques que
garantice mayor rigor y objetividad. Pero es igualmente importante decir que
si nuestro objetivo es obtener el mximo rigor y objetividad en la obtencin
de la informacin y en los juicios que se emitirn, es fundamental la
capacitacin tcnica para aquellos que realizan la evaluacin, tanto en
conocimientos tcnicos, como en la elaboracin de instrumentos, uso de
202
metodologas, pero aun ms importante es el cambio de actitudes respecto la

evaluacin. En una palabra, conseguir una cultura evaluativa en las
instituciones de formacin.
En la prctica educativa, y son muchas veces los propios protagonistas los que
opinan que adems de existir poca cultura evaluativa, tampoco estn
suficientemente formados para llevar a cabo un proceso de evaluacin
riguroso. Por tanto, sera necesario en aras a la bsqueda de la mxima
objetividad la formacin de los que en la prctica realizan los procesos de
evaluacin, no slo en el mbito tcnico, sino en el cambio de actitudes
fundamentalmente.
d) El modelo paradigmtico, que determinar el diseo a seguir.
Dentro de los distintos modelos, se puede optar por aquellos que juzgan el
valor o el mrito de un objeto comparndolo con los logros o hechos
realizados, y por lo que estaramos hablando del modelo de evaluacin por
objetivos o en funcin de las necesidades y valores sociales, como sera el
modelo sin referencia a metas de Scriven.
Los modelos de intervencin se basan en paradigmas positivistas (medida,
logros), interpretativos-fenomenolgicos (afirmacin de valores, mritos), o
paradigma sociocrtico (enfatizan en la toma de decisiones).
Dentro de la clasificacin de los modelos tambin podemos optar por
metodologas cuantitativas o cualitativas.
La diferencia entre ambas metodologas, no slo se centran en el objeto,
finalidad, instrumentos, tratamiento de la informacin o tcnicas de
investigacin, sino que las diferencias entre ambas se han de buscar, tambin,
en el plano de lo epistemolgico e, incluso filosfico. Es ms, estas
metodologas se fundamentan en paradigmas distintos.
Ontolgicos
Epistemolgico
s
Metodolgicos
CUANTITATIVA
Realismo:
Existe
una
realidad
independiente de cualquier observador
en la que rigen principios, la verdad es
definida como la representacin de la
realidad
Objetivismo: El conocimiento de la
realidad
puede
darse
con
independencia del observador en tanto
en cuanto existen una serie de garantas
de la observacin
Intervensionismo: El control, la
manipulacin y la medicin son
garantas
necesarias
para
la
investigacin cientfica
CUALITATIVA
Relativismo
:
Existen
varias
realidades socialmente construidas en
las que no rigen principios ni leyes
generales. La verdad es una
construccin consensuada.
Subjetivismo: La relacin entre el
observador y lo observado es de tal
naturaleza que el producto de la
investigacin es una pura creacin de
sta.
Hermenutica:
La
metodologa
compromete al propio observador que
se convierte en el principal
instrumento en la comprensin del
fenmeno objeto de estudio.
Tabla 5.2: Algunos presupuestos de la evaluacin de programas positivista o cuantitativa y naturalista o

cualitativa. (Guba, 1987, cit por Fernndez Ballesteros, 1995:43).)
203
Al margen de estas diferencias, lo que si parece cierto es que dada la

complejidad que presentan los fenmenos formativos es necesario recurrir a la
utilizacin de ambas siempre que nos aporta una informacin vlida,
pertinente y relevante para aquello que queremos evaluar. En ocasiones, nos
ser ms adecuado la utilizacin exclusiva de metodologas cualitativas
porque nuestro inters se centra en la bsqueda soluciones a problemas de
contextos muy particulares. Para ello necesitaremos profundizar en la
bsqueda de causas y explicaciones del problema planteado.
Ms concretamente, y como puede apreciarse en la tabla siguiente,
analizamos algunos de los modelos ms representativos en la evaluacin de
programas, modelos que conciben la evaluacin de programa y su proceso de
manera distinta.
204
Modelo
Organizador previo
Objetivo
Audiencia
Cuestiones previas
Metodologa
Instrumentos y tcnicas
Pioneros
Proceso
Verificacin de logros
Objetivos
E. respondente
Problemas localizados
Toma de decisiones
Situaciones decisivas
Sin referencia a metas

Necesidades y valores sociales
E. iluminativa
Crtica artstica
Problemas
y
necesidades Efectos
localizados
Relacionar los resultados con los Facilitar la comprensin de las Proporcionar
conocimientos Juzgar los mritos relativos de Estudiar del programa, intentando Ofrecer una representacin y
objetivos
actividades y su valoracin en una uficientes y una base valorativa bienes y servicios alternativos
clarificar cuestiones, ayudar al valoracin de la prctica
eora determinada y desde distintas para tomar y justificar las
evaluador y a otras partes formativa
y
sus
perspectivas
decisiones
nteresadas a identificar los consecuencias dentro de su
Ayudar a los clientes
procedimientos y aspectos del contexto
programa que pueden conseguir los
esultados deseados
Planificadores y directivos del Comunidad y grupo de clientes en Los que toman decisiones
Los consumidores
Evaluadores
y
personas Comunidad y grupo de
programa
zonas locales y los expertos
involucradas
clientes en zonas locales
son
las
Cmo planificar, ejecutar y Cul es el valor de un programa, Cmo opera o funciona un Cules
Qu alumnos alcanzan los Cul es la historia de un
reciclar para promover el dados sus costes, las necesidades programa, cmo influyen en l los caractersticas y cualidades
objetivos?
programa, sus antecedentes,
de los fenmenos, cules
operaciones, efectos secundarios, crecimiento y desarrollo a un concretas de los consumidores y contextos donde se aplica?
son
las
cualidades
los valores de la sociedad en
coste razonable?
logros accidentales, resultados?.
emergentes de una clase o
general?
programa que se est
evaluando?
Cuantitativo cualitativa
Cualitativa
Cualitativa
Cuantitativa
Cualitativa
Cuantitativa
Planificacin experimental
Descripcin
Estudio de casos
Estudio de casos
Comparacin entre grupos
Estudio de casos
Valoracin de necesidades
Evaluacin sin metas
Observacin
Anlisis de coste
Estudios piloto
Comparacin
experimentacin
Pruebas objetivas
Informes
Revisin de documentos
Listas de control
Observacin
Crtica artstica
Tests estandarizados de
Entrevistas
Audiciones
Tests diagnsticos
Entrevista
rendimiento pedaggico
Sociodrama
Entrevistas
Entrevistas
Observacin
Observacin
Tests diagnsticos
Informes, etc.
predeterminada
Escalas de autovaloracin
TYLER
STAKE
STUFFLEBEAM
SCRIVEN
PARLETT Y HAMILTON
EISNER
Establecer
metas
u
Descripcin
Anlisis de tareas
Valoracin de necesidades
Observacin
Descripcin
objetivos
.antecedentes,
Plan de obtencin de
Evaluacin de metas
Investigacin
Interpretacin
informacin
Definir
objetivos
en
transacciones,
Comparacin con otras
Explicacin
Valoracin
trminos comportamiento
alternativas
Plan para el informe sobre
resultados
resultados
Establecer o desarrollar
Examinar segn coste y
Juicio
tcnicas e instrumentos
efectividad
Plan para la administracin
. antecedentes,
del estudio
Recopilar datos
Combinacin de evaluacin
transacciones,
del personal con la del
Comparar los datos con los
resultados
programa.
objetivos
Tabla 5.3: Modelos de evaluacin de programas (Tejada, 1999:260)
205
206
El modelo Tyleriano (1950) con su orientado a los objetivos puso las bases
del primer mtodo sistemtico de evaluacin. El autor considera la evaluacin
como el proceso de determinar hasta qu punto los objetivos educativos han
sido alcanzados mediante los programas de curriculum y enseanza. (Tyler,
1950:69).
El Modelo de evaluacin orientado a los objetivos, parte de la consideracin
de un amplio abanico de metas intencionales en el aprendizaje y, mediante la
operativizacin de las mismas, se evala el programa segn el grado en que
dichas metas han sido conseguidas.
Tyler centra la evaluacin en los logros, en el rendimiento de los alumnos,
ms que en otras variables del proceso, que posiblemente son ms relevantes
a la hora de valorar un programa. Para el autor el programa ser eficaz en la
medida que se consigan los objetivos establecidos. De hecho, los objetivos
son la nica fuente de criterios para evaluar los programas, aadido a todo
esto la utilizacin exclusiva de tests y pruebas estandarizadas para la recogida
de la informacin.
Asimismo, considera la evaluacin como un proceso recurrente, donde el
evaluador ha de proporcionar informacin til para tomar decisiones respecto
a la reformulacin o redefinicin de los objetivos
Su concepcin tecnolgica-operativa de la enseanza, y la consideracin de la
evaluacin como parte del desarrollo, le obliga a sistematizar una serie de
etapas lgicas en el transcurrir del proceso evaluador.
Las ventajas del modelo -ubicado en una perspectiva cuantitativa- se han
centrado en la importancia de la planificacin en los procesos evaluativos,
adems de la consideracin de que la evaluacin no slo debe centrase en los
alumnos, sino en otros aspectos del programa, como es el caso de los
objetivos.
En cuanto a las limitaciones del modelo hay que destacar:
La consideracin de la evaluacin como un proceso terminal, en cuanto
que slo se emiten juicios de valor respecto el producto final. La
evaluacin formativa, importantsima para la evaluacin del desarrollo del
programa y la reestructuracin de ste, no se tiene en cuenta y se sacrifica
en trminos exclusivos de evaluacin sumativa. De hecho, este modelo,
como representante de un paradigma proceso-producto, slo se preocupa
valorar el rendimiento de los alumnos y aquellas conductas observables y
medibles. Desde esta lgica paradigmtica, el proceso como mediador en
el aprendizaje no es objeto de estudio y, por tanto, tampoco de evaluacin.
207
Limitaciones tcnicas determinadas por la seleccin y clarificacin de los

objetivos operativos, con lo que se puede caer en la criba de unos cuantos,
olvidando aquellos menos concretos pero igual o ms importantes a la hora
de valorar el programa. De hecho el modelo de Tyler no considera en
ningn momento los efectos secundarios o los resultados no previstos del
programa; en ocasiones mucho ms relevantes que los objetivos
preestablecidos.
La determinacin del rendimiento como ltimo criterio para la evaluacin
de un programa lleva a considerar el modelo como reduccionista. No se
tienen en cuenta los contextos en los que la evaluacin se realiza.
La excesiva linealidad en el diseo de la evaluacin.
Es un modelo burocrtico en el que la audiencia de la evaluacin son los
productores del programa, no sus usuarios.
Otros modelos como los de Schulman (1967) (mtodo cientfico de
evaluacin), enmarcado dentro de la perspectiva cuantitativa, coinciden en la
consideracin de la investigacin evaluativa como investigacin aplicada y su
propsito es el de determinar hasta que punto un programa especfico ha
conseguido los resultados deseados. Es evidente, que este tipo de modelos
difcilmente podrn resolver los problemas del desarrollo de un programa en
un contexto singular, momentneo y cambiante.
En este sentido, el modelo orientado a la decisin de Stufflebeam (1993)
rompe con la evaluacin por objetivos y se centra en los aspectos claves de la
organizacin y la toma de decisiones. Para el autor la evaluacin orientada
hacia el perfeccionamiento no es demostrar sino perfeccionar. Su modelo
CIPP (Context-Input-Process-Product) postula tres propsitos evaluativos:
servir de gua para la toma de decisiones, proporcionar datos para la
responsabilidad y promover la comprensin de los fenmenos implicados.
Este modelo plantea cuatro momentos de evaluacin, la evaluacin del
contexto, la evaluacin de entrada, en la que se valora la planificacin y las
estrategias para llevarla a cabo, la evaluacin de proceso y la evaluacin de
producto.
El modelo de la evaluacin respondente, propuesto por Stake (1975),
tambin denominado, el mtodo evaluativo centrado en el cliente, es uno de
los pioneros en la defensa de los mtodos cualitativos para la evaluacin de
programas, metodologas como el estudio de casos. Stake defiende que el
estudio de casos es el que permite mejorar la prctica de un programa en su
mbito local.
Desde su concepcin crtica, los estudios de Tyler son totalmente
contrapuestos a los suyos, por su estrechez en la concepcin de la evaluacin
208
y su proceso, por el uso exclusivo de test y pruebas estandarizadas para la

recogida de datos, y por el hecho de evaluar el programa slo en funcin de
los objetivos y los logros de los alumnos. Stake aconseja a los educadores que
desarrollen metodologas que posibiliten la evaluacin del programa en su
totalidad, por muy compleja que sta sea.
Otro de los puntos a destacar del modelo de Stake es la adaptacin a las
necesidades de los clientes. Parte de la idea que las intenciones pueden
cambiar, siempre y cuando se estableciera una comunicacin continua entre el
evaluador y la audiencia. La finalidad es la de descubrir, investigar y
solucionar los problemas (Tejada, 1997). Estas ideas, fundamentales en el
modelo de Stake, son claves para entender un modelo que profundiza en el
estudio y anlisis de los problemas para mejorar las situaciones educativas.
Esta indagacin y descubrimiento debe realizarse por todos los implicados en
los procesos formativos, por lo que es tan importante la relacin y
comunicacin continua entre el evaluador y la audiencia. Si no existe esta
interaccin posiblemente se hace ms difcil la comprensin de los problemas
y la bsqueda de soluciones.
El modelo de Stake tiene la virtualidad de romper con los modelos
tradicionales centrados en la evaluacin de los objetivos, generando toda una
escuela de evaluacin caracterizada por el uso de metodologas cualitativas,
plurales y flexibles y orientada hacia el cliente. Ahora bien, el modelo
respondente tiene algunas limitaciones. La ms destacada es la poca precisin
en los datos, y otorgar la responsabilidad a los implicados en el programa para
analizar situaciones complejas y todos los efectos del programa.
En esta consideracin ms cualitativa de la evaluacin, situamos tambin el
modelo sin referencia a metas de Scriven (1973). Una de las
preocupaciones del pensamiento de Scriven es el convencimiento de que, en
la evaluacin de programas, los efectos secundarios de stos pueden ser
mucho ms relevantes que los efectos previstos. Por esta razn, el autor parte
de la idea de que los objetivos deben de obviarse, ya que su ignorancia
permite al evaluador valorar, ms objetivamente, los resultados de un
programa al margen de los objetivos preestablecidos. De esta manera se
consigue evitar el sesgo del evaluador al percibir, no nicamente los objetivos
previstos, sino todos aquellos efectos producidos por el programa. Se trata de
investigar tanto las intenciones como las consecuencias.
El modelo sin referencia a metas necesita criterios o estndares que le sirvan
como base para juzgar la eficacia y el valor de un programa. Scriven
desarrolla el concepto de necesidades como base para la evaluacin. Las
necesidades de los consumidores no pueden equipararse a sus deseos, son
descubiertas mediante anlisis externo y objetivo. La evaluacin libre de
objetivos descansa sobre el anlisis de las necesidades del consumidor ms
209
que sobre los objetivos e intenciones del responsable del programa (Prez
Gmez, 1989:438).
En este modelo, el referente es muy claro, las necesidades de los clientes. De
hecho, cuando valoramos la vala de un programa se debe de hacer en
funcin, no tanto del logro de objetivos, sino de las necesidades que ha
llegado a satisfacer. stas han de ser el referente para buscar los criterios de
valoracin de un programa segn este modelo.
Las ventajas en este modelo se centran en la flexibilidad de la evaluacin, en
su adaptacin a los cambios de metas repentinas, en su capacidad para valorar
efectos secundarios y las consecuencias del programa, menos propensa a la
tendenciosidad social y ms equitativa, ya que tiene en cuenta una amplia
gama de valores. Ahora bien, su dificultad radica en la valoracin de las
necesidades del consumidor como punto de partida de la evaluacin. Scriven
afirma que las necesidades pueden ser racionalmente demostrables aunque no
correspondan a los deseos o sentimientos reales del consumidor. Es posible
que las necesidades detectadas no sean las reales, sino las que el evaluador
considera. Adems, otro de los problemas que conlleva es el hecho de valorar
un programa en funcin de s satisfacen o no las necesidades de un grupo en
concreto al margen de que sean buenos o malos programas.
Otros de los modelos importantes dentro de los planteamientos ms
cualitativos es el propuesto por Parlett y Hamilton (1997) que rompen con la
evaluacin convencional y proponen un modelo cualitativo, al que denominan
evaluacin iluminativa. Este modelo caracterizado por la consideracin de la
evaluacin como un proceso de comprensin global del programa y su
contexto de desarrollo, un modelo que se desarrollo en condiciones naturales
o de campo y en el que la observacin es el mtodo de recogida de datos
(Prez Gmez, 1989:441).).
Las ventajas del modelo de evaluacin iluminativa se centran, sobre todo, en
que supone un modelo flexible abierto y contextualizado. A mi modo de ver
tiene la virtualidad de descubrir las causas y efectos de un programa en su
realidad concreta, aspecto que permite con mucho ms acierto la mejora de
ste. Pero tambin tiene asociadas determinadas desventajas. Su amplia
utilizacin de tcnicas abiertas y datos cualitativos, la presencia del evaluador
en el desarrollo y evolucin del programa, sigue permitiendo una gran
parcialidad por parte de ste, provocando sesgos importantes en la recogida y
interpretacin de la informacin.
La evaluacin basada en la crtica artstica propuesta por Elliot Eisner
(1981), es esencialmente cualitativa y procesual. Trata de interpretar y
analizar todos aquellos acontecimientos relevantes que definen el
comportamiento de las personas y los procesos de desarrollo de los programas
educativos.
210
Este planteamiento evaluativo utiliza modelos, esquemas y conceptos para

distinguir y discriminar lo relevante y explicar la complejidad del aula. Se
requiere, en muchas ocasiones, una capacidad de intuicin, de comprensin y
de empata. Por esta razn es necesario un entrenamiento adecuado y una
preparacin terica para desarrollar este tipo de evaluacin cualitativa. Este
carcter procesual y cualitativo, la bsqueda de lo singular y relevante de los
acontecimientos que ocurren en el aula, son algunas de las principales
ventajas del modelo de Eisner. Aun as el modelo presenta algunas
limitaciones, sobre todo en la validez y fiabilidad de las fuentes e
instrumentos de recogida de informacin. Sus procedimientos metodolgicos
son insuficientes
Una vez revisados algunos de los modelos ms representativos, creemos
oportuno posicionarnos en la utilizacin del modelo integrador de evaluacin,
elaborado por Tejada, (1997), que integra elementos de otros modelos, en
concreto las propuestas de Stake (1976), Scriven (1967), con su modelo de
evaluacin sin referencia a metas y el modelo de toma de decisiones de
Stufflebeam (1987).
Estros tres modelos consideran que la evaluacin de programas no puede
reducirse slo a la verificacin los logros, en una fase de evaluacin final,
sino que para comprender como funciona el programa ha de analizarse su
diseo y su desarrollo en la prctica. Stake, en su modelo nos habla de los
antecedentes, de las transacciones y de los resultados como tres fases en las
que debemos de recoger informacin y establecer una estrecha comunicacin
con los clientes por tal de descubrir y solucionar los problemas que conlleva
el diseo y desarrollo de los programas. Para nuestro caso, nos interesa no
slo la verificacin de los logros finales, sino que la intencin es la de
descubrir e indagar en las problemticas del programa de formacin de
formadores de cara a la mejora del mismo.
Stufflebeam coincide tambin es describir tres tipos de evaluacin en la
evaluacin de programas, la evaluacin de entrada, previa a su desarrollo, la
evaluacin de proceso y la evaluacin de producto, tres fases de evaluacin
que contribuyen a una comprensin ms ajustada del programa.
Por lo tanto, creemos que el modelo propuesto permite, como tal descubrir las
intenciones y los acontecimientos en cada una de las fases del programa de
formacin de formadores, posibilitando la toma de decisiones en cada fase
para la mejora del mismo.
Es un modelo, asimismo, que no slo se interesa por la consecucin de los
objetivos del programa de formacin de formadores sino por aquellos no
previstos. De hecho, es ms importante verificar la satisfaccin de las
necesidades que si los objetivos se han o no conseguido.
211
ANTECEDENTES
Contexto/input
EVALUACIN
PROGRAMAS
EVALUACIN
DESTINATARIOS
TRANSACCIONES
Proceso
RESULTADOS
Producto
EVALUACIN
DIAGNOSTICA
EVALUACIN
FORMATIVA
EVALUACIN
SUMATIVA
contexto general
necesidades
contexto instructivo
programa
instrumentos
medios y recursos, etc
programa actual
secuencia instructiva
temporalizacin
recursos
dinmica
interaccin, etc.
cambio en:
conocimientos
destrezas
actitudes
autoconcepto,
etc.
(REDISEO)
(REDISEO)
(REDISEO)
EVALUACIN
ADECUACIN DEL PROGRAMA
SUMATIVA
datos biogrficos
conocimientos
motivacin
actitudes
destrezas
historia profesional
historia acadmica, etc.
relaciones
implicacin
participacin
interacciones
motivacin
actitudes
etc.
conocimientos
actitudes
motivacin,
autoconcepto,
destrezas,
etc.
EVALUACIN CONTINUA
EVALUACIN FINAL
EVALUACIN INICIAL
mrito,
valor,
acontecimientos
impactos,
eficacia
eficiencia, etc.
EVALUACIN DIFERIDA
Grfico 5.4: Modelo integrador de evaluacin de programas. (Tejada, 1997:260).
212
g) El referente. Esta dimensin est conectada con el resto. Constituye la

fuente de criterios e indicadores necesarios para la emisin de juicios
valorativos. El referente ha de ser uno de los puntos a considerar por todos los
protagonistas de la evaluacin y stos han de ser claros, precisos y
consensuados por los que participan en la evaluacin. Muchas veces la
subjetividad en la emisin de juicios valorativos viene determinada por la
prdida del referente, el no establecer criterios e indicadores pertinentes con la
realidad objeto de evaluacin.
Como hemos dicho, el referente es la dimensin ms diferenciadora de la
evaluacin, y es necesario que, previamente a la evaluacin, se concrete. En
nuestro estudio, el referente lo concretamos en cuatro apartados:
a) Adecuacin a las finalidades de la poltica de formacin.
b) Adecuacin con las necesidades formativas del contexto inmediato.
c) Adecuacin con los principios psicopedaggicos del aprendizaje.
d) Adecuacin a las necesidades de los participantes.
Por ltimo, cabe destacar algunos de los criterios e indicadores especficos que en
la evaluacin de programas en el mbito no formal se han evidenciado como
relevantes. (Tejada, 1997).
213
CRITERIOS
Pertinencia: Adecuacin de un programa
con la poltica de formacin y el contexto
de formacin.
Actualidad: Adecuacin de los objetivos
del programa y las necesidades reales
(sociales e individuales)
Objetividad: Adecuacin a las leyes y
principios cientficos
Aplicabilidad: Posibilidad de puesta en
prctica de los objetivos propuestos.
Suficiencia: Grado con que un programa
satisface las necesidades detectadas.
Eficacia: Nivel de logro de los objetivos
asignados
Eficiencia: Grado de implicacin de
recursos
humanos,
materiales
y
funcionales
Efectividad: Nivel de logro alcanzado en
relacin con el punto mximo de calidad
de un programa
Comprensividad: Grado de optimizacin
alcanzado y poblacin afectada
Relevancia: Grado de importancia del
programa para cubrir las necesidades
sociales e individuales
Coherencia: Grado de adecuacin entre s
de distintos componentes-elementos de un
programa.
INDICADORES
Nivel de coherencia: relacin entre los
objetivos asignados y los objetivos
propuestos.
Relacin entre los objetivos propuestos y las
necesidades detectadas.
Relacin entre los objetivos asignados y
contenidos (seleccin y secuenciacin).
Relacin entre el programa y la insercin
social y laboral
Nivel de exhaustividad, relacin entre los
objetivos asignados y las necesidades
detectadas.
Relacin entre los objetivos asignados y los
objetivos alcanzados.
Relacin entre los objetivos logrados y los
recursos
implicados
(ratio
formador/participante,
hora/formador/participante)
Relacin de las cotas alcanzadas con los
criterios de calidad mxima determinada. En
relacin con la evaluacin, un programa ser
efectivo si realmente se acerca a los niveles
de mxima calidad determinados.
Relacin entre el nivel de entrada y el nivel
de salida de un programa.
Relacin entre objetivos propuestos y
necesidades
sociales
e
individuales
(objetivos
de
formacin/necesidades,
expectativas, intereses, cambio laboral,
polivalencia laboral)
Nivel de relacin entre los distintos
componentes de un programa (necesidades,
objetivos, contenidos, estrategias, recursos,
sistema de evaluacin).
Tabla 5.4: Criterios e indicadores de evaluacin de programas. (a partir deTejada, 1997:255).
Todo lo dicho hasta ahora nos evidencia la complejidad del proceso evaluativo y
justifica plenamente la afirmacin de que la planificacin de la evaluacin es la
fase ms importante y donde se toman decisiones que condicionan las posteriores.
Para Jimnez (1999), igualmente, la planificacin de la evaluacin es un proceso
necesario e importante para actuar de manera reflexiva. Esta planificacin puede
ser el resultado de un proceso de preparacin, de exigencias tcnicas o bien de un
proceso de negociacin. En este sentido, podemos ver la complejidad, como ya
hemos planteado, de dicho proceso, por cuanto a cuestiones a reflexionar se refiere.
En la tabla siguiente podremos observar esta complejidad.
214
Dimensiones
1. El origen de la
evaluacin
2. Finalidad de la
evaluacin
3.
Objeto
de
evaluacin
Cuestiones
Quin solicita la evaluacin?
4. Los referentes de la
evaluacin
Qu criterios aplicar? Quin los

define, aprueba?
5. La metodologa a
emplear
Qu paradigma ilumina nuestra

evaluacin?
6.
Cmo recoger los datos y las

informaciones?
7. Seleccin de las
fuentes
de
informacin
Problemas
de
muestras
representativas o significativas
8.
Ubicacin
y
temporalidad
9. Responsabilizacin
de la accin
Cundo y dnde se realizan los

procesos de evaluacin?
Conformacin
del
equipo
evaluador.
Competencias,
asignacin de tareas.
10. Elaboracin de los

instrumentos y
tratamiento de la
informacin
11. Costos
Seleccin o elaboracin?
Con qu medios contamos?
12. El informe
Quin evala?
13. Destinatarios del

informe
Cul es la naturaleza de las

audiencias?
11.
Qu consecuencias
evaluacin
Quin debe tomarlas?
Tcnicas
instrumentos
Toma
de
decisiones
15. Responsabilidad
de la toma de
decisiones
Para
qu?
justificacin?
Qu evaluar?
Cul
es
su
Con qu medios contamos
tiene
la
Comentarios
Administracin, institucin, seminarios, reas,
grupos de profesores. Es interna o externa?
Mejora de la docencia, contratacin de
formadores, solicitar nuevas ayudas
Evaluacin general de la institucin. Evaluacin
de
programas.
Evaluaciones
parciales:
conocimientos,
infraestructura,
material,
formadores, clima de grupo, reuniones de grupo.
Los derivados de la ley. Derivados de las
normativas europeas, nacionales, autonmicas.
Derivados de compromisos o convenios
establecidos con instituciones o empresas. Los
marcados por el programa o plan de accin.
Criterios econmicos, criterios estadsticos.
Metodologa cuantitativa.
Metodologa cualitativa.
Metodologa integrada o mixta.
Cuantitativos:
estadsticas,
tests,
pruebas
objetivas, escalas de control, de valoracin...
Cualitativos: Diarios, entrevistas, observacin
participante, talleres de discusin, anlisis de
documentos, notas de campo...
Directores, formadores, destinatarios, agentes
sociales, empresarios, memorias, informes,
documentos, actas, material docente, productos
acabados.
Evaluacin inicial, de proceso, final diferida.
Dnde recabar la informacin, cuando?
Coordinacin,
evaluadores,
colaboradores,
observadores. Distribucin de borradores,
valoracin de las evidencias. Redaccin de
preinformes.
Soportes informticos y de comunicacin:
fotocopiadora, telfono, e-m, grabadoras: BMDP,
AQUAD, ETNOGRAF...
Presupuesto de material, de personal, previsin de
tiempo. . Ayudas subvenciones
El
evaluador.
El
equipo
evaluador.
Autoevaluacin. Evaluacin externa, interna.
Participativa, colaborativa.
Compromisos, consensos, confidencialidad, uso,
propiedad...
Formadores, colegas, destinatarios. Directores,
supervisores, empresarios. Administracin,
Comunidad cientfica, Sociedad.
Laborales, legales, econmicas, sociales,
personales, profesionales, formativas, sumativas.
El propio evaluador o equipo. El propio sujeto
(autoevaluacin). Los responsables de la
institucin. Otras personas o instituciones ajenas
a los evaluadores y a los evaluados
Tabla 5.5: Dimensiones y cuestiones en relacin con la planificacin de la evaluacin. (Jimnez, 1999:180181).
215
5.4 . La evaluacin de programas.

5.4.1 Conceptualizacin
La evaluacin de programas es considerada como un proceso sistemtico de
recogida de informacin que una vez juzgada ha de permitir tomar decisiones en
relacin con la mejora del programa.
Prez Juste (1991), la define como el proceso sistemtico de recogida de
informacin rigurosa-valiosa, vlida y fiable, orientada a valorar la calidad y los
logros de un programa, como base para la posterior toma de decisiones de mejora,
tanto del programa como del personal implicado. Es un proceso porque representa
la exigencia de superar los modelos puramente sumativos, puntuales y
descontextualizados y centrados en el puro control. Sistemtico porque supone la
necesidad de una previa planificacin, en la que todas las actuaciones se prevn y
se articulan coherentemente.
En el campo de la evaluacin de programas, es donde adquiere mayor relevancia la
idea que la evaluacin no constituye un hecho puntual sobre los resultados finales
del mismo. Por el contrario, ste es uno de los casos en que cobra importancia la
planificacin de la evaluacin, ya que debe extenderse tanto al diseo y desarrollo
como a los resultados.
Alvira (1991) nos acerca a esta idea exponiendo que frente a una concepcin inicial
que contemplaba a la evaluacin como un ejercicio a realizar despus de que
existiera una previa programacin / planificacin y una vez estuviera funcionando
el programa / intervencin, hoy se acepta de un modo generalizado que evaluacin
y planificacin caminan paralelamente.
No debemos olvidar que, al margen de que la evaluacin aparezca como una de las
ltimas fases del proceso de intervencin, sta est presente en todas las fases del
proceso de intervencin. No slo aparece sino que es necesario realizarla, ya que
permite emitir juicios valorativos respecto el diseo, el desarrollo y los resultados.
Para Fernndez Ballesteros (1996), la evaluacin, como puede apreciarse en el
grfico siguiente, aparece ya en el momento previ de la elaboracin del programa,
concretamente en la evaluacin de necesidades y definicin de objetivos y metas.
Tambin, en el proceso de implementacin vuelve a realizarse un proceso de
evaluacin que permitir reorganizar y tomar decisiones en relacin con la
implementacin.
216
NECESIDADES
REPLANTEAMIENTO
DECISIONES
Valores
OBJETIVOS Y
METAS
Ideologa dominante
Poltica
EVALUACIN
IMPLANTACIN
PREEVALUACIN
Ciencia
PROGRAMA
Grfico 5.5: El lugar de la evaluacin en el ciclo de intervencin (Fernndez Ballesteros, 1996:51)
La evaluacin de programas, adems, supone un cuerpo de conocimientos tericos

y metodolgicos y un conjunto de habilidades aplicadas, con unas caractersticas
especficas, tales como:
Es un recurso para la mejora de las acciones, que debidamente organizadas
se desarrollan en un determinado contexto.
Supone esencialmente una metodologa cientfica aplicada, con el fin de
emitir juicios valorativos sobre un determinado objeto.
Permite tomar decisiones respecto si el programa se ha de rectificar,
reajustar, eliminar o sencillamente seguir su desarrollo. Cabrera (1987:113114) considera que dichas decisiones pueden referirse a distintos mbitos y
pueden concretarse en:
- relativas a la continuacin, expansin o certificacin del xito del
programa.
- relacionadas con las modificaciones a introducir en el programa en
desarrollo.
La necesidad de incluir en el proceso evaluativo a las "partes interesadas",
es decir, las personas directamente implicadas en el programa, ya sea como
217
decisores, tcnicos, usuarios, etc. La participacin de los implicados

permitir una mejor eleccin de las preguntas que debe responder la
evaluacin, as como una optimizacin en la seleccin de indicadores y
mtodos. En este sentido, Alvira (1991) considera que el concepto de
adecuacin u optimizacin debe entenderse aqu como adecuado a la vez
cientficamente y para las partes interesadas; es por tanto, una adecuacin
objetiva e intersubjetiva.
Asimismo hay que tener presente que existe otras razones que justifican de manera
global la evaluacin de programas:
La necesidad de acreditacin para la cualificacin personal.
La justificacin de la infraestructura y los costes del programa.
La seleccin del mejor programa en funcin de su coherencia interna y de
la satisfaccin de necesidades.
Asesorar a los profesionales que disean los programas en su desarrollo y
mejora.
Ayudar a los implicados en la evaluacin a valorar los efectos secundarios
de los programas.
Por otro lado, Fernndez Ballesteros, 1995, propone siete etapas fundamentales en
la planificacin de la evaluacin, lo que la autora llama ciclos de la intervencin y
formas de evaluacin implicadas. En el siguiente cuadro podemos observar las
distintas fases. Este esquema, adems, nos introduce en el tipo de criterios
utilizados, en las distintas fases del proceso de evaluacin de programas.
218
CONTEXTO
CICLOS DE INTERVENCIN
TIPOS
EVALUACIN
NECESIDADES
EVALUACIN DE
DECESIDADES
OBJETIVOS
ANLISIS DE OBJETIVOS
JUICIOS
PERTINENCIA
SUFICIENCIA
IDEOLOGA
POLTICA
CIENCIA
PRE-EVALUACIN
ANLISIS DEL PROGRAMA
PROGRAMA
ANLISIS DE LA
IMPLEMENTACIN
IMPLANTACIN
EVALUACIN DE PROCESO
EVALUACIN
EVALUACIN DE
RESULTADOS
PROCESO
EFECTIVIDAD
EFICACIA
EFICIENCIA
TOMA DE DECISIONES
VALOR
Grfico 5.6:Ciclos de intervencin, formas de evaluacin y juicios valorativos (Fernndez Ballesteros,

1995:66).
5.4.2 El proceso de evaluacin de programas.

El proceso de evaluacin de programas no puede realizarse al margen del proceso
de intervencin y de sus distintas fases. La evaluacin dentro de este proceso
aparece, y con una finalidad clara, en cada una de las fases del mismo. De hecho la
evaluacin ya toma cuerpo antes de la elaboracin del programa, justamente en el
momento que se evala el contexto y las necesidades con el fin de adecuar los
programas a la realidad donde se desarrollarn.
Este proceso de evaluacin de programas, como hemos insistido anteriormente, se
realiza paralelamente al proceso de elaboracin de programa, constituyendo un
elemento de continua comprensin para la toma de decisiones en relacin con
mejora e innovacin de programas. Una mejora que debe producirse ya desde el
momento de planificacin en la que implicamos un proceso de evaluacin
diagnstica, y as con el desarrollo y los resultados. En el esquema siguiendo
podemos apreciar esta relacin tan constante entre la evaluacin y la planificacin,
desarrollo y resultados de la accin formativa.
219
PLANIFICACIN/ DESARROLLO Y RESULTADOS
EVALUACIN
* Identificacin de
necesidades
* Evaluacin de necesidades
* Programacin, (diseo del

programa)
* Evaluacin del diseo
* Puesta en marcha, desarrollo y gestin del

programa
* Eval. implementacin
* Eval. cobertura
* Eval. proceso
* Resultados
* Eval. producto
* Eval. impacto
* ...
Grfico 5.7: Relacin entre planificacin y evaluacin de programas (Tejada, 1999:278)
Por otra parte, Caride (1989) establece cuatro tipos de evaluacin que van unidas a
cada una de las fases de la planificacin de programas. En el siguiente cuadro se
establecen las caractersticas ms relevantes de cada fase de evaluacin.
TIPO
REFERENTE
TAREA
EVALUACIN
Territorio y sociedad: Estudio previo de la
Del contexto/
comunidad,
grupos, realidad:
problemas,
necesidades
sujetos
necesidades,
recursos,
conflictos, etc.
Expertos y profesionales Anlisis
de
criterios
Del diseo
en
programar
y programticos,
planificar
justificacin, coherencia y
pertinencia del diseo
Profesionales
y
Anlisis del desarrollo del
Del proceso
participantes
en
el programa:
estrategias,
programa.
procedimientos, niveles
de
ejecucin,
coordinacin,
participacin comunitaria
Equipo evaluador
Valoracin
de
los
Del producto
resultados en relacin con
los
objetivos
y
necesidades:
eficacia,
eficiencia, etc
MBITO
APLICACIN
Diagnstico,
planificacin y toma de
decisiones.
Diseo y planificacin
del programa
Ejecucin del programa
Obtencin
de
conclusiones y toma de
decisiones
Tabla 5.6:Estructura metodolgica de la evaluacin en el desarrollo comunitario (Caride, 1989)
En la misma lnea, Posovac (1989:27-28), considera que en la planificacin de la

evaluacin se diferencian los siguientes puntos:
Identificar la audiencia (personas relevantes, sponsors, director del
programa, clientes, destinatarios, etc.)
220
Ajustar los encuentros preliminares con la audiencia con el propsito de

fijar qu tipo de evaluacin, para qu y porqu de la misma, quien la
realizar, cuando se llevar a cabo y qu fuentes de informacin sern las
relevantes y vlidas.
Fijar la evaluabilidad del programa.
Revisar la literatura.
Determinar la metodologa: estrategias, poblacin y muestra, controlcomparacin, seleccin-construccin de instrumentos, recogida de datos.
Presentar una propuesta por escrito.
La evaluacin de necesidades
No es suficiente en el punto de arranque de la intervencin analizar, detectar, e
identificar las necesidades, sino que stas deben de ser evaluadas para tomar
decisiones respecto cuales son las prioritarias y necesarias.
La evaluacin de necesidades, enmarcado en el anlisis del contexto, previo a la
intervencin, constituye la base para tomar decisiones respecto:
La determinacin entre el estado actual y el deseado.
El establecimiento de metas y objetivos.
La priorizacin de los objetivos en funcin del contexto, sus posibilidades,
limitaciones, recursos, etc.
Proporcionar las claves para las decisiones en torno a qu medios y
recursos, etc, debern implicarse en el diseo y desarrollo del programa.
Esta evaluacin de necesidades debe considerar las necesidades individuales de los
destinatarios y, por otro lado, la evaluacin de las necesidades sociales.
Ahora bien, esta evaluacin de necesidades, requisito para la planificacin de un
programa, no constituye previamente una evaluacin de programas, pero nos
permite determinar la pertinencia y la adecuacin del diseo a la realidad
contextual donde posteriormente se desarrollar En este sentido, un diseo ser
pertinente si responde a las necesidades detectadas, y de ah su tremenda
importancia en la evaluacin de programas. En este caso nos sirve de referente y
como fuente de criterios evaluativos.
En cuanto a los procedimientos e instrumentos ms pertinentes en la evaluacin de
programas se destacan el estudio de las necesidades formativas, tcnica nominal
mtodo Delphi, las entrevistas, la observacin, etc. En concreto, destacar que en
221
Formacin Ocupacional, el anlisis de tareas y puestos de trabajo, el anlisis de la

actuacin y el estudio de competencias son las tcnicas ms idneas para la
deteccin de necesidades formativas como punto de partida para el establecimiento
de los objetivos de formacin.
Ahora bien, ms all de los procedimientos que se utilicen en el estudio de
necesidades, ...lo importante es que las mismas sean detectadas a travs de una
perspectiva triangular (participantes, expertos, responsables), desde la ptica de
las fuentes, e implicando distintos instrumentos, cuestionarios, entrevistas,
observacin, escalas, etc, desde la ptica de los instrumentos (Tejada, 1997a:263).
La evaluacin del contexto.
Realizar la evaluacin del contexto supone identificar las virtudes y defectos del
contexto socio-cultural econmico e institucional, (objetivos, estructura y sistema
de relaciones) donde el programa ha de desarrollarse, con la intencin de subsanar
sus deficiencias y/o adecuar el programa a las caractersticas y necesidades de
dicho entorno.
La evaluacin del contexto (tanto endgeno como exgeno) tambin est destinada
a examinar si las metas y objetivos establecidas estn en consonancia con las
necesidades que deben satisfacer, o bien analizar si los objetivos planteados son
pertinentes a las necesidades y al contexto de actuacin. Asimismo, deber
identificar y caracterizar los destinatarios del programa, al mismo tiempo que se
analiza las condiciones reales del medio en el que el mismo ser llevado a la
prctica.
En este sentido, resulta ineludible valorar la organizacin, el clima, la cultura del
contexto institucional en el que se desarrollar el programa de formacin, su
dinmica organizativa, sus recursos (humanos, materiales y funcionales), su sistema
de relaciones y desde la ptica de su suficiencia, pertinencia, y disponibilidad, como
criterios bsicos, de manera que el programa a implantar sea factible y viable. Si no
es el caso, habr que propiciar nuevos recursos, reorganizar los existentes, o en su
defecto, redisear o ajustar el programa a la situacin dada.
Igualmente es necesario determinar las caractersticas de todos los implicados en la
planificacin y desarrollo del programa; gestores, formadores, participantes,
responsables administrativos, etc.
En este caso, las fuentes e instrumentos de evaluacin utilizados van, desde los
cuestionarios y entrevistas (estructuradas, semiestructuras o abiertas), hasta el
anlisis institucional, etc, implicando a todos los responsables de la planificacin y
desarrollo del programa. De todas formas, al igual que la evaluacin de
necesidades, la virtualidad est en realizar procesos de triangulacin, tanto de
agentes, como de instrumentos. (Sarramona, Vzquez y car, 1991).
222
Evaluacin del diseo del programa.

Una vez analizado el contexto y las necesidades para el establecimiento de los
objetivos generales y la concrecin del programa, llega el momento de realizar la
evaluacin de dicho programa, por tal de analizar su pertinencia y suficiencia, su
grado de adecuacin a las necesidades detectadas y al contexto donde
posteriormente se aplicar.
La evaluacin del diseo del programa ha de realizarse en conexin con las
necesidades que trata de satisfacer, as como de las caractersticas contextuales en
las que ha de desarrollarse, teniendo en cuenta las caractersticas de los
destinatarios. Por lo tanto habr que tener en cuenta si los objetivos se adecuan a las
necesidades, su pertinencia y suficiencia, adems de su factibilidad; los contenidos
desde su seleccin, secuenciacin con criterios tales de suficiencia, objetividad,
actualidad, relevancia y pertinencia; las estrategias metodolgicas desde su
adecuacin, multivariedad y suficiencia y el sistema de evaluacin desde la ptica
de la suficiencia, pertinencia e idoneidad.
Stufflebeam (1993) destaca que, la evaluacin de entrada o evaluacin del input,
como el autor la denomina, debe identificar y valorar crticamente algunos aspectos
tales como:
Los mtodos potencialmente aplicables.
Tomar decisiones con respecto la asignacin de recursos.
Buscar los obstculos y barreras en el marco contextual con el fin de
ayudar a los formadores y responsables de formacin en la consideracin
de estrategias de programa alternativas segn sus necesidades y
circunstancias contextuales.
Ayudar a los formadores y responsables de formacin a evitar la
infructuosa prctica de querer llevar a la prctica programas e innovaciones
que, sin duda fracasarn o acabarn con los recursos.
Tal como dice Alvira (1991), la experiencia evaluadora pone de relieve cmo un
anlisis previo de la capacidad de evaluar un programa evita esfuerzos y gastos
innecesarios. En muchas ocasiones, los programas no son evaluables por tener
problemas en la especificacin de sus objetivos, problemas en los recursos y
metodologas.
Respecto a la evaluacin de la evaluabilidad, Alvira (1991) establece que sta
determina si el diseo o la planificacin del programa es coherente lgicamente y si
es evaluable. Es una evaluacin centrada en detectar posibles barreras o
dificultades en el diseo del programa que pueden repercutir posteriormente en el
desarrollo del mismo.
223
Los puntos de atencin en la evaluacin del diseo se centran en analizar:

los objetivos, en cuanto a su adecuacin, pertinencia, suficiencia y
factibilidad.
los contenidos, respecto a su seleccin, secuenciacin, suficiencia,
objetividad, actualidad, relevancia, aplicabilidad y pertinencia.
las actividades, en su adecuacin, suficiencia y multivariedad.
los recursos y medios, de todo tipo, necesarios para el desarrollo del
programa, en cuanto a su suficiencia y pertinencia, cantidad, calidad.
el sistema de evaluacin, en cuanto a su adecuacin a los objetivos su
especificacin, su coherencia en los instrumentos y su finalidad.
Una vez acotado el objeto y las finalidades de esta evaluacin, queda afrontar la
dimensin ms operativa de la evaluacin; las tcnicas e instrumentos de recogida
de informacin.
Esta decisin va ms all de la toma de conciencia en relacin con la idoneidad o
pertinencia de los instrumentos de acuerdo con los objetos. Habra que considerar
el proceso mismo de recogida de informacin, el tipo de instrumentos y las
circunstancias o contexto de recogida de informacin y, sobre todo, reflexionar
sobre la competencia de quien lo realiza.
Otra cuestin importante sobre este punto es la competencia de los profesionales en
la seleccin y construccin de los instrumentos. No cabe duda que dichos
profesionales deben de conocer con profundidad las tipologas, caractersticas
tcnicas, ventajas, inconvenientes de los distintos instrumentos y tenerlos presente
a la hora de tomar decisiones sobre el particular.
En cualquier caso, somos partidarios en este momento decisivo de tener en cuenta
los principios de multiinstrumentalizacin y de triangulacin instrumental, pero
tambin de agentes y evaluadores.
En cuanto a los instrumentos en la evaluacin del diseo hay que destacar el
anlisis documental de programas ejemplares, entrevistas personales con los
diseadores del programa, y consulta a expertos que a travs de la tcnica de jueces
y en funcin de criterios como la suficiencia y la pertinencia, se detectan los
posibles problemas y defectos del programa.
Los evaluadores debern de ser expertos en curriculum, pero tambin deberan
implicarse los diseadores agentes de evaluacin y responsables del programa. Es
necesario insistir en el proceso de triangulacin de instrumentos y agentes para la
obtencin de mayor rigurosidad.
224
Evaluacin del desarrollo del programa.

La evaluacin del desarrollo del programa, evaluacin formativa, trata de analizar
si los elementos que constituyen el programa (objetivos, contenidos, estrategias
metodolgicas y evaluacin) se estn desarrollando tal y como estaba previsto. Esta
evaluacin proporciona informacin sobre el desarrollo del programa con el
propsito de optimizarlo y mejorarlo durante su aplicacin y permite dar respuesta
a las dificultades, obstculos, imprevistos y demandas que en el transcurrir de la
accin se va produciendo.
Scriven (1967) introduce el trmino de evaluacin formativa y la describe, como
aquella que forma parte integrante del proceso de desarrollo, y que tiene como
finalidad proporcionar informacin continua para ayudar a replanificar, as como
proporcionar una gua al personal a perfeccionar cualquier aspecto del programa
durante su aplicacin
Stufflebeam (1993), establece que la evaluacin del proceso es una comprobacin
continua de un plan, que tiene como objetivo:
Proporcionar continua informacin a los administradores y al personal
acerca de hasta que punto las actividades del programa siguen un buen
ritmo, se desarrollan tal y como se haban planificado y, se utilizan los
recursos disponibles de una manera eficiente.
Ofrecer una gua para modificar o explicar el plan, ya que no todos los
aspectos del plan se determinan a priori, o que algunas de las decisiones
sean ms tarde inadecuadas.
Valorar peridicamente hasta que punto los que participan en el programa
aceptan y son capaces de desempear sus funciones.
Proporcionar un extenso informe del programa que detalle lo que
realmente se lleva a la prctica y saber como lo juzgan los observadores y
los participantes.
Alvira (1991), establece que existen tres fases en la evaluacin del desarrollo a la
que l llama de la implementacin. Esta fase se concreta en:
Descripcin resumida de qu es lo esencial en un programa de intervencin
segn la literatura.
Recogida emprica de informacin de aspectos clave; cmo se aplican,
cmo funcionan, etc.
Comparacin del programa tal como ha sido diseado y tal como funciona
en la prctica. En el caso de que existan discrepancias entre el diseo y la
225
realidad del programa, Alvira (1991) cree que se deben tomar decisiones
para adaptar o redefinir el diseo u optimizar el desarrollo del mismo.
Desde esta ptica, a nuestro entender cinco serian las finalidades implcitas en este
tipo de evaluacin:
Identificar los puntos crticos en el desarrollo del programa.
Reajustar, adecuar o cambiar el programa en funcin de las contingencias
surgidas en el desarrollo del mismo.
Mejorar las posibilidades de los actores del proceso de desarrollo del
programa, es decir, mejorar las posibilidades de participantes y
formadores.
Aumentar la informacin para posteriores decisiones.
Proporcionar informacin sobre el progreso y evolucin durante el
desarrollo.
El seguimiento exhaustivo de estas finalidades nos puede permitir explicar
posteriormente los resultados del programa, tanto los previstos como los no
previstos y racionalizar an ms la toma de decisiones posterior, sin olvidar que
durante el proceso tambin se toman decisiones para la mejora del programa. Unas
decisiones que tienen que ver con:
La adaptacin de las estrategias metodolgicas, o incorporacin de otras
nuevas.
Reubicacin de participantes y formadores.
Incorporacin de nuevos.
Una pieza clave en la evaluacin del desarrollo es el evaluador. Es necesario que en
esta fase exista ms de un evaluador, ya que ocurre a menudo que los implicados de
un programa fracasan al intentar obtener una gua para la realizacin, el desarrollo
y anlisis del proceso, ya sea por falta de formacin en este campo o por una visin
muy sesgada de la realizada. De hecho, en la evaluacin del desarrollo, como en la
del diseo y de los resultados, es necesario que exista ms de un evaluador, siendo
uno de ellos, el que desarrolla el programa. En esta fase de la evaluacin de
programas es importante combinar la evaluacin interna y la evaluacin externa.
El proceso de recogida de informacin debe caracterizarse por ser discreto para no
interferir en la prctica y marcha del programa. La triangulacin de los
instrumentos (observacin sistemtica en el centro, anlisis de documentos del
programa, asistencia a reuniones, entrevistas a los implicados, etc) se convierte en
226
el aspecto ms importante en el proceso de evaluacin, ya que permite mayor

rigurosidad a la hora de recoger la informacin, evitando sesgos en la misma.
EVALUACIN DE PROCESO
PROGRAMA EN
PROCESO.
Secuencia instructiva
Estrategias
Recursos
Temporalizacin
Formador
Observacin
In situ durante
sesiones
Entrevista
Formadores
Participantes
Gestores
Cuestionario
Formadores
Participantes
Gestores
DESTINATARIOS.
Logros
Motivacin
Implicacin
Relaciones
Actitudes, etc
Pruebas de
rendimiento
Participante
Anlisis
producciones
Participante
Cuestionario,
escala
Participante
Formador
Grfico5.8: Instrumentos y fuentes de evaluacin en la evaluacin de proceso. (Tejada, 1998b:78).
El tratamiento de la informacin debe centrase en la bsqueda y anlisis de los

problemas claves, elaborando un primer informe que una vez presentado a los
implicados en el desarrollo del programa les permita tomar decisiones para mejorar
el programa durante su aplicacin.
Finalmente, destacamos que la evaluacin del proceso es una fuente de informacin
para interpretar posteriormente los resultados de un programa
La evaluacin de resultados del programa.
El objetivo de la evaluacin de resultados es el de averiguar hasta qu punto el
programa ha satisfecho las necesidades del grupo implicado en el programa.
La evaluacin de resultados debe analizar, no slo si un programa alcanza los
objetivos previstos (Tyler, 1950), como tradicionalmente se entenda la evaluacin
de programas, sino que tambin deben ser evaluados todos los efectos no previstos,
ni buscados. La evaluacin, en este caso, ha de considerar, adems, los efectos de
un programa al margen de sus objetivos, intentando buscar todos los efectos, los
previstos y no previstos, (Scriven, 1967).
227
Este tipo de evaluacin, marcadamente sumativa, tiene por objetivo principal el

proporcionar evidencias objetivas, sistemticas y completas del grado en el que el
programa ha conseguido los fines que se proponan y el grado en que se han
producido otras consecuencias no previstas que, una vez conocidas, son tambin
de inters para los responsables del programa. (Cabrera, 1987:123)
Es importante, en la evaluacin de los resultados, ofrecer interpretaciones de hasta
qu punto el fracaso en la consecucin de los objetivos o la satisfaccin de las
necesidades estn relacionadas con un fracaso en el diseo o en el desarrollo del
programa.
Ms concretamente, podemos apuntar que las finalidades que se persiguen con este
tipo de evaluacin son: (Tejada, 1998:91-92):
Verificar la consecucin de los objetivos del programa. Con esta
finalidad, aunque podemos hablar de logros o efectos inmediatos del
programa, se pretende valorar, al finalizar el desarrollo del programa, los
cambios habidos en los participantes, tanto previstos como no previstos,
planificados o no.
Valorar el impacto del programa. Necesariamente esta finalidad se tiene
que acometer ms all de la finalizacin del desarrollo del programa, en
una situacin tpica de evaluacin diferida a corto, medio o largo plazo-.
En este caso, se pretende, pues, verificar los efectos del programa en el
entorno institucional o social en el que el mismo est inscrito. Esta
finalidad se ha convertido en una necesidad fundamental a la hora de
evaluar programas porque muchas veces se ha demostrado la ineficacia de
un programa por la falta de impacto, an cuando se haban alcanzado los
objetivos. Hay que considerar que cuando no se produce impacto esperado
no necesariamente hay que atribuir su causalidad a las deficiencias del
programa en s, sino que no se han acometido las acciones o intervenciones
necesarias sobre el propio contexto posibilitando el impacto del programa.
Verificar la vala del programa de cara a la satisfaccin de
necesidades. Esta finalidad, conectada con las dos anteriores, se justifica
en funcin de las necesidades que satisfacen. No podemos olvidar que los
programas son siempre deudores de las necesidades que tratan de
responder. Por tanto, la clave para la toma de decisiones en la evaluacin
de programas es fundamentalmente sta. No cabe duda, que existen
programas donde los participantes alcanzan los objetivos propuestos, y
donde, incluso, se verifican determinados impactos sobre la realidad; sin
embargo, no se satisfacen las necesidades que se pretendan, de ah que se
pueda poner en cuestin la vala de dichos programas.
228
En la evaluacin de resultados se asumen tres tipos de evaluacin de resultados: la

evaluacin de efectos inmediatos, evaluacin de impacto y evaluacin de costos.
(Shadish,1986):
Evaluacin de efectos inmediatos. Permite analizar los cambios
producidos en los destinatarios del programa, la consecucin de los
objetivos, los cambios imprevistos, as como valorar la relevancia de los
cambios producidos. En este momento es importante valorar la efectividad
del programa, si verificar si se han alcanzado las cotas de calidad a las que
se pretenda llegar.
Evaluacin de impacto. Evaluacin que permite valorar los resultados a
medio o largo plazo (evaluacin diferida), as como los efectos producidos
en el contexto particular al que trata de responder el programa. (Tejada,
1997:265). En este sentido la evaluacin de resultados debe analizar si el
programa ha producido cambios en las prcticas profesionales de los
destinatarios del programa, a parte de verificar si el programa es aplicable a
una poblacin ms amplia (comprehensividad). Podemos decir que, esta
evaluacin permite realmente verificar si el programa satisface las
necesidades establecidas. Asimismo, nos remite a la actuacin personal,
profesional o institucional de los participantes en contextos especficos,
fuera ya del programa desarrollado. Es, pues, en este contexto de actuacin
donde hay que reparar verificando si se han satisfecho las necesidades
articuladoras del programa, si se ha producido transferencia de lo
aprendido, si se producen, igualmente, cambios significativos en la
actuacin personal o profesional de los destinatarios del programa y no
destinatarios del mismo.
Evaluacin de costos. Se valora la eficiencia del programa, es decir la
inversin econmica exigida en todos los apartados del programa y
elementos implicados, as como su rentabilidad social. (Tejada, 1997:265).
Segn este tipo de evaluacin, el mejor programa es aquel que consigue los
objetivos (eficacia), es ampliable al mximo de poblacin afectada
(comprehensividad) y posee la ms baja eficiencia, su razn coste-eficacia
es la mnima. En esta evaluacin hay que pensar que la inversin no es
slo econmica, sino que debemos de hablar de inversin de recursos,
humanos, materiales y funcionales.
Consecuentemente con la finalidad de la evaluacin final o de los resultados de un
programa, tambin hay que poner en juego toda una serie de criterios de evaluacin
que nos permita valorar dichos resultados, a la vez que fundamentamos la toma de
decisiones. Nos estamos refiriendo a criterios de evaluacin que se derivan,
siguiendo el modelo inicial, del referente de poltica educativa, contexto y
participantes. Ms concretamente, estamos indicando que la vala o bondad de un
programa de acuerdo a dicho referente depende de su eficacia, su comprensividad,
aplicabilidad, satisfactoriedad, efectividad, etc.
229
Stufflebeam (1993) establece que, el informe sobre la evaluacin de los resultados,

evaluacin del producto (output), como es denominada por el autor, puede
desarrollarse en distintas etapas:
a) Informes intermedios durante cada ciclo del programa para determinar
hasta qu punto estn siendo plasmadas y satisfechas las necesidades.
b) Informe final de ciclo que resume los resultados alcanzados e interpretados
a la luz de las necesidades pre-valoradas, el coste y los puntos del plan que se
han conseguido.
c) Los informes subsiguientes que indican si se han conseguido efectos a
largo plazo, hasta que punto los destinatarios han cambiado sus prcticas, sus
actitudes, sus conocimientos, etc.
Asimismo, la evaluacin de resultados, determina si un programa en concreto
merece prolongarse, repetirse y/o ampliarse en otros mbitos. Tambin sirve de
gua para modificar, si es el caso, el programa, con el fin de que sirva mejor a las
necesidades de todos los miembros interesados y resulte ms efectivo con relacin
a su coste.
En cuanto a las metodologas, tcnicas, instrumentos, fuentes de informacin,
evaluadores, para la evaluacin de resultados, son diversos, aunque la importancia
o virtualidad radica, no tanto en el tipo, sino en la combinacin de stas. Una vez
ms los procesos de triangulacin son la clave.
Como puede observarse en el grfico siguiente, si nos detenemos en el mbito de
los destinatarios, habr que utilizar instrumentos relacionados con pruebas de
rendimiento, pruebas objetivas, cuestionarios, escalas y anlisis de materiales
producidos por los mismos. Sern los formadores y los propios participantes los
informantes ms idneos para la evaluacin final de los destinatarios.
Para la evaluacin de impacto implicaremos tanto la observacin en el contexto de
actuacin, las entrevistas y los cuestionarios. Las tcnicas como el anlisis de tareas
en el puesto de trabajo pueden aportar informacin en relacin con la aplicabilidad
y transferencia de lo aprendido a situaciones concretas de trabajo. Aqu los
informantes ms adecuados son los propios participantes del programa, los
compaeros y todos aquellos responsables en los contextos de trabajo.
En la evaluacin de los costes recurrimos, adems de la consulta directa a
responsables de formacin o directores institucionales por medio de la entrevista o
el cuestionario, al anlisis de documentos institucionales, inventarios, auditorias,
etc.
A modo de ejemplo, sealar que los diseos experimentales y cuasi-experimentales
(pretest- postest, slo postest ), los estudios de casos basados en muestras
230
cuidadosamente seleccionadas, estudios fenomenolgicos, etc seran algunos de los

diseos utilizados.
EVALUACIN RESULTADOS FINAL
PROGRAMA EN
PROCESO.
Secuencia instructiva
Estrategias
Recursos
Temporalizacin
Formador
DESTINATARIOS.
Logros
Motivacin
Implicacin
Relaciones
Actitudes, etc
Observacin
In situ durante
sesiones
Entrevista
Formadores
Participantes
Gestores
Cuestionario
Formadores
Participantes
Gestores
Pruebas de
rendimiento
Participante
Anlisis
producciones
Participante
Cuestionario,
escala
Participante
Formador
Inventario
Presupuesto,
costes
Entrevista
Responsables
coordinadores
Cuestionario,
Participante
responsables
Observacin
In situ
actividad
profesional
Entrevista
Participante
Responsables
Colegas
Cuestionario,
Participante
Responsable
colegas
COSTESBENEFICIOS.
Recursos fuera de
programa.
Presupuesto econmico
IMPACTO.
Transferencia aprendido
Motivacin
Relaciones
Actitudes
Cambio institucional
EVALUACIN DIFERIDA
Grfico 5.9: Instrumentos y fuentes de evaluacin en la evaluacin final y diferida. (Tejada, 1998b:105)
231
Una vez establecidas las caractersticas de cada una de las fases en la planificacin
de la evaluacin de programa, resulta interesante acabar con la idea de que la
evaluacin de necesidades, la evaluacin del contexto, la del diseo, la del
desarrollo y la evaluacin de los resultados, desempean funciones nicas, pero
tambin existe una relacin simbitica entre ellas.
5.5 La evaluacin de programas de formacin de formadores

en el contexto de la formacin ocupacional.
El desarrollo terico previo, sobre la formacin docentes y los modelos de
formacin de formadores, sobre de la formacin ocupacional como contexto de
actuacin de los formadores, sobre el perfil del formador y sobre los modelos de
evaluacin de programas, nos proporciona los referentes para la toma de decisiones
en relacin con la elaboracin de un modelo de evaluacin de programas de
formacin de formadores en el contexto de la formacin ocupacional.
En este estudio consideramos la evaluacin de programas de formacin de
formadores en el contexto de la formacin ocupacional como un proceso en virtud
del cual, y desde una actitud analtica, reflexiva y crtica, recogemos de manera
sistemtica un conjunto de informaciones, desde distintas fuentes e instrumentos,
acerca de aquellos programas elaborados por instituciones dedicadas a la formacin
de formadores y, en concreto, a la formacin en o para la empresa. La informacin
recogida, una vez enjuiciada y valorada, nos permitir la comprensin de estas
actividades de formacin para una toma de decisiones en relacin con la mejora de
dichos programas de formacin de formadores. Evidentemente que, al margen de
poder realizar propuestas de mejora en relacin con los programas evaluados,
tambin nos ha de permitir la bsqueda de criterios e indicadores de calidad para
mejorar los diseos y desarrollos de programas de formacin de formadores
posteriores.
Por otra parte, el proceso general de evaluacin se construye de acuerdo a las
distintas fases que habitualmente atraviesan los programas de formacin, fases que
tienen que ver con el diseo del programa, con el desarrollo y con los resultados a
corto, medio y largo plazo. Esta forma de estructurar la propuesta de evaluacin de
programas de formacin de formadores, no es nueva, ni original; sin embargo
mantiene su vigencia por cuanto permite estudiar las experiencias formativas en su
totalidad, identificando los elementos que interactan y las relaciones de
interdependencia que se producen en sus componentes. Comprender este fenmeno
complejo, cual es la formacin de formadores y la evaluacin de sus programas de
formacin, slo es posible si se analizan todos y cada uno de los momentos de
desarrollo. Buscar la comprensin de determinados resultados nos obliga,
necesariamente, a valorar el diseo del programa pero tambin su desarrollo. Quizs
la clave de los resultados sea fruto de las deficiencias en el diseo del mismo, o bien
por una deficiente implementacin del programa.
232
La articulacin del modelo de evaluacin que proponemos, para la evaluacin de

programas de formacin de formadores en el contexto de la formacin ocupacional,
se realiza a partir de las dimensiones bsicas del proceso de evaluacin de
programas. Para este caso, hemos seguido la propuesta de Tejada (1997) y las
dimensiones de evaluacin que el mismo propone, al que integramos nuevos
elementos extrados de nuestra prctica profesional.
Como podemos apreciar en el grafico siguiente, el modelo planteado, en el que se
van a combinar tanto las metodologas cuantitativas y cualitativas, como estrategias
para el anlisis y comprensin de determinados programas de formacin de
formadores para su mejora, por lo que determinamos que los modelos en los que
nos vamos situar van a estar cerca de la propuestas que realizan Scriven, Stake y
Stufflebean.
Indudablemente, el proceso de evaluacin se va a tener en cuenta todas las fases de
elaboracin de los programas de formacin y sus contextos de desarrollo, como una
dimensin muy importante para la comprensin de su funcionamiento.
A continuacin vamos a detallar el modelo de evaluacin propuesto, en el que se
determina los objetos de evaluacin, los instrumentos y fuentes de evaluacin, los
momentos y finalidades de la evaluacin, y el modelo evaluativo, sin dejar de
reflexionar sobre los criterios y referentes de evaluacin de programas de formacin
de formadores en el mbito ocupacional.
233
Contexto social, laboral,

cultural. , econmico,
Contexto institucional
Programa de formacin de
formadores
OBJETO
Necesidades
Contexto
Programa
MOMENTO
Inicial
Continua
Final
Diferida
CualitativaCuantitativa
Diagnostica
Formativa
Sumativa
Impacto
Anlisis
documentos
Observacin
Cuestionario
Entrevista
FINALIDAD
MODELO
Formadores
Participantes
Responsables
formacin
Agentes
sociales
Interna-
EVALUADOR
INTRUMENTOS
Criterios
Pertinencia
Adecuacin
Referente
Coherencia
Suficiencia
Adecuacin con el
perfil profesional del
formador
Eficacia
Necesidades
individuales y
sociales
Eficiencia
Efectividad
Contexto sociolaboral,
econmico, cultural de
la formacin para y en
el trabajo
Aplicabilidad
Modelo de
formacin de
formadores:
contextual
crtico
Master, postgrados, cursos, seminarios,

acciones, etc de formacin de formadores
Universidad, Consultoras, Instituciones

sindicales, de la administracin, de la patronal
Grfico 5.10: Dimensiones, criterios y referente y contextos en la evaluacin de programas de formacin de

formadores. (elaboracin propia).
234
5.5.1 Los objetos de evaluacin.

Uno de los aspectos ms importantes en la planificacin de la evaluacin de
programas es la de determinar QU queremos evaluar, aspecto que condicionar
las posteriores decisiones que tomemos durante la planificacin de la evaluacin de
programas de formacin de formadores.
Para nosotros, y en el contexto de la formacin de formadores en el contexto
ocupacional, es importante realizar una evaluacin de las necesidades formativas,
tanto sociales como individuales, necesidades que permitirn establecer los
objetivos de la formacin. Si en nuestro modelo de evaluacin no se realiza una
evaluacin de necesidades difcilmente podremos valorar si los programas de
formacin de formadores son pertinentes a esas necesidades priorizadas. De hecho,
un programa debe articularse en funcin de las necesidades que quiere satisfacer y,
de alguna manera, los programas se justifican por las necesidades que intentan
satisfacer. Por lo tanto, uno de los primeros objetos que debemos poner en juego, a
la hora de evaluar los programas de formacin de formadores, son las necesidades
(individuales y sociales).
Otro de los objetos importante en la evaluacin es el contexto, general y especfico
en el que se desarrollaran los programas diseados. Un contexto que deberemos
anlisis como apunte para la orquestacin del programa, ya que este contexto nos
ayudar a determinar la viabilidad del programa en el contexto en el que debe
implementarse. Conocer estar caractersticas tambin nos permitir adaptar y/o
modificar los programas de formacin de formadores en funcin de las
caractersticas de los contextos, sociales, laborales, culturales, etc, ms generales y
del contexto institucional.
Concretamente, y en relacin con el contexto general habr que evaluar sus
caractersticas en el mbito poltico, econmico, cultural social, laboral,
artstico, tecnolgico como fuente para la adecuacin de los programas de
formacin a esa realidad.
Por lo que respecta al contexto institucional hay que evaluar su poltica formativa,
su estructura y, concretamente, la de los recursos humanos, materiales y
funcionales, sus objetivos y como stos estn explicitados en documentos de
centro que definen la filosofa y finalidades de la institucin, su sistema de
relaciones, en concreto, la gestin de conflictos, la comunicacin institucional, la
toma de decisiones, las formas de coordinacin y la relacin que mantiene la
institucin con el entorno.
Otro de los aspectos que hay que evaluar es el programa, en concreto, de formacin
de formadores, una evaluacin que debe referirse a todas las fases de su elaboracin
y desarrollo; por lo tanto se deber evaluar el diseo del programa, el desarrollo y
los resultados, como podemos apreciar en la tabla siguiente.
235
OBJETO DE EVALUACIN
INDICADORES DE EVALUACIN
DISEO DEL PROGRAMA
Grupos de incidencia: Expectativas, intereses,

aprendizajes previos, nivel de formacin,
conocimientos, competencias, experiencias, etc
Objetivos: formulacin, tipologas.
Contenidos: seleccin, agrupamiento, tipologas,
secuenciacin.
Estrategias
metodolgicas:
tipologas,
organizacin, articulacin.
Medios y recursos didcticos: tipologas,
cantidad, calidad, articulacin.
Sistema de evaluacin: Instrumentos, finalidades,
criterios, evaluadores, momentos.
Contrastacin del diseo: por los agentes
sociales, por expertos....
DESARROLLO DEL PROGRAMA
Objetivos: consecucin en el proceso.
Contenidos:
profundizacin, interiorizacin,
integracin.
Ritmo de desarrollo.
Estrategias metodolgicas: combinacin teoraprctica, tipologas, organizacin, articulacin.
Medios y recursos didcticos: tipologas,
cantidad, calidad, articulacin.
Sistema de evaluacin formativa y seguimiento:
Instrumentos, criterios, evaluadores,
Clima grupal: cohesin, liderazgo,
Sistemas de relaciones: relacin formadorparticipante-relacin entre participantes, ...
Formador: rol, funciones, participacin, accin,
competencias.
Participante: participacin-implicacin, actitud,
motivacin.
RESULTADOS DEL PROGRAMA: a corto y Objetivos: logro de objetivos previstos y no
medio y largo plazo
previstos
Satisfaccin de expectativas.
Cambio actitudinal
Tranferencia de aprendizajes
Aplicabilidad en el puesto de trabajo.
Mejora de la organizacin.
Mejora personal y profesional.
Certificacin de competencias.
Aumento de motivacin.
Generacin de nuevas necesidades de
formacin.
Evaluacin final: instrumentos, evaluadores,
modelo, decisiones
Adquisicin de competencias
Tabla 5.7: Objetos de evaluacin en el diseo, desarrollo y resultados de programas de formacin de
formadores en el contexto de la formacin ocupacional.
Como podemos apreciar los objetos de evaluacin son mltiples y variados y se

extienden a lo largo de los momentos de la actuacin didctica.
236
5.5.2 . Las finalidades y momentos de evaluacin.

En el modelo de evaluacin de programas de formacin de formadores propuesto se
establecen cuatro grandes finalidades en la evaluacin que, evidentemente se
realizan en cuatro momentos distintos. Como hemos podemos constatar en el marco
terico, la dimensin temporal y teleolgica caminan paralelamente, por lo que
parece lgico que si establecemos cuatro finalidades para la evaluacin tambin
establecemos que stas se llevarn a cabo en cuatro grandes momentos. De hecho,
cuando ponemos de manifiesto los objetos de evaluacin estamos implcitamente
asumiendo que la evaluacin se realizar en los cuatro momentos de la accin
formativa; el momento inicial (necesidades, contexto, diseo del programa), el
momento continuo (implementacin y desarrollo del programa), el momento final
(resultados a corto plazo), y el momento diferido (resultados a medio y largo
plazo).
En este sentido, las finalidades de la evaluacin de programas de formacin de
formacin son:
Finalidad diagnstica, que realizaremos en un momento inicial, para:
-
valorar la pertinencia de los diseos de los programas de formacin de

formadores a las necesidades de formacin, a los contextos
sociolaborales y al perfil profesional del formador.
Valorar la coherencia de los diseos de los programas de formacin

de formadores.
analizar las caractersticas de los destinatarios para la configuracin

de los grupos de incidencia.
Determinar la viabilidad del programa de formacin de formadores en

el contexto de la formacin ocupacional y en el contexto institucional.
Finalidad formativa, realizada en un momento continuo, para:

-
Identificar los aspectos problemticos y crticos del programa en el

transcurso de su desarrollo.
Mejorar las posibilidades del programa durante su desarrollo,

ajustando, acomodando o, si es el caso, cambiando las estrategias
metodolgicas.
Valorar las posibilidades de los participantes y su consecucin de

logros parciales, as como la de su participacin, implicacin,
motivacin, actitud en el proceso de desarrollo.
Finalidad sumativa, realizada en el momento final, para:

237
Verificar la consecucin de los objetivos del programa.
Valorar la eficacia y eficiencia del mismo del programa de formacin

de formadores.
Determinar los efectos positivos y negativos de los programas de

formacin de formadores.
Certificar las competencias del formador.
Ms interesante, en este sentido, es la evaluacin con una finalidad de impacto,

realizada en el momento diferido, ya que nos permite:
-
Valorar si los programas de formacin de formadores han producido

los cambios previstos o no previstos en las prcticas profesionales de
los formadores.
Verificar la bondad o xito del programa a partir de los efectos

contrastables de las nuevas realizaciones o transferencias de
aprendizajes en el contexto de actuacin, (para el caso cambios en las
competencias del formador de formacin ocupacional), satisfaccin
de las necesidades individuales y sociales, en tal sentido, si existe
promocin profesional, si mejora la situacin de trabajo, si aumenta la
calidad de la actuacin profesional, mejora del clima laboral, de la
motivacin, etc. Esta finalidad es de tremenda importancia porque es
donde podemos valorar si el programa ha sido efectivo o no y si
realmente mejoran las competencias de los formadores o permiten su
desarrollo en el contexto de trabajo.
5.5.3 Los agentes de evaluacin.

En el plan de evaluacin de programas de formacin de formadores, como en otro
tipo de programas, la utilizacin de mltiples y variadas fuentes y agentes de
evaluacin es una exigencia para poder garantizar un proceso de evaluacin vlido,
fiable y pertinente. En el modelo propuesto, se deben implicar diversas fuentes y se
debe combinar la evaluacin interna con la evaluacin externa, bajo el principio de
triangulacin.
Para el caso de la evaluacin de los programas de formacin de formadores, los
agentes de evaluacin deben ser los propios implicados en el diseo desarrollo y
evaluacin de los programas (coordinadores o responsables de programas,
formadores, participantes) y otros agentes externos como pueden ser expertos en
formacin de formadores y expertos en planificacin, pero, adems, deben
implicarse los agentes sociales.
Si en de la formacin ocupacional, actualmente, participan y se implican, en
menor o mayor grado, la empresa, los sindicatos y la administracin, sea central
238
autonmica o local, es lgico pensar que, en la evaluacin de los programas de

formacin de formadores que trabajarn en estos contextos, tambin deben
participar e implicarse. De hecho, estos evaluadores pueden ofrecer una visin ms
general de los programas y de los contextos sociales, culturales, econmicos y
laborales en los que se desarrollan. Su particular valoracin nos puede ayudar a
comprender mejor los condicionantes que, en muchos cosos, suponen estos
contextos de trabajo en los que los formadores desarrollarn las competencias que
han adquirido en los procesos de formacin.
Por lo que se refiere, especficamente, a los implicados en los programas queda
justificada su participacin en la evaluacin, ya que son stos los que ms conocen
los programas de formacin. Su opinin es muy pertinente y aunque est, en
ocasiones, cargada de subjetividad, nos aporta mucha informacin para la mejora
del programa.
Quizs la idea ms significativa para la evaluacin de este tipo de programas sea la
generacin de equipos de evaluacin en la que exista una participacin e
implicacin de todos aquellos agentes implicados en el proceso o de aquellos que se
relacionan en el contexto de actuacin
5.5.4
Los instrumentos de evaluacin.
Al igual que los agentes de evaluacin, los instrumentos utilizados para la

evaluacin de los programas de formacin de formadores han de ser diversos y
multivariados, bajo el principio de la multivariedad.
En el modelo propuesto para la evaluacin de programas de formacin de
formadores, se utilizarn el cuestionario, la entrevista, la observacin y el
anlisis documental.
La eleccin del cuestionario se justifica por la necesidad de recoger, de una manera
rpida, informaciones relativas, al diseo, desarrollo y evaluacin del programa de
formacin de formadores, a un numero elevado de personas implicadas en el
programa y de otras no implicadas directamente. Un cuestionario que debe
considerar todos los indicadores que hemos establecido en el anlisis de los objetos
de evaluacin. Evidentemente que asumimos que la informacin recogida en el
cuestionario no es una informacin profunda de las problemticas y virtualidades
del programa, pero si que nos permite realizar una primera radiografa sobre los
aspectos ms relevantes del programa.
Por esta razn debemos realizar entrevistas a los responsables/coordinadores de los
programas, a los formadores y a los participantes para indagar y profundizar en los
todos los aspectos del programa. Esta indagacin de problemticas y virtualidades
nos va a permitir comprender mejor el porque de las valoraciones realizadas y los
fenmenos analizados. Estas entrevistas, a su vez, se realizan a agentes externos, en
este caso, a expertos en formacin de formadores y agente sociales con el objetivos
239
de recopilar informacin para que, posteriormente, pueda utilizarse como contraste

de las valoraciones realizadas por las personas implicadas en los programas.
Otro de los instrumentos que han de utilizarse es la observacin, que, en el mejor de
los casos, debera de ser una observacin participante, porque son los propios
implicados los que deberan valorar los procesos de planificacin, desarrollo y
evaluacin de los programas de formacin de formadores en los que participan. Este
anlisis, aunque puede ser subjetivo, facilita el proceso de toma de decisiones para
la mejora del mismo. Indudablemente, la implicacin de una observacin externa,
proporcionar una visin ms objetiva e imparcial. Esta combinacin nos ayudar
obtener una informacin ms intersubjetiva , fiabilizando y validando la recogida de
informacin.
El anlisis de contenido de los distintos documentos del centro nos aportar una
visin ms cualitativa de los programas y de los documentos institucionales. Esta
revisin nos ayudar a comprender la poltica formativa, su filosofa y lneas de
actuacin. Este anlisis, juntamente con la informacin recogida a travs de las
entrevistas permitirn caracterizar los centros e instituciones que planifican y
desarrollan programas de formacin de formadores. En nuestro caso, instituciones
de mbito universitario o consultoras privadas, dedicadas a la formacin de
formadores en el contexto de formacin en y para la empresa.
5.5.5 Los criterios y referentes de evaluacin.
Dimensin evaluativa es una de las ms importantes y necesarias en la evaluacin
de programas y concretamente para la evaluacin de programas de formacin de
formadores. Esta fuente de criterios, que surgen del referente en el que nos
situamos, es la que nos va a permitir la emisin de juicios de valor de la
informacin recogida. Estos criterios debern consensuarse por todo el equipo
evaluador ya que es el garante de que todo los implicados en el proceso evaluador
puedan valorar la informacin bajo la misma visin o perspectiva.
Para nuestra propuesta, y como queda definido en el grfico general (grfico 8), el
referente de evaluacin viene determinado por el propio contexto en el que nos
movemos, la formacin en y para la empresa. En este contexto, todo tipo de
programas y, en concreto, los programas de formacin de formadores deben
adecuarse a los perfiles profesionales definidos anteriormente: es decir, por las
capacidades y competencias, en este caso, de los formadores. Este referente es
indiscutible desde la lgica de la formacin para el desarrollo y adquisicin de
competencias. Si stas no se definen difcilmente se podrn poner en juego en los
programas de formacin de formadores, concretamente en la seleccin de los
contenidos y en el diseo las estrategias necesarias para ese desarrollo de
competencias.
A partir de este referente surgen criterios como la adecuacin, pertinencia o
idoneidad, suficiencia de los programas a los perfiles profesionales. Por esta razn,
240
creemos oportuno implicar estos criterios en la evaluacin de programas de

formacin de formadores.
Otro de los referentes importantes es el sistema de necesidades sociales e
individuales de las que se deben justificar los programas de formacin de
formadores. Cuando decidimos realizar un programa de formacin es porque se han
detectados unas necesidades formativas que provienen, de los cambios contextuales,
es decir de necesidades sociales, de necesidades de la empresa o de las
organizaciones, o bien de las necesidades individuales. En este sentido los
programas de formacin de formadores han de responder a las necesidades de
formacin de los que son deudores. Los criterios implicados son los de pertinencia
a las necesidades de formacin, suficiencia del programa y efectividad en relacin
con la satisfaccin final de las mismas.
No podemos olvidar, por otra parte, que el contexto sociolaboral, econmico,
cultural en el que nos movemos es un referente clave en la evaluacin de
programas de formacin de formadores. Estos programas han de ser coherentes con
los cambios tecnolgicos, laborales, econmicos que se producen en dichos
contextos y ha de ser la base para la determinacin de las estrategias de formacin
incluidas en los programas de formacin de formadores. De alguna manera, este
referente est muy ligado al anterior, ya que son, justamente, estos cambios los que
generan nuevas necesidades de formacin y nuevas competencias para los perfiles
profesionales del formador.
Por ltimo no podemos olvidar como referente para nuestra evaluacin, el modelo
de formacin de formadores adoptado; el modelo contextual-crtico.
La elaboracin de un programa responde tambin a una concepcin particular de la
formacin de formadores y de un modelo de formacin. En nuestro caso, como
hemos justificado en captulos anteriores, el modelo contextual crtico es el modelo
considerado ms pertinente para el contexto en el que actuamos, un modelo que
considera el contexto como eje vertebrador, por lo que los contenidos de la
formacin deben adecuarse a esa realidad cambiante a la que hacamos referencia.
Tambin porque introduce otro elemento, cual es el de la reflexin en y sobre
accin como mecanismo para la innovacin, una innovacin que nos ha de llevar
necesariamente a la transformacin de nuestra prctica y de nuestra realidad. Por
esta razn, los programas de formadores deben hacer competentes a los formadores
en estos procesos, pero adems debe permitir la transferencia de aprendizajes en el
puesto de trabajo para ayudar, desde una visin crtica, a mejorar y transformar esos
entornos. Aqu el criterio de aplicabilidad en el puesto ser un criterio importante
para valorar si los programas producen los cambios deseados para la transformacin
de nuestras realidades de trabajo.
241
. LA EVALUACIN DE PROGRAMAS DE FORMACIN DE FORMADORES. ............... 193

5.1
5.2
5.3
5.4
INTRODUCCIN. ....................................................................................................................... 193

EN TORNO AL CONCEPTO DE EVALUACIN EDUCATIVA............................................................ 194
. DIMENSIONES DE LA EVALUACIN. ........................................................................................ 198
. LA EVALUACIN DE PROGRAMAS........................................................................................... 216
5.4.1
Conceptualizacin ............................................................................................................. 216
5.4.2
El proceso de evaluacin de programas............................................................................ 219
5.5
LA EVALUACIN DE PROGRAMAS DE FORMACIN DE FORMADORES EN EL CONTEXTO DE LA
FORMACIN OCUPACIONAL. .................................................................................................................... 232
5.5.1
Los objetos de evaluacin.................................................................................................. 235
5.5.2
. Las finalidades y momentos de evaluacin...................................................................... 237
5.5.3
Los agentes de evaluacin. ................................................................................................ 238
5.5.4
Los instrumentos de evaluacin......................................................................................... 239
5.5.5
Los criterios y referentes de evaluacin. ........................................................................... 240
NDICE DE GRFICOS.
Grfico 5.1: Elementos configuradores en la definicin de evaluacin. (Ferrndez, 1993:10)................... 198
Grfico 5.2:Dimensiones bsicas de la evaluacin educativa, Tejada, (1997:247). .................................... 199
Grfico 5.3:Ventajas e inconvenientes de la evaluacin dentro/fuera.(Fernndez Ballesteros, 1995:34) ... 202
Grfico 5.4: Modelo integrador de evaluacin de programas. (Tejada, 1997:260). .................................... 212
Grfico 5.5: El lugar de la evaluacin en el ciclo de intervencin (Fernndez Ballesteros, 1996:51) ........ 217
Grfico 5.6:Ciclos de intervencin, formas de evaluacin y juicios valorativos (Fernndez Ballesteros,
1995:66). .................................................................................................................................. 219
Grfico 5.7: Relacin entre planificacin y evaluacin de programas (Tejada, 1999:278)......................... 220
Grfico5.8: Instrumentos y fuentes de evaluacin en la evaluacin de proceso. (Tejada, 1998b:78). ........ 227
Grfico 5.9: Instrumentos y fuentes de evaluacin en la evaluacin final y diferida. (Tejada, 1998b:105) 231
Grfico 5.10: Dimensiones, criterios y referente y contextos en la evaluacin de programas de formacin de
formadores. (elaboracin propia). ......................................................................................... 234
NDICE DE TABLAS.
Tabla 5.1: Relaciones entre finalidad y el momento evaluativo (Tejada, 1999:258)................................... 201
Tabla 5.2: Algunos presupuestos de la evaluacin de programas positivista o cuantitativa y naturalista o
cualitativa. (Guba, 1987, cit por Fernndez Ballesteros, 1995:43).) ................................................. 203
Tabla 5.3: Modelos de evaluacin de programas (Tejada, 1999:260) ......................................................... 205
Tabla 5.4: Criterios e indicadores de evaluacin de programas. (a partir deTejada, 1997:255).................. 214
Tabla 5.5: Dimensiones y cuestiones en relacin con la planificacin de la evaluacin. (Jimnez, 1999:180181). .................................................................................................................................................. 215
Tabla 5.6:Estructura metodolgica de la evaluacin en el desarrollo comunitario (Caride, 1989) ............. 220
Tabla 5.7: Objetos de evaluacin en el diseo, desarrollo y resultados de programas de formacin de
formadores en el contexto de la formacin ocupacional. .................................................................. 236
242

Evaluacion de Programas PDF

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Evaluacion de Programas PDF

Hochgeladen von

Copyright:

Verfügbare Formate

Evaluacin de programas de formacin de formadores

5 . LA EVALUACIN DE PROGRAMAS DE FORMACIN

Carme Ruiz Bueno, (2001)

Evaluacin de programas de formacin de formadores

5.2 En torno al concepto de evaluacin educativa.

Carme Ruiz Bueno, (2001)

Evaluacin de programas de formacin de formadores

Alvira (1991: 10-11): emitir juicios de valor, adjudicar valor o mrito a un

Carme Ruiz Bueno, (2001)

Evaluacin de programas de formacin de formadores

Cabrera (1987:101): proceso sistemtico de obtener informacin para

Carme Ruiz Bueno, (2001)

Evaluacin de programas de formacin de formadores

Despus de este largo recorrido histrico, y en consonancia con Tejada (1997), se

Carme Ruiz Bueno, (2001)

Evaluacin de programas de formacin de formadores

Grfico 5.1: Elementos configuradores en la definicin de evaluacin. (Ferrndez, 1993:10)

5.3 . Dimensiones de la evaluacin.

Carme Ruiz Bueno, (2001)

Evaluacin de programas de formacin de formadores

Coherencia con las

Grfico 5.2:Dimensiones bsicas de la evaluacin educativa, Tejada, (1997:247).

El autor considera siete dimensiones bsicas de la evaluacin educativa, que de

Evaluacin de programas de formacin de formadores

(1993:10): todo y todos, no slo los alumnos, deben ser objeto de

Evaluacin de programas de formacin de formadores

importante aadir otro momento en la evaluacin, la evaluacin diferida,

Tabla 5.1: Relaciones entre finalidad y el momento evaluativo (Tejada, 1999:258)

En la prctica no siempre se evidencia el paralelismo establecido, ya que a

Evaluacin de programas de formacin de formadores

estar presente ya en la recogida de datos. Es necesario, en una palabra, la

Grfico 5.3:Ventajas e inconvenientes de la evaluacin dentro/fuera.(Fernndez Ballesteros, 1995:34)

Al margen de utilizar una u otra, en la prctica suelen combinarse todas,

Evaluacin de programas de formacin de formadores

metodologas, pero aun ms importante es el cambio de actitudes respecto la

Tabla 5.2: Algunos presupuestos de la evaluacin de programas positivista o cuantitativa y naturalista o

Evaluacin de programas de formacin de formadores

Al margen de estas diferencias, lo que si parece cierto es que dada la

Carme Ruiz Bueno, (2001)

Evaluacin de programas de formacin de formadores

Sin referencia a metas

Tabla 5.3: Modelos de evaluacin de programas (Tejada, 1999:260)

Carme Ruiz Bueno, (2001)

Evaluacin de programas de formacin de formadores

Carme Ruiz Bueno, (2001)

Evaluacin de programas de formacin de formadores

Carme Ruiz Bueno, (2001)

Evaluacin de programas de formacin de formadores

Limitaciones tcnicas determinadas por la seleccin y clarificacin de los

Evaluacin de programas de formacin de formadores

y su proceso, por el uso exclusivo de test y pruebas estandarizadas para la

Carme Ruiz Bueno, (2001)

Evaluacin de programas de formacin de formadores

Evaluacin de programas de formacin de formadores

Este planteamiento evaluativo utiliza modelos, esquemas y conceptos para

Carme Ruiz Bueno, (2001)

Evaluacin de programas de formacin de formadores

ADECUACIN DEL PROGRAMA

ADECUACIN DEL PROGRAMA

ADECUACIN DEL PROGRAMA

Grfico 5.4: Modelo integrador de evaluacin de programas. (Tejada, 1997:260).

Carme Ruiz Bueno, (2001)

Evaluacin de programas de formacin de formadores