Beruflich Dokumente
Kultur Dokumente
CUADERNO DE TRABAJO
DISEO Y OPERACIN DE INSTRUMENTOS DE
EVALUACIN
Temario
1. RECAPITULACIN DE CONCEPTOS BSICOS SOBRE LA
EVALUACIN EDUCATIVA
1.1Definicin y vocabulario.
1.2 Funciones y propsitos.
1.3 Tipologa de la evaluacin.
1.4 Validez y confiabilidad en la evaluacin.
1.1Definicin y vocabulario.
LA EVALUACIN EDUCATIVA: CONCEPTOS, FUNCIONES Y
TIPOS.
La evaluacin es hoy quiz uno de los temas con mayor protagonismo del
mbito educativo, y no porque se trate de un tema nuevo en absoluto, sino porque
administradores, educadores, padres, alumnos y toda la sociedad en su conjunto,
son ms conscientes que nunca de la importancia y las repercusiones del hecho
de evaluar o de ser evaluado. Existe quiz una mayor consciencia de la necesidad
de alcanzar determinadas cotas de calidad educativa, de aprovechar
adecuadamente los recursos, el tiempo y los esfuerzos y, por otra parte, el nivel de
competencia entre los individuos y las instituciones tambin es mayor.
Quiz uno de los factores ms importantes que explican que la evaluacin
ocupe actualmente en educacin un lugar tan destacado, es la comprensin por
parte de los profesionales de la educacin de que lo que en realidad prescribe y
decide de facto el "que, cmo, por qu y cundo ensear" es la evaluacin. es
decir, las decisiones que se hayan tomado sobre "qu, cmo, por qu y cundo
evaluar". En general, uno de los objetivos prioritarios de los alumnos es satisfacer
las exigencias de los "exmenes". En palabras de A. de la Orden (1989): "la
evaluacin, al prescribir realmente los objetivos de la educacin, determina, en
gran medida... lo que los alumnos aprenden y cmo lo aprenden, lo que los
profesores ensean y cmo lo ensean, los contenidos y los mtodos; en otras
palabras, el producto y el proceso de la educacin... quermoslo o no, de forma
consciente o inconsciente, la actividad educativa de alumnos y profesores est en
algn grado canalizada por la evaluacin".
Todos estos factores han llevado a una "cultura de la evaluacin" que no se
limita a la escuela sino que se extiende al resto de las actividades sociales.
Resumen
Abstract
This paper presents an analysis of classroom-based assessment by means of a
discussion of its purposes, validity and reliability. To this end, its purposes were
defined based on the stakeholders and concepts of quality; subsequently, validity
and reliability criteria were posited in light of the nature of the educative process.
The article proposes three types of strategies for appraising the validity and
reliability of classroom-based assessments.
I. Introduccin
Sobre la naturaleza del acto educativo: Donde (1) la mayora de las teoras del
test trabajan con muestras de gran tamao mientras que los docentes tienen un
tamao proporcionalmente pequeo de estudiantes (Brookhart, 2003), (2) la
evaluacin a gran escala evala contenidos o habilidades genricos o comunes
(pensamiento o comprensin) mientras que la evaluacin escolar tiene gran
inters en contenidos curriculares disciplinares o muy especficos y propios de un
curso y una metodologa didctica (Aiken, 1996), (3) la evaluacin en el saln de
clases y la instruccin se encuentran estrechamente ligadas (Brookhart, 2003;
McMillan, 2003) por lo que (4) la evaluacin en el aula es esencialmente de
carcter formativo (Brookhart, 2003; McMillan, 2003).
Existe un relativo consenso en plantear que el mejor punto de partida para definir
la evaluacin del aprendizaje de calidad es la definicin de los propsitos
sustantivos de este proceso (Brookhart, 2009, 2011; De la Orden, 2011). Con este
fin, Brookhart (2011, p. 12) propone reflexionar sobre las preguntas: Qu
significados queremos que la evaluacin tenga? y Quin(es) es/son la(s)
audiencia(s) primaria(s) de los mensajes que se derivan de la evaluacin? y ello
complementa a la funcin que seala De la Orden (2009, en De la Orden 2011, p.
2) para la evaluacin en la educacin: optimizar su estructura [(de la educacin)],
proceso y producto actuando como un mecanismo de retroalimentacin de tales
sistemas para asegurar su permanencia, eficacia y funcionalidad.
Por lo tanto, la evaluacin del aprendizaje debera servir al propsito de ser un
mecanismo que, desde una perspectiva sistmica, vigile las diferentes relaciones
de coherencia (De la Orden et al., 1997) entre insumos, procesos, productos,
contextos y propsitos/metas en aula, a travs de la dotacin de significados
pertinentes y dirigidos a los diferentes actores implicados en pos de su
actuacin para la mejora continua. Dichas relaciones de coherencia (De la
Orden et al., 1997) se traducen en concepciones de calidad como: eficacia,
eficiencia y pertinencia-relevancia (Muoz-Izquierdo, 2009).
Una vez que se clarifica el tipo de finalidades que se desea, se deber replantear
el significado de los procesos mismos de evaluacin (Brookhart, 2003). Ello remite
a la existencia de caractersticas, criterios o elementos que el proceso de
evaluacin, sus herramientas, instrumentos y estrategias deberan de poseer.
Algunos de stos, que emergen de la literatura sobre la evaluacin del aprendizaje
en el aula son: precisin, especificidad, momento adecuado de aplicacin
(Reeves, 2011), justicia (Brookhart, 2004; Camara y Lane, 2006; Reeves, 2011) y
utilidad (Brookhart, 2004). Sin embargo, se contina considerando como
imprescindibles para la evaluacin en aula a la validez y confiabilidad (Allen,
2005; Brookhart, 2004; De la Orden, 2011; Gullickson, 2003; Hidalgo, 2005;
Hopkins, 1998; Li, 2003; McMillan, 2003; Mislevy, 2004; Moss, 1994; Moss, 2004;
Shepard, 2000; Stiggins, 2004; Teasdale y Leung, 2000). Es por esto que se ha
optado por que las siguientes secciones del presente trabajo tengan como
cometido el repensar estos conceptos en el aula.
Es por esto que diferentes autores sugieren que una evidencia de especial
relevancia que se debera de retomar es la coherencia entre los criterios y modos
de evaluacin, el proceso didctico, el currculum y la finalidad (o significado)
misma de la evaluacin en un contexto determinado (Brookhart, 2003; Brookhart,
2004; De Caimillaniet al., 2001; De la Orden, 2011; McMillan, 2003; Smith, 2003).
En otras palabras y como afirma De la Orden (2011), la validez de la informacin,
interpretaciones y consecuencias de la evaluacin del aprendizaje en el saln de
clase implicara una validez axiolgica, curricular e instrumental. Por ello, la
validez en el aula no podra ser determinada de manera absoluta sino en relacin
con su adecuacin a los propsitos y situacin especfica de aplicacin (De
Camillan et al., 2001; Moss, 2004; Winter, 2000) y de los contextos en que los
alumnos son evaluados y que, por tanto, influyeron en los desempeos (Moss,
2004). As pues, la validez en contextos escolares debera hacer un especial
nfasis en los anlisis e interpretaciones hechas sobre el rendimiento de un
estudiante (Hidalgo, 2005; Joint Commitee, 2003; Moss, 2004).
demuestre cmo cumple una funcin para la que fue pretendida inicialmente
(Eisner, 1998; Gronlund, 1971; Hopkins, 1998).
Ahora bien, especficamente para las evaluaciones del aula, valdra la pena
preguntarse: Qu significara entonces la confiabilidad de una medicin o
interpretacin que slo se va a administrar una nica vez para una nica
persona? (Smith, 2003). En este sentido, resulta interesante la definicin de la
confiabilidad de la evaluacin en el aula propuesta por el Joint Commitee (2003):
el grado de consistencia entre las puntuaciones o informacin obtenida de un
proceso de recoleccin de datos.
Otros ejemplos de la falta de coherencia entre las teoras del test y las
evaluaciones en el aula son el hecho de que: (1) en la teora clsica, la diferencia
entre los puntajes de una aplicacin y otra no sera consideradas como
aprendizaje sino como un error en la administracin o un efecto de la prctica
sobre el test (Lamprinou y Christie, 2009; Smith, 2009); (2) en las teoras de la
medida los reactivos deberan poder discriminar entre los sujetos que saben y no
saben (Tristn, 1998; Chvez y Saade, 2010). Es decir, un tem que todos los
estudiantes respondan bien o mal, no contribuira a la confiabilidad (Smith, 2003).
En este sentido, este tipo de tems (que por ejemplo, obtendran correlaciones
biseriales cercanas a 0.0) deberan de ser descartados bajo las sugerencias
clsicas de la teora del test (cfr. Chvez y Saade, 2010). Una vez ms, esto ira
en contra de lograr el aprendizaje para todos o de movimientos instruccionales
como el Mastery Learning (Araisan, Bloom y Carroll, 1971). Por ello, habra que
cuestionarse si, al menos en contextos ulicos, existira la posibilidad de definir (o
incluso fijar) los parmetros o la probabilidad de ejecucin de un tem o de un
sujeto. Y, por ltimo, (3) tanto la teora clsica como la de generazibilidad y la de
respuesta al tem funcionan bajo el supuesto de unidimensionalidad, donde los
constructos de inters son ortogonales (no se relacionan) (Parkes, 2007). En la
educacin y ms an con nuevas corrientes como la educacin basada en
competencias, esto implicara ir en contra de la integracin de los aprendizajes.
La tcnica del interrogatorio debe merecer la atencin del docente por ser uno
de los mejores instrumentos del campo didctico como auxiliar en la accin de
educar. Cuando asume al carcter de dilogo, de conversacin, conduce al
docente a conocer mejor a su alumno.
Sin embargo, ninguna otra tcnica se utiliza tan mal como sta en
nuestras escuelas, debido al carcter represivo que ha asumido. El
interrogatorio ha sido hasta ahora sinnimo de castigo, de forma de sorprender
al alumno desprevenido, de notas bajas.
4.- Verificacin del aprendizaje, con el fin de saber si lo que se enseo ha sido
debidamente asimilado y si no lo ha sido, o si lo ha sido de manera
inconveniente, saber lo que permitir una rectificacin del aprendizaje.
8.-Anulacin de la indisciplina
5.- Preguntas que exigen explicacin; ejemplo: - Cmo se explica que las
costas de la pennsula itlica se llaman Magna Grecia?
6.-Preguntas que exigen anlisis; ejemplo:- Cules son los elementos que
forman el cido clorhdrico?
1.- De S y de NO.
10.- Dirigidas slo a los buenos o los malos alumnos, ya que las mismas deben
distribuirse entre toda la clase
PIAGET Y EL INTERROGATORIO
2.1.1 CUESTIONARIO
2.1.2 ENTREVISTA
La entrevista es un proceso de comunicacin cara a cara, estructurado en torno a
una serie de preguntas previamente preparadas. El fin de las preguntas es
generalmente conocer los puntos de vista del entrevistado sobre ciertos aspectos
de un tema. Como tcnica de evaluacin propicia la recoleccin de datos de
naturaleza cuantitativa y cualitativa.
Esta tcnica permite la captacin inmediata y continua de informacin muy
variada, en funcin del objetivo de la evaluacin. Permite tambin profundizar en
algunos aspectos de inters para quien evala.
Cuando se trata de profesor-alumno, el tono que se suele dar a la entrevista difiere
un poco. Aqu interesa, ms que la formalidad de las respuestas, lo que el alumno
deje entrever a travs de ellas, las reacciones emocionales que presente y el
grado de confianza que manifieste al profesor.
Para que los resultados de la entrevista sean realmente representativos de lo que
se desea evaluar, debe realizarse en un clima que favorezca la comunicacin, sin
demasiada formalidad, dando la impresin de que se trata de una conversacin en
la que el profesor no forzar de ninguna manera el grado de intimidad de las
respuestas.
Esta tcnica se ha utilizado tambin en evaluacin del aprendizaje para la
resolucin de problemas. El profesor describe un escenario o situacin
problemtica y el alumno tiene que explicar cmo lo resolvera y por qu lo hara
de esa forma. Las competencias que permite evaluar adems de conocimientos
tcnicos son: anlisis y solucin de problemas, flexibilidad, toma de decisiones,
comunicacin, organizacin y planificacin.
Instrumento de la entrevista:
El instrumento que acompaa la tcnica es el guin de preguntas o gua de la
entrevista. Para la recoleccin de datos cuantitativos, el guin de la entrevista es
ms cerrado; en la recoleccin de datos cualitativos, el guin puede tener una
estructura bsica de preguntas que ser enriquecida a medida que se desea
profundizar determinados aspectos.
Caractersticas de la entrevista
Tipos de entrevista:
Segn su propsito
De seleccin (definir el perfil del entrevistado)
De evaluacin (evaluacin del desempeo, determinacin de niveles de
desarrollo humano)
De consejo (resolver situaciones conflictivas, influir sobre el entrevistado,
marcarle el camino)
De salida (conocer las razones que originan la salida, obtener
retroalimentacin)
De confrontacin (rectificar cualquier conducta negativa)
Segn su conduccin
Planeada (Recoge de manera sistemtica y precisa la informacin
concreta sobre los aspectos que se desea explorar)
Semi-libre (Hay un plan de la entrevista, pero queda en segundo plano)
Libre (Es fluida y por lo mismo arroja ms informacin, aunque es
impredecible lo que se va a obtener)
De tensin (construir una situacin tensa en la que se pone a prueba al
entrevistado)
Fases de la entrevista:
4. Cima (es el momento en que se considera que se han obtenido los datos
suficientes del entrevistado)
2.1.3 AUTOEVALUACIN
En estos tiempos en los que tanto se habla de calidad en la educacin no
debemos perder de vista que, en una sociedad democrtica y plural una
enseanza de calidad debe ser sinnima de atender a los diferentes ritmos de
estudio y de aprendizaje de los alumnos.
a)Es uno de los medios para que el alumno conozca y tome conciencia de cul es
su progreso individual en el proceso de enseanza y aprendizaje;
d)Es una estrategia que permite al docente conocer cul es la valoracin que
stos hacen del aprendizaje, de los contenidos que en el aula se trabajan, de la
metodologa utilizada, etc.
Principales usos:
La tcnica puede ser usada por el docente en una parte de su curso, como una
estrategia general a lo largo del plan de estudios de una licenciatura o posgrado y
puede ser implementado como una estrategia de trabajo a lo largo de un curso
especfico.
Ventajas:
Desventajas:
Exige que el profesor asuma un nuevo rol: acta como un facilitador en lugar de
ser un maestro convencional experto en el rea y transmisor del conocimiento.
Asumir este nuevo papel puede ser difcil para el docente.
Esta tcnica exige mucho tiempo al profesor para planear el curso y coordinar las
actividades de retroalimentacin de los alumnos.
Cmo se aplica:
a) El problema debe estar en relacin con los objetivos del curso y con problemas
o situaciones de la vida diaria para que los alumnos encuentren mayor sentido en
el trabajo que realizan.
b) Los problemas deben llevar a los alumnos a tomar decisiones o hacer juicios
basados en hechos, informacin lgica y fundamentada. Los problemas o las
situaciones deben requerir que los estudiantes definan qu suposiciones son
necesarias y por qu, qu informacin es relevante y qu pasos o procedimientos
son necesarios con el propsito de resolver el problema.
e) El contenido de los objetivos del curso debe ser incorporado en el diseo de los
problemas.
Primera etapa
Se genera una lista de temas a estudiar que se reparte entre los diferentes
equipos. El profesor vigila y orienta la pertinencia de estos temas con los objetivos
de aprendizaje.
Segunda etapa
Al trmino de cada sesin los alumnos deben establecer los planes de su propio
aprendizaje: identificar los temas a estudiar, identificar claramente los objetivos de
aprendizaje por cubrir y establecer una lista de tareas para la prxima sesin.
Asimismo deben identificar y decidir cules temas sern abordados por todo el
grupo y cules temas se estudiarn de manera individual. Los alumnos tambin
indicarn las funciones y tareas para la siguiente sesin sealando claramente sus
necesidades de apoyo en las reas donde consideren importante la participacin
del profesor.
Sugerencias:
Asociamos las pruebas objetivas a exmenes, pero estos sistemas pueden tener
otros muchos usos. Puede suceder que las pruebas tipo test no nos interesen
como modalidad de examen, pero pueden interesar con otras finalidades. En el
cuadro adjunto enumeramos una serie de usos de este tipo de preguntas.
c) Puesta en comn e intervencin del profesor para dar las respuestas correctas,
responder a las dificultades, etc.
Una primera clasificacin del tipo de tems objetivos viene dada de acuerdo con la
elaboracin o bien la seleccin de la respuesta por parte del alumno.
2.- Las preguntas deben versar sobre algo que merezca la pena saber. Las
preguntas objetivas, si no se pone un cuidado especial, se prestan a comprobar
nimiedades y pueden condicionar hbitos de estudio pobres, excesivamente
memorsticos. Con estas preguntas se pueden comprobar con facilidad
conocimientos de memoria, pero tambin comprensin, capacidad de anlisis,
etc. (con los tests de inteligencia se pretende medir inteligencia, y algo de eso
se mide, y son pruebas objetivas). Aun cuando la materia se preste sobre todo
a un estudio bsicamente de memoria, no es lo mismo comprobar el
conocimiento de hechos y detalles especficos que de principios, leyes,
generalizaciones, etc. Si hay objetivos previamente formulados, habr que
tenerlos en cuenta.
a) Debe ser clara, que centre la atencin del alumno. Puede contener datos o
informacin necesaria para la respuesta y puede haber tambin datos comunes
a varias preguntas.
b) Se debe evitar una formulacin casi idntica a la del texto, apuntes, etc.
para evitar un excesivo memorismo.
e) Debe incluir las expresiones que de lo contrario habra que repetir en cada
alternativa.
1. Todas deben ser de una longitud aproximada (la respuesta correcta no debe
ser la ms larga ...);
1.Cmo buscarlas:
a) Una buena fuente de distractores son los errores comunes, las confusiones
que por experiencia sabemos qu; estos suelen ocurrir distractores tienen un
valor adicional diagnstico porque ayuda a localizar los errores y dar feedback
til a los alumnos;
3 por lo que respecta al test completo, estas preguntas hacen que la fiabilidad
baje algo.