Evaluacion y retroalimentacion automatizada en la ense

nanza:
una implementacion especfica.
Eduardo Uresti Charre, Centro de Sistemas Inteligentes, Campus Monterrey.
Resumen
Se describe el desarrollo de un sistema de evaluacion y retroalimentacion automatizada a
un inconcluso. El documento lista sus elementos tecnicos as como la metodologa aplicada en su desarrollo. El
sistema hace uso de un banco de reactivos que evaluan conocimientos y habilidades especficas a un area.
En el artculo se discute como un banco de reactivos puede ser revisado para ser considerado confiable.
En el estado actual del proyecto, el sistema genera tareas y examenes que pueden distribuirse en forma
impresa o a traves de WEB. A partir de las respuestas que el educando proporciona a las preguntas
formuladas, tambien a traves de WEB, el sistema construye una base de datos de respuestas de alumnos.
En su desarrollo completo, el sistema ejecutara sobre dicha base procedimientos estadsticos y de minera de datos para obtener conclusiones sobre el desempe
no individual y grupal. En una etapa avanzada
de desarrollo, el sistema podra utilizar dichas conclusiones para sugerir lecturas adicionales y/o generar
tareas especficas ya sean individuales o grupales. En nuestro caso, el sistema se esta utilizando en el

curso de Algebra
Lineal (Ma-843).

1.

Introducci
on

La evaluacion es un tema central en la educacion. En la academia mucho ha sido el esfuerzo

invertido en buscar nuevas formas de presentar un cierto conocimiento; en construir para el alumno
los contextos adecuados donde los conocimientos sean mas facilmente adquiridos. Pero una vez
hecho esto, debemos estar claros en como el estudiante demuestra que aprendio cierto contenido,
en que problemas debe ser capaz de resolver. Si es el caso, tambien debemos estar claros en como
construir el conjunto de ejercicios adecuados en graduacion y en cantidad para que el estudiante
consolide su saber. Alcanzar el consenso de las formas en las cuales un alumno demuestra un cierto
saber no es tarea sencilla. Tampoco es sencillo la determinacion adecuada del n
umero de ejercicios
realizados por el alumno para declararse poseedor de un cierto saber.
El efecto positivo de una retroalimentacion no esta a discusion. El sentido com
un, la experiencia
docente, y los analisis educativos [1] muestran las bondades de una retroalimentacion adecuada. Sin
embargo, un hecho frecuente que acontece en nuestros cursos es que no tenemos resultados sobre
el desempe
no de nuestros estudiantes hasta despues de los examenes. Es decir, cuando la toma de
medidas correctivas esta fuera de tiempo. Por ello es que tener informacion sobre el conocimiento
del estudiante con anticipacion permitira tomar nuevas acciones y poder llegar a la evaluacion en
mejores condiciones. Esto es aplicable tanto por estudiante como por grupo de estudiantes. Hacer
que esta informacion este disponible con suficiente tiempo previo a los examenes implica esfuerzos
y tiempos a veces no disponibles cuando se trabaja con grupos numerosos.
La automatizacion en los procesos de evaluacion y retroalimentacion es deseable y va acorde con
los avances informaticos, la eduacion a distancia, y las necesidades de las instituciones por alcanzar
uniformidad y mas altos niveles educativos. En lo que respecta a nuestra institucion, los procesos de
preparacion y aplicacion de examenes institucionales han sido complejos y a veces costos, tambien
se puede decir que los resultados han sido cuestionados por los mismos profesores. Mucha de la
argumentacion de ellos es que los examenes frecuentemente contienen problemas de variada y a
veces inesperada facilidad o dificultad, probando en general que aparecen reactivos que tienen poca
tiempo de prueba.
El presente desarrollo se considera relacionado con los correspondientes en el area de tutores
inteligentes [2, 3, 4, 5], pero en el esquema utilizado en dichos sistemas informaticos el educando
1

estaba interactuando durante un cierto tiempo con el sistema, el cual elaboraba una serie de inferencias estadsticas sobre su conocimiento. En el esquema propuesto, los tiempos son largos y la
informacion viene contenida en las respuestas del alumno a las tareas asignadas durante la clase.

2.

Objetivo

El objetivo del proyecto consiste en la creacion de un sistema de evaluacion y retroalimentacion

automatizada que permitira hacer evaluaciones confiables y oportunas, y que podra sugerir acciones correctivas en caso de que fallas en el aprendizaje fueran detectadas. Este sistema dara
retroalimentacion a cada alumno que este supervisando y al profesor le reportara el estado del
grupo en lo general. La construccion de este sistema y sus metodologas estan proyectadas para ser
independientes del banco de reactivos que se este utilizando pero este debera generar respuestas
que se integren con facilidad a las bases de datos que el sistema administra.

3.

Elementos y Metodologas
Los siguientes elementos son importantes en el desarrollo de un sistema como el propuesto.

3.1.

Banco de reactivos

Un banco de reactivos confiable es la base de la evaluacion. Para permitir la automatizacion de

la evaluacion, la eleccion natural de los reactivos es que estos sean del tipo opcion m
ultiple o del tipo
respuesta numerica, debido a que las respuestas de los alumnos a estos pueden revisarse por medio
de un sistema informatico. Este banco de reactivos debe constar de un n
umero grande de problemas
para evitar la memorizacion por parte de los estudiantes. En nuestro caso concreto, hemos construido
bancos de problemas utilizando el concepto de problemas parametrizados. En este tipo de reactivos,
el enunciado y/o las respuestas contienen parametros los cuales pueden ser instanciados en cierto
conjunto de valores. De manera que, cuando se requiere un reactivo de este tipo para constituir una
tarea o examen, lo que se incluye es una version de este reactivo donde los parametros han tomado
valores especficos. Por su naturaleza, cada una de las instancias del problema evaluan el mismo
contenido y, cuando este ha sido adecuadamente dise
nado, la dificultad es casi identica para las
diferentes instancias. A manera de ilustracion, la figura 1 contiene la codificacion de uno de estos
problemas parametrizados contenidos en el banco de reactivos de algebra lineal. Esta definicion
de problemas parametrizados permite que cada uno de ellos pueda contener un n
umero grande de
problemas especficos. En el ejemplo citado, el reactivo contiene 636 = 108 problemas diferentes.
Algunas plataformas informaticas como Blackboard(BB) o Lotus Notes/Learning Space(LN)
integran bancos de reactivos pero tienen los siguientes inconvenientes. Hasta donde mi conocimiento
llega, estos sistemas no manejan el concepto de reactivo parametrizado, lo cual implica que el banco
de preguntas debe ser realativamente grande para evitar efectos de memorizacion y copia. Tambien,
el tipo de preguntas que se pueden revisar en forma automatica por el sistema son de opcion m
ultiple
o del tipo verdadero-falso; en nuestro sistema las preguntas que se califican automaticamente pueden
ser ademas: de respuesta numerica, como un simple n
umero decimal o de n
umero en formato de
hora o de por ciento, de lista de respuestas numericas, y de respuestas numericas desordenadas.
Estos tipos adicionales de preguntas le ocasionan al profesor menos limitaciones en la elaboracion
de reactivos y le permiten construir problemas donde no se le proporciona al alumno pistas o
2

datos para determinar la solucion del problema a resolver. Otro inconveniente mencionable es lo
trabajoso, o a veces imposible, que resulta integrar al banco de reactivos un problema con formulas
matematicas en su enunciado o en sus opciones.
Construido un banco de reactivos, el siguiente paso es determinar su confiabilidad. Esta puede ser
establecida utilizando la teora de respuestas de tems y el analisis de Rasch como aparecen descritos
por Wright [6] o en el manual de referencia tecnica del CENEVAL [7]. Este tipo de metodologa
permitira determinar la calidad de cada reactivo. Entre los elementos de calidad importantes estan:
el grado de descriminacion de un reactivo, el grado de dificultad del mismo, y el analisis de sus
distractores. En el momento actual se esta trabajando en la implementacion de las metodologas
para el analisis.
Hasta donde mi conocimiento llega, los sistemas informaticos como BB y LN no incluyen analisis
sobre el banco de reactivos. Existen sistemas como el ITEMAN que realizan este analisis pero son
sistemas independientes. En el sistema que se desarrolla los elementos estan integrados.
3.2.

Manejo de la informaci
on

La plataforma ideal para el intercambio de informacion es WEB; todos nuestros alumnos tienen
acceso a ella. En el estado actual del sistema los documentos de tareas o examenes se generan a
traves de documentos PDF los cuales son de facil despliegue e impresion; la figura 2 ilustra alguno
de ellos.
Cabe mencionar que en nuestro caso especfico de la materia de algebra lineal, la impresion
de formulas matematicas nos implico una dificultad adicional, debido a que lo que se desea es
que inclusive las formulas esten parametrizadas, y por consiguiente, no es conveniente generar
documentos con procesadores como Word. Esto nos ha obligado a utilizar el procesador de textos
conocido como TEX y su conjunto de macros LATEX. Esta combinacion con una base de reactivos
en el paquete Mathematica nos ha permitido generar examenes con una excelente tipografa y facil
generacion de reactivos parametrizados.
La captura de respuestas del estudiante se automatiza por medio de una pagina WEB. La figura
3 ilustra como de obtienen las respuestas del los estudiantes. La informacion es almacenada en una
base de datos de MySQL mediante programas en PHP. A traves de esta combinacion, las bases de
datos de las respuestas de los alumnos son formadas.
3.3.

Procesamiento de la informaci
on

Una vez capturadas las respuestas el sistema revisa la validez de los datos del alumno y las
fechas de entrega de la tareas. Si todo esta en regla procede a revisar y el alumno recibe en forma
instantanea la calificacion obtenida. El sistema no despliega las respuestas correctas sino hasta que
el periodo de entrega de la tarea se haya cumplido. La figura 4 muestra la calificacion entregada por
el sistema a un envio de respuestas. Posterior a la fecha de entrega de la tarea, el estudiante puede
consultar las respuestas correctas. Todas estas transacciones de informacion son registrados por
sistema en una base de datos. El proceso de analis de resultados para la generacion de conclusiones
y sugerencias a
un no ha sido iniciado. Para ello se hara una revision de la literatura del area.

4.

Resultados

A la fecha se tienen bancos de reactivos para las materias de algebra lineal (Ma-843) y ecuaciones diferenciales (Ma-841). El banco de algebra lineal consta a la fecha de aproximadamente 500
reactivos, parametrizados casi en su totalidad. Y el banco de ecuaciones consta aproximadamente
igual n
umero. La figura 6 contiene una vista parcial del banco.
Actualmente se hace uso de dicho banco de problemas para la generacion de tareas y examenes.
Las ventajas de los problemas parametrizados se hacen patentes en su uso; por ejemplo, para cada
una de las tareas del curso se generan 11 tipos diferentes. El tipo -1 es parcialmente resuelto por el
profesor en el salon de clase a nivel de realizacion de ejemplos. Los tipos restantes, del 0 al 9 son
realizados por los estudiantes. Cada alumno hace un tipo diferente dependiendo del dgito menos
significativo de su matrcula. Esto tiene el efecto de reducir sensiblemente el proceso de copia, e
induce a los alumnos en aprender los procesos de solucion. Para los examenes se aplica un proceso
identico: se genera un examen diferente para cada alumno.
La captura de respuestas de tareas y la calificacion automatica de las mismas se encuentra ya
implementada y se realiza a traves de WEB: la figura 3 muestra un envio de las respuestas de una
tarea especfica y la figura 4 muestra la calificacion obtenida por el alumno. La lista de calificaciones
de una tarea es facilmente obtenida por el profesor haciendo uso del sistema actual. La figura 7
ilustra el listado de calificaciones de un grupo para una tarea; esta informacion puede ser copiada
y pegada facilmente a una hoja de excel.
Como hemos mencionado en apartados anteriores, esta en proceso la aplicacion de analisis de
reactivos sobre los bancos construidos. En este caso hemos planeado utilizar los manuales tecnicos
del CENEVAL as como la metodologa publicada en el libro de Wright [6]. Tambien esta en el futuro
la realizacion del sistema que utilizando las respuestas de los estudiantes para obtener conclusiones
dirigidas tanto al estudiante como para el maestro. Para ello, hemos planeado la utilizacion de
tecnicas del area de inteligencia artifical conocida como minera de datos (data mining) [8] y tecnicas
estadsticas.
El sistema ha sido empleado previamente para generar: examenes finales de un buen n
umero de
materias del departamento de matematicas, examenes de acreditacion de materias de la EGADE,
e inclusive para generar en alguna ocasion examenes de evaluacion de conocimientos para capacitadores, supervisores y asistentes electorales para el consejo local del IFE en Monterrey (2000).

5.

Capitalizaci
on

Ademas del uso del sistema de parte del profesor desarrollador, se ha considerado que otros profesores hagan del mismo, inclusive desde otros campus; las bases de datos han sido preparadas para
aceptar tareas de diferentes profesores, con diferentes tiempos de entrega. Tambien sera posible que
diferentes profesores puedan dise
nar diferentes tareas que vayan mas de acuerdo con los contenidos
de sus cursos y los niveles academicos de sus alumnos. El sistema podra generar diferentes tipos
de examenes tanto para cursos especficos, como examenes de ubicacion, diagnostico, y preparacion
para examenes de acreditacion.
Concluimos listando lo que consideramos aciertos del proyecto:
1. El uso de banco de reactivos parametrizados,
2. La calidad de impresion equivalente a un libro de matematicas,
4

3. El uso de WEB y bases de datos para el manejo de la informacion,

4. La integracion del modulo para la evaluacion de reactivos,
5. La retroalimentacion automatica al alumno, y
6. Los indicadores al maestro del desempe
no individual y grupal.

Referencias
[1] G. Salmeron, Analisis estadstico de una metodologa de retroalimentacion academica, Masters thesis, ITESM, 1990.
[2] D. Sleeman and J. Brown, Intelligent Tutoring Systems. London: Academic Press, 1983.
[3] A. V. Arroyo, Analisis de un sistema experto para la eduacion, Masters thesis, ITESM, 1986.
[4] A. Zubieta, Modelo del estudiante en los tutores inteligentes, Masters thesis, ITESM, 1990.
[5] G. Alapizco, Tutor inteligente en calculo proposicional, Masters thesis, ITESM, 1991.
[6] B. Wright and M. Stone, Best Test Design. Chicago Ill: University of Chicago, 1979.
[7] R. Vidal, Y. Leyva, A. Tristan, and F. Martnez, Manual tecnico, tech. rep., CENEVAL, 2000.
[8] M. Berry and G. Linoff, Data Mining Techniques. John Wiley and Sons, 1997.

Figura 3: Captura de respuestas a las tareas

Figura 1: Un ejemplo de un reactivo parametrizado

del banco de algebra lineal

Figura 2: Un ejemplo de tarea publicada por el sistema

Figura 4: Calificacion entregada por el sistema a un
envio de respuestas

Figura 5: Respuestas correctas solicitadas por un

alumno al sistema

Figura 7: Listado de calificaciones de un grupo en

una tarea

Figura 6: Banco de reactivos para Ma-843