Aplicacin de las TIC a la evaluacin de alumnos universitarios.

Aplicacin de las TIC a la evaluacin de alumnos universitarios

M Jos Rodrguez Conde [1] mjrconde@usal.es Universidad de Salamanca

Introduccin El uso de las nuevas tecnologas en el proceso de evaluacin de los estudiantes universitarios, en el nuevo contexto de aprendizaje dentro del Espacio Europeo de Educacin Superior, creemos que puede constituir un elemento diferenciador respecto a las prcticas evaluativas que hasta ahora se vienen realizando en la Universidad. Como consecuencia del nuevo cambio metodolgico que intenta promover el movimiento de convergencia europea en Educacin Superior, los procesos de evaluacin se vern inmediatamente afectados por el mismo. En base a la bibliografa analizada y a algunas experiencias que venimos realizando en el Instituto Universitario de Ciencias de la Educacin (IUCE) de la Universidad de Salamanca, pensamos que las nuevas tecnologas pueden colaborar en todos estos procesos, no tanto para introducir cambios conceptuales en el mismo, sino como herramientas que permitan utili zar los recursos de tiempo y materiales de manera ms eficiente, tanto para el profesor como para el estudiante. En este sentido conviene reflexionar en torno a algunos considerandos sobre este tema: La piedra angular de una formacin calificada de calidad lo constituye el uso eficaz de la evaluacin. La evaluacin nos permite determinar, entre otros aspectos, el nivel de capacitacin (conocimientos, habilidades, etc.) adquirido por el estudiante. En la actualidad el profesor universitario recurre diariamente a las Tecnologas de la Informacin y Comunicacin en todo el quehacer investigador y docente, por qu no tambin hacer uso de esta nueva tecnologa en el proceso de evaluacin de alumnos? Desde el punto de vista del cliente, las evaluaciones tienen que ser usadas para guiar al discente hacia experiencias de aprendizaje eficaces, confirmando aptitudes, conocimientos y dando motivacin a travs el sentimiento de realizacin. 1. Conceptos previos: Evaluacin de aprendizajes desde una perspectiva formativa y sumativa Para comenzar, hemos de definir y clarificar algunos conceptos en el campo semntico de la "evaluacin" para, de este modo, poder partir de un trmino comn que permita al lector entender a qu tipo de proceso nos vamos a referir en este trabajo. En la literatura angosajona aparecen los trminos evaluation, assessment y research usados indistintamente al referirse a procesos de evaluacin, en algunos casos. Pero cada uno hace alusin a un matiz diferente en la evaluacin, no tanto de personas (estudiantes, en este caso) como de programas, en general. El trmino assessment es utilizado al referirse a la evaluacin de personas (evaluacin de aprendizaje es la traduccin de learning assessment, por ejemplo); en cambio la evaluacin de programas es la traduccin del trmino anglosajn de program evalua tion. Estas diferencias de contenidos en la evaluacin se pueden observar en las publicaciones internacionales de revistas como Assessment & Evaluation in Higher Education, Educational Research and Evaluation, Evaluation in Education, etc. Stufflebeam (1999: 3), en su tratado de evaluacin de programas educativos, define el concepto evaluacin como a study designed and conducted to assist some audience to measure an object's merit and worth. Por otra parte evaluacin, referido a assessment, se utiliza para determinar el nivel objetivo de una
http://campus.usal.es/~teoriaeducacion/rev_numero_06_2/n6_02_art_rodriguez_conde.htm[09/03/2011 10:36:36]

Aplicacin de las TIC a la evaluacin de alumnos universitarios.

variable de inters (puntuacin en una prueba o test, nivel de interaccin, tiempo de respuesta, etc.), constituye una parte del concepto de evaluacin anterior. En nuestro contexto pedaggico (Garca Ramos, 1986; Mateo, 2000) se entiende por evaluacin, en sentido general, aquel conjunto de procesos sistemticos de recogida, anlisis e interpretacin de informacin vlida y fiable, que en comparacin con una referencia o criterio nos permita llegar a una decisin que favorezca la mejora del objeto evaluado. De este concepto nos interesa resaltar tres aspectos. En primer lugar, evaluar no es conocer algo, no es tener una opinin sobre algo y expresarla. Evaluar es un proceso que desarrollamos en tanto que profesionales de la enseanza. Proceso que se atiene a una metodologa, unas tcnicas (condiciones) y que, por tanto, queda lejos del mero conocimiento incidental, de la intuicin, de la opinin. De aqu surge un concepto: medicin. Sin medicin, la sola valoracin induce una opinin subjetiva, no estaramos realizando una evaluacin objetiva. En segundo lugar, evaluamos justamente cuando estamos en condiciones de establecer una comparacin entre la informacin de que disponemos y alguno de los marcos de referencia, criterios o normotipos que rigen nuestra accin. En este caso, se suele diferenciar entre distintos tipos de evaluacin: normativa, con referente externo o criterial y evaluacin personalizada. Cuando al evaluar, por ejemplo, aprendizajes de estudiantes, tomamos como referente el grupo de pertenencia del sujeto, dejando la calificacin del individuo condicionada por su posicin relativa en el mismo, estamos en contextos de evaluacin con referencia a la norma o evaluacin normativa. Si referimos la evaluacin a criterios especificados previamente, es decir, de superacin de objetivos educativos, estaremos en situaciones de evaluacin con referencia a criterio o evaluacin criterial (Popham, 1983). Y por fin, si la comparacin de los resultados de un sujeto, en el caso de la evaluacin de aprendizajes, se realiza consigo mismo, con lo que al principio era capaz de hacer o conocer, estaremos dentro de la evaluacin personalizada. Y, por ltimo, el proceso de evaluacin concluye con una toma de decisiones (Mateo, 1990; Prez Juste y Garca Ramos, 1989). En el concepto actual de evaluacin, este es uno de los aspectos que est teniendo cada vez ms importancia, sobre todo porque se intenta enlazar el proceso de evaluacin con el proceso de mejora y, por tanto, la toma de decisiones se debera realizar con la finalidad de optimizar el proceso sobre el que se realiza el proceso de evaluacin. En este sentido, una segunda tipologa clsica diferencia entre evaluacin formativa y evaluacin sumativa (Scriven, 1967). La formativa, tambin denominada de seguimiento o de proceso, es la realizada durante la aplicacin del programa y su objetivo se dirige a la mejora y optimizacin del programa. La evaluacin sumativa, de resultados o de impacto, se lleva acabo una vez finalizado el programa y su objetivo principal es la justificacin y contabilidad. Ambos tipos de evaluacin se complementan en un mismo proceso evaluativo. Por ltimo, ligado a estos conceptos de evaluacin aparece otra tipologa, en funcin del agente que realiza la evaluacin: autoevaluacin y heteroevaluacin. En el caso del aprendizaje, nadie como el propio estudiante puede valorar el esfuerzo que ha realizado, las dificultades y el grado de satisfaccin que le ha producido el aprendizaje. Estos casos, de procesos de autoevaluacin, se enfocan ms adecuadamente si nos encontramos en situaciones de evaluacin formativa. En cambio los procesos de evaluacin sumativa requieren de sistemas de heteroevaluacin, o valoracin por otros agentes que complemente la primera. Entendemos que en la formacin a distancia, dirigida a adultos, que pretenden una determinada capacitacin, el tipo de evaluacin criterial, sumativa y heteroevaluacin sera la ms acorde para certificar que ha superado satisfactoriamente los objetivos formulados en el proceso educativo y que conforman el perfil del curso. Sin embargo, el sistema de formacin en lnea, basado en las nuevas tecnologas de la informacin y comunicacin va a favorecer o propiciar sistemas de evaluacin formativa, en base a autoevaluaciones con sistemas objetivos de calificacin que ayudarn al alumno a situarse en el nivel de aprendizaje conseguido y reconducir el proceso hacia niveles superiores de ejecucin. 2. Uso de la informtica en el proceso de evaluacin de aprendizajes

http://campus.usal.es/~teoriaeducacion/rev_numero_06_2/n6_02_art_rodriguez_conde.htm[09/03/2011 10:36:36]

Aplicacin de las TIC a la evaluacin de alumnos universitarios.

Cuando realizamos una bsqueda de estos trminos en las bases de datos y revistas especializadas, nos encontramos con una variedad de expresiones que nos llevan a matices diferenciales para conceptos afines (Stephens, 2001). Computer Assisted Assessment (CAA), Computer Based Assessment (CBA), Computer Aided Instruction (CAI), Computer Based Testing (CBT), Computer Assissted Testing (CAT), etc. Para aclarar estos trminos, vamos a diferencir sobre todo entre Computer-based assessment y Computerassisted assessment, en el siguiente sentido: 1. Computer-based assessment: Hace referencia al uso del ordenador en alguna de las fases del proceso de evaluacin. Por ejemplo, en la elaboracin de pruebas objetivas con programas ad hoc, al uso de lectora ptica para la informatizacin de datos, o al uso de programas estadsticos o psicomtricos para el anlisis de las puntuaciones y valoracin de fiabilidad y validez de la prueba, o al informe que se emite a partir de la evaluacin a travs de internet (gestin de actas, visualizacin de expedientes, etc.), etc. 2. Computer-assisted assessment: Se refiere a la total automatizacin del proceso de evaluacin del aprendizaje de los alumnos, en cuanto a las tareas que ha de realizar el profesor y a las respuestas que solicitamos de los estudiantes, como se puede ver en el cuadro adjunto. Cuadro 1. Proceso de evaluacin totalmente automatizado (Computer-assisted assessment) Fases en el proceso de evaluacin automatizado 1. Elaboracin del banco de preguntas, en funcin de los criterios de evaluacin, para: pruebas objetivas, de respuesta abierta, elaboracin de trabajos, resolucin de problemas, proyectos, etc. 2. Construccin de las pruebas (normativas, partir de niveles de dificultad, criteriales, con bloques de preguntas especficas para cada objetivo; o personalizadas o pruebas adaptativas) 3. Programacin de los criterios de correccin (eliminacin del azar, ponderacin, etc.) y elaboracin de informes de evaluacin-tipo 4. Aplicacin de las pruebas (objetivas, respuesta abierta, envo de trabajos, etc.) 5. Correccin de pruebas objetivas o de respuesta cerrada 6. Correccin de pruebas de respuesta abierta (tipo ensayo, trabajos, proyectos, etc.) 7. Anlisis de las puntuaciones y valoracin e informe final Implicado Profesor

Profesor

Profesor Alumno AutomatizadoProfesor Automatizado-

8. Transferencia de la informacin de la evaluacin a travs de internet al profesor y al alumno (Informes de Automatizadoevaluacin)

Aqu, por lo tanto, no nos estamos refiriendo al uso de tests informatizados, tan de moda en la ltima dcada, por ejemplo, en psicologa (Renom, 1993) para evaluar capacidades en los sujetos de tipo aptitudinal y donde el ordenador se utiliza para la presentacin de preguntas, la entrada de respuestas y el anlisis de las mismas en vista a una interpretacin de resultados en forma de nivel de capacidad demostrada. La evaluacin del rendimiento de los alumnos, del aprendizaje, en los sistemas basados en teleformacin es uno de los temas claves como en cualquier programa de formacin. Sin embargo, la mayor parte de los esfuerzos que se realizan sobre evaluacin en lnea del aprendizaje se centran en desarrollar herramientas informticas como Jquiz, Test Creator, Web Work-Shett, WebTest, Question Mark Perception, etc., donde
http://campus.usal.es/~teoriaeducacion/rev_numero_06_2/n6_02_art_rodriguez_conde.htm[09/03/2011 10:36:36]

Aplicacin de las TIC a la evaluacin de alumnos universitarios.

los planteamientos sobre evaluacin estn totalmente desligados del diseo general del programa de formacin, salvo en algunos casos especficos ligados a sistemas de autor. En este sentido podemos afirmar que estas herramientas de evaluacin estn constituidas por software diseados para la creacin de pruebas tipo test , de respuesta cerrada, generalmente, desarrolladas desde planteamientos tecnolgicos, sin bases pedaggicas en s u concepcin. A esta conclusin tambin llegan Garca, Prez, Rodrguez y Snchez (2002) cuando sealan que se han desarrollado una serie de entornos, pero centrados casi exclusivamente en la presentacin de contenidos. No consideran todo el proceso enseanza - aprendizaje, y, en caso de incluir un mdulo de evaluacin, ste prcticamente se limita a los tests como nico instrumento de evaluacin. Adems, carecen de base pedaggica, y no se adaptan al alumno. Si, como empezamos sealando, nos situamos en una concepcin del aprendizaje, siguiendo corrientes actuales de psicologa procedentes del constructivismo, hemos de tener en cuenta en la recogida de informacin, en vista a una evaluacin, distintos mbitos de conocimiento. As, de acuerdo con los objetivos del programa de formacin, y en funcin de las caractersticas y nivel del curso, la informacin del aprendizaje puede referirse a tres grandes mbitos: conceptuales (conocimientos, comprensin, aplicacin, anlisis, sntesis y valoracin); competencias o habilidades y actitudes. En este artculo intentaremos sugerir qu estrategias de recogida de informacin que nos ofrecen las plataformas de formacin en lnea son ms adecuadas para cada tipo de contenido a evaluar. Los indicadores de evaluacin de aprendizajes estarn ligados al objetivo que se pretende evaluar, por ejemplo, en el siguiente cuadro asociamos dimensiones a evaluar en el estudiante con indicadores o procedimientos ms adecuados. Cuadro 2. Dimensiones e indicadores de evaluacin de aprendizajes Dimensiones a evaluar: ejemplos Adquisicin de contenidos conceptuales Adquisicin de contenidos procedimentales Adquisicin de actitudes Indicadores: ejemplos - Respuestas correctas en pruebas objetivos, de respuesta abierta, etc. - Produccin de trabajos, proyectos, etc. va en lnea - Produccin de trabajos va en lnea, proyectos, trabajos en grupo, etc. - Formularios, encuestas en lnea, chats, foros de discusin, etc.

Adems de todas estas consideraciones, existen una serie de peculiaridades que hay tener en cuenta en los entornos virtuales de formacin, como son las siguientes: En un programa de formacin, en el que adems que consiga algn tipo de acreditacin de los aprendizajes logrados, para el estudiante, la evaluacin de su rendimiento va a constituir la primera preocupacin al enfrentarse ante el proceso de enseanza-aprendizaje. Y si lo que adems le interesa es adquirir conceptos o estrategias nuevas, los proceso de autoevaluacin o de evaluacin formativa le van a ser muy tiles. En programas de teleformacin es fundamental evaluar la participacin y contrastar si los alumnos han alcanzado determinados aprendizajes y por tanto si han alcanzado los objetivos del curso. En los cursos en lnea es esencial que el alumno reciba feedback de cmo est siendo su aprovechamiento de curso. Sirve adems como elemento motivador. En la enseanza en lnea, aunque pueda parecer lo contrario, se dispone de muchos materiales para llevar a cabo la evaluacin de alumnos, dado que gran parte de la comunicacin se realiza por escrito. Por lo tanto, el proceso de evaluacin ha de estar planificado, las estrategias de evaluacin han de ser coherentes con los materiales aportados en lnea y se han de presentar los criterios o referentes de evaluacin de forma explcita. De tal manera que el alumno, a distancia, conozca sobre qu se le va a
http://campus.usal.es/~teoriaeducacion/rev_numero_06_2/n6_02_art_rodriguez_conde.htm[09/03/2011 10:36:36]

Aplicacin de las TIC a la evaluacin de alumnos universitarios.

evaluar, cmo, cuando y bajo qu criterios ser valorado su trabajo. En resumen, algunas reflexiones en torno a las peculiaridades de la evaluacin en entornos virtuales de formacin: La interaccin es la base de los entornos virtuales de aprendizaje. Interaccin entre docentes, estudiantes, materiales, y con la propia institucin en su conjunto. Difcilmente encontraremos un nico emisor. Hablamos de un marco en el que la construccin del conocimiento compartido es la base del aprendizaje. La accin docente en los modelos educativos que usan de forma intensiva las TICs no es tarea de una persona, sino que es, esencialmente, tarea de la institucin. La organizacin educativa debe decidir y definir los programas formativos, sus objetivos, su estructura, los materiales que los desarrollarn y el sistema de evaluacin. Diferentes figuras responsables de la actividad docente en entornos virtuales de enseanza-aprendizaje: - Responsable acadmico del programa - Autor de contenidos - Coordinador del programa - Docente/mediador Es fundamental evaluar la participacin y contrastar si los alumnos han alcanzado determinados aprendizajes y por tanto si se han alcanzado los objetivos del curso. En los cursos en lnea es esencial que el alumno reciba feedback inmediato de cmo esta siendo su aprovechamiento del curso. Sirve adems como elemento motivador: la autoevaluacin. En la enseanza en lnea, aunque pueda parecer lo contrario, se dispone de muchos materiales para realizar la evaluacin de los alumnos, ya que gran parte de la comunicacin se realiza por escrito. Como sealan Garca Carrasco y otros (2002), la evaluacin es una parte imprescindible dentro del proceso enseanza-aprendizaje, como medida de la consecucin de los objetivos de aprendizaje por parte del alumno, y, tambin, como control de la calidad de dicho proceso. Sin embargo, los instrumentos de evaluacin actuales presentan muchas limitaciones en el contexto lecto-escritor, que pueden ser superadas, en parte, por las nuevas tecnologas de la informacin y la comunicacin. Estn surgiendo nuevas tecnologas que permiten la construccin de modelos ms completos que se aproximan ms a los criterios de evaluacin. De igual forma, el Web est evolucionando hacia una estructura modular. El Web es un espacio universal de informacin, pero se trata de convertirlo en un espacio universal de conocimiento. 3. Estrategias e instrumentos de evaluacin de aprendizajes asociadas a la teleformacin Una de las aplicaciones en informtica que ms se est utilizando en el tratamiento de la evaluacin de alumnos es el software dedicado al diseo de pruebas objetivas (de respuesta cerrada) con posibilidad de autocorreccin. Esto no quiere decir que Internet no ofrezca otros recursos de alto valor pedaggico, aunque la utilizacin de la tecnologa no sea sencilla. En este apartado pretendemos exponer, de forma resumida, distintos procedimientos de evaluacin del nivel de competencia adquirido por el estudiante y que podemos emplear a travs de la red. En el siguiente cuadro presentamos una clasificacin general de ellos, asociado al grado de uso potencial de la tecnologa. Cuadro 3. Instrumentos de evaluacin de aprendizaje y uso potencial de la tecnologa Instrumentos de evaluacin Uso potencial de la tecnologa ALTO: el sistema de evaluacin puede ser a) Pruebas objetivas (exmenes completamente informatizado (desde el diseo de cerrados) la prueba, a su correccin y elaboracin de
http://campus.usal.es/~teoriaeducacion/rev_numero_06_2/n6_02_art_rodriguez_conde.htm[09/03/2011 10:36:36]

Aplicacin de las TIC a la evaluacin de alumnos universitarios.

b) Pruebas de respuesta abierta (exmenes de ensayo, de respuesta corta, etc...) c) Exmenes prcticos (tareas experimentales, simulaciones, observacin, etc...) d) Exmenes orales (ante tribunal) e) Proyectos o trabajos (investigaciones, estudios de caso, diagnsticos, etc.) f) Autoevaluaciones

informes) BAJO: exigira reconocimiento de palabras clave, frases, etc. (procedimientos de anlisis de contenido) MEDIO: la tecnologa puede guardar datos, analizar, emplear reconocedor de caracteres. BAJO: podra ayudar la tecnologa videostreaming BAJO/MEDIO/ALTO. depende del tipo de contenido para emplear la tecnologa. ALTO: Puede ser completamente informatizado el proceso, con la incorporacin de feedback inmediato. BAJO/ALTO: depende de la organizacin de contenidos a evaluar y el procedimiento de correccin del tipo de contenidos.

g) Portafolios

El empleo de diferentes estrategias de evaluacin a travs de la red, depende principalmente del tipo de aprendizaje que queramos evaluar y cmo queramos utilizar la evaluacin. En el caso de que el objetivo de sta sea meramente sumativo y el nivel de aprendizaje versa sobre conocimientos adquiridos, tendremos que deducir que la forma ms idnea ser la utilizacin de pruebas objetivas. En cambio, si pretendemos evaluar con finalidad formativa, en un contexto de aprendizaje constructivista, que permitan incluir la motivacin como factor importante, tendremos que acudir a algn sistema de autoevaluacin, con el necesario feedback inmediato. Dentro de todas estas estrategias de evaluacin observamos dos categoras, aquellos procedimientos que ya son usualmente utilizados en la enseanza presencial (pruebas tradicionales) y otro grupo de pruebas que se estn incorporando a la prctica de la evaluacin ms recientemente (pruebas alternativas). Parece evidente que algunos recursos tecnolgicos incorporados al uso de los ordenadores abren nuevas posibilidades para estos nuevos enfoques de registro de informacin. Esto es evidente en el caso de la estrategia del portafolios o portfolios, incorporados ya en numerosos paquetes de software educativo y cuyo uso comienza a demostrar un mayor compromiso de los estudiantes en la autoevaluacin y el autoaprendizaje (Agra, Gewerc y Montero, 2003; Klenowski, 2002). El correo electrnico, las bases de datos y las listas de discusin, por su parte, permiten almacenar e intercambiar el trabajo de los alumnos en su proceso y en sus productos, as como acelerar en ambas direcciones los mecanismos de feedback. Pero una vez ms, tambin en el caso de la evaluacin, la tecnologa puede servir para hacer operativa una determinada concepcin del aprendizaje. 4. Software para la evaluacin de aprendizajes a travs de Internet: el caso de Perception A partir de una extensa revisin de bibliografa, Internet y de listas de correo electrnico (Lara, 2001, 2003) se han encontrado gran cantidad de investigaciones y de herramientas, en continuo desarrollo, para gestionar la evaluacin a travs de tecnologa web. A nivel superficial, se pudo observar que estos programas informticos que sirven para evaluar el rendimiento de los alumnos a travs de Internet se pueden clasificar en tres categoras bsicas: 1. Entornos virtuales de formacin (web-based trining), que ayudan al profesor a gestionar un mdulo o curso de enseanza completo a travs de la red (distribucin de contenidos, intercambios con los alumnos a travs de correo electrnico, foros de discusin o chats y evaluacin de los alumnos). Ejemplos de este tipo: WebCT, Learning Space, Edustance, etc. 2. Herramientas de autor, consisten en software destinado a su vez a la creacin de programas a modo de ejercicios o tareas. Ejemplos de este tipo son: Hot Potatoes, Quia!, Clic, etc.

http://campus.usal.es/~teoriaeducacion/rev_numero_06_2/n6_02_art_rodriguez_conde.htm[09/03/2011 10:36:36]

Aplicacin de las TIC a la evaluacin de alumnos universitarios.

3. Software especfico ms complejo (requiere manejo de servidor), que permite poner en la red a toda la institucin, tanto para la creacin y publicacin de los exmenes, como para recoger los resultados de los estudiantes. Ejemplos de este software son: Perception y Quiz Factory. Entre el software que existe en el mercado actualmente, despus de realizar una evaluacin del mismo a travs de la modalidad de demostracin por un periodo de tiempo, nos parece que las posibilidades que ofrece Perception (http://www.questionmark.com) frente a otros programas, como uno de los ms adecuados para poder realizar una evaluacin en contexto formativo, al modo que sealamos con anterioridad. 4.1. Perception, software especfico de evaluacin a travs de internet Se trata de un software creado por una compaa inglesa que lleva ms de diez aos en uso, con sus correspondientes versiones. Perception es un programa para la elaboracin, aplicacin y correccin de pruebas o exmenes, creado por Question Mark. Debemos considerar la existencia de unos requisitos imprescindibles tanto para el software de autor, como para el software del servidor: Software de autor (c:/perception3/author.), comprende Question Manager y Assessment Manager (en versiones anteriores identificado como -Session Manager-). Software de servidor (c:/perception3/server/em.), almacena toda la informacin desde las preguntas hasta los resultados de la evaluacin. En este momento disponemos de la licencia para la versin 3 de Perception para uso en Internet. Las novedades que afectan al programa de autor estn vinculadas al tipo de preguntas, as permite utilizar gran variedad de preguntas, aadiendo a la versin anterior: preguntas de emparejar, ordenar por categoras, rellenar espacios, preguntas propias de la escala de Likert, preguntas de Macromedia Flash, de verdadero/falso, de s/no. Adems posibilita poder etiquetar las preguntas, facilitando con ello su clasificacin dentro del banco de elementos; mejorar en la puntuacin de los temas, establecer el estado [2] de las preguntas: normal, pasada e incompleta; aadir notas y comentarios a las preguntas, establecer lmite en la puntuacin de las preguntas y cuenta con apoyo Oracle lo que ofrece la posibilidad de editar una base de datos de preguntas o una evaluacin directa, facilitando la importacin y exportacin de preguntas desde un fichero o base de datos externa. Las mejoras en la entrega de las evaluaciones recaen en: disposicin de una estructura flexible de la base de datos, supervisin de la evaluacin, gestin del lmite de tiempo, apoyo MathML, casillas de comentarios, presentacin flexible con una entrega pregunta por pregunta. Cuadro 4. Fases para el desarrollo de una prueba de evaluacin a travs de Perception Etapas Software Tareas

2 3

Elaboracin de un banco preguntas (gestor preguntas) AUTOR Seleccin de preguntas para componer una prueba de evaluacin (gestor evaluacin) Prepara la distribucin de las preguntas, por servidor PUBLICACIN web Los participantes responden a las pruebas de evaluacin: ENTREGA - acceso a URL (open.dll o perception.dll). Herramientas que los administradores pueden utilizar para informe: INFORMES -Enterprise Reporter (evaluaciones basadas en la web) Las prestaciones de este programa se resumen sobre todo en tres aspectos:

http://campus.usal.es/~teoriaeducacion/rev_numero_06_2/n6_02_art_rodriguez_conde.htm[09/03/2011 10:36:36]

Aplicacin de las TIC a la evaluacin de alumnos universitarios.

a)

Los tipos de preguntas que pueden ser diseadas a travs de su ltima versin son: eleccin mltiple, respuesta mltiple, rellenar espacios en blanco, preguntas sobre imagen interactiva, matriz, seleccin, introducir nmero, explicacin y pregunta de desarrollo. Adems permite ofrecer un tipo de feedback de elaboracin en el que se ofrecen explicaciones ms exhaustivas y personalizadas, en funcin de la respuesta del alumno. Adems permite adaptar el examen a modo de Test adaptativos informatizados, a travs del concepto de "bloques" dentro de un examen. Este sistema permite dividir la prueba en partes, con diferentes preguntas, y da la posibilidad de crear condiciones entre los distintos bloques, de tal forma que cuando el alumno acaba un bloque, en funcin de la puntuacin obtenida, se le presenta la posibilidad de repetir, o enviarle otras preguntas o dar por concluido el examen. La gran variedad de tipos de informes que presenta a partir de los exmenes realizados por los alumnos de un grupo. De modo que podemos obtener a travs de internet resultados tanto individuales como de grupo, presentando las estadsticas adecuadas.

b)

c)

En definitiva, se trata de un producto que rene muchas posibilidades para incentivar procesos de autoevaluacin del aprendizaje, en funcin de los niveles de competencia manifestados, y que a la vez permite a los docentes realizar un seguimiento de los progresos que va realizando cada alumno. Sin embargo, en todos estos sistemas es evidente, la necesidad de contar con un soporte tcnico que facilite y gestione el buen funcionamiento de la herramienta, sobre todo por la necesidad de uso de un servidor cuyo mantenimiento est garantizado. Imagen 1 y 2. Vista preliminar: respuesta correcta e incorrecta. Perception 3. (Question Manager)

http://campus.usal.es/~teoriaeducacion/rev_numero_06_2/n6_02_art_rodriguez_conde.htm[09/03/2011 10:36:36]

Aplicacin de las TIC a la evaluacin de alumnos universitarios.

Imagen 3. Prueba de evaluacin (preguntas de respuesta cerrada y de respuesta abierta) en el programa Edustance 1.0 5. Valoracin del uso del ordenador para la evaluacin por los profesores y los estudiantes Entre los numerosos estudios realizados sobre la valoracin que realizan los profesores de la eficacia de distintos instrumentos de evaluacin a travs de internet (Lara, 2001), la opinin generalizada entre ellos es la importancia que conceden al feedback y el efecto que ste tiene sobre el aprendizaje del alumno. Charman (1999) seala cules pueden ser las principales ventajas del uso de evaluacin a travs de Internet: Frecuencia de la evaluacin Inmediato feedback (a los estudiantes les interesa recibir la retroalimentacin ya que enlazan su produccin con los resultados, se les ofrecen ayudas, orientaciones y produce todo ello motivacin para seguir estudiando)

http://campus.usal.es/~teoriaeducacion/rev_numero_06_2/n6_02_art_rodriguez_conde.htm[09/03/2011 10:36:36]

Aplicacin de las TIC a la evaluacin de alumnos universitarios.

Inmediata correccin de los trabajos por los profesores (de modo que los errores puedan ser detectados y, si es necesario, adaptar ciertos contenidos) Fiabilidad en la medicin (estabilidad, precisin), debido al tipo de pruebas (objetivas) que se suelen utilizar. Flexibilidad de acceso (espacio y tiempo) Motivacin de los estudiantes

Stephens (2001), en la Universidad de Loughborough (UK), muestra un estudio para comprobar los beneficios que supone el uso de CAA tanto para profesores como para alumnos. Esta Universidad, junto con la de Luton (Stephens, Bull y Wade, 1998), son pioneras en la aplicacin del ordenador en los procesos de evaluacin de estudiantes, elaborando varias publicaciones e informes al respecto. La metodologa utilizada para este estudio se ha basado en la creacin de tests en CAA y en cuestionarios de actitudes, tras la aplicacin de los tests. La muestra la componen 46 alumnos de primer ao utilizando pruebas de lpiz y papel y a travs de ordenador. El software utilizado fue Question Mark. No se encuentran diferencias significativas (n.s. 0,05) por sexo, ni por tipo de recurso (lpiz y papel frente a ordenador). En las encuestas, los estudiantes manifestaron ms aspectos positivo s que negativos en el uso del ordenador APRA la evaluacin. Las categoras ms importantes son: facilidad o simplicidad en su aplicacin, ms relajados que en un examen tradicional, ms interesante (debido a la novedad), ayuda el tener el tiempo en la pantalla, animan al uso del ordenador. Interesados por el rendimiento sumativo de los estudiantes de la titulacin de Biologa, Ricketts y Wilks (2002) de la Universidad de Plymouth, realizan una investigacin entorno a este tpico y concluyen en la positiva aceptacin pro parte de alumnos y profesores del uso de estas herramientas en evaluacin, sobre todo por el feedback que el estudiante puede recibir. Las conclusiones sobre la evaluacin sumativa no son concluyentes, debido a la falta de control en variables extraas (diseo diferente de pantalla) que experimentaron entre las cohortes utilizadas. Concluyen en que el modo de presentacin de la evaluacin puede influir significativamente en el rendimiento de los estudiantes, y que un diseo apropiado de las pantallas es un importante factor en evaluacin en lnea. Los beneficios para el profesorado, Stephens los divide en dos grupos: a) Tangibles: Reduccin en el tiempo de marcar Reduccin del tiempo en preparar informacin de tipo administrativo Correccin automtica Eliminacin del sesgo debido a gnero o raza Posibilidad de emitir distintos tipos de informes: individuales para cada estudiante, por cohorte, informes psicomtrico por item y prueba. b) Intangibles Adecuacin del uso de la tecnologa para entregar y administrar la informacin de la evaluacin Acumular conocimiento con respecto a los requisitos de CAA entre distintos departamentos. Disminuir el nivel de ansiedad ante el ordenador de los estudiantes, despus de varios ensayos sobre la herramienta (pretest). De todos los estudios sobre evaluacin a travs de la red se puede concluir que es beneficiosa, tanto para el estudiante como para el profesor. A los alumnos les sirve para mejorar su nivel de competencia, les motiva para el estudio y, en definitiva, resulta una herramienta til para su aprendizaje. Junto a ellos, los profesores valoran la facilidad de poder enviar al alumno un feedback inmediato a travs de la elaboracin de comentarios u orientaciones que guan su aprendizaje. No obstante, debe existir alguna modificacin en el diseo de instruccin. Si solo cambiamos en el hecho de que la evaluacin sea automatizada (correccin y elaboracin de informes al alumno), no se va a producir ningn cambio en el aprendizaje de los alumnos. Lo que realmente resulta eficaz es la calidad del feedback (Taras, 2003)que estas

http://campus.usal.es/~teoriaeducacion/rev_numero_06_2/n6_02_art_rodriguez_conde.htm[09/03/2011 10:36:36]

Aplicacin de las TIC a la evaluacin de alumnos universitarios.

herramientas tecnolgicas nos permite n. Es decir, utilizar la evaluacin en su modalidad formativa en la que se ofrezca al estudiante informacin detallada de su actuacin. Stephens, Bull y Wade (1998) sugieren una propuesta institucional para introducir la tecnologa en los procesos de evaluacin de estudiantes con garantas de xito. Conclusiones Para concluir queremos dejar constancia de la importancia que hoy en da se otorga a realizar un planteamiento completo de evaluacin de los programas de formacin a travs de Internet, tanto desde una visin amplia referida a todo el proceso formativo, como restringida al impacto del programa sobre el aprendizaje de los alumnos. Por otra parte, despus de una exhaustiva revisin sobre la investigacin en procesos de evaluacin de alumnos a travs de internet, hemos constatado la necesidad de continuar con estudios de investigacin evaluativa sobre la eficacia de nuevas estrategias e instrumentos de evaluacin a travs de la red, utilizando la potencialidad del software disponible y de otras estrategias de recogida de informacin que actualmente existen en el mercado (portafolio, etc.). Adems, hemos observado que en cuanto a los mdulos de evaluacin que se construyen dentro de los entornos de docencia en red, existe una carencia manifiesta en cuanto al nivel de anlisis y a la presentacin de informes de evaluacin, adems de no haber desarrollado, como aparece en otro tipo de software ms especfico de evaluacin, todas las posibilidades de feedback al alumno. Por ltimo, recalcar que la evaluacin formativa constituye la estrategia eficaz para mejorar el aprendizaje de los estudiantes, disminuyendo la variabilidad entre ellos y fomentando, al mismo tiempo, una formacin de calidad. La tecnologa puede ser una herramienta til en los aspectos ms mecnicos del proceso y, aunque se intuye una gran potencialidad en estos medios, es necesario que existan criterios pedaggicos explcitos que guen su aplicabilidad. Bibliografa AGRA, M.J.; GEWERC, A. y MONTERO, M.L. (2003) El portafolios como herramienta de anlisis en experiencias de formacin on-line y presenciales, Enseanza, 21, 101-114. CHARMAN, D. (1999) Issues and Impacs of Using Computer-Based Assessments (CBAs) for Formative Assessment, en Brown, S.; RACE, P. y BULL, J. (eds.), Computer-Assissted in Higher Education. London, Kogan Page, 85-94. GARCA, J.; PREZ, M.J.; RODRGUEZ, B. y SNCHEZ, M.C. (2002) Evaluar en la red. Revista de Teora de la Educacin. Educacin y cultura en la sociedad de la informacin, 3. http://www3.usal.es/~teoriaeducacion/rev_numero_03/n3_art_sanchez-rodriguez.htm GARCA RAMOS, J.M. (1989) Bases pedaggicas de la evaluacin. Gua prctica para educadores. Madrid, Sntesis. KLENOWSKI V. (2002) Developing portfolios for learning and assessment: processes and principles. London, RoutledgeFalmer. LARA, S. (2001) La evaluacin formativa en la Universidad a travs de Internet: aplicaciones informticas y experiencias prcticas. Pamplona, Eunsa, Ediciones de la Universidad de Navarra. LARA, S. (2003) La evaluacin formativa a travs de internet, en Cebrin, M. Enseanza virtual para la innovacin universitaria. Madrid, Narcea, 105-117. MATEO, J. (1990) La toma de decisiones en el contexto de la evaluacin educativa. Revista de Investigacin Educativa, 8, 16, 95-112. MATEO, J. (2000) La evaluacin educativa, su prctica y otras metforas. Barcelona, Ed. Universidad de Barcelona, Honrosi.
http://campus.usal.es/~teoriaeducacion/rev_numero_06_2/n6_02_art_rodriguez_conde.htm[09/03/2011 10:36:36]

Aplicacin de las TIC a la evaluacin de alumnos universitarios.

O'DONOVAN, B.; PRICE, M; y RUST, C. (2004) Know what I mean? Enhancing student understanding of assessment standars and criteria, Teaching in Higher Education, 9 (3), 325-336. PREZ JUSTE, R. y GARCA RAMOS, J.M. (1989) Diagnstico, evaluacin y toma de decisiones. Madrid, Rialp. POPHAM, W.J. (1983) Problemas y tcnicas de evaluacin educativa. Madrid, Anaya. RENOM, J. (1993) Tests adaptativos computerizados : fundamentos y aplicaciones.>Barcelona, PPU. ICKETTS, C. y WILKS, S.J. (2002) Improving Student Performance Through Computer-based Assessment: insights from recent research, Assessment & Evaluation in Higher Education, 27 (5), 475479. SCRIVEN, M.S. (1967) The methodology of evaluation, en Perspectives of curriculum evaluation (AERA Monograph Series on Curriculum Evaluation, n 1). Chicago, Rand McNally. STEPHENS, D. (2001) Use of computer assisted assessment: Benefits to students and staff, Education for information, 19, 265-275. STEPHENS, D.; BULL, J. y WADE, W. (1998). Computer-assisted Assessment: suggested guidelines for an institutional strategy, Assessment & Evaluation in Higher Education, 23 (3), 283-294. STUFFEBEAM, D.L. (1999) Foundational models for 21st century program evaluation. Kalamazoo, MI, Western Michigan University, The Evaluation Center. TARAS, M. (2003) To feedback or Not to Feedback in Student Self-assessment, Assessment & Evaluation in Higher Education, 28 (5), 549-565. Direcciones de INTERNET: http://www.webct.com/ http://www.lotus.com/lotus/offering3.nsf/wdocs/learningspacehome http://www.edustance.com/ http://web.uvic.ca/hrd/halfbaked/, http://www.quia.com/ http://www.xtec.es/recursos/clic/esp/ http://www.questionmark.com/esp/home.htm http://www.learningware.com/quizfactory/

Notas: [1] Mara Jos Rodrguez Conde, Profesora Titular de Mtodos de Investigacin Educativa de la Universidad de Salamanca. Paseo Canalejas, 169, Facultad de Educacin. 37008 Salamanca. E -mail: mjrconde@usal.es [2] Se define: - Pregunta normal: cuando la pregunta es adecuada para incluirla en la evaluacin. - Pregunta pasada: slo es necesaria para propsitos de registro.
http://campus.usal.es/~teoriaeducacion/rev_numero_06_2/n6_02_art_rodriguez_conde.htm[09/03/2011 10:36:36]

Aplicacin de las TIC a la evaluacin de alumnos universitarios.

- Pregunta incompleta: alude a aquellas preguntas que estn en desarrollo y no estn listas para utilizarlas en las evaluaciones.

Ediciones Universidad de Salamanca Webmasters del volumen actual: Francisco Ignacio Revuelta Domnguez, Lourdes Prez Snchez Correos electrnicos por orden: fird@usal.es o bien lopesan@usal.es

http://campus.usal.es/~teoriaeducacion/rev_numero_06_2/n6_02_art_rodriguez_conde.htm[09/03/2011 10:36:36]