Beruflich Dokumente
Kultur Dokumente
Resumen
Presentamos en este artculo una investigacin en la que analizamos la funcionalidad de las e-rbricas en procesos de
coevaluacin, en la evaluacin de materiales digitales enfocados a la enseanza de lenguas y en la evaluacin de destrezas lingsticas desde el principio del
trabajo colaborativo y cooperativo de 40
estudiantes que cursan el Mster universitario en tecnologas de la informacin y la comunicacin en la enseanza
y tratamiento de lenguas de la Universidad Nacional de Educacin a Distancia
(UNED). A travs de una concepcin metodolgica basada en la investigacinaccin colaborativa virtual, aplicamos
Abstract
This paper shows a research project
which analyses the usefulness of e-rubrics in terms of peer assessment, evaluation of digital materials for languages
and also assessment of language skills
from the perspective of collaborative
and cooperative work, undertaken by 40
students from the Masters in Information and Communication Technology for
the teaching and processing of languages at the Spanish National University
for Distance Learning (UNED). Following
a methodological framework based on
virtual, collaborative action-research, a
qualitative analysis is applied with a twofold approach: firstly through the use of
Introduccin
La evaluacin es probablemente la tarea ms compleja y decisiva que realizamos los
docentes. Resulta complicada porque en los procesos de enseanza-aprendizaje confluyen muchos factores, la mayora difciles de observar y valorar (Trujillo, 2012): actitudes,
motivacin, estilos cognitivos y de aprendizaje, capacidad comunicativa, relacin entre
pares y con el docente, etc. Pero es tambin decisiva por ser precisamente el motor
del aprendizaje y una condicin necesaria para mejorar la enseanza (Boud y Falchikov,
2007). Dentro de las tres modalidades en que se suele dividir la evaluacin (inicial, formativa y sumativa) resulta de gran inters la segunda, puesto que es la que se centra en
el seguimiento del alumno y permite realizar cambios ad hoc para optimizar el proceso
de enseanza-aprendizaje.
En las ltimas dcadas la evaluacin ha dejado de ser tarea exclusiva del docente
y se han implantado modelos innovadores de evaluacin formativa en los que se fomenta la evaluacin entre pares o coevaluacin (Fernndez March, 2010). Ante dicha novedad tanto docentes como discentes se han mostrado en ocasiones desorientados, faltos
de herramientas que doten de consistencia y fiabilidad al proceso evaluador. En tal tesitura resulta de enorme utilidad la aplicacin de matrices de evaluacin o rbricas, que
ofrecen criterios especficos para la evaluacin del trabajo del alumno y les ayudan tanto
en la preparacin al conocer de antemano los objetivos del trabajo a realizar- como en
la correccin del mismo, que se realiza de forma ms objetiva, completa y eficaz.
En el presente artculo se reflexiona sobre el papel que cumplen las rbricas electrnicas o e-rbricas en el contexto de la enseanza a distancia, y ms en concreto en
la evaluacin de materiales digitales para la enseanza de lenguas. Tras la revisin de la
literatura existente se establece la hiptesis de investigacin (el uso de e-rbricas potencia la coevaluacin y mejora la evaluacin del material digital en red destinado a la enseanza de lenguas) y se procede a un diseo metodolgico en cuatro fases, atendiendo
a los objetivos y dimensiones de la investigacin. Despus se detalla el anlisis de datos
realizado, as como la interpretacin de los resultados ms significativos, conducentes a
la confirmacin de la hiptesis inicial.
Marco terico
Desde finales del siglo pasado se aprecia en el contexto de la Enseanza Superior una
tendencia hacia procesos evaluativos ms orientados al proceso de enseanza-aprendizaje, con el alumno como protagonista, con un esfuerzo continuado por lograr una
reatroalimentacin eficaz que suponga para stos posibilidad de cambio o mejora (Boud
y Falchikov, 2007; Fernndez March, 2010). Esta evolucin supone una visin diferente
a la de la enseanza tradicional, disociando claramente evaluacin y calificacin (Fernndez March, 2010; Ibarra y Rodrguez Gmez, 2010). Es en este contexto en el cual
han surgido nuevos instrumentos de evaluacin, tales como las matrices de evaluacin
o rbricas, que resultan especialmente tiles en la evaluacin formativa de los trabajos
del discente (Cebrin, 2009; 2011).
Gottlieb (2006) usa el trmino de rbrica para referirse a cualquier gua de puntuacin con criterios especificados que se utiliza para interpretar el trabajo del alumno
y precisamente una de las funciones de las rbricas es hacer que la correccin sea ms
objetiva, facilitando la labor del corrector y ayudando al alumno a identificar los objetivos de la tarea que tiene que realizar (Farr y Trumbell, 1997; Genesee y Upshur, 1996;
Navarrete y Guske, 1996; OMalley y Pierce, 1996).
Son varias las ventajas asociadas al uso de las rbricas. Aparte de promover expectativas de aprendizaje y ayudar a enfocar al corrector para determinar de manera
especfica los criterios con los cuales va a medir el progreso del estudiante, permiten
tambin describir cualitativamente los distintos niveles de logro que el estudiante debe
alcanzar (Griffin, 2009). Asimismo, facilitan que el alumno pueda evaluar y hacer revisiones finales de sus trabajos, y establecen un proceso uniforme de anlisis e interpretacin
de datos. Por su parte, Andrade, Du y Wang (2008) reconocen que el hecho de que los
estudiantes estn familiarizados con la rbrica hace que su rendimiento sea mayor, obtenindose as mejores resultados gracias a su mayor implicacin en el aprendizaje.
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157
Una de las mayores ventajas en el uso de rbricas es que stas garantizan una mayor
fiabilidad en la correccin tanto entre diversos correctores (fiabilidad inter-corrector)
como entre el mismo corrector en distintas ocasiones (fiabilidad intra-corrector), en particular dicha circunstancia es debida a que se incluyen criterios explcitos (Mansilla y
Duraisingh, 2009; Reddy, 2007). En esta lnea, Jonsson y Svinbgy (2007: 141) nos recuerdan que the reliable scoring of performance assessments can be enhanced by the use of
rubrics, especially if they are analytic, topic-specific, and complemented with exemplars
and/or rater training. Esta ltima variable, la formacin del corrector, es tan importante
como la necesidad de una rbrica bien diseada, y puede tener un impacto importante
en los resultados obtenidos.
Rbricas electrnicas o e-rbricas
El uso de las tecnologas de la informacin y la comunicacin (TIC) se ha generalizado en
los ltimos aos en la educacin a varios niveles y docentes y alumnos usan un mayor
nmero de recursos tecnolgicos en las aulas, tanto para la preparacin de materiales
como en la instruccin y en la produccin de tareas y actividades. El ordenador se ha
convertido en una herramienta primordial en la enseanza, y la evaluacin es cada vez
ms partcipe de esta nueva corriente.
En lo que a rbricas se refiere, las TIC han contribuido enormemente al desarrollo de las rbricas electrnicas o e-rbricas. Hoy en da disponemos de muchos recursos
online que nos ayudan sobre todo al diseo de estas matrices de evaluacin (ms adelante se ofrece un listado de algunas pginas web que pueden ser tiles).
Por otro lado, las e-rbricas ayudan a agilizar el proceso de correccin y sirven
para registrar de forma sistematizada los resultados obtenidos, pudindose hacer as un
seguimiento del progreso del estudiante. En muchas de las agencias de exmenes internacionales de lenguas extranjeras, como Educational Testing Service (ETS), Cambridge
International Examinations o Pearson Language Assessments se usan rbricas electrnicas para corregir los componentes de produccin del lenguaje. Wolfe, Matthews y Vickers (2010) insisten en que la formacin del corrector es ms rpida y eficaz cuando se
hace online con este tipo de herramientas. Dornisch y Sabatini McLoughlin (2006: 6)
valoran el uso de herramientas online para el diseo de e-rbricas, pero aconsejan que
se haga de manera meticulosa para evitar problemas futuros:
Online rubric resources can help busy educators to find or craft powerful rubrics, but they
must be used thoughtfully so that inherent limitations in the examples and frameworks
provided by the site are reduced or removed before they prove problematic to the users.1
Finalmente, hay estudios que demuestran que las e-rbricas ayudan a mejorar la
fiabilidad de la correccin holstica de redacciones (Attali, Lewis y Steier, 2012), al mismo
tiempo que complementan las valoraciones del corrector humano (Enright y Quinlan,
2010).
Nombre
Rubrician
URL
http://www.rubrician.com/general.htm
My
Teacher
http://www.rubrics4teachers.com/
Tools
Discovery
School
http://school.discovery.com/schrockguide/assess.html
Teach-nology
http://www.teach-nology.com/web_tools/rubrics/
Rubistar:
Rubric
Builder:
http://www.rubistar.4teachers.org/index.php
http://www.landmark-project.com/classweb/tools/rubric_builder.php3
Tech4Learning
http://www.myt4l.com/index.php?v=pl&page_ac=view&type=tools&tool=rubricmaker
Tabla n.1. Recursos gratuitos para la creacin de e-rbricas
Co-evaluacin y e-rbricas
Uno de los aspectos que se fomenta en la evaluacin formativa es la evaluacin entre
pares o co-evaluacin, un modelo innovador que permite alcanzar competencias profesionales tanto por parte del alumnado como del profesorado implicado, puesto que se
trata de una actividad docente hecha conjuntamente con los estudiantes, la cual logra
que stos adquieran una mayor implicacin en el proceso de evaluacin (Cebrin, 2011;
Hanrahan e Isaacs, 2010; Orsmond, Merrys y Reiling, 1996; Vickerman, 2009).
En cuanto a la implementacin prctica, uno de los ejemplos ms interesantes de
utilizacin de e-rbricas para la coevaluacin es el entorno gora Virtual, caracterizado
por su flexibilidad (por ejemplo es utilizable en enseanza a distancia y semi-presencial)
y por la prctica de evaluacin formativa mediante e-portafolios y e-rbricas, favoreciendo la coevaluacin en los estudiantes (Cebrin y Accino, 2009). En el contexto especfico
de las lenguas extranjeras, es de destacar la investigacin de Hung (2012), la cual tambin incluye la utilizacin de e-portafolios como tcnica alternativa para la evaluacin
por pares y el aprendizaje colaborativo, dentro de un programa de formacin de nuevos
profesores. Toda la literatura consultada apunta en la misma direccin: tanto las rbricas como las e-rbricas favorecen la coevaluacin y generan una mayor implicacin del
alumnado tanto en el proceso de enseanza-aprendizaje como en la evaluacin del progreso realizado (Falchikov y Goldfinch, 2000; Fernndez March, 2010; Reddy y Andrade,
2010).
Evaluacin de materiales digitales en lenguas extranjeras y e-rbricas
Resulta llamativa la escasa literatura especfica sobre la utilizacin de e-rbricas en lenguas extranjeras. Adems de Hung (2012), anteriormente mencionado, los dos ejemplos ms notables se encuentran en Erben, Ban y Castaeda (2009) as como en Moya
y OMalley (1994), referidos al ingls. Ambos cubren tanto la evaluacin de destrezas
lingsticas como la de materiales digitales, estos ltimos centrados principalmente en
los e-portfolios.
En cuanto a la evaluacin de materiales digitales, tiende a centrarse en el desaREDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157
Metodologa
Partimos de una concepcin metodolgica basada en la investigacin-accin colaborativa virtual por parte del estudiante universitario como una manera de fomentar sus propias competencias genricas y especficas en el Espacio Europeo de Educacin Superior
(Pool-Cibrian y Martnez-Guerrero,2013; Zimmerman y Schunk, 2011). Esta concepcin
metodolgica se fundamenta en la interdependencia positiva que fomenta la responsabilidad grupal del trabajo colaborativo (Kitsantas y Dabbagh, 2010; Linnenbrink y Pintrich, 2003). Las experiencias aportadas por Gmez-Lucas y lvarez-Teruel (2011) y Millis
y Rhem (2010), evidencian que al emplear el trabajo colaborativo como una estrategia
en el aula universitaria, se contribuye a potenciar el aprendizaje, al permitir la confrontacin de puntos de vista y opiniones, ayuda a revalorizar la perspectiva propia y facilita
el intercambio con el otro, pues activa y conduce al aprendizaje para abordar con xito
situaciones comunicativas entre iguales.
Las actividades de investigacin-accin se organizaron completamente de forma
virtual en el Entorno Virtual de Aprendizaje de la UNED (aLF) y form parte de los procesos de enseanza-aprendizaje programados en la asignatura Elaboracin y Edicin de
materiales impresos y audiovisuales correspondiente al Mster universitario en tecnologas de la informacin y la comunicacin en la enseanza y tratamiento de lenguas de
la mencionada universidad.
La muestra total de alumnos participantes fue de 40 estudiantes de los cuales
22 eran mujeres y 18 hombres con edades comprendidas entre 25 y 43 aos. La muestra pertenece a la totalidad de alumnos matriculados en la asignatura Elaboracin y
edicin de materiales impresos y audiovisuales del Mster universitario oficial en tecnologas de la informacin y la comunicacin en la enseanza y tratamiento de lenguas
durante el curso acadmico 2012/13. Por lo tanto, su significativdad viene determinada
por su similitud en nmero de participantes con otros msteres oficiales de diferentes
universidades nacionales e internacionales. La actividad se desarroll en cuatro fases
atendiendo a los objetivos y dimensiones de la investigacin.
Fase 1. Creacin de un poster digital para la enseanza de lenguas por parte de
cada estudiante con la herramienta Glogster.Edu (http://edu.glogster.com/). La
actividad concreta consista en la creacin de un pster digital con diferente material audiovisual enlazado para presentar las principales cacractersticas interactivas del espacio virtual de formacin y aprendizaje. Se pretenda que el estudiante
reflexionara sobre la posibilidad de compartir conocimiento en red con material
digital de creacin propia y lo complementara con material auxiliar localizado en
repositorios en lnea de acceso gratuito y libres de derechos de autor.
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157
Fase 2. Creacin en parejas de una e-rbrica para la evaluacin de la calidad y funcionalidad del pster digital desde una doble perspectiva (formato y contenido)
con la herramienta Rubistar (http://rubistar.4teachers.org/). Esta fase tena por
objeto adentrar al estudiante en el proceso de diseo y creacin de e-rbricas aplicadas a la co-evaluacin de material digital en red mediante el empleo de software
y pginas web gratuitas para su creacin. La orientacin sobre el contenido de la erbrica, en aras de favorecer un estndar mnimo de homogeneidad en su diseo,
se realiz conforme a uno de los bloques de contenido del temario de la asignatura
que estableca qu parmetros de diseo fundametal se deban tener en cuenta
para el desarrollo de e-rubricas en la evaluacin de material digital destinado a
la enseanza de lenguas. Por lo tanto, todos los estudiantes partan de un bloque
comn terico orientativo para su diseo y posterior evaluacin.
Fase 4. Una vez finalizadas las tres fases correspondientes a la actividad colaborativa virtual de creacin y evaluacin mediante e-rbricas, se procedi a la fase
cuarta de investigacin y valoracin de las e-rbricas por parte de los estudiantes
en las tres dimensiones de la investigacin: funcionalidad en la coevaluacin, en
la evaluacin de material digital en red y en el desarrollo de destrezas lingsticas.
Esta fase se realiz de forma virtual recurriendo a los foros temticos creados por
el equipo docente y disponibles en la plataforma virtual aLF de la UNED. Se propuso un foro temtico sobre e-rbricas en el que se realizaron tres preguntas para su
debate conforme a las tres dimensiones de la investigacin (Figura 4).
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157
!" ! = !! +
!!!
!"#
!"#
!! cos
+ !! sin
!
!
Resultados y discusin
La descripcin de los resultados cualitativos, matriciales y relacionales se muestran atendiendo a las dimensiones planteadas en la investigacin y se representan con las herramientas de anlisis prioritarias en el tratamiento de datos obtenido en Atlas-Ti y UCINET
y el editor grfico yED Graph.
Dimensin 1: e-Rbricas y coevaluacin en el proceso de enseanza-aprendizaje.
Uno de los aspectos ms interesantes de la creacin y uso de e-rbricas relacionadas
con la mejora de los procesos de coevaluacin en el proceso de enseanza-aprendizaje
es su aplicabilidad al desarrollo de las competencias genricas del Espacio Europeo de
Educacin Superior (EEES) principalmente aquellas relacionadas con el aprendizaje autorregulado y las competencias interpersonales (Dublin Descriptors, 2005) y tambin competencias especficas de los grados y mster universitarios de la UNED; especialmente
aquellas relacionadas con las reas competenciales: gestin autnoma y autorregulada
del trabajo, gestin de los procesos de comunicacin e informacin y trabajo en equipo
desarrollando distinto tipo de funciones o roles, donde la coevaluacin es un aspecto
esencial en la conformacin de los estudiantes y futuros profesionales. En la Tabla 2 se
presentan las frecuencias de significado de las categoras ms significativas en la incidencia de las e-rbricas en la coevaluacin del proceso formativo.
Dimensin
1:
E-rubricas
y
co-evaluacin
Casos/
%
Casos
Nb
Words
%
Words
Citas
Autoevaluacin
58
22,0%
148
20,0%
Economa de tiempo
46
17,4%
128
17,3%
Criterios de evaluacin
51
19,3%
143
19,3%
Pertinencia
31
11,7%
101
13,6%
Interaccin
39
14,8%
111
15,0%
Habilidades y destrezas
38
14,4%
108
14,6%
Total 263
100%
739
100%
Tabla n.2. Frecuencias de la influencia de la e-rbrica en la coevaluacin
Las unidades de significado con mayor peso porcentual han sido la autoevaluacin (N= 148/22%), los criterios de evaluacin (N= 143/19,3%) y la economa de tiempo
(N= 128/17,3%), respectivamente. Muestra de ellos son algunos comentarios en foros
como los siguientes: En primer lugar quisiera comunicar la satisfaccin de vivir la experiencia del trabajo colaborativo (en este caso por parejas) dentro de la misma asignatura en la que, a lo largo de los diferentes captulos que hemos ledo se ha explicado
justificadamente su importancia: ha sido muy productivo y enriquecedor el proceso de
coevaluacin de nuestro propio trabajo, adems de favorecer la propia autoevaluacin y
reducir tiempo en su desarrollo (MT-Alumni23).
Las e-rbricas ayudan al estudiante a desarrollar una mayor autonoma en el proceso de evaluacin, mejorando el propio proceso y favoreciendo que el estudiante sea
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157
ms consciente de los requerimientos expresados en los criterios de evaluacin y economizando el tiempo en todos los mbitos de la evaluacin. Asimismo, son un instrumento
ideal para el trabajo colaborativo ya que tanto su diseo y aplicacin se pueden desarrollar en parejas o en grupos reducidos de estudiantes, mejorando as los resultados
obtenidos. Esto supone una mayor implicacin en el proceso de enseanza-aprendizaje;
lo que corresponde con resultados similares en investigaciones recientes (Andrade, Du
y Wang, 2008; Hanrahan e Isaacs, 2010; Cebrin, 2011). Los resultados en la categora
de criterios de evaluacin implican que el estudiante comprende mejor los criterios de
evaluacin que le son de aplicacin y que, a su vez, aplica a terceras personas que realizan una actividad similiar a la suya en un proceso interno de reflexin conceptual. Este
proceso facilita la consecucin de los objetivos de las actividades propuestas y ayuda
al estudiante a focalizar las tareas de aprendizaje (Genesee y Upshur, 1996; Navarrete
y Guske, 1996; Reddy y Andrade, 2010). Asimismo, la mejora de la autovealuacin por
medio del uso de e-rbricas en la enseanza a distancia permite que el estudiante obtenga un mayor feedback de sus tareas virtuales; lo que supone un elemento clave en
entornos digitales (Cebrin y Accino, 2009; Griffin, 2009) y con una mayor incidencia, si
cabe, en el contexto de desarrollo de destrezas en lenguas extranjeras (Hung, 2012).
Dimensin 2: e-Rbricas y evaluacin de material digital para la enseanza
de lenguas
La evaluacin del material digital en red es un aspecto esencial en el que las e-rbricas
pueden suponer un elemento de gran ayuda y apoyo. El nmero de aplicaciones para
el diseo de materiales digitales crece exponencialmente y muchas veces no existen
criterios bien delimitados para evaluar su calidad y aplicabilidad en el mundo educativo
y en la enseanza de lenguas. La creacin de e-rbricas puede permitir la evaluacin
de diferentes aspectos de formato e interfaz del material digital en red, entre otras: su
diseo, interactividad, calidad formativa, competencias, etc. Asimismo, su empleo puede derivar en proyectos o documentos que orienten a profesorado y estudiantes sobre
la viabilidad y discriminacin del material digital en red; como los desarrollados por el
programa americano QM Quality Matters (www.qmprogram.org), dedicado mediante
e-rbricas (http://www.qmprogram.org/rubric) a la evaluacin de la calidad de la educacin virtual.
En la Tabla 3 se presentan las frecuencias de significado de las categoras ms significativas en la incidencia de las e-rbricas en la evaluacin del material digital en red.
Dimensin
2:
E-rubricas
y
evaluacin
de
material
digital
Casos/
%
Casos
Nb
Words
%
Words
para
la
enseanza
de
lenguas
Citas
Contenido
completo
45
10,7%
146
12,0%
Grafismo
41
9,8%
141
11,6%
Imgenes
64
15,3%
175
14,4%
Enlaces
71
16,9%
191
15,8%
Ortotipografa
52
12,4%
156
12,9%
67
16,0%
187
15,4%
Audio/vdeo
78
18,6%
211
17,4%
Total 418
100%
1207
100%
En esta segunda dimensin las cuatro categoras que han resultado ms significativas han sido la utilidad de la e-rbrica para la evaluacin de la calidad del audio y vdeo
(N= 211/18,6%), el tamao color y posicin de los recursos o elementos en el diseo
web (N= 187/16%) y la pertinencia de las imgenes empleadas (N= 175/15,3%). Como
muestra de la funcionalidad en la evaluacin del material digital, algunos alumnos/as
reflexionaban con valoraciones como las siguientes: Creo que esta experiencia ha sido
especialmente positiva precisamente porque todos hemos sido alumnos y evaluadores
a la vez. Personalmente, trabajando en la e-rbrica y evaluando un glog, me daba cuenta
de lo que me gustara cambiar en el mo y de los aspectos de diseo digital que resultaban menos claros o entorpecan la funcionalidad del material digital (MT-Alumni 3). En
muchas ocasiones, el diseo del material en red no es evaluado conforme a los objetivos
con los que se ha diseado (didcticos, empresariales, etc.). La enseanza de idiomas
con materiales digitales se debe afrontar desde un diseo interactivo simple pero eficiente, en el que los artificios o elementos ms efectistas se invisibilicen y no dificulten
el desarrollo de destrezas lingsticas.
La e-rbrica facilita una evaluacin del material digital desde parmetros ms objetivos de evaluacin, orientando su mejora desde postulados ms prcticos y operativos
(Mansilla y Duraisingh, 2009; Reddy, 2007). Las e-rbricas posibilitan que el estudiante
sepa identificar con mayor objetividad aquellos aspectos del material digital que deben
ser mejorados para el desarrollo de competencias y habilidades en el aprendizaje y enseanza de lenguas; especialmente aquellos relacionados con el desarrollo de indicadores
orales y escritos de las competencia lingstica (Jonsson y Svinbgy, 2007). Por lo tanto,
la e-rbrica ha resultado especialmente relevante en la evaluacin de la pertinencia de
los tres elemntos audiovisuales (audio, imagen y vdeo) necesarios para el desarrollo de
materiales digitales en la enseanza de lenguas (Wolfe, Matthews y Vickers, 2010).
Dimensin 3: e-Rbricas y evaluacin de destrezas lingsticas
Uno de los elementos clave en la evaluacin de competencias lingsticas es la objetividad en la evaluacin de las destrezas adquiridas segn los niveles de competencia
establecidos en los currculos oficiales y el Marco de referencia europeo de las lenguas.
Los aspectos cualitativos relacionados con la competencia lingstica siempre han resultados difciles de medir y evaluar. En esta labor la e-rbrica puede resultar de gran
utilidad a la hora de tipificar y valorar grados de consecucin competencial en destrezas
auditivas, orales, gramaticales y discursivas proporcionando mayor objetividad a la evaluacin y una retroalimentacin al estudiante para mejorar su desarrollo.
En la Tabla 4 se presentan las frecuencias de significado de las categoras ms
significativas en la incidencia de las e-rbricas en la evaluacin de destrezas lingsticas.
Casos/
%
Casos
Nb
Words
%
Words
Citas
Produccin oral
89
16,0%
202
15,1%
Coherencia y cohesin
56
10,0%
141
17,3%
61
10,9%
167
10,5%
Adecuacin al registro
52
9,3%
129
9,6%
88
15,8%
201
15,0%
Prosodia
37
6,6%
87
6,5%
Expresin escrita
97
17,4%
211
15,7%
Capacidad de respuesta
75
13,5%
199
14,8%
Total 555
100%
1337
100%
En esta tercera dimensin los estudiantes opinaban y debatan sobre cmo pueden las e-rubricas apoyar al profesorado y a los mismos estudiantes a evaluar la consecucin de destrezas lingsticas. Su evaluacin se suele afrontar en indicadores de desarrollo y su consecucin suele mejorarse con la observacin de tems relacionados con
la produccin y comprensin lingstica. Las e-rbricas han sido valoradas por los estudiantes como tiles en la mejora de la objetividad en la evaluacin de los indicadores:
expresin escrita (N= 211/17,4%), produccin oral (N= 202/16%) y sintaxis, lxico y gramtica (N= 201/15,8%). Las aportaciones de los estudiantes en esta dimensin fueron
muy diversas, detacamos una que sintetiza, en buena parte, las reflexiones realizadas
por muchos de ellos: Aunque podemos usarlas para la evaluacin de cualquier destreza,
creo que es ms til en la evaluacin de las destrezas expresivas (expresin e interaccin oral, expresin escrita), puesto que para la evaluacin de la comprensin lectora y
auditiva podemos elaborar otros instrumentos de evaluacin bastante objetivos. En el
caso de la evaluacin de estas destrezas, la rbrica nos ayuda a definir y delimitar, con
criterios objetivos, los niveles de concrecin, nos da herramientas para unificar criterios
y evaluar conforme a unas tablas generales de uso comn (MT-Alumni 31).
Los indicadores de las destrezas sirven para proporcionar retroalimentacin a
los estudiantes sobre su proceso de aprendizaje (Han, Chodorow y Leacok, 2006). Los
resultados de la percepcin de mejora en la competencia oral y escrita por medio del
empleo de e-rbricas es un aspecto que se acrecienta en los procesos educativos fundamentados en los principios de e-learning y blended learning y que han sido tambien
descritos como positivos en investigaciones aplicadas tanto en la enseanza presencial
como virtual (Al-Jarf, 2011; Spence, 2010; Wilson, 2006).
Este estudio de frecuencias realizado con el programa Atlas-Ti se complement con el anlisis de las percepciones, comentarios y opiniones de los estudiantes en
los tres hilos de los foros desde anlisis de redes sociales (ARS). Analizamos la red de
interacciones obtenida en aLF con las cargas y conexiones ms significativas. Para ello,
hemos editado la red resultante de UCINET con el editor yED Graph Editor 3.11.1 (Figura
5) para hacerla ms visual y comprensible.
Podemos observar tres nodos principales en formato paralelogramo correspondientes a los tres hilos centrales del foro. La densidad media de los tres hilos del foro
con la matriz dicotomizada fue .56 con .23 de desviacin estndar; lo que representa un
valor alto para una muestra con 38 estudiantes y un rango promedio de la red de 3.813;
lo cual indica que cada palabra clave est interrelacionada con una media de casi 4. Este
valor se considera alto para un total de 28 nodos. Adems, este resultado muestra que
ms de dos tercios de todos los vnculos posibles estuvieron presentes y que se obtuvo
una alta participacin. Hemos analizado la centralidad de la red para identificar aquellos
aspectos ms prominentes. Para ello, hemos recurrido al anlisis del grado nodal, de
intermediacin y de cercana (Tabla 5).
Autoevaluacin
Economa
de
tiempo
Criterios
de
evaluacin
Pertinencia
Interaccin
Habilidades
y
destrezas
Contenido
completo
Grado
Nodal
Deg.
NrmD.
19.0
54.550
17.0
52.275
18.0
51.250
11.0
28.750
12.0
30.225
12.0
30.750
10.5
28.750
Grafismo
Imgenes
Enlaces
Ortotipografa
Tamao,
color
y
posicin
Audio/vdeo
Produccin
oral
Coherencia
y
cohesin
Produccin
del
alumno
Adecuacin
al
registro
9.0
15.0
17.0
11.0
16.0
18.0
16.0
11.0
11.0
11.0
e destrezas
Evaluacin material
Coevaluacin
Items
Grado
Intermediacin
Bet.
nBet.
65.5
32.5
63.0
30.5
61.5
25.5
35.0
19.3
33.0
20.0
32.5
20.5
32.5
19.0
Grado
Cercana
Far.
Clos.
77.0
41.10
71.2
38.96
70.3
34.60
56.0
35.51
55.0
31.00
56.0
31.00
51.0
29.81
27.750
31.5
18.2
48.0
27.43
35.500
55.0
29.4
74.0
38.45
51.500
60.0
31.3
74.0
39.61
28.500
32.0
18.0
55.0
31.37
50.500
59.0
30.2
72.0
39.12
52.500
61.5
32.0
76.0
41.10
50.500
59.0
30.2
72.0
39.12
28.500
32.0
18.0
55.0
31.37
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157
28.500
32.0
18.0
55.0
31.37
28.500
32.0
18.0
55.0
31.37
Evaluacin
mater
Evaluacin
de
destrezas
Nodos
centrales
Grafismo
Imgenes
Enlaces
Ortotipografa
Tamao,
color
y
posicin
Audio/vdeo
Produccin
oral
Coherencia
y
cohesin
Produccin
del
alumno
Adecuacin
al
registro
Sintaxis,
lxico
y
gramtica
Prosodia
Expresin
escrita
Capacidad
de
respuesta
Facilitador
9.0
15.0
17.0
11.0
16.0
18.0
16.0
11.0
11.0
11.0
15.0
7.0
18.0
12.0
21.0
Motivacin
Metodologa
Reflexin
Gua
Interaccin
Economa
de
tiempo
22.0
24.0
20.0
21.0
21.0
23.0
27.750
31.5
18.2
48.0
27.43
35.500
55.0
29.4
74.0
38.45
E.VZQUEZ,
M.MARTN
51.500
60.0
31.3
y M. FERNNDEZ
74.0
39.61
151
28.500
32.0
18.0
55.0
31.37
50.500
59.0
30.2
72.0
39.12
52.500
61.5
32.0
76.0
41.10
50.500
59.0
30.2
72.0
39.12
28.500
32.0
18.0
55.0
31.37
28.500
32.0
18.0
55.0
31.37
28.500
32.0
18.0
55.0
31.37
35.500
55.0
29.4
74.0
38.45
18.500
12.0
8.0
15.0
11.37
52.500
61.5
32.0
76.0
41.10
30.750
32.5
20.5
56.0
31.00
16.0
50.500
59.0
30.2
72.0
18.0
19.0
15.0
16.0
16.0
18.0
52.500
54.550
35.500
50.500
50.500
52.500
61.5
65.5
55.0
59.0
59.0
61.5
32.0
32.5
29.4
30.2
30.2
32.0
76.0
77.0
74.0
72.0
72.0
76.0
Tabla n.5. Grado nodal, de intermediacin y cercana en la red social Rbricas
La centralidad muestra la posicin de los conceptos en la red (Spencer, 2003) y
arroja un resultado bastante alto del 67% con un nmero total de nodos de 28. El grado
mximo (nmero mximo de relaciones de un nodo en la red) es de 24 (Metodologa)
formando los nodos del 22 al 28 (facilitador, motivacin, metodologa, reflexin, gua, interaccin y economa de tiempo) los ncleos de centralidad del grafo, segn el concepto
de k-cores (Seidman, 1983). Los resultados muestran que los aspectos con mayor rango normalizado (Nrmdegree: porcentaje de conexiones que tiene un nodo sobre el total
de la red) y mayor grado nodal se concentran en los tems sombreados en la Tabla 5. Los
resultados del grado de intermediacin 58,131 nos proporcionan informacin relevante
con respecto a la frecuencia con que aparece un nodo en el tramo ms corto (o geodsico) que conecta a otros dos; es decir, muestra cuando un tema puede ser intermediario
entre otros. Hemos reseado en el grupo facilitadores aquellos nodos que tienen un grado de intermediacin mayor (20) y son recurrentes en las tres dimensiones analizadas.
Los resultados del grado de cercana indican que estos nodos mayores se concentran en
aquellos aspectos que sirven para interrelacionar las tres dimensiones: coevaluacin,
funcionalidad didctica y formato audiovisual.
Como resumen del grafo podemos concluir apuntando que todos los nodos secundarios son accesibles a travs de las conexiones del grafo en sus tres nodos principales: coevaluacin, funcionalidad didctica y formato audiovisual; por lo que la funcionalidad y utilidad de las e-rbricas suponen un gran poder de intermediacin en la red;
es decir presentan para los estudiantes participantes elementos positivos en las tres
dimensiones analizadas.
Conclusiones
El uso de las e-rbricas est bastante extendido en los procesos de evaluacin institucional y en el enfoque orientado a la obtencin de calificaciones ms objetivas en la enseanza. La investigacin realizada parte de una orientacin terica colaborativa y cooperativa para el fomento de la propia autoevaluacin y coevaluacin del material digital
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157
Agradecimientos
Este trabajo se enmarca dentro de la VII Convocatoria de Redes de Investigacin para la
Innovacin Docente convocadas por la Universidad Nacional de Educacin a Distancia
(UNED) con el ttulo: Desarrollo de e-rbricas para el fomento de la evaluacin continua
de actividades 2.0 en enseanza de lenguas extranjeras.
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157
Referencias bibliogrficas
Al-Jarf, R. (2011). Creating and Sharing Writing iRubrics. Asian EFL Journal. Professional
Teaching Articles, 51, 41-62.
Andrade, H. G., Du, Y., y Wang, X. (2008). Putting rubrics to the test: The effect of a mo
del, criteria, generation, and rubric referenced self assessment on elementary
school students writing. Educational Measurement: Issues and Practice, 27(2),
3-13.
Attali, Y., Lewis, W., y Steier, M. (2012). Scoring with the computer: Alternative procedu
res for improving the reliability of holistic essay scoring. Language Testing, 30(1),
125-141.
Barabsi, A.L. (2002). Linked-The new science of networks. Cambridge, MA.: Perseus
Publishing.
Borgatti, S., Everett, M., and Freeman, L. (2002). Ucinet for Windows: Software for Social
Network Analysis. Harvard, MA.: Analytic Technologies.
Boud, D. y Falchikov,N. (Eds.) (2007). Rethinking Assessment in Higher Education: Lear
ning for the Longer Term. Londres: Routledge.
Castells, M. y Monge, P. (2011). Network Multidimensionality in the Digital Age. Prolo
gue to the Special Section. International Journal of Communication, 5, 788-793.
Caverlee, J., Liu, L. y Webb, S. (2010). The SocialTrust framework for trusted social infor
mation management: Architecture and algorithms. Information Sciences, Scien
ceDirect, 180, 95-112.
Cebrin,M. (2009) Formative and peer-to-peer evaluation using a rubric tool. En A. Mn
dez-Vilas, A. Solano Martn, y J.A. Mesa Gonzlez. Research, Reflections and In
novations in Integrating ICT in Education, pgs.60-64. Badajoz: Formatex. Dispo
nible en http://www.formatex.org/micte2009/book/Index.pdf
Cebrin, M. (2011). La evaluacin formativa a travs de las e-rbricas y los e-portafolios.
V Ciclo de conferencias: Enseanza y aprendizaje en la Universidad. Universidad
de Vigo. Disponible en http://vicadc.uvigo.es/opencms/export/sites/vicadc/vica
dc_gl/documentos/ciclos_conferencias/Material.ePor_eRubric.pdf
Cebrin, M. y Accino, J. (2009). Del ePortafolio a las tecnologas de la federacin: La
experiencia de gora Virtual. Jornadas Internacionales sobre docencia, investi
gacin e innovacin en la universidad. Santiago de Compostela.
Coniam, D. (2009). Experimenting with a computer essay-scoring program based on ESL
student writing scripts. ReCALL: The Journal of EUROCALL, 21(2), 259-279.
Dornisch, M. M., y Sabatini McLoughlin, A. (2006). Limitations of web-based rubric re
sources: Addressing the challenges. Practical Assessment, Research & Evalua
tion, 11(3).
Downie, M. (2011). Choosing and Developing Classroom Material. En S. House (coord.)
Didctica del Ingls. Classroom Practice. Barcelona: Gra.
Dublin Descriptors (2005). Shared Dublin descriptors for the Bachelors, Masters and
Doctoral awards. (Draft 1.31 working document on JQI meeting in Dublin.
2004PC).
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 135-157
Wolfe, E. W., Matthews, S., y Vickers, D. (2010). The effectiveness and efficiency of distri
buted online, regional online, and regional face-to-face training for writing as
sessment raters. The Journal of Technology, Learning, and Assessment, 10(1), 1-21.
Zimmerman, B. J. y Schunk, D. (2011). Self-regulated learning and performance: an in
troduction and an overview. En B. J. Zimmerman y D. Schunk (Eds.), Handbook of
Self-Regulation of Learning and Performance. Routledge.
Mail: evazquez@edu.uned.es
Doctor en Ciencias de la Educacin con premio extraordinario por la UNED. Actualmente es profesor de la Facultad de Educacin de la UNED y desempea su labor investigadora en organizacin escolar, aprendizaje mvil y ubicuo y los cursos masivos en
abierto (MOOC). Es miembro de diferentes equipos de investigacin en Italia, Espaa
y Colombia. Ha publicado ms de 40 artculos en revistas nacionales e internacionales;
ha presentado ms de 40 ponencias en congresos y es autor de ms de 15 libros. Editor
adjunto de cinco revistas internacionales, tambin colabora como revisor en revistas
indexadas en Scopus y JCR.
Mail: emartin@flog.uned.es
Profesora en la Facultad de Filologa de la UNED, imparte cursos de Ingls para Fines
Especficos y sobre enseanza de lenguas con apoyo tecnolgico. Miembro del grupo de
investigacin ATLAS, su investigacin se centra en la integracin de las TIC en el aprendizaje de lenguas extranjeras, con especial atencin al aprendizaje mvil y los cursos
masivos (MOOC). Ha sido profesora de lenguas extranjeras y formadora de profesores
durante ms de 10 aos y publicado tanto a nivel nacional como internacional. Adems, ha recibido diferentes reconocimientos: Premio Extraordinario a su tesis doctoral,
Primer Premio de Experiencias Educativas en el V Congreso Educared por su trabajo en
Aprendizaje de Lenguas Asistido por Ordenador y Premio del Consejo Social de la UNED
a las Mejores Prcticas Docentes.
Mail: mferna20@csu.edu
Miguel Fernndez es Profesor Titular en el Programa de Educacin Bilinge en Chicago
State University (Estados Unidos). Es licenciado y doctor en Filologa Inglesa por la Universidad de Granada y tiene un Mster en Evaluacin por la Universidad de Lancaster
(Reino Unido). Sus reas de especializacin incluyen la educacin bilinge, la adquisicin
y el aprendizaje de una segunda lengua, y la evaluacin de idiomas. Ha publicado ms
de veinte artculos en estas reas. Es el autor del libro A Test Impact Study under the No
Child Left Behind Act: The case of the ACCESS for ELLs. Actualmente es el Presidente de
la Asociacin de Profesores de Ingls del estado de Illinois (Illinois TESOL).