Fases para elaborar una rúbrica (Pablo Olivos):

1) Hacer explícitos ciertos supuestos que subyacen al proceso de evaluación

¿Cuál es el nivel esperado de los alumnos? ¿Se espera lo mismo de un foro en el
que se debate unas lecturas recomendadas que otros en la que tienen que
desarrollar trabajos más complejos? (Ana Cobo). Es decir, hay que hacer una
reflexión inicial sobre cuál es el propósito de ese foro, qué competencias se
trabajan y cuáles son los objetivos de aprendizaje de la asignatura que se
pretenden alcanzar con el foro (Raquel Bartolomé).

 ¿Una rúbrica para todo el curso o para una actividad? En relación a la cuestión que
plantea Monserrat de Pablo, yo creo que dada la especificidad de cada actividad, no
puede plantearse hacer una rúbrica para todo el curso, aunque sí que convendría que se
consensuara con otros profesores que imparten la asignatura. Francisco Montero
plantea algo similar porque considera que las rúbricas pueden tener distinto calado: 1)
de aplicación general o transversal a lo largo de las asignaturas que imparte el docente
o 2) concretas y específicas de la asignatura y determinadas por sus contenidos y
actividades.

2) Definir los criterios que se tendrán en cuenta para la evaluación, ¿qué es lo

realmente importante?  Operacionalmente (en el caso de muchos alumnos y
comentarios) y conceptualmente (si hay menos alumnos y comentarios).

3) Diseñar la matriz (con sus ítems, escalas, etc.), ¿cómo lo vamos a calificar?

En las variables numéricas la dificultad que surge es si una mayor cantidad implica
mayor calidad. En relación a esto yo plantearía que la variable cantidad estará
complementada con la calidad que se especificará en otras variables (ver tabla a
continuación).

En las variables nominales (escala) lo difícil es la graduación de los distintos niveles.

 Con respecto a las variables dicotómicas (si/no): Cristina García señala que plantear
variables si/no dificulta una valoración real de la participación de cada individuo en el
foro En relación a esto yo haría dos reflexiones: 1) ¿Es un curso numeroso, con gran
cantidad de comentarios, y con poco tiempo para calificarlo entre actividades
distintas...? Si es así, son más útiles, pues es importante la sencillez para que la rúbrica
sea operativa (Pablo Olivos, Juan Gregorio) y 2) ¿Quién va a evaluar? si para nosotros
ya es difícil distinguir entre “bien” y “muy bien” para los alumnos, si han de co-evaluar
a sus compañeros, es prácticamente imposible y puede hacerles desistir de participar en
la actividad. Como señala Rosario Caballero es difícil que ellos estén por la labor de
participar de su propia evaluación, con lo cuál hay que facilitárselo.

Con respecto al número de niveles: No es necesario establecer niveles por debajo de

unos mínimos y puede ser más adecuado y motivador describir dos niveles altos
(Raquel Bartolomé)
4) Verificar que la rúbrica nos permite discriminar (ya sea para calificar alumnos,
comentarios y/o retroalimentar a los alumnos en función de su rendimiento). Como
señala Francisco Ramos y Rolando Cendón, es el espacio de autoevaluación sobre si la
aplicación de la rúbrica es correcta/congruente/acertada o si hay algún aspecto que falla
(mucha participación pero poca calidad,...) y si la actividad propuesta ha servido
realmente a los estudiantes para adquirir las competencias de la titulación que nuestra
asignatura contribuye a alcanzar.

 El esforzarnos en realizar una escala cualitativa no debe hacernos olvidar que hay
que dar una puntuación concreta al final (Raquel Bartolomé, Juan Gregorio), por lo
tanto siempre hay que asociar un número a los niveles (Helena Romay)

 Moodle ofrece, como opción en la creación de foros, la activación de la calificación

de mensajes de cada uno al mismo tiempo que se leen. Algunos ejemplos en:
http://www.meneame.net/ o http://barrapunto.com/) donde está valoración es realmente
útil para establecer un orden en los mensajes (los mejor valorados aparecen antes que el
resto) o incluso para determinar el peso que tiene un usuario en futuros debates (mayor
peso para aquellos usuarios cuyas opiniones son mejor valoradas) (Javier Albusac)

 Francisco P. Romero (vie 2010-11-19 13:40) plantea algo que me suena a chino, pero me
parece interesante ¿podrías explicarlo con un mayor grado de detalle? 
Evaluación automática o semiautomática que puede aplicarse en ciertas asignaturas y
temas (como Informática) para evaluar la ingente cantidad de ejercicios que recibimos
con el nuevo sistema de aprendizaje. Además de ahorrar tiempo al docente, se ofrece a
alumnado la retroalimentación de lo que hacen y lo más pronto posible. Así señala que
la rúbrica se transformaría un conjunto de especificaciones que el algoritmo utilizaría
para evaluar todos los textos sin necesidad de que nos los tengamos que leer. En
concreto, en la evaluación de participaciones en un debate este proceso sería muy
sencillo si únicamente consistiera a analizar la frecuencia o patrón de participación, los
errores ortográficos e incluso si comete errores sintácticos. Algo más complicado, pero
muy de moda, es analizar de forma automática el contenido de los textos que
aportamos, clasificándolos ("taggeandolos" automáticamente), pretendiendo conocer si
el texto analizado esta de acuerdo con el tema planteado, si realiza aportaciones nuevas,
etc. Actualmente como he dicho es un tema muy en boga en la web 2.0 my en línea con
la Minería de Opiniones (http://www.cs.uic.edu/~liub/FBS/opinion-mining.pdf). De la
misma manera el mismo programa y la misma rúbrica podrían valer para distintos
temas, simplemente definiendo el tema con unas pocas palabras ("taggear el tema").

ASPECTOS A INCLUIR EN LA RÚBRICA (A esta conclusión también llega

Rolando Cendón)
Cantidad (Número de intervenciones):
- Marta Gil et al: la peor valoración a quien no participa y la mejor a quien
participa mucho, sin resultar excesivo
- Pablo Olivos et al: la cantidad de veces que se entra al foro no debiera ser
relevante. No obstante, si un alumno NO entra ni una sola vez, esto si que
debiera reflejarse en la calificación. Por lo tanto, en este caso, una graduación
discreta sería lo más apropiado (Si / No).
- Eliecer: la participación en sí no debería tener peso en la valoración, que no
participa no tiene valoración en los indicadores y, por tanto, está, digamos,
fuera del negocio acertado el modo en que José Vicente y su grupo han
 solventado este escollo: vinculando el grado de participación al acierto o grado
de oportunidad de la intervención en el debate. Es decir, evitando que se valore
positivamente aquello de "participar por participar".
- Podría advertírseles a los alumnos que "la participación coherente cuenta
positivamente en la nota", para que haya menos participaciones pero más
enriquecedoras (Carlos A. Castillo)
- Si es posible alcanzar la participación de todos, este criterio deja de tener valor
discriminatorio y se convierte en una condición necesaria pero no suficiente
para que un alumno sea evaluado positivamente (Juanjo Blázquez).

Calidad:

Pertinencia de los comentarios y aportes extraordinarios (Pablo O. et al)

Referencia a las lecturas obligatorias, a los argumentos apoyados en una base
determinada (Juan Gregorio et al.)

Niveles: “Transformador” y “Experto” (Francisco Javier et al):

- Raquel Bartolomé: me ha gustado la propuesta del grupo de Francisco Javier, que

utiliza un nivel denominado "transformador" (no tan claro el “experto”) porque
representa bien lo que se pretende conseguir con los cambios en el planteamiento de la
educación

- Alejandro Lucas: no me resulta obvio diferenciar entre la calificación de "experto" y

"transformador". El nivel de principiante, medio y experto parece relativamente
sencillo distinguirlo. Si embargo, ¿cuáles son las aportaciones que determinan un nivel
experto o alto y transformador o excelente?. Yo creo que el elemento diferenciador es
el tono moderador, orientativo, generador de nuevas cuestiones y planteamientos, y a
veces evaluador en sus diferentes intervenciones.

- Eliecer: en mi grupo optamos por poner números (1-4) en lugar de etiquetas léxicas
(aunque en el fondo sea lo mismo).

Aspectos formales (que introducen Juan Gregorio et al.):

- Eliecer: Lo malo es introducir un indicador basado en la redacción, en las faltas

de ortografía, en aspectos formales. En este caso, ese indicador no discriminaría
los que más saben, de los que saben menos. Después puntualiza que no es
necesario en grupos a los que se les supone un determinado nivel, pero que en el
caso de evaluar alumnos, por supuesto es importante tanto el contenido como la
forma.
- Jesús González: ¿qué tal la utilización coherente del vocabulario propio de la
disciplina que están estudiando?. La ortografía y otros aspectos formales parece
que deberíamos darlos por supuestos (aunque la realidad es poco alentadora en
este campo), pero el conocimiento y la utilización de la terminología propia de
la materia sí debería formar parte de los aspectos formales.
Intervenciones posteriores del resto de participantes atestiguan que es un indicador
relevante en las rúbricas.
DEBATE SOBRE PUBLICIDAD DE LA RÚBRICA Y PARTICIPACIÓN DE
LOS ALUMNOS EN SU ELABORACIÓN
En relación a este tema, parece que a algunos de vosotros también os surge esta duda
(Javier Díaz, Ana Cobo) y aunque observáis la utilidad de que la tengan para que su
trabajo sea más eficiente también planteáis que también puede repercutir en una menor
creatividad de los alumnos.
Otros, como Marta Gil, convencida de la conveniencia de compartirlas con ellos
-incluso desde su elaboración- plantea una solución para salvar los posibles efectos
colaterales: Que los indicadores sean escogidos para favorecer la creatividad y el
pensamiento crítico, valorando: la aportación de nuevos puntos de vista, la crítica
constructiva y argumentada,...
Francisco Ramos apunta a que el acuerdo intersubjetivo de los implicados puede
reforzar la validez o no de una evaluación.
Julio C. de Cisneros también observa la ventaja de la participación de los alumnos en la
elaboración de la rúbrica, con el fin de involucrarles en los objetivos a alcanzar. Pero
especifica que la rúbrica debe ser una propuesta que el profesor hace a los alumnos y
quien pone el "techo" es el profesor, pues si es elaborada en "asamblea" puede
llevarnos a no concretar nada o a concretar demasiado lo que nos puede llevar a olvidar
aspectos que pueden surgir a lo largo del aprendizaje y luego, como no has definido
este aspecto, resulta que "técnicamente" no lo puedes evaluar.
Juliana Parras apunta un aspecto formal, que yo quizás había olvidado; si en las guías
docentes aparecen los criterios de evaluación y la rúbrica lo es, debe ser conocida por el
alumno e incluso colaborar en su elaboración.
Juanjo Blázquez plantea que es fundamental que los alumnos conozcan qué se espera
de ellos, para que alcancen un mayor esfuerzo para realizar mejores aportaciones, que
una participación simple al debate. Aunque, advierte que, de forma tácita o explícita,
los alumnos pueden llegar a un acuerdo para otorgarse la máxima calificación entre
todos.

Raquel Bartolomé, sostiene mi idea inicial de la perversión que puede conllevar

conocer a priori los ítems sobre los que te van a evaluar. Citando sus palabras textuales:
“… con respecto a los indicadores de resultado en los objetivos generales… están tan
bien definidos e identificados cuáles deben ser los argumentos y las opiniones, que
alguien podría "sumarse" directamente al discurso acorde con esos argumentos y
obtener una nota excelente, sin necesidad de reflexionar y debatir sobre ellos ni
compartir realmente el espíritu del cambio de paradigma”.