CALIBRACIN DE UN BANCO

DE PREGUNTAS PARA LA
EVALUACIN DEL
CONOCIMIENTO DEL
LENGUAJE VASCO
Javier Lpez-Cuadrado*, Toms A. Prez, Jos . Vadillo,
Julin Gutirrez F

OBJETIVO
Obtener las estimaciones de los parmetros de
las preguntas utilizadas para el generador CAT
de Hezinet, un sistema que es usado para la
evolucin del lenguaje Vasco.

PROCESO DE CALIBRACION
Preparacin del banco de preguntas original
Diseo de Anclaje: Divisin del banco de preguntas en seis sub-pruebas mediante
la aplicacin de algoritmo
Administracin de las sub-pruebas se administraron por Internet
Anlisis de las respuestas estudios psicomtricos complementarios y retiro de
preguntas
Estimacin estadstica de los parmetros de las preguntas y evaluacin de
correspondencia entre los datos calculados y el modelo IRT
Las puntuaciones obtenidas y las estimaciones de los parmetros de las
preguntas se equipara, por lo que todo el banco de preguntas usara una escala
comn

BANCO ORIGINAL
Banco original 252 preguntas (4 opciones de respuesta)
A todos los expertos se le pregunt por tres piezas de
informacin para cada pregunta:
Consistencia de las
La respuesta correcta
La lingstica, temas pedaggicos preguntas
Dimensiones para
distribucin en sub-pruebas
Nivel de dificultad

BANCO ORIGINAL
Dificultad
Escala de 4 niveles (A, B, C, D)
Temas Pedaggicos
Verbos (AD-aditzak)
Sintaxis (SIN sintaxia)
Declinacin (DEK-deklinabidea)
Conectores (LOT loturak)
Vocabulario (HIZT hiztegia)
Sufijos (ATZIZ atzizkiak).

BANCO ORIGINAL
Resumen de las preguntas asignadas a cada materia pedaggica y
categora de dificultad.

DISEO DE ANCLAJE
Distribucin de los elementos en el diseo de anclaje de acuerdo a
materia pedaggica y categoras de dificultad.

DISEO DE ANCLAJE

Algoritmo de seleccin
de tems en cada suprueba.

DISEO DE ANCLAJE
Distribucin obtenida
por los 250 preguntas
en el banco como
resultado
de
la
ejecucin
de
los
algoritmos anteriores

LA ADMINISTRACION DE LAS SUBLos autores decidieron utilizar una herramienta apoyo en la web para la etapa de administracin,
PRUEBAS
de modo que el medio sera similar a la utilizada durante la aplicacin CAT.
Se realizaron dos tipos de administracin formulario de prueba:
En primer lugar, las sesiones supervisadas, que se realizaron en escuelas, academias y
universidades.
En segundo lugar, las administraciones sub-pruebas no supervisados, en la que los voluntarios
completaron una prueba a travs de Internet a su propio.
La puntuacin final de las pruebas se muestra al usuario de dos maneras:
La puntuacin absoluta (ABS) fue la proporcin de respuestas correctas
La puntuacin corregida (COR) cada 3 respuestas errneas anulan una correcta.

LA ADMINISTRACION DE LAS SUBPRUEBAS

LA ADMINISTRACION DE LAS SUBPRUEBAS

Se eliminaron 46 preguntas.
En este punto, el objetivo fue identificar y descartar aquellos tems que eran
inaceptables desde una perspectiva psicomtrica.
Se realizo:

Anlisis de fiabilidad de las respuestas recogidas.

Estudio comparativo de los resultados obtenidos con supervisin y en sesiones no
supervisadas.

MODELO LOGISTICO DE 3
PARAMETROS

MODELO LOGISTICO DE 1
PARAMETRO

MODELO LOGISTICO DE 1
PARAMETRO

MODELO LOGISTICO DE 2
PARAMETROS

MODELO LOGISTICO DE 2
PARAMETROS

MODELO LOGISTICO DE 3
PARAMETROS

MODELO LOGISTICO DE 3
PARAMETROS