Sie sind auf Seite 1von 34

MODELOS DE VALIDACIÓN Y

CONFIABILIDAD DE PRUEBAS Y
EXÁMENES DE ADMISIÓN

Lic. Mario Posso Rojas


marposroj@hotmail.com
PRUEBAS DE ADMISIÓN
¿Ingresare?

marposroj@hotmail.com
OBJETIVO
 DAR A CONOCER LOS MODELOS DE
VALIDACIÓN Y CONFIABILIDAD DE
PRUEBAS Y EXÁMENES DE ADMISIÓN
 DETERMINAR LOS MODELOS DE
VALIDACIÓN Y CONFIABILIDAD MÁS
USADOS EN LOS EXAMENES DE
ADMISION Y PRUEBAS DE
SELECCIÓN
marposroj@hotmail.com
IMPORTANCIA DE LA SELECTIVIDAD

Institute of Higher Education, Shanghai Jiao Tong University,


IMPORTANCIA DE LA SELECTIVIDAD
IMPORTANCIA DE LA SELECTIVIDAD
PRUEBAS DE SELECCIÓN
MEDICION
EDUCATIVA
Se puede medir las facultades
mentales y predecir
o INDIRECTA:
Comportamientos C.I, R.E o A o M

- Indicadores: Prom, Capac.


Medir: Asignar Numerales
- Escalas: N, O, R, I
a objetos o eventos de
- Validez
acuerdo a reglas
- Confiabilidad
marposroj@hotmail.com
Ensayo Libre
Elaborar Ensayo Guiado
Respuestas Directa
Respuesta breve
Incompleta
Escritas
Alternativa simple
Alternativa triple
Elegir
Directa
Respuestas Alternativa múltiple
Pruebas Combinada
Apareamiento

Estructuración autónoma Tomar


Decisión
Orales Estructuración cerrada
Discusión o Debate
marposroj@hotmail.com
VALIDEZ DE LAS PRUEBAS
Capacidad de un instrumento para obtener y
proporcionar información directa y efectiva.

VALIDACIÓN DE CONTENIDO:
Trata de garantizar que el test constituye
una muestra adecuada y representativa del
contenido que éste pretende evaluar.
- Definir tipos de contenidos y capacidad.

- Muestra representativa de contenidos


VALIDEZ DE LAS PRUEBAS
Validez del Contenido para la Elaboración de Reactivos de Evaluación

Universidad: X Prueba : General

Área o Asig Objetivo Temas:


TODAS MEDIR CONOC RM y V, Mt, CN, Hum y L

Hipótesis (Ho): “Los conocimientos de los estudiantes que terminan


el año en Pre X, se pueden medir, indiciariamente,
mediante pruebas de selección múltiple confiables y válidas, en constructo,
teniendo en cuenta los contenidos básicos de los Silabus

Capacidad General,
Capacidades Específicas:
SILABUS Matriz de Consistencia
Universo: Local X, Y, Z

Identifica Compara Argumenta Aplica Analiza Sintetiza Juzga


Matriz de Consistencia
Contenidos
Capacidades
RM RV Mat C.Na Huma Legua Total

Identifica 4 4 4 4 4 4 24
Compara 3 3 3 4 3 4 20
Argumenta 3 4 3 4 4 4 22
Aplica 5 5 5 4 3 3 25
Analiza 3 4 3 3 5 5 23
Sintetiza 3 5 3 5 5 3 24
Juzga 2 2 2 2 2 2 12
Nº de ítems 23 27 23 26 26 25 150

Elaborado por: marposroj@hotmail.com Tiempo de Prueba: 3 horas


OPERATIVIZACIÓN DE LA EVALUACIÓN
DE CAPACIDADES

Capacidad específica

Capacidad específica
INDICADORES REACTIVOS
CAPACIDAD
GENERAL Capacidad específica

Capacidad específica

Grandes Procesos que Evidencia Tareas que se


propósitos involucra la observable del ejecuta para
capacidad aprendizaje evidenciar el
aprendizaje
MED – DCN, 2007
Matriz de Consistencia
Contenidos 2º Estrc. 4º Und 6º Este- 9º Quím
Capacidades
Total
Atómo Qum Masa quiometria Orgán
Identifica 2 (T y A) 2 (T y A) 2 (T y A) 2 (T y A) 8

Compara 2 (T y A) 2 (T y A) 2 (T y A) 1T 7

Argumenta 2 (T y A) 1T 2 (T y A) 2 (T y A) 7

Aplica 2 (T y A) 2 (T y A) 1A 2 (T y A) 7

Analiza 2 (T y A) 2 (T y A) 2 (T y A) 2 (T y A) 8

Sintetiza 2 (T y A) 2 (T y A) 1T 2 (T y A) 7

Juzga 1A 2 (T y A) 2 (T y A) 1A 6
Nº de ítems 13 13 12 12 50

Elaborado por: marposroj@hotmail.com Tiempo de Prueba: 1 hora


EJEMPLO EN SECUNDARIA
I) La relación correcta entre capacidad, pregunta y respuesta es: IDENTIFICAR
1) Identificar – El ángulo de inclinación axial de la tierra es
a) 2º b) 23,4º c) 24º d) 97,9º e) N.A

2) Análisis – El número de ángulo de inclinación axial varia por


a) La forma de traslación de una estrella
b) La Traslación de ese planeta
c) La Forma de que ese planeta se formo
d) N.A e) T.A

3) Interpretación – Si en el centro del Sol el hidrogeno se convierte en helio es:


a) Estrella Roja b) Estrella azul c) Enana blanca
d) Pulsar e) Quasar

4) Síntesis – Lo que causa que el Sol es se convierta en rojo es:


a) Los años de la estrella b) La cantidad de Helio
c) La cantidad de hidrógeno d) N.A e) Cantidad de Iones

5) Aplica – Si un cuerpo pesa 50kg y se encuentra en la luna que masa tiene:


a) 20,5 b) 45,9 c) 24.5 d) 30,6 e) 44,5
VALIDEZ DE LAS PRUEBAS
VALIDACIÓN CONSTRUCTO:
Trata de garantizar la existencia de un constructo
psicológico que subyaga y dé sentido y significado a
las puntuaciones del test. Modo de evaluar:
Análisis Factorial y Matriz multimétodo-multirrasgo

VALIDACIÓN PREDICTIVA
Pronostica CAPACIDAD. Se correlaciona resultados
obtenidos mediante Series Temporales con uno o
más de un grupo. Aplicar varias pruebas que midan
lo mismo a Un aula o Varias aulas, y ver Relación.
VALIDEZ DE LAS PRUEBAS
VALIDACIÓN FUNCIONAL:
O Validación por Referencia a un Criterio.
Finalidad: Contar con un mecanismo de
comprobación conductual para emitir juicios y
tomar decisiones.
VALIDACIÓN CONCURRENTE:
Se mide en forma sucesiva el desempeño del
estudiante en relación con una prueba o tarea
específica. Análisis Estadístico Correlacional:
a) Correlación Por Rangos (rho)
b) Correlación Por Puntuaciones Netas (r)
VALIDEZ DE LAS PRUEBAS
Puntuación en: Lugar o Rango Diferencia d
Prueba (X) Criterio (Y) Prueba (RX) Criterio (RY) Lugares (D) D*D
Correlación Por Rangos (rho)

10 6 19 19 0 0
20 20 2 1,5 0,5 0,25
6*∑ D 2 15 15 12 11 1 1

rho = 1 − R 14 10 15,5 18 -2,5 6,25


N ( N 2 − 1) 19 20 4,5 1,5 3 9
20 18 2 5,5 -3,5 12,25
18 19 6,5 3,5 3 9
17 17 8 7,5 0,5 0,25
15 16 12 9 3 9
6*128
rho=1− 13 13 17,5 16 1,5 2,25

20(202 −1) 15
18
13
17
12
6,5
16
7,5
-4
-1
16
1
15 13 12 16 -4 16
20 19 2 3,5 -1,5 2,25
19 18 4,5 3,5 1 1
14 15 15,5 11 4,5 20,25
768
rho = 1 − = 0,90
13 14 17,5 13,5 4 16
16 15 9 11 -2 4
7980 15 14 12 13,5 -1,5 2,25
9 4 20 20 0 0
Suma (D) 128
Spearman
marposroj@hotmail.com
Puntuación en: Puntuación al Cuadrado Prueba por
∑ XY
− X *Y Alumnos Prueba (X) Criterio (Y) Prueba (X2) Criterio (Y2) Criterio (X*Y)
r = N
Correlación Por Puntuaciones Netas
Abel 10 6 100 36 60
Sx *S y
Aldo 20 20 400 400 400
Ary 15 15 225 225 225
Blas 14 10 196 100 140
∑X ∑X 
2 2

s= −   Popper 19 20 361 400 380

N 
 N 
Elba 20 18 400 324 360
Morgan 18 19 324 361 342
Mario 17 17 289 289 289

Flor 15 16 225 256 240


2
4730 296 Hugo 13 13 169 169 169
sy = −  =4,2 DeVries 15 13 225 169 195
20  20 Lino 18 17 324 289 306
Lila 15 13 225 169 195
Irma 20 19 400 361 380
2
5151 315 Juan 19 18 361 324 342

sx = −  =3,1 Nino 14 15 196 225 210

20  20 Nora 13 14 169 196 182


Olga 16 15 256 225 240
Réne 15 14 225 196 210

4901
−15,75*14,8
Rosa 9 4 81 16 36
Sumas 315 296 5151 4730 4901

r = 20 = 0,92 Promedio 15,75 14,8


3,1*4,2 Pearson Desviac 3,16 4,29
VALIDEZ PREDICTIVA
La UNI compara los desempeños finales de los alumnos
de 1º año en un curso Algebra (A) con los obtenidos en
su Examen de Admisión (EA). Muestra: 10 estudiantes;
A: Puntajes de 1 a 100 para EA: de 200 a 800.
Resultados Excel:
Alum
EA A B C D E F G H I J
(X) 650 710 682 700 691 705 666 690 709 715
A (Y) 75 87 85 83 80 92 78 81 90 90

Coeficiente de: a) Spearman: 0,83 b) Pearson: 0,87


Interpretación: El EA es un buen procedimiento para
vaticinar el futuro desempeño de los alumnos de A.

marposroj@hotmail.com
ANÁLISIS DE ÍTEMS
Grado de Eficiencia
De los ítems

GRADO DE INDICE DE
DIFICULTAD DISCRIMINACIÓN

I.D = Nc I.Ds = A – B
Nt N

* Intervalos:
0,00 – 0,50 Muy Fácil
DEBE SER > 0,25
0,51 – 0,60 Fácil Relación entre ID y IDs
0,61 – 0,70 Moderado Las ID > de 0,8
0,71 – 0,80 Difícil
0,81 – 100 Muy difícil
Carece de IDs
marposroj@hotmail.com
Índice Dificultad (I.D)
I B (N) I.D
1 4 24 0,16667

marposroj@hotmail.com
2 5 24 0,20833
3 9 24 0,37500
4 22 24 0,91667
5 12 24 0,5000
6 7 24 =7/24

98 18 24 =18/24
99 15 24 =15/24
100 16 24 =16/24
Aula A u
Índice de Discriminación (I.Ds)
I A B N I.Ds
1 6 1 10 0,5
2 7 1 10 0,6
3 10
4 10
5 10
6 10
7 10
8 10
9 10
I.Ds = A – B = 6 - 1 = 5 = 0,5
N 10 10 10 10
Aula A u
marposroj@hotmail.com
PRUEBAS CONFIABLES
PSICO-
METRIA Denota estabilidad y
Constancia de los puntos
Variación no significativa

MÉTODO DE PRUEBA
TABLA DE EBEL
REITERADA


6 * D
Rho = 1 – 6*EDR R
2

rho = 1 −
N (N 2
− 1)

Aplicar el mismo instrumento


2 veces a un mismo grupo.
Comparar mediante rho.
Dificultad: Cambio conductual
PRUEBAS CONFIABLES

MÉTODO POR COEFICIENTES DE


BIPARTICIÓN CONFIABILIDAD

2 rm
1 º rt =
1 + rm Kuder – Richardson Alpha de Crobach

  s12 + s22  KR20 KR21


2º r = 21 −  2 
  st 
 k  s − pq
2
 k   m(k-m)   k   ∑ si 
2

r =  r =  *1− 2 
r =  1 − 2 
 k −1  s
2
k −
  
1 k * s   k − 1   st 

1º Varianzas similar
2º Diferente Varianza
Debe ser > 0,60 SPSS > 0,80
Guttman
EJEMPLOS DE APLICACIÓN
Rendimiento de 10 alumnos es similar o no, frente a cada uno de los 5
ítems impares y 5 ítems pares en una prueba de Geometría o Filosofía

Alumnos I1 I2 I3 I4 I5 I6 I7 I8 I9 I10 IMPAR PAR TOTAL


Alberto 1 1 1 0 1 0 1 1 0 0 4 2 6
Betty 0 1 1 1 1 1 0 0 1 0 3 3 6
Carmen 1 0 1 0 1 1 1 1 0 1 4 3 7
Dionisio 1 1 1 1 1 0 1 1 1 1 5 4 9
Estelita 1 1 1 0 0 0 0 1 1 0 3 2 5
Federico 1 1 0 1 0 0 1 0 0 0 2 2 4
Grover 0 0 0 0 0 0 1 0 1 1 2 1 3
Hurtado 1 1 1 1 1 1 1 1 1 1 5 5 10
Isabel 0 1 0 1 0 1 1 0 1 0 2 3 5
Juana 1 1 1 1 1 0 1 0 1 0 5 2 7
PAR: I2+I4+I6+I8+I10 Media u
IMP: I1+I3+I5+I7+I9 Varianza s

= 0,76

marposroj@hotmail.com
KURDER – RICHARDSON (KR21)
Alumnos I1 I2 I3 I4 I5 I6 I7 I8 I9 I10 TOTAL
Alberto 1 1 1 0 1 0 1 1 0 0 6
Betty 0 1 1 1 1 1 0 0 1 0 6
Carmen 1 0 1 0 1 1 1 1 0 1 7
Dionisio 1 1 1 1 1 0 1 1 1 1 9
Estelita 1 1 1 0 0 0 0 1 1 0 5
Federico 1 1 0 1 0 0 1 0 0 0 4
Grover 0 0 0 0 0 0 1 0 1 1 3
Hurtado 1 1 1 1 1 1 1 1 1 1 10
Isabel 0 1 0 1 0 1 1 0 1 0 5
Juana 1 1 1 1 1 0 1 0 1 0 7
Suma 7 8 7 6 6 4 8 5 7 4 62
p 0,7 0,8 0,7 0,6 0,6 0,4 0,8 0,5 0,7 0,4 0,62
q 0,3 0,2 0,3 0,4 0,4 0,6 0,2 0,5 0,3 0,6
p*q 0,21 0,16 0,21 0,24 0,24 0,24 0,16 0,25 0,21 0,24 2,16

Prom: 06,2
= 0,59
Var: 4,62

KR20 = 0,54
ALFA CRONBACH
Alumnos 1 2 3 4 5 6 Total

Alberto 3 3 2 0 2 2 12

Bartola 2 0 0 0 1 1 4

Cristian 5 2 1 1 3 2 14
Dayana 4 1 2 1 4 0 12

Elmer 1 2 1 0 1 1 6

Federico 3 3 2 0 4 2 14
Desviació
n 1,29 1,06 0,74 0,47 1,25 0,74 S2 = 15,21

Varianza 1,66 1,12 0,55 0,22 1,56 0,55 Σ = 5,66

Calificación
no = 0,75
dicotomica

marposroj@hotmail.com
PRUEBAS CONFIABLES
EDUMÉ-
TRICA
Orientado para Clasificar,
en Categorías Los Logros de
Aprendizaje. En forma estable.

CATEGORÍAS DE PUNTUACIÓN DE
APRENDIZAJE CORTE


 
 1 −
∑ s i2  2 
 * s t + ( X − L Mi ) 
 2

 2  
k  s t   
ra =  
k −1  s t2 + ( X − L Mi )
2

 
 Cronbach - Livingston 

p−X p
rp .bis = *
st q
EJEMPLOS DE APLICACIÓN

443,52
rc = = 0,71
627,77
r (Pearson) = 0,70 Pi = 70 y PE = 42
Cov (X, Y) = 0,70*21,03*23,36 = 343,88 Ojo: Leer datos del taller
EJEMPLOS DE APLICACIÓN
Preg 1º 2º 3º 4º Puntuación LMi
Max Puntos 2 2 4 8 Total 10 pts
Abel 2 0 2 4 8 NLD
Aldo 2 0 2 8 12 LD
Ary 2 1,5 4 6 13,5 LD
Blas 2 1,5 2 2 7,5 NLD
Popper 2 0 3 2 7 NLD
Elba 2 0 0 0 2 NLD
Morgan 2 0 3 4 9 NLD
Mario 2 0 3 4 9 LD
Flor 2 0 0 6 8 NLD
Hugo 2 1,5 4 2 9,5 NLD
Desviación 0 0,81 1,34 2,27 u = 8,75 P = 12,16
Varianza 0 0,65 1,79 5,15 s = 3,00 p = 0,30
Suma s = 7,59 q = 0,70

p− X p 12,16−8,75  0,30
rp .bis = * rp.bis = * = 0,73
st q  3   0,70

marposroj@hotmail.com
Formas para determinar
Niveles de Logro Minimo (Lmi)
Antes de aplicar un Instrumento:
Porcentaje Mínimo:
1. Del total de ítems para una evaluación.
2. De Objetivos por lograr.
3. Uniforme del total de ítems para cada objetivo
4. Diferenciado del total de Ítems para cada objetivo
5. Puntuación según competencia.
6. Grado de complejidad por ítems.
7. Relación entre relevancia de objetivo y comple-
jidad de los Ítems. marposroj@hotmail.com
MODELOS MÁS USADOS

Los tipos de pruebas más comunes en el


Perú, son analizados generalmente, en
tesis, mediante el Índice de dificultad y de
discriminación, son estandarizados con
Alfa Cronbach, Kurder Richarson 20 y 21,
y validación más usada es la de
Constructo, de Contenido, y la
Concurrente y a veces la Predictiva .

marposroj@hotmail.com
BIBLIOGRAFÍA
1) Baco, E., Larrazolo, N. y Rosas, M. (2000). Nivel de dificultad y poder de discriminación del Examen de
Habilidades y Conocimientos Básicos (EXHCOBA). Revista Electrónica de Investigación Educativa, 2.
http://redie.uabc.mx/vol2no1/contenido-backhoff.html
2) Bazán Guzmán, J. (2000). Evaluación psicométrica de las preguntas y pruebas CRECER 96. Ministerio de
Educación, Perú.
3) Chávez López, L. M. (2001). Análisis de reactivos: una aproximación. Biblioteca Universitaria,
Julio/Diciembre, vol. 4, número 002, México.
4) Crocker, L. y Algina, J. (1986). Introduction to Classical and Modern Test Theory. Holt, Rinehart and Winston.
5) Ebel, R.L. y Frisbie, D. A. (1986). Essentials of Education Measurement. Englewood Cliffs, NJ: Prentice Hall.
6) Glass, G. y Stanley, J. (1986). Métodos estadísticos aplicados a las ciencias sociales. México: Prentice-Hall
Hispanoamericana.
7) Henrysson, S. (1971). Gathering, Analysing, and Using Data on Test Items. En R.L. Thorndike (Ed.),
Educational Measurement. Washington, DC: American Council on Education.
8) Piscoya Hermoza, L. (2005). Cuánto saben nuestros maestros. Una entrada a los diez problemas cardinales
de la educación peruana. Fondo Editorial de la Universidad Nacional Mayor de San Marcos. Perú
9) Popper, Karl R. (1971). La Lógica de la Investigación Científica. Ed. Tecnos. Madrid. Segunda reimpresión.
10) Santibáñez Riquelme, J. D. (2001). Manual para la evaluación del aprendizaje estudiantil. Conceptos,
procedimiento, análisis e interpretación para el proceso evaluativo. Ed. Trillas. México.
MUCHAS

GRACIAS
http://investigando.org/educandos/

marposroj@hotmail.com http://marposroj1976.blogspot.com/