ANLISIS DE LOS REACTIVOS

Incluso despus que se aplica y califica una prueba el examinador no puede estar seguro de que sta haya cumplido su cometido. Esta es una de las razones por las que las pruebas que se distribuyen en forma comercial se aplican primero (pruebas piloto) a una muestra de 50 personas m s o menos que son representati!as del grupo al que se dirige. "ualquiera que sea el tipo de prueba una an lisis posterior de los resultados es necesario. Entre las preguntas que deben responderse est n# $%os l&mites de tiempo fueron adecuados'( $%os su)etos entendieron las instrucciones'( $%as condiciones del entorno fueron apropiadas'( $%as emergencias se mane)aron en forma apropiada'. Pruebas de Referencia de Criterio y de Dominio El procedimiento que se emplea para e!aluar la efecti!idad de los reacti!os en las pruebas depende hasta cierto punto de los prop*sitos de sta. El prop*sito de las pruebas con referencia de criterios no es descubrir las calificaciones de las personas en relaci*n con las calificaciones de otros indi!iduos( sino m s bien determinar la posici*n de cada persona con respecto de ciertos ob)eti!os educati!os. +n tipo particular de prueba con referencia de criterios dise,ada para medir el logro de un rango limitado de capacidades cognosciti!as se conoce como prueba de dominio. %as calificaciones que obtiene una prueba de dominio( o en cualquier otra con referencia de criterios( se expresa como porcenta)e de la cantidad total de reacti!os respondidos correctamente- una calificaci*n perfecta indica un dominio del .00/ del material de la prueba. Diferencias Individua es y Va ide! de os Reactivos" 0or lo general es dif&cil llegar a un acuerdo sobre qu tanto debe saber un indi!iduo acerca de una materia en particular o qu constituye el dominio de la materia( casi siempre la calificaci*n en una prueba psicol*gica o educati!a se interpreta al compararla con las calificaciones de otras personas. %as pruebas psicol*gicas se crearon sobre todo para e!aluar las diferencias indi!iduales con respecto de las caracter&sticas cognosciti!as y afecti!as( dichas diferencias ayudan a tener una alta predicci*n del comportamiento de los su)etos. 0ara e!aluar la utilidad de un reacti!o como medida de diferencias indi!iduales en las caracter&sticas de habilidad o personalidad( quienes aplican las pruebas necesitan cierta medida de criterio externo. 1i una prueba se elabora para predecir el desempe,o en un traba)o( entonces un criterio externo apropiado es una medida de desempe,o en el traba)o (las calificaciones de los super!isores). %a !alidez de un reacti!o para predecir la medida de criterio externo particular puede determinarse por medio del c lculo de la correlaci*n entre las calificaciones en el reacti!o (02 y .2s) y las calificaciones de la medida de criterio. "on este prop*sito( se han empleado distintos tipos de coeficientes de correlaci*n( siendo el m s com3n el coeficiente biserial puntual( cuya f*rmula es#

Dr. Carlos Borrego Rosas Construccin de Pruebas Psicolgicas

Pgina 1

r=

yp y s

( n n )( n .)
p

nn p

Donde" n 4 "antidad total de su)etos. np 4 1u)etos que pasan el reacti!o. 5p 4 6edia de las calificaciones de criterio de quienes pasan el reacti!o. 5 4 6edia de todas las calificaciones de criterio. 1 4 7es!iaci*n est ndar de todas las calificaciones de criterio. "uanto m s alto sea el &ndice de !alidez para un reacti!o (correlaci*n de criterios de reacti!os)( ste ser m s 3til para predecir el criterio. El hecho de si un reacti!o !a a conser!arse o no depende del tama,o del &ndice de !alidez. 8 pesar de que los reacti!os con &ndices de !alidez tan ba)os como 0.90 pueden contribuir a la predicci*n del criterio( se prefieren los &ndices de !alidez m s altos. 7esde luego( un reacti!o con un &ndice de !alidez cercano a .00 o negati!o deben de re!isarse o descartarse. %a utilidad de un reacti!o para predecir un criterio espec&fico depende no s*lo del &ndice de !alidez( sino tambin de la correlaci*n del reacti!o con otros reacti!os de la prueba. %os reacti!os que tienen &ndices de !alidez altos pero correlaciones ba)as son los me)ores porque realizan una contribuci*n independiente a la predicci*n de las calificaciones de criterio. #ndices de Dificu tad y Discriminaci$n de os Reactivos" El procedimiento estad&stico conocido como :&ndice de dificultad del reacti!o; en el contexto de las pruebas de rendimiento puede ser un :&ndice de aprobaci*n del reacti!o; en otros contextos( como las pruebas de personalidad. 8qu&( la estad&stica no proporciona una medida del porcenta)e de personas que aprueban el reacti!o sino una medida del porcenta)e de personas que di)eron :s&;( que estu!ieron de acuerdo o que de alguna u otra manera aprobaron el reacti!o. %as medidas de discriminaci*n de los reacti!os indican qu tan adecuadamente separa o discrimina un reacti!o a quienes obtienen puntuaciones altas y quienes obtienen puntuaciones ba)as en una prueba. "uanto m s alto sea el !alor de d( el reacti!o es m s efecti!o al discriminar entre los indi!iduos con calificaciones altas y ba)as en la prueba como un todo. "onsiste en di!idir los su)etos en tres grupos de acuerdo con las calificaciones que obtienen en la prueba como un todo# un grupo superior que consta de 9</ de que obtiene las calificaciones m s altas( un grupo inferior del 9</ de que obtiene las calificaciones m s ba)as y el =>/ restante en el grupo intermedio. "uando la cantidad de su)etos es reducida( pueden emplearse grupos superiores e inferiores del 50/ de las calificaciones totales de la prueba. en cualquier caso( los &ndices estad&sticos siguientes se calculan a partir de las calificaciones de los grupos superior e inferior#

Dr. Carlos Borrego Rosas Construccin de Pruebas Psicolgicas

Pgina 2

U p + Lp U +L

d=

U p Lp U

Donde" +p y %p4 "antidades de su)etos en los grupos superior e inferior que pasan el reacti!o. + y % 4 "antidad total de su)etos en los grupos superior e inferior. p 4 ?ndice de dificultad del reacti!o. d 4 ?ndice de discriminaci*n del reacti!o. El &ndice de dificultad de los reacti!os tiene un rango de 0.00 a ..00. +n reacti!o cuyo p 4 .00 es aquel que ning3n su)eto contest* correctamente y un reacti!o con p 4 ..00 es aquel que todos los su)etos respondieron de manera correcta. El !alor *ptimo p para un reacti!o depende de !arios factores( que incluyen los prop*sitos de la prueba y la cantidad de opciones de respuesta. 1i el prop*sito de una prueba es identificar o seleccionar s*lo a un porcenta)e reducido de los me)ores solicitantes( entonces la prueba debe ser lo suficiente dif&cil y tener un !alor medio ba)o de p. 1i la prueba est dise,ada para obser!ar s*lo a unos cuantos solicitantes inferiores( entonces es me)or un !alor ele!ado de p. "uando el &ndice de discriminaci*n (d) es ..00( todos los su)etos en el grupo superior en las calificaciones totales de la prueba y ninguno del grupo inferior respondi* el reacti!o en forma correcta. 1in embargo( rara !ez d es igual a ..00 y( por lo regular( un reacti!o se considera aceptable si su &ndice d es .@0 o m s alto. Ao obstante( d y p no son &ndices independientes y el !alor m&nimo aceptable de d !ar&a de acuerdo con el !alor de p. +n !alor de d que es poco menor que .@0 es aceptable conforme p aumenta o disminuye cada !ez m s con respecto del !alor *ptimo( sobre todo cuando el tama,o de los grupos de comparaci*n superior e inferior es grande. 8dem s( un reacti!o que tiene un &ndice d ba)o no se descarta de manera autom tica- quiz sea posible conser!arlo si se modifica. %a elaboraci*n de reacti!os de prueba adecuados es un proceso que lle!a tiempo( de modo que aquellos que son defectuosos deben re!isarse siempre que sea posible.

Dr. Carlos Borrego Rosas Construccin de Pruebas Psicolgicas

Pgina 3

PRCTICA DE COE%ICIENTE &ISERIAL P'NT'AL

() 1upongamos que el total de las calificaciones de un grupo de @0 personas tiene una media de <5 y una des!iaci*n est ndar de .0. Bambin supongamos que la media de las calificaciones de los .< su)etos que contestaron cierto reacti!o de manera correcta es de C0. 8l sustituir tenemos#

*) 7el total de las calificaciones de un grupo de 50 personas tiene una media de C= y una des!iaci*n est ndar de ... Bambin supongamos que la media de las calificaciones de los 9. su)etos que contestaron cierto reacti!o de manera correcta es de C<. 8l sustituir tenemos#

+) 0ensemos que el total de las calificaciones de un grupo de @5 personas tiene una media de <0 y una des!iaci*n est ndar de D. Bambin supongamos que la media de las calificaciones de los .5 su)etos que contestaron cierto reacti!o de manera correcta es de <C. 8l sustituir tenemos#

Dr. Carlos Borrego Rosas Construccin de Pruebas Psicolgicas

Pgina 4

PRCTICA DE LOS #NDICES DE DI%IC'LTAD , DISCRI-INACI.N DE LOS REACTIVOS

() 1upongamos que 50 personas se presentan en la prueba y .= personas pertenecen al grupo superior( de las cuales s*lo .9 pasan el reacti!o 8 y .= personas pertenecen al grupo inferior s*lo < pasan el reacti!o 8. Entonces cual es el &ndice de dificultad y discriminaci*n.

*) "alculemos que >0 personas se presentan en la prueba y 90 personas pertenecen al grupo superior( de las cuales s*lo .C pasan el reacti!o E y 90 personas pertenecen al grupo inferior s*lo .. pasan el reacti!o E. Entonces cual es el &ndice de dificultad y discriminaci*n.

+) "alculemos que =5 personas se presentan en la prueba y .C personas pertenecen al grupo superior( de las cuales s*lo .= pasan el reacti!o " y .C personas pertenecen al grupo inferior s*lo .0 pasan el reacti!o ". Entonces cual es el &ndice de dificultad y discriminaci*n.

Dr. Carlos Borrego Rosas Construccin de Pruebas Psicolgicas

Pgina 5

PRCTICA DE LA VALIDE/ #TE- 0 TEST ITEMS

S) ( * + 1 ( =59= * .95@ + @9== 1 5@=9 2 @9@5 3 =5.5 4 .@.= 5 @=9@ 6 9@5. ( 7 .55.

2 3 4 5 6 (7 X 559@5 9 5=95= . 5@=@9 @ 9@=59 9 =99.9 @ 995== = .5.@= 9 9@@9@ 5 ==..9 = =@=9@ =

X2

Y2

XY

Producto -omento de Pearson"

rxy =

xy x y 9 x 9 x y 9 ( y) 9

( )

CONSOLIDADO DE REACTIVOS SE89N LA VALIDE/ #TE-:TEST ITE( * + 1 2 3 4 5 6

INTERPRETACI.N

Dr. Carlos Borrego Rosas Construccin de Pruebas Psicolgicas

Pgina 6

(7

CON%IA&ILIDAD DE LA PR'E&A
Producto -omento de Pearson"

r = FF

xy x y 9 x 9 x y 9 ( y) 9

( )

S;earman &ro<n"
9r r = FF .. . + r FF

PRCTICA DE CON%IA&ILIDAD POR EL -ETODO DE LAS -ITADES ITEMS S. 123456789 1 452455235 2 125354254 3 324423432 4 534223452 5 323542222 6 454522544 7 132415534 8 342323323 9 235144122 10 2 5 5 3 4 3 4 2 3 PAR PAR2 IMP IMP2 XY X2 Y Y2 10 X 2 5 3 2 3 4 2 5 4 4

r r((

= >>>>>>>>>>>>>>>>>>> = >>>>>>>>>>>>>>>>>>>
Pgina 7

Dr. Carlos Borrego Rosas Construccin de Pruebas Psicolgicas

TIPI%ICACI.N DE 'NA PR'E&A

Es importante en una prueba psicol*gica. &aremos" 1on tablas de referencia. 0roceso de normalizaci*n Normas" 0untos de referencia para la calificaci*n e interpretaci*n. 7eben realizarse una para cada sexo( indicador y edad. Estandari!aci$n" 0roceso dentro de la !alidez que permite normalizar la prueba en un determinado contexto( incluso se platea los criterios de e!aluaci*n( calificaci*n( interpretaci*n y usos que se le debe dar al instrumento. Ti;ificaci$n" %as normas que se aplican a una prueba criterios de uso( aplicaci*n( interpretaci*n( calificaci*n. 8 todos se mide por igual. Ob?etividad" 7atos ob)eti!os( mensurable( medidas operacionalizados. Ada;taci$n" "onstruir los reacti!os de una prueba ya elaborada a una poblaci*n determinada( utilizando criterios de la misma realidad. "onsiste en reelaborar los &tems o cambiar los &tems con una misma connotaci*n a la original pero con otros trminos. +na !ez reelaborada se aplica la prueba piloto para a parir de ello ensamblarla y luego nue!amente se aplica la prueba para establecer su !alidez y fiabilidad. A & C D PD PC PD PC PD PC PD PC N
X

(77 S'@ETOS

N
X

DS

DS

Pasos" (A Establecer el punta)e directo m ximo alcanzado en la prueba. *A Establecer la frecuencia (es la cantidad de !eces que ocurre el fen*meno) f. +A Establecer las frecuencias acumuladas (es la suma de las frecuencias que nos permiten decir cuantas !eces se repite. Ga. 1A Establecer la frecuencia acumulada punto medio (es para establecer una columna). %a f*rmula es la siguiente#
fcpm = 0.5 xf + fa

2A Establecer el porcenta)e acumulado del punto medio.

/cpm = fcpmx.00 N

3A El rango percentilar (redondeo) Hp o 0c Dr. Carlos Borrego Rosas Construccin de Pruebas Psicolgicas Pgina 8

4A Establecer los ni!eles.

E?em; o
0rueba de 8daptaci*n Gamiliar (0). 6 x. 95 puntos) A 4 9.=

A D I E

PD 95 9= 9@ 99 9. 90 .D .C .< .> .5 .= .@ .9 .. .0 D C < > 5 = @ 9 .

% . @ . < @ 9 9 > @ . 9 9 . D . < D C 5 = . = 9 9 . .

%a

%c;m Bfc;m R;

NIVELES

C'ADRO DE CATE8ORIAS &ARE-ALES R;

<> I DD 9> I

CATE8ORIAS
8%BJ 6E7IJ
Pgina 9

Dr. Carlos Borrego Rosas Construccin de Pruebas Psicolgicas

<5 . I 95

E8KJ

-EDIA , DESVIACI.N STANDARD

(A %os punta)es directos se agrupan en inter!alos de clase (categor&as que se emplean en un mismo inter!alo de frecuencias). 7atos menores de .00 puntos inter!alo de clase 9 7atos mayores de .00 puntos inter!alo de clase @ 7atos mayores de 500 puntos inter!alo de clase = y 5 *A 1e obtiene el punto medio de cada inter!alo. +A 1e establecen las frecuencias de acuerdo a los punta)es directos. 1A 6ultiplicar el punto medio por la frecuencia fx. 2A 6ultiplicar la columna fx por los puntos medios y se obtiene una columna que llamaremos fx2. 3A 1e determina la media de la distribuci*n con la f*rmula de datos agrupados.
X = fx N

4A 1e ele!a la media al cuadrado. 5A 8plicar la f*rmula de la des!iaci*n Est ndar para datos agrupados. 0orque establecen las frecuencias cuando los datos est n agrupados en una distribuci*n de frecuencias se procede as&.
DS =

fx
N

PD 9@ I95 90 I 99 .< I .D .= I .> .. I .@ 0C I .0

P- %recuencias 9= 9. .C .5 .9 D

Fx
2

Dr. Carlos Borrego Rosas Construccin de Pruebas Psicolgicas

Pgina 10

07 A
X

0" A
X

71

71

Dr) Car os &orreCo Rosas Psic$ oCo C)Ps)P) 6115

Dr. Carlos Borrego Rosas Construccin de Pruebas Psicolgicas

Pgina 11