Universidad de Santiago de Chile Escuela de Psicologa Psicometra I Profesor: Luis Mena Nicols Muoz Javier Torres

Fase de Aplicacin Piloto de la Prueba

Tiene por objeto 2 tipos de anlisis: a.- Cualitativo: indaga aspectos de administracin. b.- Cuantitativo: o Anlisis de temes: Homogeneidad y Discriminacin. b.1.- Homogeneidad es el grado en que un reactivo o tem mide lo mismo que la prueba o su dimensin o factor. Estadsticamente se va a determinar por la correlacin entre el tem y la prueba o entre el tem y el factor. ITEM 1 cuantitativo 2 ordinal dicotmico 3 dicotomizado dicotmico 4 dicotomizado policotmico 5 policotomizado DIMENSIN cuantitativa ordinal o dicotmica dicotomizada o cuantitativa o policotmica policotomizada PRUEBA cuantitativa ordinal o dicotmica dicotomizada cuantitativa o policotmico policotomizado COEFICIENTE Pearson Spearman o Kendall o FI Punto Biserial o Contingencia

b.2.- Discriminacin: Una prueba tiene potencial discriminativo cuando es capaz de diferenciar 2 grupos extremos en una distribucin, es decir, si puede distinguir entre un grupo que presenta el atributo de otro grupo que no lo presenta. Sensibilidad es la capacidad del instrumento para poder detectar a aquellas personas que efectivamente presentan el atributo. Especificidad es la capacidad de poder detectar a las personas que no presentan el atributo. Pasos para diagnosticar el potencial discriminativo de un reactivo: 1.- En funcin de la dimensin total o de la prueba total, se debe en primer lugar dicotomizar el grupo en funcin de la mediana o del centil 25 y 75. Esto permitir en funcin de las puntuaciones totales, determinar el grupo que presenta el atributo y el que no lo presenta. Del centil 75 hacia arriba vamos a entender los que presentan el atributo, y los que asumen valores inferiores o iguales al centil 25 no lo presentan. 2.- Determinar el tipo de distribucin de cada uno de los reactivos que integran la dimensin o la prueba, a travs de la prueba no paramtrica Ks para una muestra.

Si el reactivo es una variable normalmente distribuida, su potencial discriminativo se evaluar a travs de la prueba t de diferencias de medias para muestras independientes. En cambio, si el tem es una variable que no est normalmente distribuida, su capacidad discriminativa se determinar mediante la prueba no paramtrica U de Mann-Whitney. 3.- Se procede entonces en funcin de una de las tcnicas anteriores a comparar ambos grupos en cada uno de los reactivos de la dimensin o la prueba, por tanto el tem discriminar si y solo si es significativamente superior, en trminos de su promedio, el grupo que presenta la caracterstica respecto del promedio del grupo que no la presenta. Sensibilidad y Especificidad: Se requiere un criterio externo de validacin, que se traduce en otra forma de medir el constructo (pregunta criterio dicotmica) por medio de la Regresin Logstica Binaria o Binomial, que es la relacin entre la prueba y el criterio externo, o ms bien la prediccin del mismo, por lo que constituira otra forma de validacin de la prueba. Confiabilidad de las Mediciones de una Prueba. La confiabilidad es un proceso o una propiedad que se le atribuye a la medicin de la prueba, se relaciona con los conceptos de estabilidad y consistencia. Una prueba es confiable cuando sus resultados son similares en el tiempo tras sucesivas aplicaciones. Hay ciertos factores que atentan contra la confiabilidad: Historia, Maduracin, Mortalidad Experimental, Adivinacin o Azar. Teora clsica de los test basada en el error de medicin: Se = St 1 rtt Se error de medicin; St desviacin estndar del constructo; rtt es el ndice de confiabilidad. El valor mximo que accede el coef. De fiabilidad es 1. La confiabilidad es el grado en que una prueba est exenta del error. Estadsticamente, la confiabilidad es una razn de varianzas: Varianza total = Varianza Verdadera + Varianza Error (S2t = S2v + S2e) Si asumimos que el Se2 es 0, rtt = S2v S2t Hay distintos mecanismos para calcular y estimar la confiabilidad de las mediciones de una prueba: 1) Test-Retest: Consiste en que se realizan 2 mediciones pre y post y el indicador de fiabilidad vendr dado por la correlacin pre y post. El ndice hay que corregirlo por un procedimiento Spearman-Brown: rttSB = 2 x correlacin 1 + correlacin 2) Formas Paralelas: Consiste en generar una prueba lo ms similar posible o equivalente a la que se est construyendo. Se aplica la prueba A, se deja pasar un tiempo y luego se aplica A. Si hay correlacin, ser confiable. Tambin se corrige por Spearman-Brown.

3) Consistencia Interna: Consisten en correlacionar la prueba consigo misma y estn basados en una sola aplicacin del instrumento, sin embargo constituyen una estimacin de la confiabilidad y no el clculo en s misma. Se subdivide en 2 tipos de anlisis: 1.- Propiamente tal: Kuder-Richardson K.R(20) (basado en proporciones) y K.R(21) (basado en promedios), los cuales son aplicables slo a tems dicotmicos; y de Cronbach, aplicable a tems de naturaleza policotmica. 2.- Divisin en 2 mitades: Se va a dividir la prueba en 2 mitades cualquiera y esas 2 mitades se correlacionan: si hay correlacin entre ambas, el instrumento es confiable. Lo ms comn es que se divida entre los tems pares e impares, se suman y se correlacionan mitad par con mitad impar. Se corrige por Spearman-Brown, pero tambin se agrega el procedimiento de Ruln (rttR) y Guttman y Flanagan (rttGF). Ruln: rttR = 1 S2d varianza de las diferencias entre los reactivos pares e impares S2t varianza total de la dimensin o de la prueba (par + impar) Guttman y Flanagan (rttGF) = 2 x [1 (s2p + S2i)] S2t S2p varianza de reactivos pares S2i varianza de reactivos impares S2t varianza total

Alpha de Cronbach
Otra forma de medir la confiabilidad es el alpha de Cronbach, la cual permite cuantificar el nivel de fiabildiad de una escala de medida para la magnitud no observable construida a partir de n variables observadas. Mientras ms alto sea el alpha, menor es la significancia, ya que el p value es muy sensible al tamao de la muestra. En SPSS: Analizar Escalas Anlisis de fiabilidad (traspasar tems que conforman la escala) Estadsticos ANOVA Prueba F Elemento Escala Escala si se elimina elemento (indica que tems se podran eliminar para aumentar la confiabilidad) - El ANOVA indica si el alpha es estadsticamente significativo. - Una buena confiabilidad > 0,70-0,80

Para calcular el error de medicin: Se = ST 1 rtt donde ST corresponde a la desviacin total de la escala Corresponde a una desviacin estndar, hay que interpretarlo porque depende de la cantidad de reactivos. Para interpretar el error de medicin, se utiliza el coeficiente de variacin, la cual lo lleva a una escala porcentual. CVx% = Se * 100 XT Existe una relacin inversamente proporcional a la confiabilidad, ya que mayor sea sta, menor va a ser el error.