UNIERSIDAD DE PUERTO RICO RECINTO DE RO PIEDRAS DEPARTAMENTO DE PSICOLOGA FACULTAD DE CIENCIAS SOCIALES Stephanie Melndez Gonzlez

Examen nmero dos: Construccin de Pruebas

La siguiente propuesta de desarrollo, validacin y administracin de un cuestionario sobre el Clima Organizacional me fue solicitada por la organizacin Trbol Amarillo. El objetivo del cuestionario es examinar el perfil socioeconmico y el Clima Organizacional entre los cientos de voluntarios que trabajan sin paga para la organizacin. Cabe destacar que est es una organizacin sin fines de lucro que provee servicios a las comunidades con bajo nivel socioeconmico. Adems, est compuesta por voluntarios que provienen de diversas clases sociales y diversas edades.

Pasos para construir el cuestionario

Para la construccin de este cuestionario seguir una serie de pasos propuestos por DeVellis (2003). Los pasos son los siguiente: 1)determinar claramente que es lo que se desea medir, 2) generar el banco de tems, 3) determinar el formato para la medicin, 4) revisin del banco de temes por expertos, 5) considerar la inclusin de tems de validez, 6)administrar los tems a una muestra piloto, 7) evaluar los tems y 8) optimizar la escala. Tambin, utilizar otras referencias tericas como Kline (2009), Merkys (2005) Sims & LaFollette (1975), Schneider & Bartlett (1968), Muchinsky, (1976), Merkys, Kalinauskaite, Beniusiene, Vveinhardt, & Dromantas (2005), Furnham, (1998), Abad, Garrido, Olea, & Ponsoda (2006). Aplicar algunas de stas referencias para el proceso de validacin y finalmente administracin del cuestionario.

1. Determinar claramente que es lo que se desea medir

Como primer paso determinar claramente que es lo que la organizacin pretende medir. La organizacin me solicit un cuestionario sobre el tema de clima organizacional, pero deseo conocer exactamente que es lo que ellos entienden por clima organizacional. Buscar referencias tericas sobre el constructo para ayudar a la claridad del concepto. Trabajar en conjunto con las personas que me contrataron y en colaboracin llegaremos a un consenso de que es clima organizacional (CO) para ambos.

Para ayudar a la especificacin de la claridad del constructo utilizar la escala InternoExterno de Rotter. Estableciendo que el constructor se ve afecto por variables externas e internas (Merkys, 2005). Asimismo prestar atencin a las discusiones sobre la conceptualizacin terica y las tendencias empricas sobre las investigaciones realizadas en el tema. Identificar las dimensiones que caracterizan el clima organizacional, las que emergen del discurso terico y las que se reflejan en las discusiones empricamente psicomtricas (Merkys, 2005). Finalmente, definir que es CO tomando en consideracin lo antes mencionado, el contexto en el que se emplear el cuestionario y la poblacin a la que se le administrar.

Igualmente, definir conceptualmente lo que ser para el cuestionario el perfil socioeconmico. Para definir este concepto buscar los fundamentos de economa que rigen a la poblacin de Trbol Amarillo. No me limitar al sistema micro de la organizacin, sino que conceptualizar el trmino basando en el sistema macro-econmico de su pas.

2. Generar el banco de tems

Luego de haber definido lo que medir proceder a la creacin del banco de tems para el cuestionario. Algunos tems se redactarn en plural, por ejemplo, nosotros sentimos, en nuestro equipo, nos alegramos cuando, para medir los factores externos relacionados al CO. Tambin se redactarn en singular para aquellos factores internos del CO. En cada dimensin habr un tem negativo. Y el nivel de dificultad de los tems ser de un octavo grado de educacin.

3. Determinar el formato para la medicin.

En tercer lugar seleccionar el formato que utilizar en la creacin del cuestionario. Existen varios formatos entre estos: la escala Thurston, la escala Guttman, la escala Likert, la diferenciacin semntica, escala visual analgica, respuestas binarias, seleccin mltiple, preguntas abiertas, entre otras. Para este cuestionario utilizar la escala Likert de cinco intervalos.

Tipo de escala que utilizar

Seleccion la escala Likert pues es uno de los instrumentos ms utilizados para medir opiniones, creencias y actitudes (DeVellis, 2003). Parte de la definicin operacional de CO dice que sta es la suma de las percepciones directas e indirectas de los miembros de una organizacin (Sims & LaFolllette,1975; Muchinsky, 1976, Schneider & Bartlett,1968), por tal razn, utilizar sta escala. Aunque tiene algunas desventajas como por ejemplo la posible tendencia a contestar siempre de forma neutral por parte de los participantes o contestar bajo deseabilidad social. Sin embargo, los factores de desventajas pueden tambin reducirse al

incorporar una escala de deseabilidad social en la prueba piloto. Algunas ventajas son que es ms fcil de contestar, requiere menos trabajo y necesita un nmero menor de tems.

Un ejemplo de un tem redactado utilizando el formato Likert es el siguiente: La interaccin entre los miembros de mi organizacin ayuda a que se puedan cumplir las metas de la organizacin. La persona que responde el cuestionario tendr cinco opciones para contestar esta premisa y ests son: Estoy muy en acuerdo, estoy en acuerdo, no estoy ni en acuerdo ni en desacuerdo, estoy en desacuerdo y estoy muy en desacuerdo. sta escala es representada con valores numricos que van del 1 al 5.

Se incluir tambin una serie de preguntas de seleccin mltiple que contesten preguntas relacionadas al perfil socioeconmico de la poblacin estudiada. Tambin, dejar un espacio para que los participantes indiquen algn otro nivel o informacin que consideren no se incluy en la lista de seleccin mltiple.

Teora psicomtrica para desarrollar la prueba

Para construir la prueba necesitar basarme en alguna teora de medicin. Existen dos teoras de medicin principales: la Teora Clsica de la Medicin (TCM) y la Teora de Respuesta al tem (TRI). La TCM sirve para utilizar el total de la puntuacin de la prueba (Kline, 2009), a diferencia que la Teora de Respuesta al tem (TRI) que se centra en la propiedad individual de los temes (Abad, et al. 2006). Utilizar la Teora Clsica de la Medicin (TCM) para desarrollar el cuestionario, pues lo que la organizacin desea medir es el CO en general. Parte de la definicin de CO dice que este es la suma total de las percepciones de todos los miembros de la organizacin, por tal razn la TCM es la teora apropiada para medir CO.

No seleccione TRI por varias otras razones. La principal razn es que la TRI no es una opcin para medir CO, pues los tems de CO no miden niveles de dificultad o respuestas correctas o incorrectas. Existen otras razones por las cuales no seleccionara esta teora, pero como ya mencion de entrada la TRI no es til para medir este constructo.

Junto a los tems crear una tabla de especificaciones basada en la literatura revisada que indique cuales son las dimensiones del constructo a medir. Tambin, tendrn las especificaciones de que peso se le dar a cada dimensin.

4. Revisin del banco de temes por expertos

Una vez redactados los tems, el siguiente paso ser entregarle a 5 jueces expertos en el tema de CO los tems preliminares del cuestionario para que estos lo evalen. Le entregar a los jueces una hoja de instrucciones, las definiciones del constructo y sus dimensiones y una plantilla con los tems que incluye un espacio para que indiquen si estos son esenciales, tiles pero no esenciales o si no son esenciales. Este paso de validacin por jueces es uno de los mtodos que utilizar para examinar la validez de contenido de la prueba. Los jueces ayudarn a asegurar que los tems no son ambiguos, que la prueba no sea muy larga y sealar algo que no haya incluido que sea necesario.

Junto a los tems le entregar la tabla de especificaciones para que los jueces coloquen las dimensiones del constructo en el orden de peso que ellos consideren segn su expertis.

Una vez obtenga la retroalimentacin leer los comentarios y recomendaciones que hicieron los jueces y arreglar los tems que sean necesario arreglar. Luego utilizar la formula Content Validity Ratio (CVR) de Lawshe para tomar la decisin de que tems eliminar. Los

temes que obtengan una puntacin de 1 sern seleccionados para la versin del cuestionario final que le administrar a una muestra piloto. Tambin incluir los tems que obtengan una puntuacin CVR de 0.5 y no aceptar tems de 0 o -0.5. La eliminacin de tems ir a la par con el peso otorgado finalmente a cada dimensin.

5. Considerar la inclusin de tems de validez

En el quinto paso aadir escalas para validar los tems. Adems, de la validez de contenido realizada en la evaluacin de jueces, realizar validez constructo convergente y validez de constructo divergente para validar el instrumento (cuestionario). Al medir la validez convergente utilizar tems validados de la escala de Litwin & Stringer Organizational Climate Questionnaire (Muchinsky, 1976; Sims y LaFollette, 1975). Y para la validez divergente utilizar tems de una escala que mida un constructo diferente. Cuando obtenga los resultados de prueba piloto correlacionar los tems del cuestionario con los de validez divergente y con los de la validez convergente (Matriz Mltiple). Los tems del cuestionario que obtengan una alta correlacin con los tems de validez divergente sern eliminados. Los tems que obtengan una baja correlacin con los tems de la validez convergente sern eliminados.

Tambin para este quinto paso aadir una escala de deseabilidad social. Esto para conocer si las personas que contestan el cuestionario lo hacen con otros motivos. Al igual que con los tems de correlacin divergente y convergente, correlacionar los tems del cuestionario con los de la escala de deseabilidad social. Esto me indicar que tems estn fuertemente asociados con el factor deseabilidad social para eliminarlos . El punto de corte para la escala de deseabilidad social y los tems de validez divergente ser un mnimo de r= 0.75.

6. Administrar los tems a una muestra piloto

Al seleccionar los tems que irn en el cuestionario proceder a localizar una muestra piloto para administrarle el cuestionario. Para determinar la cantidad de participantes que necesitar en la muestra piloto debo conocer el total de la poblacin a la que se le administrar el cuestionario final. Adems, este nmero debe estar en balance con el nmero de tems colocados en el cuestionario. La muestra piloto deber ser lo suficientemente grande para que los resultados se puedan generalizar a la poblacin y aumenta los niveles de confiabilidad.

La muestra debe poseer la variabilidad de niveles socioeconmicos que se encuentran en la poblacin. sta ser seleccionada por disponibilidad. Otras de las caractersticas que debe poseer la muestra es que sean personas que laboren voluntariamente en alguna organizacin sin fines de lucro que realice labores similares a las del Trbol Amarillo.

7. Evaluar los tems

El sptimo paso en el desarrollo del cuestionario, segn DeVellis (2003), es la evaluacin de los tems. En este paso entrar los resultados del cuestionario a SPSS. Identificar que tems pertenecen a los tems de validez de constructor convergente, validez de constructor divergente y deseabilidad social de la escala. Para determinar que tems estn correlacionados con la deseabilidad social utilizar la correlacin de Pearson (r). Los temes con un correlacin mayor a .75 sern eliminados.

Para evaluar la validez de constructo convergente y divergente utilizar una matriz de mltiples para correlacionar los tems. Una vez modificado la validez del cuestionario proceder a realizar una anlisis de confiabilidad. Segn Furnham (1998), un criterio importante de xito de

cualquier cuestionario es su confiabilidad. Existen varias estrategias para evaluar la confiabilidad de una prueba, sin embargo utilizar ser la consistencia interna y entre jueces. La tcnica de consistencia interna que utilizar ser la de dos mitades. En esta tcnica divido la prueba en dos mitades y ests se correlacionan entre s. La estadstica que utilizar para medir la confiabilidad ser alpha de Cronbach, pues es esta una de las estadsticas ms utilizada (Kline, 2009). La confiabilidad entre jueces (Galarza, 2011). Para este tipo de estrategia Kline (2009) propone tres mtodos de medicin. La tcnica que utilizar para medir la confiabilidad entre jueces ser interobserver correlations (Kline, 2009). Para medir la confiabilidad entre jueces utilizar 5 expertos en el tema, que no sean parte del grupo de expertos que realiz el primer anlisis. Le entregar a los jueces el cuestionario y la observaciones de acuerdos de cada uno de los jueces. Lo que medir ser el acuerdo entre los jueces correlacionado los resultados a travs del coeficiente de correlacin Pearson (Kline, 2009). 8. Optimizar la escala

Finalmente, optimizar la escala del cuestionario tomando en consideracin el efecto que puede tener la duracin en la confiabilidad y los efectos de remover tems malos (DeVellis, 2003). La versin final del cuestionario necesitar poseer los tems suficientes para tener ms confiabilidad. Segn DeVellis (2003), el aumentar el nmero de tems ser una carga para los participantes, pero eliminar tems podr bajar los niveles de confiabilidad. Para este cuestionario he decido que mantendr la escala con un buen nmero de temes y no arriesgar disminuir la confiabilidad.

Recomendaciones para la organizacin

Algunas recomendacin al momento de administrar el cuestionario son las siguientes: en primer lugar le recomiendo a la organizacin Trbol Amarillo que el cuestionario sea annimo y no le pida a los participantes que se identifiquen, sino que coloquen el cuestionario dentro de un sobre sellado sin nombre. Esto podra traer un poco de incomodidad a las personas que contestan, pues deben incluir su perfil socioeconmico.

Otra recomendacin al momento de administrar el cuestionario es entregarlo en un momento dado en la semana a todos los participantes e informarles que lo deben de traer contestado en los prxima semana. Deben crear una caja y colocarla en un punto estratgico dentro de la organizacin. En esa caja los participantes colocarn el cuestionario, de est forma le garantizamos a los participantes anonimato. Este mtodo tiene la desventaja que si el participante tiene dudas sobre algo en el cuestionario ser ms difcil aclararla. Sin embargo, el anonimato ayuda a que los participante sientan ms seguridad en contestar informacin personal (datos socioeconmicos).

Una tercera recomendacin, basada en Muchinsky (1976), es que los resultados de CO pueden variar si las prcticas y procedimientos de la organizacin varan. Otros factores que pueden incidir en los resultados son el tamao de la organizacin, su estructura, complejidad de sistema, niveles de autoridad, entre otros (Muchinsky, 1976). Por tal razn, si la organizacin pasa por cambios significativos en estos aspectos debe entonces tomar en consideracin que lo resultados variarn.

Como cuarta recomendacin, es que se debe prestar atencin a los cambios en el liderato de la organizacin. Distintos estilos de liderazgo pueden producir cambios en el CO en periodos cortos de tiempo, aunque algunas caractersticas permanecen estables (Sims & LaFollette, 1975). Esto provocar que los resultados puedan variar, aunque las diferencias no sean demasiado grande por los factores estables.

En ltimo lugar, pero no menos importante, recomiendo que la organizacin haga claro a sus miembros cul es el propsito o intensin del cuestionario. Tambin, que junto al cuestionario se entregue una hoja de consentimiento en la que se detalle el propsito del cuestionario y qu harn con la informacin. Adems, se debe de incluir que los participantes no estn obligados a contestar el cuestionario.

Principios de validacin de SIOP

A continuacin presentar tres estndares que entiendo son tiles en el desarrollo, validacin y administracin de este cuestionario. Estos estndares son parte de la American Psychology Association Standars for Educational and Psychological Testing (1999). El primer estndar es el estndar 1.1- Una justificacin deberan presentarse para cada interpretacin y el uso recomendado del puntajes de las pruebas, junto con un resumen completo la evidencia y la teora sobre el uso previsto de la interpretacin. Es necesario que la persona que desarrolle el cuestionario o test provea esta informacin. En este caso yo como desarrolladora del cuestionario de CO para Trbol Amarillo debera de entregarle toda esta informacin. El segundo estndar es el estndar 1.2- El desarrollador de pruebas debe establecer claramente la forma en que el puntaje de las pruebas estn destinados a ser interpretados y usados. La poblacin para los que una prueba es apropiada debe estar claramente delimitada, y el

constructo que la prueba se pretende evaluar deben estar claramente descrito. Es mi tarea facilitar esta informacin a la organizacin. Es importante que al momento de administrar el cuestionario los facilitadores tengan en cuenta la poblacin a la que lo administrarn. Y la descripcin adecuada del constructo a medir debe ser clara y completa, no una mera definicin. Finamente, el ltimo estndar que entiendo es til es el estndar 7.7- En las pruebas de aplicaciones donde el nivel de capacidad de lectura lingstica no es parte del constructo de inters, las exigencias lingsticas o de lectura de la prueba debe mantenerse en el nivel mnimo necesario para la evaluacin vlida de la constructo. Este es una de las especificaciones que redacte al comienzo del desarrollo de tems. Como no estamos midiendo el nivel de capacidad de lectura lingstica decid limitar el nivel lingstico a un octavo grado de educacin. Limitaciones del instrumento, metodologa y propuestas para examinar la validez y confiabilidad

El cuestionario es un instrumento muy utilizado pero tiene sus limitaciones. Una de las limitaciones del cuestionario es que mucha informacin, tal vez valiosa, se queda fuera. Esto es una limitacin pues oculta informacin que puede ser vital al momento de analizar los resultados o tomar decisiones. Una segunda limitacin de los cuestionarios es que no todas las personas tienden a contestar voluntariamente un cuestionario. Esto constituye una limitacin pues se necesita un nmero alto de muestra para que nuestros resultados puedan ser generalizados.

Otra limitacin es que si la persona que va a contestar el cuestionario tiene alguna duda y el facilitador no esta presente no podr aclararla. Esto es una limitacin pues la persona o puede omitir la pregunta por no entenderla, o contesta y no es verdaderamente lo que deseara contestar. Una ltima limitacin de los cuestionarios que utilizan la escala Likert es que limitan

las respuestas de los participantes.

Algunas de las limitaciones metodolgicas de la construccin del cuestionario es no conocer la cantidad exacta de miembro que posee la organizacin. Esto es una limitacin, pues aunque se mencion cientos, al momento de realizar la prueba piloto no conoca que cantidad exacta de muestra seleccionar. Tambin, para construir un mejor cuestionario era necesario conocer ms informacin sobre la organizacin, como por ejemplo sus metas, estructura, valores, entre otros. Al no poseer la informacin necesaria los tems pueden ser muy generales. Era necesario indagar un poco ms en la organizacin para delimitar los tems. Una limitacin al examinar la validez es que los tems de las pruebas que se usar para validez convergente y divergente tal vez no se encuentran validados para la poblacin a la que se le desea administrar el cuestionario. Otra limitacin metodolgica al examinar la validez y la confiabilidad es la limitada opcin de anlisis estadsticos. Se debera de ampliar la cantidad de anlisis realizados. Adems, deje fuera otros anlisis de validez y de confiabilidad que podan brindar informacin importante. Esto es una limitacin, pues no hay suficiente evidencia que demuestre lo efectivo del cuestionario construido.

Referencias: Abad, F. J., Garrido, J., Olea, J., & Ponsoda, V. (2006). Introduccin a la Psicometra: Teora Clsica de los Tests y Teora de la Respuesta al tem. Recuperado dehttp://aprendeenlinea.udea.edu.co/lms/investigacion/file.php/39/ARCHIVOS_2 010/PDF/IntPsicometria_aristidesvara_1_.pdf DeVellis, R. F. (2003). Scale Development [2nd Edition-Paperback]. Newbury Park: Sage. Furnham, A. (1998). Corporate Climate Questionnaire: A New Multi-Dimensional and International Instrument to audits Employee Perceptions. Recuperado de http://www.cymeon.com/climate/climate_on_net.asp Kline, T.J.B. (2009). Psychological Testing: A Practical Approach to Design and Evaluation. New Delhi, India: Tejeshwar Singh. Merkys, G., Kalinauskaite, R., Beniusiene, I., Vveinhardt, J., & Dromantas, M. (2005). Organisational Climate Test for Lithuanian Work Organisations: Validation and Correlation with Team Work Test. Social Science/Socialiniai mokslai, 3(49), 39- 51. Muchinsky, P. M. (1976). An assessment of the litwin and stringer Organization Climate Questionnaire: An Empirical and Theoretical Extension of the Sims and Lafollette Study. Personnel Psychology, 29, 371-392. Schneider, B. & Bartlett, C. J. (1968). Individual differences and organizational climate: I. The research plan and questionnaire development. Personnel Psychology, 21, 323-333.

Sims, H. P. & LaFolllette, W. (1975). An Assessment of the Litwin and Stringer Organization Climate Questionnaire. Personnel Psychology, 28, 19-38.