A.

Menndez Taller CES 14_ Validez

14 Validez, confiabilidad y utilidad

Antes de utilizar un cuestionario es necesario asegurarse de que ste posee ciertas caractersticas que satisfacen y que eventualmente servirn para cumplir con el propsito con que fue creado. Hasta recientemente se hablaba de dos de estas caractersticas, la validez y la confiabilidad. La tercera, la utilidad, no se discuta, pues se daba por sentado que el evaluador construa el cuestionario partiendo de la utilidad que vea en l. Pero hoy da, existen innumerables cuestionarios y en muchos casos se hace necesario escoger entre varios, la utilidad debe considerarse como una de las caractersticas que se toman en cuenta. Por otra parte, las dos primeras caractersticas se visualizaban como propiedades intrnsecas de los cuestionarios. Sin embargo, en los ltimos aos esta visin se ha modificado completamente, sobre todo en lo que respecta a la validez. Hay otros aspectos prcticos de los cuestionarios que no deben pasarse por alto, pues son esenciales en los momentos en que una institucin decide hacer uno. Entre stos se destacan la dificultad o el costo de la construccin; la facilidad de su administracin y asignacin de puntuaciones; la claridad de interpretacin de sus resultados; la facilidad de su administracin, etc. Todos estos aspectos se pueden recoger bajo la designacin de "utilidad".

14.1 Definicin de la validez

Tradicionalmente la validez de un cuestionario, se haba presentado como la cualidad del instrumento para medir los rasgos o caractersticas que se pretenden medir. Por medio de la validacin se trata de determinar si realmente el cuestionario mide aquello para lo que fue creado. ltimamente, el concepto de validez se ha modificado considerablemente. Muy rara vez se oye hablar de la validez de un instrumento. Los psicmetras se refieren principalmente a la validez de las inferencias hechas a partir de los resultados del cuestionario. El foco de atencin se ha desplazado del instrumento a la interpretacin de los resultados y a las implicaciones en trminos decisionales que estas interpretaciones conllevan. Cronbach en 1971 sealaba que la validacin es el proceso por medio del cual el investigador que desarrolla cuestionarios obtiene evidencia para sustentar sus inferencias. Este proceso de validacin requiere un estudio emprico dirigido a recolectar la evidencia requerida. La validez se ve como una evaluacin -ms que una caracterstica- de cun apropiadas y adecuadas son las interpretaciones y los usos que se hacen de los resultados del cuestionario.

69

A. Menndez Taller CES 14_ Validez

En la evaluacin de la validez de un cuestionario se busca que las interpretaciones de los resultados se basen en evidencia de que el cuestionario mide lo que realmente se quiere que mida, que los resultados no se vean afectados por variables o factores irrelevantes a lo que se quiere medir. En otras palabras, la evaluacin de la validez de un cuestionario concierne los resultados y las consecuencias de las decisiones que se toman con esos resultados. Por otra parte, Trochim seala que el concepto de validez no debe limitarse solamente a la validez del cuestionario, sino que debe poder hablarse de la validez de cualquier tipo de operacionalizacin de un constructo. La evidencia de validez es lo que permite al investigador estar relativamente seguro que no ha errado en el proceso de traducir un constructo a una realidad operante. Segn Trochim, esta visin permite hablar de validez tanto cuando se trata de cuestionarios, pruebas, programas, tratamientos y hasta de muestreo (si se considera que la muestra no es otra cosa que la operacionalizacin de un constructo llamado poblacin).

14.2 Caractersticas de la validez

La validez se refiere a la adecuacidad de la interpretacin de los resultados para un grupo determinado de individuos. La validez no es una propiedad del cuestionario; aunque, por costumbre, se sigue hablando de la validez del cuestionario. La validez es una cuestin de grado. No existe en trminos absolutos. No se puede decir que el cuestionario es vlido o invlido. Aumenta o disminuye dependiendo de la calidad de la evidencia que la sustenta. Nuevas evidencias pueden incrementarla o reducirla. Hoy da la validacin de una inferencia se presenta como el proceso de determinar si la teora y las evidencias empricas respaldan esta inferencia. La validez se refiere siempre a un tipo de uso o interpretacin especfico. No se puede hablar de la validez de un cuestionario sea cual fuere su uso. A veces los usos son muy prximos, pero an as hay diferencias. La validez es un concepto unitario. No se puede hablar de diferentes tipos de validez (contenido, constructo, criterio). Se habla ms bien de un concepto validez- y de diversos tipos de evidencia. Para hablar de validez se requiere un juicio evaluativo comprensivo que dictamine si las interpretaciones y usos de los resultados se justifican con la evidencia producida.

14.3 Clasificacin de la validez

A partir de mediados del siglo pasado se ha enfatizado la clasificacin de la validez en tres tipos: validez de contenido, validez de constructo y validez de 70

A. Menndez Taller CES 14_ Validez

criterio. Este ltimo tipo de validez se ha clasificado en dos subtipos: validez concurrente y validez predictiva. Se hablaba de un cuarto tipo de validez validez aparente- que debido a su pobreza en trminos de evidencia, muchas veces se ignoraba. Los psicmetras presentaban tres tipos principales de estudios de validacin en los que se buscaban evidencias de: validez de contenido, validez de criterio y validez de constructo. De nuevo, Trochim retoma la nocin de validez para proponer una nueva y ms amplia clasificacin. Propone que el concepto de validez, visto dentro del contexto de operacionalizar un constructo, se puede muy bien llamar validez de constructo. Por lo tanto cualquier proceso de validacin, llmesele como se le llame no es ms que un aspecto de la validez de constructo. Partiendo de esta ecuacin validez = validez de constructo, la validez se puede clasificar en dos grandes categoras: la validez de traduccin que evala el proceso de operacionalizacin del constructo y la validez de criterio que compara el instrumento con otros criterios. En la validez de traduccin, el investigador se concentra en determinar si la operacionalizacin (el instrumento o cuestionario) es un reflejo adecuado del constructo. Se asume que el investigador posee una buena y detallada definicin del constructo y puede comparar el instrumento con esa definicin. Esta categora de la validez se subdivide en dos tipos o subcategoras: validez aparente (face validity) y validez de contenido. En la validez de criterio, el investigador se concentra en determinar si el instrumento o cuestionario funciona de acuerdo con la teora que se tiene del constructo. Por lo tanto este tipo de validez est encaminada a comparar el instrumento con otros criterios que de alguna forma se relacionan con el constructo. Esta categora, a su vez, se subdivide en: validez predictiva, concurrente, convergente y discriminante. Ya sea por medio de la clasificacin de Trochim o las de otros autores, siempre se llega a las siguientes tipos de validez. Validez de constructo Validez de traduccin: aparente, contenido Validez de criterio: predictiva, concurrente, convergente y discriminante

14.4 Validez aparente

Este tipo de evidencia de validez es, posiblemente, la ms pobre de todas. Responde generalmente de forma subjetiva- a la pregunta si el instrumento parece medir lo que debe medir. En el vocabulario de Trochim se podra ver

71

A. Menndez Taller CES 14_ Validez

como si la traduccin que se ha hecho del constructo parece ser suficientemente convincente. Por lo general, la evidencia que sustenta este tipo de evidencia es muy subjetiva. Pero, aun en trminos de subjetividad, tiene niveles y se puede mejorar. En su nivel ms bajo puede basarse exclusivamente en el juicio personal del investigador que propone que el instrumento refleja el constructo. Pero se puede mejorar si es un panel de expertos quienes declaran que realmente la operacionalizacin responde al constructo. Este tipo de validacin ocurre muy a menudo durante la construccin de un cuestionario en que se recurre a un panel de expertos y se habla de la validacin por expertos. Obviamente esta evidencia tiene ms peso que la opinin del investigador.

14.5 Validez de contenido

La validez de contenido en un cuestionario, tradicionalmente se ha visto como dependiente de cuan representativos del universo de contenido que se pretende medir son los temes del cuestionario. Un estudio de validez de contenido busca determinar si los temes de un cuestionario representan adecuadamente el dominio o constructo que se quiere medir. Esta bsqueda de evidencias es prioritaria sobre todo al inicio del proceso de construccin del cuestionario. Se puede observar en tres momentos del proceso: En la determinacin de los diversos aspectos que se van a incluir en el cuestionario de forma que stos representen el universo de contenido. En la asignacin de importancia a estos diferentes aspectos del universo de contenido. En la seleccin de los temes que concuerden con estos aspectos. Trochim seala que realmente lo que se hace es determinar si la operacionalizacin que se ha hecho corresponde a los aspectos ms relevantes del constructo. En este proceso se da por sentado que se ha logrado una descripcin adecuada y detallada del contenido del constructo. Resulta entonces relativamente fcil determinar si los temes del cuestionario corresponden a esta descripcin. El problema es que la descripcin detallada del dominio de contenido del constructo raramente se obtiene. Hay constructos psicolgicos como actitud, ansiedad, satisfaccin, etc. para los cuales es sumamente difcil determinar los criterios que fundamentan el dominio de contenido. El grado de validez de contenido de un instrumento se obtiene al determinar hasta que punto los conceptos explicativos de ese constructo son los que sostienen el desempeo en el cuestionario.

72

A. Menndez Taller CES 14_ Validez

14.5.1 Aspectos importantes de un estudio de validacin de contenido

Crocker & Algina definen la validacin de contenido como una serie de actividades que se desarrollan despus que se ha creado una forma inicial del cuestionario o instrumento y que busca determinar si los temes incluidos en el cuestionario son adecuados. Estos autores proponen cuatro pasos esenciales en todo proceso de validacin de contenido: Definir el dominio o constructo Seleccionar un panel de expertos en el dominio de contenido Crear una estructura que permita identificar cada tem con un aspecto del constructo Recoger y resumir los resultados de este proceso de identificacin 1. Definicin del constructo Como parte de la definicin del constructo es necesario determinar si todos los aspectos del constructo tienen la misma importancia. Por lo general, esto se da por sentado en cuestionarios. 3. Identificacin de cada tem con un aspecto del constructo Hay varias maneras de asignar temes a aspectos del constructo (objetivos). Crocker seala que el proceso, para la mayora de los expertos, es bsicamente dicotmico, pues el tem se aparea o no. Hambleton (1970) seala que la decisin no es siempre tan clara y que se puede establecer una escala de apareamiento entre los temes y los objetivos. Con esta escala se pueden obtener medidas de las opiniones de los jueces y basar el apareamiento en este promedio. 4. Resumen de resultados Este proceso de apareamiento de temes con aspectos del constructo parece ser un proceso cualitativo. Sin embargo es posible e importante resumir los resultados por medio de tablas porcentajes o correlaciones que subrayen si se ha cumplido con el propsito del estudio. Estos ndices de apareamiento pueden ser: 1. Tablas indicando el porcentaje de temes que se pudieron aparear adecuadamente 2. Porcentaje de temes que se pudieron aparear con los aspectos del constructo que se haban indicado como ms importantes. 3. Porcentaje de aspectos del constructo para los cuales no se encontraron temes

73

A. Menndez Taller CES 14_ Validez

14.5.2

Problemas de los estudios de validez de contenido

Los temes corresponden a los objetivos, pero los objetivos no corresponden al constructo Aspectos de gnero, raza y etnicidad que afectan el proceso de validacin El problema aqu no recae en el contenido del cuestionario, sino en las inferencias que se pueden hacer sobre sujetos que no tienen el mismo acceso a la informacin que se requiere para poder contestar el cuestionario La correlacin entre temes no es necesariamente un aspecto de la validacin de contenido. A menudo se da por sentado que la correlacin alta de un tem con el resto del cuestionario es una evidencia de validez de contenido, puesto que la correlacin implica que el tem mide lo mismo que mide el resto del cuestionario. Pero este razonamiento tiene sus fallas. Una correlacin alta puede ocurrir porque se han incluido muchos temes similares, pero ninguno corresponde al contenido que se quiere incluir. Sin embargo, es conveniente que la correlacin de un tem con el resto del cuestionario sea relativamente alto. Si no correlaciona bien, esto puede ser indicativo de que no tiene nada que ver con el resto de los temes y valdra la pena investigarlo.

14.5.3 Aspectos de contenido que fortalecen la validez en el desarrollo del cuestionario

La preparacin detallada e informada de una tabla de especificaciones o aspectos del constructo. El proceso adecuado de validacin de la tabla. El investigador que construye el cuestionario debe asegurarse que lo que se mide est de acuerdo con lo que se quiere medir. La seleccin apropiada de los temes. Estos deben corresponder a las especificaciones del constructo.

14.6

Estudios que evidencian la validez de constructo

En este tipo de estudio se toman las puntuaciones de un grupo de sujetos en un instrumento y se aplican ciertos procesos estadsticos (anlisis factorial) que permiten agrupar los temes de acuerdo a cunto se asemejan en la forma en que contestaron los sujetos. En el anlisis factorial se crean conjuntos de temes que se asemejan entre ellos, pero que al mismo tiempo se diferencian de los temes incluidos en los otros conjuntos. Despus de finalizado el proceso estadstico por medio del cual se han construido estos

Anlisis factorial (confirmatorio)

74

A. Menndez Taller CES 14_ Validez

conjuntos de temes se hace necesario revisar la informacin obtenida confrontndola con las especificaciones del constructo. Realmente se espera que los temes agrupados por el anlisis factorial correspondan a los mismos subconjuntos que previamente se describieron tericamente en el conjunto. Mientras ms correspondencia haya entre ambas agrupaciones, la terica y la estadstica, ms evidencia tenemos de que el constructo se dise correctamente. Cuando los constructos son complejos y abstractos, ni esta separacin en subconjuntos ni la construccin de los temes correspondiente a cada subconjunto de especificaciones no es tan obvia. Por lo tanto los estudios factoriales no siempre ofrecen los resultados esperados. La evidencia se fortalece o se debilita dependiendo de cun cercana a la teora es la agrupacin producida por el anlisis factorial.

Matriz multirasgo-multimtodo
Este es posiblemente uno de los mtodos ms complejos para evidenciar la validez de un constructo. El proceso se inicia cuando el investigador determina dos o ms instrumentos para medir el constructo de inters. Luego debe seleccionar otros constructos diferentes al que se quiere validar, pero que se pueden medir con el mismo instrumento. Finalmente, el investigador debe medir el mismo constructo con los diversos mtodos o instrumentos y los diferentes constructos con el mismo instrumento. La evidencia radica en que: 1. la confiabilidad del instrumento sea alta (el mismo constructo medido con el mismo instrumento) 2. las correlaciones sean altas entre las medidas del mismo constructo medido con diferentes instrumentos. 3. las correlaciones sean bajas entre las medidas de diferentes constructos medidos con el mismo instrumento. 4. las correlaciones sean bajas entre las medidas de diferentes constructos medidos con diferentes instrumentos. Una tabla de resultados de uno de estos estudios se encuentra en Crocker & Algina (p.234).

Estudio G (G Study)
Este es un estudio en el que con un mismo grupo de sujetos se mide el mismo constructo pero con diferentes tipos de temes. Se espera que las correlaciones entre las medidas de los diversos instrumentos sean altas.

75

A. Menndez Taller CES 14_ Validez

14.7 Factores que afectan la validez

No es bueno concluir el recorrido sobre los diversos aspectos de la validez de un cuestionario sin hacer un resumen apretado de aquellos factores concretos que la afectan. Los que se presentan a continuacin no solamente son concretos, sino que en la mayora de los casos tienen una solucin o pueden experimentar una mejora con un poco ms de atencin por parte de quienes construyen y administran el cuestionario. Algunos de estos factores conciernen la construccin del cuestionario en s y otros la administracin y asignacin de puntuaciones (si las hubiese). Factores en el cuestionario Instrucciones confusas Vocabulario y sintaxis difcil Ambigedad en las preguntas Lmites de tiempo inadecuados temes inadecuados a las especificaciones temes mal construidos temes mal ordenados Cuestionario demasiado corto (no incluye una muestra adecuada del contenido) Muy pocos temes (Henerson, p.145) Factores en la administracin Condiciones fsicas o psicolgicas adversas. Factores en las respuestas de los estudiantes Interpretacin inadecuada de las preguntas debido a factores personales. Disturbios emocionales Tensin ante el cuestionario. Factores en los cuestionarios de actitud Pobre relacin entre actitudes y comportamiento (Henerson, p.145) Deseo de agradar (Henerson, p.145) Poco entendimiento de s mismo (Henerson, p.145) Inters en sacar provecho de las respuestas (Henerson, p.145)

76