CHI CUADRADO Como interpretar el chi cuadrado?

necesito que me expliquen como interpretar cada uno de los indices al momento de realizar el chi cuadrado en realidad, solo se sacar l estadstico y se para que sirve pero no interpretarlo, X^2 (calculada) se compara con la X^2(tabla), para probar la hiptesis. La verdad mejor ve esta liga:
http://tgrajales.net/chicuadrada.pdf http://es.wikipedia.org/wiki/Distribuci% Otras respuestas (1) Claudio Javier T

La prueba del Chi cuadrado es solo un clculo que se utiliza para ver qu tanto se parece la distribucin observada con los resultados tericos, para determinar si un suceso es al azar o tiene alguna tendencia. Por ejemplo, si lanzas una moneda, en teora tienes 50% de probabilidad de cara o cruz en cada uno. Si la lanzas y te sale un resultado ms seguido que el otro, entonces puedes determinar mediante el Chi cuadrado que los resultados no son al azar. Para interpretar este dato, el resultado que te salga lo tienes que comparar con un "nivel de tolerancia" que quieras dar al error en una distribucin. Entre ms alta sea el valor de la chi cuadrada, ser mayor la probabilidad de que los datos tengan una tendencia. Normalmente se utiliza la siguiente frmula para aceptar o rechazar el valor del chi cuadrado. x<xt(r-1)(k-1) Donde x=chi cuadrada t=Valor proporcionado por las tablas, segn el nivel de significacin elegido. r=nmero de filas k=nmero de columnas Fuente(s):
http://es.wikipedia.org/wiki/Prueba_de_c

XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX Rev. Chil Pediatr 2007; 78 (4): 414-417

BIOESTADSTICA

Interpretacin del test de Chi-cuadrado (X2) en investigacin peditrica

JAIME CERDA L.1, LUIS VILLARROEL DEL P.2

1. Pediatra, Programa de Especialidad en Salud Pblica. Departamento de Salud Pblica, Facultad de Medicina, Pontificia Universidad Catlica de Chile. 2. Doctor en Estadstica. Departamento de Salud Pblica, Facultad de Medicina, Pontificia Universidad Catlica de Chile. RESUMEN Numerosos protocolos de investigacin en pediatra trabajan con variables de tipo cualitativo, por ejemplo, sexo del recin nacido (masculino, femenino) o grado de desnutricin (leve, moderado, severo). Para determinar la asociacin o independencia de dos variables cualitativas con un cierto grado de significancia, se dispone de una herramienta estadstica frecuentemente utilizada, el test de chicuadrado (X2). El presente artculo explica el fundamento terico del test, la metodologa de clculo del estadstico X2 y su correcta interpretacin, ejemplificando estos conceptos mediante una investigacin real. En trminos simples, el test de chicuadrado (X2) contrasta los resultados observados en una investigacin con un conjunto de resultados tericos, estos ltimos calculados bajo el supuesto que las variables fueran independientes. La diferencia entre los resultados observados y esperados se resume en el valor que adopta el estadstico X2, el cual tiene asociado un valorp, por debajo del cual se acepta o rechaza la hiptesis de independencia de las variables. De esta forma, al someter los resultados de una investigacin al test de chicuadrado (X2) el investigador puede afirmar si dos variables en estudio estn asociadas o bien son independientes una de la otra, afirmacin que cuenta con un sustento estadstico. (Palabras clave: X2, estadstica, investigacin, pediatra).

Introduccin
En investigacin peditrica, frecuentemente se trabaja con variables de tipo cualitativo (tambin conocidas como variables categricas) tales como sexo, grado de desnutricin o nios mayores de 10 aos (variable cuantitativa transformada en cualitativa). Los valores que toman estas variables se resumen en tablas de frecuencias, las cuales permiten ordenarles y comparar su ocurrencia. Si el inters del investigador es establecer la relacin (asociacin o independencia) entre dos variables, los datos se disponen en tablas de contingencia, las cuales incluyen en sus columnas los distintos niveles que adopta la primera variable (ej. masculino, femenino) y en sus filas los distintos niveles que adopta la segunda variable (ej. desnutricin leve, desnutricin moderada y desnutricin severa). Para determinar la asociacin o independencia de dos variables cualitativas, en 1.900 Pearson introdujo el test de chicuadrado (2), herramienta estadstica ampliamente difundida en investigacin biomdica1. Este test contrasta dos hiptesis, una hiptesis nula o hiptesis de independencia de las variables (H0) y una hiptesis alternativa o hiptesis de asociacin de las variables (H1). En trminos simples, el test de 2 compara los resultados observados con resultados tericos, estos ltimos calculados bajo el supuesto que las variables fuesen independientes entre s, es decir, bajo el

supuesto que H0 fuese verdadera. Si los resultados observados difieren significativamente de los resultados tericos, es decir, difieren de H0, es posible rechazar H0 y afirmar que H1 es verdadera, concluyendo que las variables estn asociadas. Por el contrario, si los resultados observados y tericos no difieren significativamente, se confirma la veracidad de H0 y se afirma que las variables son independientes2,3. Mediante el siguiente ejemplo, tomado de una investigacin real, se ilustrarn estos conceptos. Ejemplo Waisman y colaboradores describieron en 1998 la epidemiologa de los accidentes infantiles ocurridos en la Regin Centro Cuyo, Argentina 4. Uno de sus objetivos fue determinar si exista alguna asociacin entre la tasa de incidencia de consultas por accidentes y la estacin del ao. Para ello, compararon la proporcin de consultas por accidentes en invierno y en verano. La tala 1 resume sus observaciones. Si la variable tipo de consulta fuese independiente de la variable estacin del ao, la tasa de incidencia de consultas por accidentes en ambas estaciones deberan ser iguales. En el ejemplo, se observa que la tasa de incidencia de consultas por accidentes en verano es superior a la registrada en invierno (13,5% vs 6,6%), por lo tanto, es posible afirmar que las variables tipo de consulta y estacin del ao estn asociadas, ms ignoramos si esta asociacin es estadsticamente significativa. Para objetivar la asociacin entre las dos variables, se utiliza el test de 2. La hiptesis nula ( H0) del test de 2 apoya la independencia de las variables, en otras palabras, el tipo de consulta es independiente de la estacin del ao . Por el contrario, la hiptesis alternativa (H1) apoya la asociacin de las variables, es decir, el tipo de consulta se asocia a la estacin del ao. El test de 2 contrasta los resultados observados con valores tericos, estos ltimos calculados bajo el supuesto que H0 es verdadera. Por consiguiente, se deben calcular los valores tericos de la tabla de contingencia asumiendo que la proporcin de consultas por accidentes en invierno y verano son iguales entre s e iguales a la proporcin de consultas por accidentes totales (9,6%). En la tabla 2 se presentan los valores tericos que toman las variables asumiendo la veracidad de H0. Ntese que los valores totales no cambian, slo lo hacen los valores de los niveles que toma cada variable (a , b , c y d ). El estadstico 2 dimensiona cunto difieren los valores observados (tabla 1) de los valores tericos (tabla 2). Se calcula sumando el valor del cuadrado de la diferencia del valor observado en cada casilla y su valor terico, dividido por el valor terico. La razn para elevar las diferencias al cuadrado es convertir todas las diferencias en valores positivos. La siguiente frmula entrega el valor del estadstico: 2 = [(aa)2/a] + [(bb)2/b] + [(cc)2/c] + [(d d)2/d]. Utilizando los valores observados y tericos del ejemplo, el valor de estadstico 2 es el siguiente: 2 = [(1.4182.062)2/2.062] + [(2.221 1.577)2/1.577] + [(20.133 19.489)2/19.489] + [(14.26914.913)2/14.913] = 512,5.

A mayor valor del estadstico 2, mayor es la diferencia entre los valores observados y tericos, por consiguiente, ms alejados estn los valores observados de los valores calculados bajo el supuesto que las variables fuesen independientes (H0 verdadera). En consecuencia, a mayor valor del estadstico 2, mayor es el grado de asociacin entre las variables (H1 verdadera). El siguiente paso consiste en evaluar si el valor que toma el estadstico 2 es significativo. Para ello, se utiliza la tabla de distribucin probabilstica de 2, la cual es dependiente de los grados de libertad (estimador del nmero de categoras independientes en un test particular o experimento estadstico). En una tabla de contingencia de r filas y k columnas, los grados de libertad son igual al producto del nmero de filas menos 1 (r1) por el nmero de columnas menos 1 (k1). Para el caso de variables dicotmicas, es decir, variables que toman solamente dos niveles (como las del ejemplo), los grados de libertad son igual a 1. En la tabla de distribucin probabilstica de 2, se ubica en la fila correspondiente al nmero de grados de libertad el valor del estadstico 2, determinndose su valorp. En el ejemplo, el estadstico 2 (512,5) con 1 grado de libertad tiene un valorp menor a 0,005. Esto significa que existe una probabilidad menor a 0,005 de obtener frecuencias como las observadas en caso de ser H0 verdadera; en consecuencia, se rechaza H0 en favor de H1, apoyando la asociacin entre las variables. Existen algunas consideraciones importantes inherentes al test de 2. En primer lugar, es un test de tipo no dirigido (test de planteamiento bilateral), es decir, solamente determina la asociacin o independencia de dos variables cualitativas, sin informar el sentido ni la magnitud de dicha asociacin. Para conocer estos atributos, una vez establecida la asociacin entre las variables deben calcularse medidas de riesgo, por ejemplo, odds ratio. En segundo lugar, es importante destacar que el test de 2 siempre determina la asociacin o independencia de dos variables cualitativas, sin embargo, cada una de las variables puede tener ms de dos niveles. Un ejemplo de esta situacin sera estudiar la asociacin entre la variable nivel socioeconmico, (alto, medio y bajo) y la variable grupo sanguneo Rh positivo (A, B, AB y 0). En este caso, la tabla de contingencia ser de 3 4, por consiguiente, los grados de libertad

(g.l.) se calculan segn la frmula g.l. = (3-1) (4-1) = 6. Por ltimo, para realizar el test de 2 los valores que toman los niveles de las variables deben cumplir una serie de condiciones numricas; como norma general, se exigir que el 80% de las celdas en una tabla de contingencia tengan valores esperados mayores de 5. As, en una tabla de dos por dos ser necesario que todas las celdas verifiquen esta condicin; en caso contrario, se deben aplicar herramientas estadsticas tales como el test exacto de Fisher, cuya explicacin excede el propsito de esta publicacin3,5. Existen numerosos programas computacionales capaces de realizar el test de 2, sin embargo, su clculo es til solamente cuando lo realiza un investigador familiarizado con su significado estadstico e interpretacin. El presente artculo abord aspectos generales relacionados a este test, siendo necesario para una comprensin ms acabada del mismo el estudio personal de estos conceptos en mayor profundidad. Un buen punto de partida es construir tablas de contingencia a partir de los datos reportados en artculos de investigacin, calcular el valor del estadstico 2 para cada una de ellas y determinar su significancia estadstica. Esta prctica seguramente aportar al lector una mejor comprensin de los resultados del estudio.

Referencias
1.- Pearson K: On a criterion that a given system of deviations from the probable in the case of correlated system of variables is Duch that it can be reasonably supposed to have arisen from random sampling. Philosophical Magazine 1900; 50: 15775. [ Links ] 2.- Bewick V, Cheek L, Ball J: Statistics review 8: qualitative data tests of association. Critical Care 2004; 8: 46-53. [ Links ] 3.- Pita S, Prtega S: Asociacin de variables cualitativas: test de chicuadrado. Disponible en www.fisterra. com [Consultado el 21/03/07]. [ Links ] 4.- Waisman I, Nez J, Snchez J: Epidemiologa de los accidentes en la infancia en la Regin Centro Cuyo. Rev Chil Pediatr 2002; 73: 404-14. [ Links ] 5.- Prtega S, Pita S: Asociacin de variables cualitativas: el test exacto de Fisher y el test de Mcnemar. Disponible en http://www.fisterra.com/ [Consultado el 21/03/ 07]. [ Links ] Trabajo recibido el 4 de abril de 2007, devuelto para corregir el 07 de mayo de 2007, segunda versin el 24 de mayo de 2007, aceptado para publicacin el 18 de junio de 2007. XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

Ejercicios del seminario nueve: Chi cuadrado

En este seminario hemos trabajado con la distribucin Chi cuadrado, usada nicamente para las variables categricas o cualitativas. Es un estadstico que nos ayuda a decidir si las frecuencias observadas estn o no en concordancia con las frecuencias esperadas (es decir, si el nmero de resultados esperados corresponde aproximadamente al nmero esperado). Para comprobarlo, haremos un contraste de hiptesis usando dicha distribucin, Chi cuadrado:

A continuacin, se muestran los ejercicios correspondientes con este seminario: Ejercicio 1 En un grupo de enfermos que se quejaban de que no dorman se les dio somnferos y placebos. Con los siguientes resultados. Nivel de significacin: 0, 05.

Es lo mismo tomar somnferos o placebos para dormir bien o mal en este grupo de enfermos? Las hiptesis de este ejercicio, seran las siguientes: - Ho: No es lo mismo tomar somnferos o placebos para dormir mal o bien -H1: Es lo mismo tomar somnferos o placebos para dormir bien o mal. Para la realizacin del problema se muestran los pasos a seguir, a continuacin. Paso 1: Completar la tabla de las frecuencias observadas.

Paso 2: Calcular las frecuencias tericas. (Es importante caer en la cuenta de que la suma de las frecuencias observadas debe de ser igual a la suma de las frecuencias tericas). Para este clculo, tenemos que basarnos en la frmula: (total filas x total columnas) / total - e 1 (Duermen bien con somnferos):

- e 2 (Duermen bien con placebos):

- e 3 (Duermen mal con somnferos):

- e 4 (Duermen mal con placebos):

Como dijimos antes, la suma de las frecuencias observables deba de ser igual a la suma de las frecuencias esperadas. En este caso podemos decir, que dicho pronstico se cumple: - Suma frecuencias observadas = 170 - Suma de frecuencias esperadas: 39, 71 + 85, 29 + 14, 29 + 30, 71 = 170 Paso 3: Calcular los grados de libertad. En este caso, como son dos los criterios de clasificacin, el grado de libertad se calculara as: Grados de libertad = (n de filas 1) por (n de columnas 1) Grados de libertad = (2 1)(2 1) = 1 x 1 = 1 Paso 4: Calcular el valor de chi cuadrado (usando para ello la frmula escrita al principio de esta entrada)

Paso 5: Ver la tabla. En este apartado, buscamos en la tabla de la distribucin X2 el valor que se compara con el del resultado del chi cuadrado. Para ello, tenemos que tener en cuenta el nivel de significacin (0, 05) y el grado de libertad (1). La tabla que se utiliza, se muestra en seguida:

Observando la tabla, obtenemos pues que el valor que buscamos es 3, 84. Paso 6: Comparar los valores. - Valor calculado > 2, 57 - Valor de la tabla > 3, 84 Conclusin: como 2, 57 < 3, 84 > ACEPTAMOS H0 y rechazamos H1. Podemos decir que la diferencia no es estadsticamente significativa y que se debe al azar. Es decir, no es lo mismo usar somferos o placebos para dormir bien o mal en este grupo de enfermos. _________________________________________________ Ejercicio 2 En un C de Salud analizamos las historias de enfermera (292 hombres y 192 mujeres). De ellos tienen lcera 10 hombres y 24 mujeres y no tienen 282 y 168 respectivamente. Nivel de significacin 0, 05. Las hiptesis seras: - Ho: No existe relacin entre tener lcera y el sexo. - H1: S existe relacin entre tener lcera y el sexo. Paso 1: Realizar la tabla de las frecuencias observadas.

Paso 2: Calcular las frecuencias tericas. Para ello, usamos la misma frmula que en el ejercicio anterior se emple, teniendo cuenta, adems, de que la suma de las frecuencias observadas y la suma de las fecuencias terias tienen el mismo valor. - e (Hombres son lcera):

- e (Mujeres con lcera):

- e (Hombres sin lcera):

- e (Mujeres sin lcera):

Dijimos anteriormente, que la suma respectiva de las frecuencias tericas y la de las frecuencias observadas tenan que tener el mismo valor, pues comprobmoslo: - Suma de frecuencias observadas = 484 - Suma de frecuencias tericas: 20, 51 + 13, 49 + 271, 49 + 178, 51 = 484. S se cumple. Paso 3: Calcular los grados de libertad. Grados de libertad = (n de filas 1) por (n de columnas 1) Grados de libertad = (2 1)(2 1) = 1 x 1 = 1 Paso 4: Calcular el valor de chi cuadrado.

Paso 5: Ver la tabla. En este apartado, teniendo en cuenta que el nivel de significacin es de 0, 05 y el grado de libertad de 1, buscamos en la tabla el valor que necesitamos. Una vez observado la tabla (mostrada en el ejercicio anterior), vemos que el valor que buscamos es 3, 84. Paso 6: Comparar los valores. - Valor calculado > 14, 61 - Valor de la tabla > 3, 84 Conclusin: como 14, 61 > 3, 84 -> rechazamos Ho y ACEPTAMOS H1. Podemos decir que la diferencia es estadsticamente significativa; es decir, que no existe relacin entre tener lcera y el sexo de la persona. La otra tarea de este seminario, a parte de los ejercicios ya mostrados, consiste en saber hacer un contraste de hiptesis, solo que en vez de usar esos clculos, usamos el programa del SSPS. A continuacin se muestran los pasos a seguir: - Paso 1: abrir un archivo SPSS y darle a los apartados que aparecen en la imagen.

- Paso 2: Elegir dos variables cuantitativas.

-Paso 3: darle al apartado estadsticos.

-Paso 4: Sealar la opcin de Chi cuadrado; luego, continuar, y por ltimo, aceptar

Como resultado obtenemos lo siguiente:

De esto podemos concluir que, sin haber hecho falta el uso de los clculos que anteriormente s hemos utilizado, el valor de chi cuadrado = 10, 115; el grado de libertad = 5; y el valor de p = 0, 072; y como ste ltimo es mayor que alfa (o, o5) decimos pues que ACEPTAMOS Ho y rechazamos H1. Es decir, que la diferencia no es estadsticamente significativa, y que por tanto no tienen relacin ambas variables.

XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

Chi-Cuadrado Pruebas Estadsticas de SPSS

El procedimiento Tablas personalizadas, nos permite realizar tres diferentes pruebas estadsticas para determinar la relacin existente entre las variables de fila y columna. A travs de la pestaa Estadsticos de contraste se puede solicitar para las variables que se ingresen en la dimensin de filas y columnas, las pruebas de relacin / independencia, comparacin de medias o la comparacin de porcentajes. Para facilitar la interpretacin de estos procedimientos generaremos algunos ejemplos de cada una de ella. Debemos resaltar que las pruebas estadsticas aqu mencionadas hacen parte del anlisis de inferencia y por lo tanto no sern exploradas a profundidad, sino que las anexamos con el propsito de familiarizarnos con los objetivos de cada prueba, como un prembulo al estudio de la estadstica de inferencia. Prueba de independencia (Chi-cuadrado) La prueba de independencia Chi-cuadrado, nos permite determinar si existe una relacin entre dos variables categricas. Es necesario resaltar que esta prueba

nos indica si existe o no una relacin entre las variables, pero no indica el grado o el tipo de relacin; es decir, no indica el porcentaje de influencia de una variable sobre la otra o la variable que causa la influencia. A manera de ejemplo crearemos un prueba Chi-cuadrado para las variables Gnero y Estado civil; desde luego para crear la prueba es necesario realizar la tabla, por lo que debemos volver al generador de tablas y ubicar en la lista la variable gnero e ingresarla a las columnas, sucesivamente ubicamos la variable Estado civil y la ingresamos a las Filas. Una vez ubicadas la variables en las dimensiones, activamos (Hacer clic) la pestaa Estadsticos de contraste, con lo que aparecen en el cuadro las pruebas estadsticas disponibles [Fig.8-98].

Figura 8-98

Cada una de estas pruebas cuenta con la opcin Alfa (); este valor hace referencia al nivel de confianza que deseamos que tengan los clculos de la prueba; es decir, si queremos tener un nivel de confianza del 95%, el valor de alfa debe ser del 0.05, lo cual corresponde al complemento porcentual de la confianza. Continuando con el ejemplo, seleccionamos la prueba Chi-cuadrado y mantenemos el valor del 0.05 en el Alfa; para finalizar hacemos clic en Aceptar con lo que las tablas se generan el visor de resultados [Fig.8-99]. El programa genera por defecto dos tablas; la primera de ellas corresponde a la tabla de contingencia, en ella aparecen las variables seleccionadas y los estadsticos que se hayan determinado en el procedimiento. La segunda tabla corresponde a la prueba de Chi-cuadrado de Pearson y en ella aparecen los resultados de las pruebas (valor del Chi-cuadrado, los grados de libertad (gl) y el valor de significacin (Sig.)).

Figura 8-99

La prueba de independencia del Chi-cuadrado, parte de la hiptesis que las variables (Estado civil y Gnero) son independientes; es decir, que no existe ninguna relacin entre ellas y por lo tanto ninguna ejerce influencia sobre la otra. El objetivo de esta prueba es comprobar la hiptesis mediante el nivel de significacin, por lo que s el valor de la significacin es mayor o igual que el Alfa(0.05), se acepta la hiptesis, pero si es menor se rechaza. Para calcular el valor de significacin, el Chi-cuadrado mide la diferencia global entre los recuentos de casilla observados y los recuentos esperados. Entre mayor sea el valor del Chi-cuadrado, mayor ser la diferencia entre los recuentos observados y esperados, lo que nos indica que mayor es la relacin entre las variables. El valor de significacin corresponde a la probabilidad de que una muestra aleatoria, extrada del Chi-cuadrado nos d cmo resultado un valor superior a 39.672; es decir, es la probabilidad que los datos de una muestra aleatoria extrada de las dos variables sean independientes. Para nuestro ejemplo este valor es menor que el Alfa (0.05), por lo que se rechaza la hiptesis de independencia y por lo tanto, podemos concluir las variables Estado civil y Gnero estn relacionadas. La prueba de independencia Chi-cuadrado, tambin puede ser empleada con variables Anidadas y/o Apiladas. Si las variables se encuentran anidadas, el programa genera una prueba por cada una de las sub tablas (Categoras) de la variable principal de la anidacin. Para comprender cmo se ven afectadas las pruebas de independencia con la anidacin de variables, retomaremos el ejemplo anterior, pero anidando la variable Regin dentro de las categoras del Gnero. Para realizarlo debemos volver al generador de tablas; ubicamos en la lista la variable Regin y la arrastramos hasta la dimensin de las columnas, de manera que se anide a las categoras del gnero. Una vez ubicada las variables hacemos clic en Aceptar con lo que las tablas se crean en el visor de resultados [Fig.8-100].

Figura 8-100

Si nos fijamos en los resultados de la tabla, notaremos que el programa realiza dos pruebas de independencia (Una para categora del Gnero). Al igual que en el ejemplo anterior, la relacin o independencia se determina de acuerdo al valor de significacin. Si nos fijamos en los resultados de la significacin de las dos pruebas (0.574 y 0.689), notaremos que estos valores superan por un alto margen el valor de alfa (0.05), por lo que debemos aceptar la hiptesis de independencia para los hombres y las mujeres. Notemos que en la parte inferior de la tabla aparecen algunas Notas que nos indican que ms del 20% de las casillas de cada tabla tienen frecuencias esperadas menores a 5, por lo que puede que los resultados de la prueba no sean validos. Estas notas nos pueden advertir que existen irregularidades que afectan la muestra, ya sea un sesgo muestral, la fidelidad de los datos o el tamao de la muestra. Ahora, cuando las variables se encuentran apiladas el programa genera una prueba por cada combinacin entre las variables de las filas y las columnas. Para comprender el efecto de la apilacin en las pruebas de independencia, retomaremos el ejemplo anterior pero pasando la variable Regin de las columnas a las filas, apilndola con el estado civil. Para realizarlo debemos volver al generador de tablas y llevar la variable Regin a las filas apilndola con la variable Estado civil. Una vez ubicadas las variables hacemos clic en Aceptar con lo que las tablas se crean en el visor de resultados [Fig.8-101].

Figura 8-101

Si nos fijamos en los resultados de la significacin para las dos pruebas, notaremos que la variable Gnero se relaciona con la variable Estado civil, pero es independiente con la variable Regin. Las pruebas de independencia nos permiten determinar si existe una relacin entre variables, pero para saber el grado de influencia y la direccin (Si es el Gnero quien influye el Estado civil o viceversa), es necesario realizar una serie de pruebas estadsticas complementarias. XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX