Seo de Bioestatstica

Normalidade de variveis: mtodos de verificao e comparao de alguns testes no-paramtricos por simulao

Normality of variables: diagnosis methods and comparison of some nonparametric tests by simulation
Vanessa Bielefeldt Leotti Torman1,2, Rodrigo Coster2, Joo Riboldi1

RESUMO
Introduo: Os principais testes estatsticos tm como suposio a normalidade dos dados, que deve ser verificada antes da realizao das anlises principais. Objetivo: Revisar as tcnicas de verificao da normalidade dos dados e comparar alguns testes de aderncia normalidade para diferentes distribuies de origem e tamanho amostral. Metodologia: Atravs da simulao de cinco distribuies (Normal, t-student, Qui-Quadrado, Gama e Exponencial) e seis tamanhos amostrais (10, 30, 50, 100, 500 e 1000) foram simulados 5000 amostras de cada par distribuio-tamanho amostral e realizados os testes Qui-quadrado, Kolmogorov-Smirnov, Lilliefors, Shapiro-Wilk, Shapiro-Francia, Cramer-von Mises, AndersonDarling e Jarque-Bera. Resultados: Os resultados obtidos mostram uma clara superioridade dos testes Shapiro-Francia e Shapiro-Wilk, com percentuais de acerto de 72,41% e 72,15%, respectivamente. Entre os piores resultados encontramos o Kolmogorov-Smirnov e Qui-Quadrado, com percentual de acerto de 44,78% e 61,58%, respectivamente. Concluses: Para amostras pequenas recomenda-se que sejam utilizados procedimentos no paramtricos diretamente para a anlise, em funo da baixa performance dos testes de aderncia normalidade, dado o baixo percentual de acertos. Para amostras maiores, recomenda-se o uso dos testes Shapiro-Francia ou Shapiro-Wilk. Palavras-chave: Distribuio normal; teste de aderncia; Qui-quadrado; Kolmogorov-Smirnov; Lilliefors; Shapiro-Wilk; Shapiro-Francia; Cramer-von Mises; Anderson-Darling; Jarque-Bera; poder; erro tipo I
Revista HCPA. 2012;32(2):227-234 Departamento de Estatstica, Instituto de Matemtica, Universidade Federal do Rio Grande do Sul, UFRGS.
1

Unidade de Bioestatstica, Grupo de Pesquisa e PsGraduao, Hospital de Clnicas de Porto Alegre.

2

Contato: Vanessa Bielefeldt Leotti Torman vanessa.leotti@ufrgs.br Porto Alegre, RS, Brasil

ABSTRACT
Background: The main statistical tests have the normality assumption that must be verified before performing the main analyzes. Objective: To review the techniques of testing for normality of data and compare some adherence tests for different true distributions and sample size. Method: Through simulation of five distributions (Normal, t-Student, Chi-Square, Gamma and Exponential) and six sample sizes (10, 30, 50, 100, 500 and 1000) were simulated 5000 samples of each pair sample size-distribution and applied the Chi-square, Kolmogorov-Smirnov, Lilliefors, Shapiro-Wilk, Shapiro-Francia, Cramer-von Mises, Anderson-Darling and Jarque-Bera tests. Results: The results show a clear superiority of the Shapiro-Francia and Shapiro-Wilk tests, with percentages of accuracy of 72.41% and 72.15% respectively. Among the worst results we find the Kolmogorov-Smirnov and Chi-Square, with percentage of accuracy of 44.78% and 61.58% respectively.
http://seer.ufrgs.br/hcpa Rev HCPA 2012;32(2) 227

Torman et al

Conclusions: For small samples it is recommended to use non-parametric procedures directly for the analyzes, due to the low performance of the tests of adherence to normality, given the low percentage of accuracy. For larger samples, we recommend the use of the Shapiro-Francia and Shapiro-Wilk tests. Keywords: Normal distribution; godness-of-fit tests; chi-square; Kolmogorov-Smirnov; Lilliefors; Shapiro-Wilk; Shapiro-Francia; Cramer-von Mises; Anderson-Darling; Jarque-Bera; power; type I error Toda varivel aleatria, seja idade de um grupo de pessoas ou a ocorrncia de um determinado desfecho, assume uma determinada distribuio de frequncias na populao, que podem ter formas variadas (1). Na literatura estatstica encontra-se muitas distribuies tericas. Essas so modelos que procuram representar o comportamento de determinado evento em funo da frequncia de sua ocorrncia. No caso das variveis contnuas, esse evento ser um intervalo de valores. As distribuies de frequncias so, na verdade, distribuies de probabilidade, onde para um evento teremos uma probabilidade de ocorrncia associada. Em outras palavras, a partir de uma distribuio de probabilidade completamente especificada, pode-se calcular a probabilidade de uma varivel aleatria assumir determinado intervalo de valores. Nesse artigo o objeto de estudo a mais conhecida distribuio de probabilidades: a distribuio Normal ou Gaussiana. A suposio de normalidade da(s) varivel(is) aleatria(s) exigida para a realizao de muitos mtodos de inferncia estatstica, tais como: - No caso de uma amostra de uma nica populao, a suposio de normalidade exigida quando deseja-se obter intervalo de confiana ou executar teste de hiptese sobre a mdia dessa populao baseados na estatstica t. - No caso de duas amostras de populaes independentes, para realizar o teste t de comparao de mdias para amostras independentes, necessrio que a varivel aleatria assuma distribuio normal em ambas as populaes (grupos). - No caso de duas amostras pareadas (ou relacionadas), para utilizar o teste t de comparao das mdias, necessrio que a varivel aleatria da diferena entre as duas amostras tenha distribuio normal. - No caso de trs ou mais amostras de populaes independentes, para comparamos as mdias das populaes atravs da Anlise de Varincia em classificao simples (OneWay ANOVA), entre outras suposies, tem-se que pressupor que a varivel aleatria tenha distribuio normal em cada uma das populaes (grupos). - Na estimao da correlao linear de Pearson, o teste de significncia do coeficiente de correlao somente vlido se ambas as variveis aleatrias tiverem distribuio Normal. - Nos modelos de regresso linear, uma das suposies de que os resduos do modelo tenham distribuio Normal. Assim, importante termos mtodos para verificar se distribuio dos dados que estamos estudando se ajusta a uma distribuio normal. H metodologias descritivas, como a anlise visual de alguns grficos, e tambm testes noparamtricos de aderncia, que testam objetivamente a hiptese de normalidade. Este artigo pretende revisar essas metodologias existentes e comparar o desempenho de alguns testes no-paramtricos por simulao. Cumpre ressaltar que os testes t de Student so classificados como testes paramtricos porque exigem uma distribuio de probabilidade especfica para a varivel aleatria, no caso a distribuio Normal. Entretanto, existem outras tcnicas paramtricas que suportam outras distribuies de probabilidade. Assim, quando os dados no so normais, tm-se pelo menos duas solues: a primeira procurar outro teste paramtrico cuja distribuio de probabilidade assumida se ajuste melhor aos dados; a segunda usar testes no-paramtricos, como o teste de Mann-Whitney, que no fazem pressuposio sobre a distribuio dos dados. Como nos programas estatsticos mais conhecidos, como o SPSS, os outros testes paramtricos no esto implementados, usualmente a segunda opo adotada. Assim, a classificao de paramtrico ou no-paramtrico referente ao tipo de teste estatstico, e no varivel aleatria. No correto dizer que uma especfica varivel paramtrica ou no-paramtrica. Na prxima sesso, os mtodos disponveis para a verificao da hiptese de normalidade sero revisados e o estudo de simulao procedido ser descrito. Aps, tem-se a sesso que apresentar os resultados da simulao, e na sequncia, as concluses do trabalho.

Mtodos
O primeiro mtodo para verificao do formato da distribuio de uma varivel contnua a construo do histograma. O histograma um grfico de barras justapostas em que no eixo horizontal est a varivel de interesse dividida em classes e no eixo vertical a frequncia da classe correspondente (2). Este grfico est disponvel na maioria dos programas estatsticos. No SPSS verso 18.0, uma das maneiras de obter esse grfico atravs do menu Analyze -> Descriptive Statistics -> Explore -> Plots marcando-se Histogram. Atravs do histograma, buscamos verificar se a forma de sino da distribuio Normal est presente. Na Figura 1, tem-se dois exemplos de histogramas provenientes

228

Rev HCPA 2012;32(2)

http://seer.ufrgs.br/hcpa

Normalidade de variveis: verificao e comparao

de amostras de tamanho 100, onde, na Figura 1-a tem-se dados gerados de uma distribuio Normal, e na Figura 1-b, dados gerados de uma distribuio Gama. Verifica-se que a

forma simtrica da Normal est presente na Figura 1-a, mas no na Figura 1-b, como esperado.

Figura 1 - Exemplos de Histogramas

Outro grfico que pode ser utilizado para avaliar a normalidade de uma varivel o grfico Quantil-Quantil, ou Q-Q Plot. Neste grfico, no eixo horizontal tem-se os valores observados da varivel, e no eixo vertical, os valores esperados caso a varivel tenha distribuio Normal. Se h uma boa aderncia dos dados distribuio Normal os pontos esto prximos a reta de referncia apresentada no grfico. No SPSS verso 18.0, obtm-se o Q-Q Plot marcandose Normality Plots with Tests, na mesma janela onde se

solicitou o Histograma anteriormente. Na Figura 2, tem-se dois exemplos de Q-Q Plots provenientes de amostras de tamanho 100, novamente de dados gerados de uma distribuio Normal (Figura 2-a), e dados gerados de uma distribuio Gama (Figura 2-b). Verifica-se que os pontos de aproximam bem da reta no caso da varivel com distribuio Normal, mas h um grande desvio para a varivel com distribuio Gama.

Figura 2 - Exemplos de Q-Q Plots

http://seer.ufrgs.br/hcpa

Rev HCPA 2012;32(2)

229

Torman et al

Os mtodos grficos citados anteriormente tm a desvantagem de serem subjetivos, pois dependem de interpretao visual. Para um resultado mais objetivo, podese usar testes no-paramtricos de aderncia distribuio Normal. Algum deles so: Qui-quadrado de Pearson (QQ), Kolmogorov-Smirnov (KS), Lilliefors (LF) que apenas uma correo para o teste KS), Shapiro-Wilk (SW), Shapiro-Francia (SF), Cramer-von Mises (CM), Anderson-Darling (AD) e JarqueBera (JB). Apenas os quatro primeiros testes citados esto disponveis no SPSS verso 18.0, sendo que o teste qui-quadrado bastante trabalhoso pois necessita que se classifique a varivel manualmente, bem como o clculo das frequncias esperadas. O teste Kolmogorov-Smirnov pode ser obtido em Analyze -> Nonparametric Testes -> Legacy Dialogs -> 1-Sample KS. Os testes de Lilliefors e Shapiro-Wilk so exibidos marcando-se Normality Plots with Tests, da mesma maneira utilizada para obter o Q-Q Plot. Todos os testes citados esto disponveis no

programa R verso 2.15.0 (3), atravs das funes pearson.test, ks.test, lillie.test, shapiro.test, sf.test, cvm.test, ad.test e jarque. beta.test, respectivamente. As funes ks.test e shapiro.test esto disponveis na instalao bsica do R, j a funo jarque. bera.test pertence ao pacote tseries (4) e as demais funes pertencem ao pacote nortest (5). Estes testes de aderncia tm estatsticas de teste e critrios de deciso diferentes, entretanto tm em comum as hipteses testadas: a hiptese de nulidade de que a varivel aleatria adere distribuio Normal, contra a hiptese alternativa de que a varivel aleatria no adere distribuio Normal. A maneira mais fcil de tomar a deciso observar o valor-p dos testes e comparar com o nvel de significncia adotado. Se o valor-p do teste for menor que o nvel de significncia escolhido, rejeita-se a hiptese de normalidade. Mais detalhes sobre estes testes podem ser encontrados em (6) e (7). Procedendo-se os testes de Lilliefors e Shapiro-Wilk para os dados mostrados na Figura 1, tem-se os resultados do Quadro 1.

Quadro 1 - Sada do SPSS para os testes de normalidade.

Considerando um nvel de significncia de 5%, atravs do Quadro 1, percebe-se que tanto os dois testes no rejeitam a hiptese de normalidade para a varivel com distribuio Normal e rejeitam esta hiptese para a varivel com distribuio Gama. Entretanto, em algumas situaes os testes podem discordar na deciso estatstica. Zar (8) no recomenda o uso dos testes qui-quadrado e Kolmogorov-Smirnov, pois os mesmos tm poder muito baixo, ou seja, em muitas situaes onde os dados realmente no provm de uma distribuio normal, estes testes no conseguem rejeitar a hiptese de nulidade. Assim, torna-se interessante verificar o desempenho dos mesmos atravs de simulao, para tentar identificar algum com melhor desempenho. Para tanto, procedeu-se um estudo de simulao com a seguinte configurao: 1) Foram simuladas variveis de 6 distribuies diferentes: Normal (0,1), Qui-quadrado (3), t-student (10), Gama (10,1/3) e Exponencial (5). 2) Para todas as variveis foram utilizados 6 tamanhos amostrais distintos: 10, 30, 50, 100, 500 e 1000.
230

3) Para cada distribuio e tamanho amostral, simulou-se 5000 amostras. Para analisar a eficincia dos testes foi averiguado o percentual de vezes que a deciso correta foi tomada, utilizando 5% como nvel de significncia. Isto significa que para a distribuio normal foi avaliado a proporo de no rejeies da hiptese de nulidade, isto , o complementar da probabilidade do erro tipo I, ou seja, a especificidade do teste, enquanto para as demais distribuies foi avaliada a proporo de rejeies da hiptese de nulidade, ou seja, o poder ou sensibilidade do teste. As simulaes foram procedidas no programa R 2.15.0. Resultados do estudo de simulao As funes densidades de probabilidade das distribuies no-normais simuladas, bem como a densidade da distribuio Normal com mesma mdia e varincia de cada uma dessas distribuies encontram-se na Figura 3. Percebe-se que a distribuio mais similar Normal (representada em vermelho em todos os grficos) a t-student (10) e a mais discrepante a Exponencial (5).

Rev HCPA 2012;32(2)

http://seer.ufrgs.br/hcpa

Normalidade de variveis: verificao e comparao

Figura 3 - Funes densidade das distribuies simuladas (em preto) e distribuio normal com mesma mdia e varincia (em vermelho).

Os resultados obtidos nas simulaes foram sintetizados e apresentados na Figura 4, Tabela 1 e 2. Na Figura 4 encontramos o percentual de acertos de cada teste para cada distribuio e tamanho amostral. Em relao s amostras provenientes da distribuio Normal, percebe-se que o teste de Kolmogorov-Smirnov tem um comportamento no esperado em relao ao erro tipo I pois, mesmo realizando-se o teste com 5% de significncia, este no rejeitou a hiptese de normalidade em nenhuma amostra independentemente do tamanho amostral. Com exceo desse teste, todos os demais parecem ter taxas de erro tipo I adequadas, prximas do valor nominal de 5%, pois o percentual de acerto foi prximo do esperado (95%) para a maioria dos tamanhos amostrais considerados. Em relao s demais distribuies simuladas, o teste Kolmogorov-Smirnov apresentou o menor poder independentemente da distribuio para amostras menores que 500, sendo portanto no recomendvel, concordando com Zar (8). Para a distribuio t-student os testes diferem bastante mesmo para o maior tamanho amostral, tendo o percentual de acerto variado desde 1,72% (Kolmogorov-Smirnov) at 94,36%

(Jarque-Bera), conforme a Tabela 1. A dificuldade dos testes em identificarem corretamente a falta de normalidade quando os dados seguem a distribuio t-student se deve ao fato das duas distribuies possurem densidades muito parecidas. Levando em considerao todos os tamanhos amostrais, o teste que melhor identificou os dados provenientes da distribuio t-student foi o Shapiro-Francia, com 39,26% de acertos, e nas distribuies restantes o teste Shapiro-Wilk obteve melhores resultados. Outro resultado importante que verifica-se na Tabela 1 o percentual total de acertos de cada teste, onde o teste de Shapiro-Francia obteve melhor percentual de acertos (72,41%), seguido pelo teste Shapiro-Wilk, (72,15%). J entre os piores resultados, encontram-se o teste Qui-quadrado (61,58%) e o KS (44,78%). possvel perceber tambm que o desempenho dos testes pode ser muito ruim para tamanhos de amostrais pequenos. Para as distribuies mais parecidas com a Normal (Gama e t), mesmo os melhores testes s conseguem ter poder acima de 70% a partir de n=500.

http://seer.ufrgs.br/hcpa

Rev HCPA 2012;32(2)

231

Torman et al

Tabela 1 - Percentual de acerto dos testes para cada distribuio e tamanho amostral.

232

Rev HCPA 2012;32(2)

http://seer.ufrgs.br/hcpa

Normalidade de variveis: verificao e comparao

Figura 4 - Percentual de acerto em funo dos tamanhos amostrais.

http://seer.ufrgs.br/hcpa

Rev HCPA 2012;32(2)

233

Torman et al

Tabela 2 - Percentual de acerto dos testes para cada tamanho amostral.

Concluses Neste trabalho buscou-se apresentar mtodos de verificao da normalidade de variveis, como os grficos Histograma e Q-Q Plot. A anlise visual tem a desvantagem de ser subjetiva e um mtodo mais objetivo a realizao de testes no-paramtricos de aderncia distribuio Normal. Como estes testes podem conduzir a concluses diferentes,

comparou-se alguns deles atravs de simulao. Os resultados do estudo de simulao procedidos permitem recomendar o uso dos testes de Shapiro-Wilk e Shapiro-Francia. importante tambm salientar que o desempenho dos testes foi em geral muito ruim para tamanhos amostrais pequenos. Para amostras de tamanho menor ou igual a 10, recomenda-se no proceder ao teste de normalidade e partir diretamente para uma estratgia no-paramtrica de anlise.

Referncias

1.

Callegari-Jacques SM. Bioestatstica princpios e aplicaes. Porto Alegre: Artmed; 2003. Soares JF. Introduo estatstica mdica. Belo Horizonte, MG: COOPMED; 2002. Team RDC. R: A Language and Environment for Statistical Computing. Vienna, Austria; 2011.

Disponvel em: http://www.R-project. org/ 4. Trapletti A, Hornik K. tseries: Time Series Analysis and Computational Finance. 2012. Disponvel em: http:// CRAN.R-project.org/package=tseries Gross J. nortest: Tests for Normality. 2012. Disponvel em: http://CRAN.Rproject.org/package=nortest

6. 7.

Thode HC. Testing for normality. New York: Marcel Dekker; 2002. DAgostino RB, Stephens MA. Goodness-of-fit techniques. New York: M. Dekker; 1986. Zar JH. Biostatistical analysis. Upper Saddle River, N.J.: Prentice Hall; 1999.
Recebido: 16/02/2012 Aceito: 16/04/2012

2.

8.

3.

5.

234

Rev HCPA 2012;32(2)

http://seer.ufrgs.br/hcpa