ARTIGO ESPECIAL

Rev Bras Cir Cardiovasc 2008; 23(3): 396-399

Leitura crtica dos dados estatsticos em trabalhos cientficos

Critical reading of the statistical data in scientific studies
Mrio Jos da CONCEIO, TSA1
RBCCV 44205-1006
Resumo Objetivos: A Estatstica ferramenta valorizada no testemunho da validade das concluses dos trabalhos cientficos. O objetivo dessa reviso foi apresentar alguns conceitos relacionados com os clculos estatsticos que so fundamentais para a leitura e o pensamento crticos diante da literatura mdica. Contedo: Em geral, os autores apresentam os resultados de seus estudos na forma de grficos, quadros e tabelas com dados quantitativos, acompanhados de estatsticas descritivas (mdias, desvios-padro, medianas) e quase sempre mencionando os testes estatsticos realizados. Aps reviso, em inmeros desses estudos, ser difcil encontrar valor atribuvel ao teste estatstico. Assim, fica ao leitor a tarefa de avaliar a adequao das informaes e buscar as evidncias contrrias aos possveis erros que poderiam ameaar a validade das concluses. Concluses: Muitas vezes, pelo exame do desenho do estudo, observa-se o excessivo peso dado aos clculos estatsticos como fatores definitivos, provas irrefutveis, de concluses discutveis, quando no equivocadas. Descritores: Anlise estatstica. Interpretao estatstica de dados. Mtodos e procedimentos estatsticos. Projetos de pesquisa /estatstica & dados numricos. Abstract Objectives: Statistics are a valuable tool that validates the conclusions of scientific works. The objective of this review was to present some concepts related to statistic calculations that are fundamental for the critical reading and analysis of medical literature. Contents: In general, authors present the results of their studies as charts, boxes, and tables with quantitative data, along with descriptive statistics (means, standard deviations, medians), and almost always mention the statistic tests used. After reviewing several studies, it was difficult to find the value attributed to the statistical test. Thus, it is up to the reader to evaluate the adequacy of the information, and to search for evidence that contradict possible mistakes that could threaten the validity of their conclusion. Conclusions: Examining the design of the studies one observes that, in many of them, excessive importance is given to statistical calculations as definitive factors, irrefutable evidence of arguable, or equivocal, conclusions. Descriptors: Statistical analysis. Data interpretation, statistical. Statistical methods and procedures. Research design/statistics & numerical data.

INTRODUO A Estatstica, ou Bioestatstica como se convencionou cham-la, quando aplicada s cincias biolgicas, uma ferramenta valorizada no testemunho da validade das concluses dos trabalhos cientficos. Em geral, os autores

apresentam os resultados de seus estudos na forma de grficos, quadros e tabelas com dados quantitativos, acompanhados de estatsticas descritivas (mdias, desvios padro, medianas) e quase sempre mencionando os testes estatsticos realizados. Os resultados desses testes so apresentados como valores de p. Aps reviso, em inmeros

1. Professor de Tcnicas Cirrgicas e Anestsicas FURB Blumenau SC; Membro dos Conselhos Editoriais da Revista Brasileira de Anestesiologia, Pediatric Anesthesia e Regional Anesthesia and Pain Medicine; Co-Responsvel pelo CET Integrado da SESSC Florianpolis, SC Endereo para correspondncia: Dr. Mrio Jos da Conceio Rua Germano Wendhausen, 32/401 - 88015-460 Florianpolis, SC E-mail: marioconceicao@uol.com.br

Sociedade Brasileira de Anestesiologia, 2008

Artigo publicado originalmente na Revista Brasileira de Anestesiologia Vol. 58, No 3, Maio-Junho, 2008. Reproduzido com autorizao dos Editores. Descritores e Referncias adaptados para as Normas da RBCCV.

396

CONCEIO, MJ - Leitura crtica dos dados estatsticos em trabalhos cientficos

Rev Bras Cir Cardiovasc 2008; 23(3): 396-399

desses estudos, ser difcil encontrar valor atribuvel ao teste estatstico. Assim, fica ao leitor a tarefa de avaliar a adequao das informaes e buscar as evidncias contrrias aos possveis erros que poderiam ameaar a validade das concluses. Milhares de trabalhos cientficos so publicados anualmente em centenas de peridicos dedicados a divulgao de pesquisas oriundas da anestesiologia ou de reas correlatas. A esmagadora maioria, tanto nos estudos destinados a cincia bsica, quanto naqueles de pesquisa clnica, usa a bioestatstica para referendar suas concluses. Pelo exame do desenho do estudo, observa-se o excessivo peso dado aos clculos estatsticos como fatores definitivos, provas irrefutveis, de concluses discutveis, quando no equivocadas.O objetivo dessa reviso foi apresentar alguns conceitos relacionados com os clculos estatsticos que so fundamentais para a leitura e pensamento crticos diante da literatura mdica. O erro da prova de equivalncia Na rpida passagem pelas pginas das revistas encontra-se na seo de Mtodo dos vrios artigos a insistente apario do p > 0,05 ou o p < 0,05 significando, no-significativo ou significativo, sob o ponto de vista estatstico, respectivamente. Ao encontrar o valor > 0,05 ou < 0,05, o autor passa a colocar todo o peso de seu estudo no valor desse clculo e, de forma que julga brilhante, conclui pela existncia (ou no) de determinado fenmeno, ou fato, estudado. Aparentemente o problema piorou com o advento dos computadores e suas planilhas, facilitando sobremaneira esses clculos e j com os mais diversos programas estatsticos embutidos. Essa facilidade colocou ao alcance dos autores a possibilidade de vrias anlises estatsticas. Nem sempre, porm, todos os autores esto preparados para seu uso adequado. A morfina um potente depressor da respirao, dependente de dose, seja por via venosa ou aplicada ao neuroeixo, verdade indiscutvel, pelo menos at esse momento. Tome-se como exemplo estudo cujo resumo do mtodo o seguinte: dois grupos de pacientes tratados com morfina no neuroeixo, doses fixas, so deslocados no ps-operatrio para dois lugares diferentes: um dos grupos segue para enfermaria comum, enquanto os pacientes do outro grupo so encaminhados para unidade de terapia intensiva. O objetivo do estudo foi avaliar a depresso respiratria nos pacientes tratados com morfina e a diferena entre os grupos. O resultado apresentado foi p > 0,05, portanto sem diferena estatstica entre os grupos. Os autores, com base nisso, concluem que pacientes tratados com morfina no neuroeixo no correm risco de depresso respiratria. Ora, o valor de p > 0,05 sem diferena estatstica significativa

sugere a falta de evidncia de um efeito. Quando se l no houve diferena estatstica entre os dois grupos est-se diante de informao incompleta. O grande valor para p a rigor no significa ausncia de efeito como erroneamente os autores concluram. Apenas que os dados foram insuficientes para estabelecer a necessidade de vigilncia no psoperatrio daqueles pacientes. Noutros artigos (comunssimo nos de lngua inglesa) por economia de espao, ou outro motivo qualquer, os autores omitem o termo estatstica e escrevem: no houve diferena entre os grupos ou houve diferena significativa entre os grupos. Diferenas de 5% podem ser significativas do ponto de vista clnico sem, no entanto, o serem do ponto de vista estatstico. No exemplo da morfina, se apenas um dos pacientes tivesse apresentado depresso respiratria, necessitando de suporte ventilatrio, do ponto de vista clnico isso seria altamente significativo por motivos bvios. Ao ler uma concluso baseada em valores para p (maior ou menor) o leitor dever to somente interpretar diferena estatstica entre os dois grupos. Incorreto, quando no perigoso, ser assumir que houve equivalncia entre os grupos para determinada ocorrncia clnica observada [1]. O poder da amostra Como seria invivel estudar todos os indivduos atingidos pelo mesmo fenmeno, se retira dessa populao um grupo de indivduos que passaro a represent-la. A isso, chama-se amostra. Inmeras vezes, p maior do que 0,05, simplesmente porque o nmero de indivduos estudados (amostra) muito pequeno. Quantas vezes j foi lido: trinta pacientes aleatoriamente etc.... Alis, autores nacionais adoram a tal randomizao e at aleatorizao. Estatsticos chamam a isso de erro tipo II. Isto , quando no se detecta, em determinada amostra, o fenmeno observado, mas ele de fato existe [1]. Muitas teses universitrias trabalham com amostras pequenas pela falta de tempo entre o prazo para o trmino da psgraduao e a colheita dos dados para escrev-la. A probabilidade do estudo de detectar o fenmeno estudado, quando ele existe, chama-se poder. O poder depende da variabilidade nos grupos, do tamanho da amostra, da verdade do fenmeno a ser observado e do nvel de significncia. Um bom trabalho de investigao clnica deve informar o poder calculado da amostra, de tal forma que o leitor possa avaliar resultados no-significativos pelos clculos estatsticos. Seria bastante razovel se pensar que a depresso respiratria, aps o uso da morfina no neuroeixo, deixou de se manifestar em 30 pacientes, mas bem poderia ter atingido o 32o paciente, se a amostra fosse de 35 pacientes. O poder da amostra definido por porcentagem. Uma amostra pode ser 40% confivel na deteco do fenmeno, ou 99% confivel. Desconfie sempre de grandes 397

CONCEIO, MJ - Leitura crtica dos dados estatsticos em trabalhos cientficos

Rev Bras Cir Cardiovasc 2008; 23(3): 396-399

amostras. Esse um erro muito comum em trabalhos cientficos: o(s) autor(es) pensa(m) que uma amostra enorme (5 mil casos, por exemplo) lhe(s) garante o direito de inferir resultados absolutos. Maior nem sempre significa melhor em termos de tamanho da amostra. Assim, o autor precisa antes de iniciar a pesquisa planejar com cautela o tamanho da sua amostra, para que ele seja apropriado ao seu intento. Levantar seus 10 mil casos de qualquer coisa absolutamente inapropriado [1], resultado de todo esse esforo? Nenhum. A escolha errada do programa estatstico Os pacotes estatsticos disponveis no mercado, ou embutidos nas planilhas dos computadores, so incapazes de evitar que o pesquisador utilize o modelo errado, ou apontar as limitaes do programa. Por exemplo, quantas vezes j se encontrou na literatura mdica aplicao do teste de Bonferroni para validar resultados obtidos por Anlise deVarincia (ANOVA)? O teste de Bonferroni, ou teste de comparaes mltiplas de Dunn, dispensa a ANOVA e no foi idealizado para comparaes post-hoc (depois disso) e sim comparaes a priori. Programa errado pode gerar p < 0,05. Na leitura de pesquisas clnicas preciso ateno redobrada quando testes estatsticos complexos indicam um determinado efeito que testes mais simples recusam. preciso procurar entender se o autor descreve com cuidado o modelo utilizado (e o porqu), ou simplesmente refere um mtodo automtico para seleo de variveis. Torna-se insuficiente o autor listar as variveis que alimentaram seu programa, sem a garantia de que verificou se elas foram alocadas de forma correta [2]. Evidncias oriundas de vrios estudos Um nico artigo insuficiente para decidir sobre um fenmeno observado. bastante comum encontrar-se vrios artigos sobre o mesmo assunto apresentando concluses diferentes. Um nico artigo pode apresentar diferena estatstica, atestando a existncia de determinado fenmeno estudado, entretanto dois ou trs outros concluem exatamente pelo contrrio. Essas observaes podem advir de erros. Valores de p > 0,05, como j mencionado, no so garantia de equivalncia, mas falta de evidncia de uma diferena estatstica. Deduzir que o nmero de artigos, a favor e contra a evidncia, define o problema, pode ser tambm em erro. A comparao entre estudos pode colocar lado a lado trabalhos que foram inapropriados ou com mtodo mal planejado. Mais confiveis so os estudos multicntricos, combinando dados de diferentes locais. Pela tica estatstica, o trunfo dos estudos multicntricos est em reduzir o intervalo de confiana para um determinado fenmeno observado, quando comparado com um nico 398

estudo [2]. Nesse contexto discute-se o poder das metanlises para validar observaes clnicas. As opinies entre especialistas divergem. Entretanto, aparentemente uma metanlise, de pequenas amostras, dificilmente ser o mesmo que um grande ensaio clnico advindo de estudo multicntrico. Alm do mais, metanlises no substituem observaes clnicas bem planejadas. Equilbrio entre grupo-controle e grupo de estudo A maioria dos estudos clnicos, em nossa rea, inicia a descrio dos resultados apresentando comparao de caractersticas bsicas entre dois grupos: sexo, idade, peso e estado fsico, ao que chamam de dados demogrficos. A inteno do autor mostrar aos leitores que os dois grupos so equilibrados. Com muita freqncia se acrescenta o valor de p para testar a diferena entre os dois grupos. Mesmo assim pode haver equvocos. H diferenas entre pacientes dos grupos que podero interferir nos resultados [3]. Por exemplo: observe a Tabela 1, extrada de uma anlise de efeitos de bloqueadores neuromusculares em crianas. Os autores assumem (e induzem os leitores) que esses grupos so perfeitamente homogneos. Todavia, nada mencionado a respeito do estado de nutrio ou hidratao dessas crianas. Aqui p < 0,05 foi interpretado como prova inconteste da homogeneidade e que outras variveis so desprezveis independentemente do modelo de estudo. Curioso que a recproca pode ser verdadeira. H mtodos que utilizam o valor de p < 0,05 para provar a necessidade de incluso de outras variveis. Voltando Tabela 1, p < 0,05 atesta a hiptese que a distribuio das variveis no ocorreu por sorte ou de forma arbitrria. Todavia, no mtodo, os autores afirmaram que a distribuio foi aleatria, ento foi por sorte.
Tabela 1. Caractersticas dos Pacientes que Receberam Mivacrio aps Atracrio (Grupo AM), Cisatracrio (Grupo CM) ou Mivacrio (Grupo MM) Grupo MM Grupo AM Grupo CM 5,8 5,4 6,0 Idade (2,6 12,9) (2,3 -12,5) (2,3 12,0) (anos) 23,0 20,0 21,0 Peso (14,0 56,0) (10,3 40,0) (13,5 55,0) (kg) Dados esto apresentados na forma de mdias. N =15 por grupo. No houve diferena estatstica significativa entre os grupos.

O erro aqui est na certeza de que p < 0,05 determina as variveis que devem (ou no) ser includas no modelo (sexo, idade, peso) e quais devem ser, com segurana, ignoradas (estado de nutrio, hidratao). Tratando-se de bloqueadores neuromusculares, indiscutivelmente o

CONCEIO, MJ - Leitura crtica dos dados estatsticos em trabalhos cientficos

Rev Bras Cir Cardiovasc 2008; 23(3): 396-399

estado de nutrio das crianas poderia ter interferido nos resultados, mas o sexo pouco provvel. comum, entre os autores, pensar seja suficiente dizer apenas que os pacientes foram selecionados aleatoriamente. No desenho do mtodo algumas variveis podem ter sido desprezadas [3], bem como modelos com muitas variveis so de difcil interpretao e utilizao. Todavia, o autor necessita explicar o impacto das variveis excludas, nos seus resultados. A isto, chama-se anlise sensvel. Os resultados tornam-se convincentes quando apresentados de forma correta. Alguns conselhos editoriais mais rigorosos solicitam, por parte do autor, o que muitas vezes causa indignao por parte desses, o envio dessas informaes, inclusive a lista de dados de onde foram extrados os resultados. CONCLUSES Se h pretenso de ler de forma crtica artigo cientfico necessrio apenas conhecimento bsico dos princpios de estatstica. As seguintes perguntas devem, todavia, ser respondidas: O autor forneceu informao quanto s medidas basais dos grupos em estudo? O autor usou intervalos de confiana na descrio de resultados, sobretudo se nenhuma evidncia foi encontrada? H inconsistncia entre informaes apresentadas em grficos e quadros e as informadas e analisadas no texto? Os valores de p esto corretamente interpretados?

O autor utilizou testes de ajustes (Newmann-Keuls, Dunnet e outros) para comparaes mltiplas? O autor justificou com propriedade o modelo estatstico empregado? Modelos complexos no so necessariamente os corretos. preciso ficar atento para o problema das comparaes mltiplas com muitos testes estatsticos. Nota de esclarecimento: os artigos publicados, consultados como exemplo de erros, foram omitidos dessas referncias, por considerao tica aos autores. Foram consultados peridicos em lngua inglesa, espanhola e portuguesa. Alm disso, foi utilizada a experincia do autor em revisar artigos enviados para publicao em trs peridicos diversos. Pelo mesmo motivo no foi referenciado o artigo no qual foi publicada a Tabela 1.

REFERNCIAS 1. Abramson JH. Survey methods in community medicine: epidemiologic studies. 5th ed. New York:ChurchillLivingstone;1999. p.311-25. 2. Avram MJ, Shanks CA, Dykes MH, Ronai AK, Stiers WM. Statistical methods in anesthesia articles: an evaluation of two American journals during two six-month periods. Anesth Analg. 1985;64(6):607-11. 3. Dawson B, Trapp RG. Bioestatstica bsica e clnica. 3a ed. Rio de Janeiro:McGraw-Hill;2003.

399