Agora comeamos a analisar segundo as especificaes de cada artigo, partindo da proposta dos autores do estudo.

Inicialmente precisamos definir os vrios tipos de estudos e se eles esto de acordo com a metodologia empregada. a) Tipos de estudos: Eles podem ser primrios (relato de uma pesquisa original em primeira mo) ou secundrios (ou integrativos, resumos ou concluses de estudos primrios). Os estudos primrios podem ser de trs tipos: 1) Experimentais: uma interveno feita em um animal ou voluntrio humano, em condies artificiais e controladas 2) Ensaios clnicos: uma interveno, como a administrao de uma medicao, oferecida para um grupo de pacientes que so seguidos para ver o que acontece com eles 3) Levantamentos: so feitas medidas em grupos ou exemplos de populaes. Os estudos secundrios so compostos por: 1) Revises: no sistemticas (sumrios de artigos primrios), sistemticas (sumrios de artigos primrios mas com uma rigorosa metodologia pr-definida), metas-anlise (integra os dados numricos de mais do que um artigo primrio, analisando-os em conjunto); 2) Guidelines: Sumrio das concluses de estudos primrios sugerindo condutas clnicas, diagnsticas, teraputicas ou evolutivas; 3) Anlises de decises: uso dos resultados de estudos primrios para gerar fluxogramas de probabilidades a serem usadas por profissionais da sade ou leigos; 4) Anlises econmicas: uso dos dados de artigos primrios para definir do ponto de vista de custo/benefcio quais as aes que alocam os melhores recursos. b) Tpicos gerais de pesquisa: Usualmente, os estudos de pesquisa esto relacionados com os seguintes tpicos, juntamente com as melhores estruturas bsicas para cada tpico: 1) Teraputica - Testa a eficcia de tratamentos medicamentosos, procedimentos cirrgicos, mtodos alternativos de educao dos pacientes ou outras intervenes. A estrutura preferida a do ensaio clnico randomizado; 2) Diagnstico - verifica a validade e a confiabilidade de novos testes diagnsticos. A estrutura preferida dos estudos transversais, nos quais ambos o novo teste e o teste padro ouro so efetuados; 3) Screening - demonstra o valor de testes que podem ser aplicados a grandes populaes e identificar uma doena no perodo pr-sintomtico. A estrutura preferida a dos estudos transversais; 4) Prognstico - determinando o que provvel acontecer com os indivduos cuja doena identificada em estgios iniciais. O estrutura preferida a de um estudo de coorte longitudinal;

5) Causal - determinando se um agente supostamente nocivo est relacionado ao desenvolvimento de doenas. Estrutura preferida um estudo de coorte ou de caso-controle, mas eventualmente podem ser obtidos a partir de relatos de casos. Antes de comear a analisar cada um desses estudos, vamos apresentar um breve glossrio de termos que so freqentemente usados pelas diferentes estruturas de estudos de pesquisa: - Comparao de grupo paralelo: cada grupo recebe uma interveno diferente, com ambos os grupos entrando no estudo ao mesmo tempo. Os resultados so analisados por comparao entre os grupos. - Comparao de grupos pareados (ou igualados): indivduos recebendo diferentes intervenes so igualados para balancear potenciais fatores de confuso, como idade, sexo. Os resultados so analisados em termos de diferenas entre os pares. - Comparao dentro do grupo: os indivduos so acessados antes e depois de uma interveno e os resultados analisados em termos de mudanas dentro do prprio grupo. - Cego (single blind): ou os indivduos ou os pesquisadores no conheciam qual tratamento os participantes estavam recebendo. - Duplo cego: nem os participantes e nem os pesquisadores tinham conhecimento do tratamento aplicado. - Estudo cruzado: cada indivduo recebe ambos a interveno e o tratamento controle, em ordem randmica e seqencial, freqentemente separados por um perodo sem interveno ou de washout (lavagem). Constitui-se em uma das melhores tcnicas de comparao de duas intervenes, j que os grupos comparativos so idnticos. - Placebo controlado: Indivduos do grupo controle recebem um placebo (uma plula idntica na aparncia e no gosto ao do medicamento ativo). Cirurgias placebo (simuladas) tambm podem ser usadas em ensaios de intervenes cirrgicas, apesar de discutveis do ponto de vista tico. - Delineamento fatorial - um estudo que permite investigao dos efeitos de mais do que uma varivel independente, separadamente e combinadas, dentro de uma mesma evoluo, so estudos 2x2, 3x2 e assim por diante. Comearemos agora a analisar de forma conjunta os tpicos e as estruturas dos estudos: Ensaio Clnico Randomizado Controlado Em um ensaio clnico randomizado controlado (ECRC), os participantes so randomicamente alocados por um processo aleatrio (como tirar na moedinha) para receber uma interveno ou experimento (como uma medicao) ou outra interveno (que pode ser s placebo). Ambos os

grupos so seguidos por um tempo especfico de tempo e analisados em termos de resultados ou desfechos especficos definidos ao iniciar-se o estudo (tais como morte, infarto, nvel de glicemia, colesterol, etc.). J que os grupos so idnticos, exceto pela interveno, qualquer diferena nos desfechos entre os grupos passa a ser atribuda interveno. Entretanto, em medicina nada assim to claro. Vrios estudos se apresentam como ensaios clnicos controlados, mas no randomizados, quando os grupos so alocados de uma forma no aleatria. Eventualmente, uma separao randmica pode no ser possvel, impraticvel ou mesmo tica, entretanto, algumas vezes encontramos ensaios ditos randomizados mas cujos grupos foram separados em funo do julgamento do investigador em beneficiar a interveno para determinados pacientes (doentes com formas mais severas podem subconscientemente ficar fora do grupo placebo). Essa atitude leva a graves erros de tendncias, comprometendo todo o estudo. Um ensaio randomizado controlado tem como vantagens: a) o fato de permitir uma rigorosa avaliao de uma nica varivel (p. ex. uma droga contra placebo) em um grupo definido de pacientes (p. ex. pacientes diabticos tipo I com microalbuminria com menos de 45 anos de idade); b) ser prospectivo (os dados so coletados a medida em que o estudo se desenvolve); c) ter um padro hipottico dedutivo (os investigadores buscam mais derrubar a hiptese do que confirm-la, o que tornam os resultados mais fidedignos); d) potencialmente afastar tendncias por comparar dois grupos aparentemente idnticos; e) permitir metas-anlise posteriormente (ao combinar os resultados numricos de vrios ensaios similares). As principais questes ou hipteses que podem ser respondidas ou testadas pelos ensaios randomizados controlados so aqueles baseados em intervenes, particularmente interessando aspectos de tratamento ou preveno. Entretanto, algumas desvantagens podem estar embutidas nos ECRC tais como: a) alto custo e longo tempo de seguimento, permitindo que muitos ensaios sequer comecem ou sejam conduzidos com grupos populacionais inadequadamente reduzidos e / ou por tempo demasiadamente curtos; b) desfechos substitutivos podem ser usados em detrimento dos eventos clnicos definidos; c) tendncias inaparentes podem estar presentes, especialmente se ocorrerem randomizaes imperfeitas, falhas em randomizar todos os pacientes elegveis (clnicos oferecem para participar do ensaio somente aqueles pacientes que eles consideram que respondero melhor interveno) e, falhas em cegar os investigadores quanto condio dos grupos randomizados. Adicionalmente, os resultados dos ECRC podem ser comprometidos em funo dos critrios de excluso (regras de quem pode ou no entrar no estudo), das tendncias de incluso (seleo de um grupo que no representativo de determinada condio clnica), recusa de certos grupos de

pacientes para consentir na sua participao no ensaio, anlise somente dos desfechos pr-definidos excluindo aspectos qualitativos da interveno e, finalmente a tendncia de publicao (ou seja, a publicao seletiva apenas dos resultados positivos). Ensaios clnicos randomizados controlados so considerados o padro ouro na pesquisa clnica, entretanto h vrias circunstncias onde os ECRC so ou desnecessrios (quando uma interveno claramente superior a uma condio fatal ou quando estudos prvios ou de metas-anlise j tem um resultado definido), ou impraticveis (quando a randomizao no tica ou quando o nmero de pacientes necessrios muito elevado) ou inapropriados (ao testar hipteses do prognstico de uma doena, para validar testes diagnsticos ou de screening e, ao comparar padres de qualidade de cuidados para os quais um critrio de sucesso no est claramente estabelecido). Cuidados: Inmeras vezes nos defrontamos com artigos originais publicados em revistas de referncia que em uma passada de olhos parecem preencher os critrios de um adequado ensaio clnico randomizado controlado. Entretanto, a leitura minuciosa da metodologia, do tipo de randomizao empregada, da forma de recrutamento dos pacientes, dos critrios de incluso e excluso e, a definio dos desfechos do estudo, mostra que falhas importantes ocorreram e portanto os resultados no podem ser validados. Outros, empregaram amostras de indivduos que jamais veremos na prtica clnica. Em outros, os autores esto to envolvidos com a indstria patrocinadora do estudo que fica difcil aceitarmos uma total iseno na coleta de dados e na interpretao dos resultados. Por fim, olhamos a situao ridcula por que passam alguns dos nossos colegas ao palestrarem positivamente sobre ensaios com erros metodolgicos graves, talvez em funo de estarem a convite de terceiros. Estudos de Coorte Em um estudo de coorte, dois ou mais grupos de pessoas so selecionados na dependncia das diferenas de exposio a um agente especfico (como uma vacina, um medicamento, ou uma situao ambiental) e so acompanhados para detectar quantos indivduos em cada grupo desenvolvem uma doena especfica ou um outro desfecho. Os perodos de seguimento dos estudos de coorte, geralmente so medidos em anos, eventualmente em dcadas, j que muitas das doenas estudadas desenvolvem-se em longo prazo. Aqui reside uma das principais diferenas entre os estudos de coorte e o ensaio randomizado controlado (ERC). Os ERC comeam com os pacientes j apresentando uma doena, enquanto que a maioria dos estudos de coorte comea com indivduos que podero ou no desenvolver uma doena. Eventualmente, estudos de coorte podem ser usados para avaliar o prognstico de uma doena. Um grupo de pacientes com uma determinada doena em um estgio inicial ou com um teste de

screening positivo, reunido (coorte de incio) e seguido por repetidas ocasies visando detectar a incidncia (novos casos por anos) e a evoluo de diferentes desfechos. Estudos de casos-controles: Em um estudo de caso-controle, pacientes com uma doena ou condio especfica (casos) so identificados e pareados com controles (pacientes com alguma outra doena ou recrutados na populao geral). Os dados so coletados, desde relatos e registros histricos, visando detectar uma exposio prvia a um possvel agente causal da doena em estudo. Assim como nos estudos de coorte, o interesse dos estudos de casos-controle com a etiologia da doena, mais do que com o seu tratamento. Sua fora de evidncia baixa, mas sua estrutura s vezes a nica opo ao se estudar condies raras. Dois aspectos so relevantes como fatores complicadores nos estudos de casos-controle. Em primeiro lugar, existe um risco potencial de que a precisa definio de quem seja um caso possa no ser clara o suficiente e permitir a alocao incorreta, provocando um vis que pode influenciar os resultados. Em segundo lugar, a simples associao de um elemento com uma determinada condio clnica em um estudo de caso-controle no prova que o elemento em questo causa a condio associada. Estudos transversais Em um estudo transversal, um exemplo representativo de indivduos entrevistado, examinado ou de outra forma estudado no sentido de responder a uma questo clnica especfica. Os dados so coletados em um perodo nico de tempo mas eventualmente podem ser buscados registros histricos. So os clssicos estudos de prevalncia (proporo total da populao estudada que apresenta uma doena ou condio clnica, em uma determinada seco de tempo). Relatos de casos Um relato de caso descreve a histria mdica de um nico paciente. Um conjunto de casos com algum elemento em comum (exposio, condio clnica, efeitos adversos ou medicao) podem ser apresentados juntos denominando-se de estudo de srie de casos. Novamente so estudos de baixa evidncia, entretanto, eventualmente alguma informao ou a percepo de uma possvel associao pode advir de um estudo como esse. Servem, pois, de base para montagem de estudos mais elaborados que possam demonstrar uma associao real ou no. Costumam ser estudos rpidos e fceis de serem publicados de forma que enchem as chamadas revistas

de segunda e terceira linha. Tais estudos podem ser rapidamente compreendidos por mdicos no acadmicos ou pelo pblico leigo, o que pode representar um aspecto negativo se as severas limitaes desses estudos no forem levados em conta. Estudos cientficos na rea da sade encerram uma fora de evidncia varivel dependendo da estrutura ou desenho do estudo e do emprego de uma determinada estrutura para testar uma hiptese. Existe uma chamada hierarquia da evidncia ordenando as vrias estruturas de estudos de acordo com a sua fora de evidenciar uma relao verdadeira. Partindo dos estudos de maior fora de evidncia, eles podem ser ordenados da seguinte forma: Revises sistemticas e estudos de metas-anlises de ensaios randomizados controlados; Ensaios randomizados controlados com resultados definidos; Ensaios randomizados controlados com resultados no definitivos (sugere-se um efeito significativo mas com intervalo de confiana que ultrapassa os limites para esse efeito); Estudos de coorte; Estudos de casos-controle; Estudos transversais e; Relatos de casos. O passo seguinte avaliar um item dos artigos cientficos que freqentemente no sequer lido: Material e Mtodos. A metodologia reveste-se da mais alta importncia porque nessa seo que so respondidas as questes mais importantes acerca da elaborao e conduo do estudo descrito. A seo Material e Mtodos ou simplesmente Metodologia descreve todos os passos do estudo, desde a sua elaborao, a escolha da populao a ser estudada, o seu recrutamento, as incluses e excluses, os materiais, medicamentos e equipamentos que foram empregados no estudo, os desfechos primrios e secundrios, a forma como os resultados foram colhidos, a relao dos pesquisadores com a interpretao desses resultados, as anlises estatsticas utilizadas, e a forma de conduo do seguimento da populao. Ou seja, a partir da Metodologia que conseguimos determinar se os resultados e concluses do estudo podem ser transferidos para a nossa prtica e para os nossos pacientes. Para uma melhor compreenso vamos dividir em sees que renam os aspectos mais importantes a serem avaliados no item Metodologia: Originalidade do estudo: So tantos os estudos em diferentes partes do mundo que freqentemente encontramos artigos semelhantes ou mesmo idnticos. Entretanto, originalidade aqui significa que o estudo deve ser diferente de trabalhos anteriores, que j consolidaram resultados ou concluses, de forma a poder acrescentar um dado ou fato cientfico novo. Devemos observar se na comparao com estudos prvios, o estudo maior, mais longo ou

mais consistente, sua metodologia mais rigorosa, a populao estudada de alguma forma diferente, ele responder questes ainda duvidosas ou, finalmente, ele contribuir com resultados numricos para estudos de metas-anlise? Portanto, ao avaliar o aspecto de originalidade devemos perguntar se o estudo acrescenta algo para a literatura, caso contrrio no h sentido em l-lo. A seleo da populao: Ao ler um trabalho cientfico imediatamente tentamos relacionar os resultados com os nossos pacientes. Entretanto, vrias so as razes porque os participantes de estudos clnicos ou de levantamentos podem diferir da populao da sua realidade. Comparados aos seus pacientes, eles podem ser mais ou menos doentes, podem ser de um diferente grupo tnico ou ter um estilo de vida e hbitos diferentes, podem ter recebido maior ou incomum ateno durante o estudo, e podem ter como nico problema de sade apenas aquele que est sob estudo (completamente diferente da vida real). Portanto, importa saber onde e como foram os participantes do estudo recrutados, verificando se no ocorreu um vis de recrutamento (como por exemplo, s os menos doentes, ss os que foram atendidos em um departamento de emergncia de um determinado hospital tercirio, s os doentes que tinham telefone, s os que sabiam ler e escrever). Importa saber em detalhes quem foram os indivduos includos e quais os excludos (quanto a aspectos tnicos, idade, sexo, grau de instruo, severidade da doena, co-morbidades, uso prvio de medicamentos). Finalmente, importa saber quo prximo da sua realidade est o estudo, quanto a equipamentos especiais, mtodos laboratoriais, instrues e facilidades de contato por parte dos pesquisadores aos participantes, e seguimento dos indivduos com visitas ou telefonemas freqentes, incentivando a prtica em estudo ou colhendo dados (que de outra forma poderiam no aparecer). Sensibilidade do desenho do estudo: Dois aspectos principais merecem destaque ao avaliar o desenho bsico de um estudo. Primeiro, verifique exatamente que interveno especfica est sendo considerada e sendo comparada com o que. Freqentemente os autores ou no conseguem ser claros na interveno e comparao ou sugerem que a metodologia forte o suficiente para testar a hiptese levantada. Procure tirar da descrio da metodologia o que realmente est sendo testado e qual a fora desse teste. Em segundo lugar, verifique que ou quais desfechos foram escolhidos e como foi feita a sua quantificao. A definio do ponto final do estudo, primrio ou secundrio, precisa estar direta e intimamente relacionada com a hiptese em teste. Ou seja se estamos testando a eficcia de uma droga, o desfecho obrigatoriamente

dever incluir a taxa de resolues, a taxa de falhas, morte e sobrevivncia. Adicionalmente, essas quantificaes precisam ser passveis de serem aferidas e se algum tipo de escala ou protocolo utilizada, eles precisam ser validados por estudos anteriores, mostrando sensibilidade e especificidade da ferramenta em uso. Tendncias ou vieses sistemticos: As tendncias ou vieses sistemticos so quaisquer elementos, fsicos ou virtuais, que erroneamente influenciam as concluses acerca de grupos e distorce as comparaes. Dependendo do desenho do estudo necessrio empregar medidas que evitem ou minimizem essas tendncias, objetivamente procurando comparar grupos to semelhantes entre si, exceto pela diferena particular que est sendo examinada. Algumas tendncias mais comuns so: vis de seleo (diferenas sistemticas na comparao dos grupos atribuveis a uma incompleta ou falha randomizao), vis de performance (diferenas sistemticas no cuidado proporcionado ao grupo sob interveno e no ao controle), vis de excluso (diferenas sistemticas em excluses ou perdas de indivduos do estudo), e vis de deteco (diferenas sistemticas na avaliao dos desfechos). Condio dos pesquisadores: Verifique o grau de "cegueira" dos investigadores. Vrios so os estudos que mostram que os pesquisadores tendem a encontrar aquilo que eles pensam e esperam encontrar, seja nos achados de exames clnicos, resultados de anlises ou o que pior, nas quantificaes compara. Assegure-se que os pesquisadores, e especialmente os indivduos sob teste, esto cegos para o tipo de interveno que esto recebendo e para os resultados, preferencialmente desconhecendo inclusive o desfecho. Trabalhos de alta qualidade so aqueles que reproduzem todos os passos da interveno para ambos os grupos em comparao, e cegam os participantes, os avaliadores, os interpretadores dos exames, e os analisadores dos resultados. Agora, vamos discutir as questes relacionadas com a abordagem e o tratamento estatstico empregado no estudo, ainda dentro da Metodologia. Antes, porm, precisamos estabelecer a premissa de que no somos estatsticos e, portanto, nossa avaliao ser limitada apenas aos aspectos mais relevantes da bioestatstica, visando exclusivamente validar os resultados e as concluses do estudo. So trs os itens a serem verificados: o tamanho da amostra em estudo, a durao do seguimento (follow-up) e a integridade do seguimento. Tamanho da amostra em estudo: Um dos aspectos mais importantes na elaborao de um ensaio clnico a definio do tamanho da amostra, ou seja, quantos indivduos sero necessrios para que possamos obter um resultado, negativo ou positivo, estatisticamente significativo. Calculando-se o tamanho da amostra, estaremos definindo a fora do estudo e o grau de confiana que podemos depositar nas suas concluses. Muito mais que uma simples diferena significativa entre resultados, importa saber se o efeito clinicamente significativo. No importa apenas saber que determinado medicamento reduziu em tantos mmHg a presso arterial sistlica (com 20 indivduos que tomaram a medicao e 20 que no tomaram, j d para

inferir o efeito da droga), mas se precisarmos avaliar seus efeitos colaterais, que podero variar de 20, 10 ou 1%, j precisaremos de uma amostra de, no mnimo, 100 pacientes; e se quisermos saber se o controle da presso arterial nesses nveis e com essa droga significativo para reduzir a mortalidade ou a ocorrncia de um acidente vascular enceflico (considerando a prevalncia de um AVE na populao em estudo), precisaremos de, no mnimo, 1.000 indivduos, e ainda assim a fora do nosso estudo ser relativamente fraca. Portanto, precisamos conhecer as prevalncias e incidncias dos eventos que queremos estudar e definir um nmero de amostras (participantes) que, no mnimo, possa permitir a ocorrncia de um nmero passvel de ser medido e comparado (teoricamente, acima de 1%). claro que podemos aumentar as incidncias dos eventos que queremos estudar selecionando indivduos com maiores fatores de risco, o que levar a um distanciamento da amostra com a populao real (na qual esto os nossos doentes). Portanto, importa conhecer a mdia e os desvios-padro dos desfechos primrio e secundrio, de forma que possamos identificar as chances de que a amostra escolhida estar dentro da populao passvel da ocorrncia do evento em estudo, e em que grau. Hoje, existem frmulas e tabelas para se calcular o tamanho da amostra, de forma a detectar uma diferena verdadeira na ordem de 80 a 90% de probabilidade, e, em geral, os estudos que tiveram essa preocupao costumam definir o tamanho da amostra e o grau de significncia que foi empregado no estudo. Procure identificar esses nmeros e veja se eles so coerentes com a hiptese em teste, com a amostra escolhida e com os resultados. Estudos que no levam em conta o tamanho da amostra e o grau de significncia podem incorrer em um erro tipo II ou beta: a concluso errnea de que uma determinada interveno no tem efeito, quando, na verdade, ela tem. Ou podemos estar correndo o risco de ter um erro tipo I ou alfa (bem mais raro), no qual a concluso afirma que uma diferena significativa quando, na verdade, ela no o por problemas de amostragem. Durao do seguimento (follow-up): Considerando-se que um determinado estudo reuniu uma amostra suficiente de participantes da amostra, ela deve continuar por um tempo longo o suficiente para que os efeitos da interveno possam ser evidentes nos desfechos escolhidos. Esse tempo extremamente varivel, de alguns minutos, como no caso de intervenes para dores agudas, ou de longo tempo (meses, anos ou dcadas), em se tratando de efeitos de longo prazo. Ateno deve ser dada para alguns resultados que se mostram altamente efetivos nas primeiras semanas, mas cujas diferenas no se mantm aps passarem-se meses ou anos. Esses aspectos devem estar anotados no estudo e precisam se correlacionar com as taxas de incidncias dos eventos estudados.

Integridade do seguimento (follow-up): Esse aspecto j foi alvo de discusso em captulo anterior, mas dada a sua importncia voltaremos a discuti-lo. Repetidos estudos tm mostrado que os indivduos que se afastam dos ensaios clnicos so aqueles que menos provavelmente tomaram suas medicaes corretamente, mais provavelmente esqueceram de fazer suas avaliaes, e mais freqentemente experimentaram efeitos adversos do que aqueles que no abandonaram o estudo. Por outro lado, pessoas que no experimentaram um efeito evidente de uma interveno tm freqentemente maior probabilidade de abandonarem o estudo do que os outros. Vrios so os fatores motivadores do abandono, incluindo uma incluso inadequada, reaes adversas (que devem ser, obrigatoriamente, confrontados com o grupo placebo, no qual ocorrem, surpreendentemente, inmeros efeitos adversos incluindo rash cutneo), perda da motivao dos pacientes, abandono por razes clnicas, perda de localizao dos participantes, ou morte (independentemente do desfecho do estudo). Teoricamente, uma perda por qualquer motivo de mais de 20% do grupo inicial compromete de forma irrecupervel um estudo e no deve ser considerado. Alguns pesquisadores tm utilizado o artifcio de "pretender considerar" (intent to treat), no qual eles continuam a comparar os efeitos da interveno, independentemente se os indivduos abandonaram ou no o estudo. Em geral, os estudos costumam indicar que eles esto se utilizando desse artifcio, o que, na maioria das vezes, apenas falseia os resultados. Portanto, um recurso que no deve ser considerado. As anlises desses aspectos podem eliminar ou confirmar uma srie de artigos como teis ou inteis, e fortalecer nossa posio frente informao espria.