Beruflich Dokumente
Kultur Dokumente
NISTRI
O DA SADE
DI
SQUESADE
DI
RETRI
ZESMET
ODOL
GI
CAS
Ouvi
dor
iaGer
aldoSUS
www.
saude.
gov.
br el
aborao de revi
so si
stemti
ca e
Bi
bl
iot
ecaVi
r
tualem SadedoMini
str
i
odaSade met
anl
is
edee ns
aiosc
l
ni
cosrandomi
zados
www.saude.
gov
.br
/bv
s
BRAS
LIA -DF
2012
MINISTRIO DA SADE
Secretaria de Cincia, Tecnologia e Insumos Estratgicos
Departamento de Cincia e Tecnologia
DIRETRIZES METODOLGICAS
elaborao de reviso sistemtica e
metanlise de ensaios clnicos randomizados
Braslia DF
2012
2012 Ministrio da Sade.
Todos os direitos reservados. permitida a reproduo parcial ou total desta obra, desde que
citada a fonte e que no seja para venda ou qualquer fim comercial. A responsabilidade pelos
direitos autorais de textos e imagens desta obra da rea tcnica. A coleo institucional
do Ministrio da Sade pode ser acessada, na ntegra, na Biblioteca Virtual em Sade do
Ministrio da Sade: <http://www.saude.gov.br/bvs> e na pgina da Rede Brasileira de
Avaliao de Tecnologias em Sade: <www.saude.gov.br/rebrats>.
Ficha Catalogrfica
Brasil. Ministrio da Sade. Secretaria de Cincia, Tecnologia e Insumos Estratgicos. Departamento de Cincia e
Tecnologia.
Diretrizes metodolgicas : elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados/ Ministrio
da Sade, Secretaria de Cincia, Tecnologia e Insumos Estratgicos, Departamento de Cincia e Tecnologia. Braslia :
Editora do Ministrio da Sade, 2012.
92 p. : il. (Srie A: Normas e Manuais Tcnicos)
ISBN 978-85-334-1951-3
CDU 614:62
Catalogao na fonte Coordenao-Geral de Documentao e Informao Editora MS OS 2012/0391
5 ETAPAS OPCIONAIS 52
5.1 Avaliao da qualidade da evidncia. 52
5.1.1 Sistema GRADE 52
5.1.1.1 A qualidade das evidncias e fora das recomendaes 52
5.1.1.2 Qualidade da evidncia versus fora da recomendao 52
5.1.1.3 Como graduar a qualidade das evidncias 53
5.1.1.4 Fora da recomendao 55
5.1.1.5 Fatores que influenciam a fora das recomendaes 55
5.1.1.6 Como apresentar as evidncias e recomendaes utilizando o sistema GRADE? 55
5.2 Clculo do Tamanho timo da Informao (TOI) 56
5.2.1 Fundamentos 56
5.2.2 TOI corrigido para heterogeneidade 56
6 CONCLUSES 58
REFERNCIAS 59
APNDICES 65
Apndice A Construo da estratgia de busca: simbolos e operadores booleanos 65
Apndice B Gerenciadores de referncias: o que so e como utiliz-los 71
Apndice C Medidas de efeito 74
Apndice D Interpretando o grfico de floresta 80
Apndice E Ficha de avaliao das diretrizes metodolgicas: elaborao de
reviso sistemtica e metanlise de ensaios clnicos randomizados 82
ANEXOS 83
Anexo A Tabela das principais bases de dados e respectivos acessos eletrnicos 83
Anexo B Exemplo de sensibilizao de busca utilizando os entry terms do
termo Mesh para Diabetes mellitus tipo 2 85
Anexo C Exemplo de ficha clnica de avaliao de elegibilidade 86
Anexo D Exemplo de ficha clnica de extrao da qualidade da evidncia dos
estudos primrios 87
Anexo E Fluxo de seleo dos artigos da reviso sistemtica 88
Anexo F Check-list de itens para reportagem da reviso sistemtica, segundo o PRISMA 89
Anexo G Exemplo de apresentao da qualidade da evidncia pelo GRADE 92
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
APRESENTAO
A reviso sistemtica (RS) um mtodo de sntese de evidncias que avalia
criticamente e interpreta todas as pesquisas relevantes disponveis para uma questo
particular, rea do conhecimento ou fenmeno de interesse. Por se tratar de mtodo
explcito e sistemtico para identificar, selecionar e avaliar a qualidade de evidncias,
as revises sistemticas so tipos de estudos produzidos por uma metodologia
confivel, rigorosa e auditvel. Os mtodos estatsticos metanlises, normalmente
so inseridos na anlise e sntese dos resultados, permitindo aumentar a amostra e a
preciso dos desfechos avaliados.
11
Ministrio da Sade
12
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
13
Ministrio da Sade
15
Ministrio da Sade
Esses recursos financeiros podem ser prprios ou podem ser financiados por
entidades de agncias de fomento pesquisa (CNPq, Fapesp em So Paulo, etc.),
instituies responsveis pela avaliao tecnolgica (Ministrio da Sade) ou
envolvidas na elaborao de diretrizes para prtica clnica (sociedades brasileiras de
especialidades clnicas).
16
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
2 ETAPAS FUNDAMENTAIS DE
UMA REVISO SISTEMTICA
2.1 Definio da questo de pesquisa estruturada no formato do acrnimo PICO
P populao: especifica qual ser a populao includa nos estudos, bem como
sua situao clnica. Assim, por exemplo, para uma mesma populao de diabticos,
pode-se restringir a populao para especificamente pacientes diabticos tipo 1,
tipo 2 ou ambos.
A N-acetilcistena comparada com placebo previne a nefropatia induzida por contraste em pacientes
de alto risco submetidos a procedimento com contraste?
P = tabagistas
I = sesses de terapia cognitivo-comportamental + vareniclina.
Continua
17
Ministrio da Sade
Continuao
C = vareniclina
O = cessao do tabagismo
3) Interveno de procedimentos
4) Interveno educacional
Ao se definir uma questo de pesquisa para a RS, podemos nos deparar com
a situao em que esta questo j tenha sido respondida de forma definitiva por
algum estudo prvio.
Assim, deve-se fazer uma breve busca na literatura por uma RS j realizada.
Para isto, pode-se recorrer ao site oficial da Cochrane Library (<http://www.
thecochranelibrary.com>) ou Biblioteca Cochrane, disponvel na BVS Biblioteca
Virtual em Sade Bireme (<http://regional.bvsalud.org/php/index.php>) e no
CRD Centre for Reviews and Dissemination (<http://www.york.ac.uk/inst/crd/>)
que so especializados em RS. Essas bases contm referncias de revises que
esto em andamento (acesso ao protocolo registrado). Entretanto, a atualizao
das revises na BVS no ocorre ao mesmo tempo em que na Cochrane Library.
18
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
19
Ministrio da Sade
Assim, a busca deve ser a mais completa, objetiva e reprodutvel possvel, inclusive
em relao ao idioma ou perodo de publicao.
20
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
livremente atravs do PubMed ou por outras plataformas como o OVID (acesso via
assinatura) e BVS (Bireme, livre acesso).
Uma vantagem que uma grande parte dos artigos est disponvel em forma de
texto completo atravs do Scielo.
Para cada questo de pesquisa, deve-se utilizar as quatro bases essenciais descritas,
classificadas como bases essenciais, e mais uma base de dados especfica da rea do
conhecimento da RS. Por exemplo, se a RS for na rea de fisioterapia, alm da busca no
MEDLINE, EMBASE, Cochrane CENTRAL e LILACS, deve-se pesquisar tambm na base
PEDro (Phisiotherapy Evidence Database).
21
Ministrio da Sade
O acesso literatura cinzenta pode ser feito por busca manual (handsearching),
onde a presena dos revisores em congressos e eventos na rea se faz necessria, para,
ativamente, tentar identificar esses estudos; ou por bases de dados que indexam este
tipo de literatura. Como exemplos destas bases, podemos citar o ISI of Knowledge,
acesso via Portal da Capes, o British Library Inside, entre outras.
22
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
Para recuperao do tipo de estudo, por exemplo, ECRs, geralmente utiliza-se uma
estratgia de busca j validada (os chamados filtros de busca), sensvel o suficiente
para recuperar o maior nmero de estudos com este delineamento.
Sugere-se que a seleo dos termos sempre se inicie pelos descritores do MeSH
no Medline, depois no Central (que utiliza o mesmo vocabulrio). Para a busca no
Embase, deve-se identificar o Emtree correspondente ao MeSH, j que nem sempre
um termo MeSH corresponde ao mesmo termo no Emtree.
23
Ministrio da Sade
Abaixo, um exemplo de como o mesmo termo descritor de assunto pode variar nas bases:
24
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
Na base de dados CENTRAL no preciso usar filtro, pois a base j inclui o filtro
para ensaio clnico.
Vrios estudos relatam tentativas para escolher a melhor estratgia para recuperar
ECRs no EMBASE, mas ainda no est estabelecido um modelo validado. O Centro
Cochrane do Reino Unido tem trabalhado esta questo atualmente. No Handbook da
Cochrane1, captulo 6, seo 6.3.2.2, alguns termos so sugeridos:
No se recomenda o uso de filtros para rodar busca na Lilacs, pois a base pequena
e, muitas vezes, ao se utilizar um filtro, o resultado 0 (zero) registros recuperados.
As estratgias de busca utilizadas para cada base de dados devem constar como
anexo da reviso. importante esse registro para futuras atualizaes da RS e para
garantir a reprodutibilidade da busca.
25
Ministrio da Sade
1. Buscar evidncia disponvel nas quatro bases fundamentais MEDLINE, EMBASE, Cochrane
CENTRAL e LILACS e mais uma base eletrnica especfica do assunto.
2. Buscar evidncia proveniente de literatura cinzenta.
3. Definir quais termos sero utilizados para cada item da questo de pesquisa no formato
PICO, utilizando termos para o item O do desfecho apenas quando o assunto amplamente
estudado e precisa-se restringir o nmero de potenciais artigos elegveis.
4. Utilizar filtro para ECRs, quando j validados.
5. Combinar os termos utilizando operadores booleanos.
6. Registrar toda a estratgia de busca em cada base, informando a data do acesso.
O processo de avaliao da elegibilidade passa por uma etapa de triagem dos artigos,
com leitura de ttulo e resumo (quando disponvel), e uma etapa de confirmao, pela
leitura do manuscrito em forma de texto completo.
3.2.1 Avaliao da elegibilidade: triagem dos artigos pela leitura de ttulo e resumo
A busca de estudos em todas as possveis fontes de dados gera um nmero muito maior de
artigos do que os que realmente sero elegveis pelos critrios estabelecidos. Isto ocorre porque
a estratgia de busca elaborada preconizando a sensibilidade em detrimento especificidade.
Uma leitura rpida do ttulo e resumo permite realizar uma triagem destas
referncias e descartar um grande nmero de referncias que no se enquadram nos
critrios de elegibilidade estabelecidos pela reviso.
Um mesmo artigo pode estar indexado em mais de uma base de dados, de modo
que teremos referncias duplicadas na soma dos arquivos. O registro deste nmero
necessrio para constar na elaborao do fluxo de seleo dos artigos, que faz parte da
apresentao dos resultados. Anota-se a soma do nmero total de artigos recuperados
em todas as bases de dados. Procede-se excluso e contabilidade das duplicatas. A
diferena destes dois valores representa o nmero de artigos obtidos em duplicata.
O arquivo sem as duplicatas ento dividido pelos revisores, que podem trabalhar
individualmente na avaliao da elegibilidade, excluindo os artigos que claramente
no preencham os critrios de elegibilidade e mantendo os possivelmente includos.
26
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
A triagem pela leitura de ttulo e resumo deve ser realizada por dupla de revisores,
de maneira independente. Muitas vezes o resumo no est disponvel e, neste caso,
se o ttulo for sugestivo de incluso, o artigo permanece na base e passa para a etapa
seguinte de avaliao da elegibilidade pela leitura do texto completo.
Todos os artigos que foram triados na fase anterior tm sua elegibilidade confirmada
pela leitura mais detalhada do estudo, atravs da leitura do texto completo do artigo.
Assim como na etapa de triagem, a confirmao da elegibilidade realizada por dupla
de revisores, de modo independente.
Nesta etapa, a razo primria da excluso deve ser registrada para composio do fluxo
de seleo dos artigos. Para guiar esta etapa, utiliza-se uma ficha clnica padronizada, que
contm basicamente os critrios de incluso estabelecidos. A ficha deve conter uma folha
de rosto com a identificao do ttulo da reviso (um mesmo revisor pode estar realizando
mais de uma RS simultaneamente), nome do revisor e identificao do estudo (feita pelo
nmero de identificao criado pelo gerenciador de referncias ou pelo acrnimo do
estudo, autor e revista). O anexo C apresenta um modelo de folha de rosto de ficha clnica.
27
Ministrio da Sade
Quadro 4 Variveis consideradas para elaborao de ficha clnica de extrao dos dados
Participantes
Nmero de pacientes randomizados por brao de tratamento
Nmero de perdas de seguimento por brao de tratamento
Idade
Sexo
Histrico de doenas
Co-morbidades
Parmetros clnicos de interesse para a situao clnica (presso arterial, dados de
exames de base, ndice de massa corporal, etc)
Continua
28
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
Continuao
Intervenes
Descrio da interveno experimental e controle
Vias de administrao (se medicamento), dose ou esquema teraputico nos braos
do estudo
Mtodos
Tempo de seguimento por brao de tratamento
Randomizao adequada
Alocao sigilosa
Esquema de cegamento:
Investigadores
Participantes
Avaliadores de desfecho
Anlise por inteno de tratar
Perdas de seguimento
Interrupo precoce por benefcio
Desfechos
Definio de cada desfecho investigado com seu respectivo critrio diagnstico.
Unidade de medida (se aplicvel)
Para escalas: limite superior e inferior; o quanto a pontuao alta ou baixa representa
melhora clnica
Resultados
Para cada desfecho: coleta de variveis categricas e/ou numricas.
Subgrupos a serem analisados: nmero de eventos sobre o total de pacientes em
cada brao
Fonte: elaborao prpria.
29
Ministrio da Sade
30
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
31
Ministrio da Sade
RANDOMIZAO
32
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
SIGILO DE ALOCAO
Assim, essencial que a lista aleatria gerada e a codificao dos tratamentos sejam
realizadas por um terceiro revisor no envolvido diretamente com os procedimentos do estudo.
ESQUEMA DE CEGAMENTO
33
Ministrio da Sade
O relato incompleto dos dados nos estudos, muito comum na literatura cientfica,
pode dificultar a gerao da metnlise. Um exemplo que ilustra esta situao o
estudo Steno-240, publicado no peridico New England Journal of Medicine. Este
estudo avaliou o efeito do tratamento intensivo da glicemia em relao ao tratamento
convencional, na incidncia de eventos micro e macrovasculares. Gaede et al40.
randomizaram 80 pacientes em cada brao e afirmaram que as anlises seguiram o
princpio de inteno de tratar. Entretanto, no apresentaram os resultados em forma
34
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
PERDAS DE SEGUIMENTO
A perda de seguimento pode ser importante mesmo se os dados dos estudos forem
analisados seguindo o princpio de anlise por inteno de tratar. Quando no se tem
conhecimento de nenhum desfecho do paciente, por conta da perda de seguimento,
no podemos incluir os dados na anlise a no ser se utilizarmos algum mtodo
estatstico de imputao de dados41.
35
Ministrio da Sade
Essa superestimao ocorre porque, a cada paciente que entra em um estudo, ocorre
uma variabilidade em torno do verdadeiro efeito da terapia. Portanto, se avaliarmos o
efeito do tratamento em vrios momentos durante a incluso dos pacientes, em algum
momento pode ocorrer uma diferena entre os grupos decorrente do acaso. Neste
momento, o estudo interrompido rapidamente, no permitindo que este acaso seja
diludo com a incluso dos futuros pacientes. O anexo D ilustra um exemplo de ficha
clnica para extrao de dados referente qualidade metodolgica dos estudos.
1. Elaborar ficha clnica padro com campos para coleta de dados descritivos e dados quantitativos
1.1. Caractersticas de base dos pacientes
1.2. Outras informaes relevantes para reviso
1.3. Risco de vis nos estudos primrios
1.4. Dados numricos e definio(es) do(s) desfecho(s)
2. Extrair os dados contidos na ficha clnica, para cada estudo includo na RS
3. Extrair os dados por dupla de revisores, de forma independente
4. Confrontar as informaes dos revisores e resolver as discordncias por consenso ou por um
terceiro revisor
36
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
3.4 Resultados
Nesta etapa, todos os dados de interesse contidos em ficha clnica devem estar
extrados para cada estudo, independente do nmero de artigos elegveis para a RS.
O fluxo de seleo dos artigos outro resultado descritivo. Permite ao leitor uma
ideia da abrangncia da estratgia de busca e aumenta a validade interna da reviso.
Um exemplo de como apresentar este fluxo encontra-se no anexo E.
3.4.2 Sumrio dos efeitos do tratamento nos estudos, clculo e apresentao da metanlise
Se a RS for incluir metanlise, dever ser calculada uma metanlise para cada desfecho
definido. Conforme definido anteriormente, metanlise o uso de mtodos estatsticos para
combinar resultados dos estudos individuais. Entretanto, a combinao dos resultados no
simplesmente a soma das populaes dos estudos, como se todos fizessem parte de um
mesmo grande estudo. Primeiro, calcula-se um sumrio estatstico para cada estudo e depois
considera-se a mdia ponderada das estimativas de efeito dos estudos includos para calcular
a metanlise. O tamanho da amostra e o nmero de eventos so os determinantes dos pesos
dos estudos na metanlise. A relao entre peso e tamanho de amostra complexa e vai
depender do mtodo estatstico escolhido para realizar a metanlise.
37
Ministrio da Sade
38
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
Continuao
Uma explicao mais detalhada sobre cada estimativa de efeito encontra-se no apndice C.
39
Ministrio da Sade
and Laird, disponvel no Review Manager (ver seo 3.4.2), assume-se que esta
distribuio de valores uma distribuio Normal.
O conceito matemtico de varincia o quadrado do erro padro. Por sua vez, erro
padro descreve a extenso em que a estimativa pode estar errada devido ao erro
aleatrio. Estes dois conceitos so intercambiveis em termos de informao, mas com
valores numricos diferentes.
40
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
O mtodo de Peto utilizado somente para dados dicotmicos que utilizaram odds
ratio como medida de efeito e somente para modelo de efeito fixo.
Variveis Variveis
dicotmicas
numricas
Inverso da Varincia
41
Ministrio da Sade
42
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
Continuao
Estudos que suportam um efeito benfico tendem a ser mais publicados que estudos
com resultados negativos44. H muitos fatores que predispem a este problema. Os
autores podem desistir de escrever o artigo por acharem que no h interesse nos
resultados ou os editores das revistas podem no demonstrar interesse em publicar
o artigo devido ao menor interesse por parte dos leitores45. Por isso a importncia de
pesquisar fontes de dados no publicados e reunir a totalidade da evidncia.
43
Ministrio da Sade
O poder deste mtodo para detectar vis baixo quando existem poucos estudos
includos na metanlise. Por este motivo, o Handbook da Cochrane1 recomenda que
no seja realizado nenhum teste em revises com menos de 10 estudos.
44
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
O teste de regresso de Eggers48 uma abordagem que realiza uma regresso linear
da estimativa do efeito da interveno pelo seu erro padro, ponderada pelo inverso
da varincia da estimativa do efeito da interveno. Essa ponderao importante,
pois assegura que a estimativa de regresso no seja dominada por estudos pequenos.
Para desfechos contnuos com diferenas de mdia como medida de efeito, o teste
de regresso de Egger deve ser preferido aos outros testes. Entretanto, quando o
desfecho dicotmico e a estimativa de efeito da metanlise o odds ratio, a taxa
de erro tipo I (proporo de resultados falso-positivos) alta. Alguns outros testes49,50
evitam a associao matemtica entre o log do odds e seu erro padro, diminuindo
estas altas taxas de falso-positivos. Entretanto, estes testes aumentam resultados
falso-positivos na presena de heterogeneidade significante.
45
Ministrio da Sade
3.4.5 Heterogeneidade
3.4.5.1 Conceito
46
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
47
Ministrio da Sade
DIRETRIZ: RESULTADOS
48
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
Para o desfecho Acidente Vascular Cerebral (AVC), a estimativa de efeito foi RR 0,92
IC95% (0,69-1,23). Em ambos os casos no se encontrou significncia estatstica nos achados.
Entretanto, foi discutido que o tratamento intensivo parece no apresentar benefcios em
relao ao convencional para o desfecho mortalidade total (j que os intervalos de confiana
foram considerados estreitos, ou seja, um resultado preciso e um grande ensaio clnico poderia,
no mximo, diminuir ainda mais este intervalo, para um valor mais prximo do valor 1). J
para o desfecho AVC, a metanlise foi considerada inconclusiva, sugerindo a necessidade de
investigar melhor os tratamentos para este desfecho (como os intervalos so mais largos, no
podemos descartar um aumento expressivo no risco de desenvolver AVC com o tratamento
intensivo, nem descartar uma reduo expressiva com o mesmo tratamento).
49
Ministrio da Sade
discutir alguma inconsistncia que no pde ser explorada por anlise de subgrupos,
etc. Notar que no se deve inferir concluses utilizando as anlises de sensibilidade.
Elas apenas servem para gerar hipteses e so apresentadas na seo de resultados.
Significado dos achados: as implicaes para a prtica clnica devem ser to prticas
e inequvocas quanto possvel. No devem ir alm da evidncia que foi revisada e ser
justificada pelos dados apresentados na reviso.
Assim como em qualquer pesquisa, o valor de uma RS depende do que foi feito, do
que foi encontrado e da transparncia do relato do processo da reviso. Tambm como
em outras publicaes, o relato de qualidade de uma RS varia, limitando a capacidade
dos leitores em identificar os pontos fortes e pontos fracos inerentes da reviso.
50
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
51
Ministrio da Sade
5 ETAPAS OPCIONAIS
5.1 Avaliao da qualidade da evidncia
52
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
53
Ministrio da Sade
Continuao
54
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
H quatro possibilidades:
55
Ministrio da Sade
5.2.1 Fundamentos
O tamanho timo da informao (TOI) pode ser definido como a quantidade mnima de
informao necessria, em uma meta-anlise, para a obteno de concluses confiveis sobre
uma interveno57. Esse nmero deve ser estimado de forma anloga ao clculo do tamanho
de amostra de um ensaio clnico randomizado individual. Para realizar o clculo, necessrio
estabelecer o valor de alfa a ser utilizado, o poder estatstico desejado, o efeito da interveno e
a taxa de eventos no grupo controle obtida atravs da metanlise. Uma vez que a maioria das
intervenes possui efeitos moderados sobre desfechos clinicamente relevantes, prudente
estimar o TOI utilizando um tamanho de efeito relativo entre 15% e 30%.
O TOI parte do pressuposto de que todos os ECRs estudados fazem parte de um nico grande
ECR. Entretanto, quando observamos heterogeneidade dos dados, no adequado fazer esse tipo
de suposio. Consequentemente, a heterogeneidade deve ser considerada quando o tamanho
da informao calculado, pois o seu aumento requer um maior tamanho da informao.
Jorn Wetterslev et al.58 propuseram uma nova forma de calcular o tamanho timo
da informao ajustado para heterogeneidade, utilizando como critrio o teste de
inconsistncia, atravs da frmula:
56
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
TOIH = TOI/(1-I2)
57
Ministrio da Sade
6 CONCLUSES
Neste documento, procurou-se abordar de forma simples e prtica as principais
etapas necessrias para a elaborao e conduo de uma RS de qualidade.
Deve-se ressaltar que esta diretriz no esgota de forma alguma o assunto, de modo
que o pesquisador que pretende realizar uma reviso dever se aprofundar nos tpicos
abordados atravs de leitura especfica.
Ningum realiza uma RS de forma individual. A definio da equipe, das etapas que
cada um ir participar, alm de cumprir um cronograma exequvel, fundamental para
o sucesso de uma RS de qualidade, que contribuir com o conhecimento para a prtica
clnica de uma questo de pesquisa, considerando a hierarquia das evidncias.
58
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
REFERNCIAS
1. HIGGINS, J. P. T.; GREEN, S. (Ed.). Cochrane handbook for systematic reviews
of interventions. Version 5.0.2. The Cochrane Collaboration, 2009. Disponvel em:
<http://www.cochrane.org/resources/handbook/> . Acesso em: 24 out. 2010.
8. CHALMERS, I.; DICKERSIN, K.; CHALMERS, T. C. Getting to grips with archie Cochranes
agenda. British Medical Journal, London, v. 305, n. 6857, p. 786-788, 1992.
9. MULROW, C. D.; COOK, D. J.; DAVIDOFF, F. Systematic reviews: critical links in the
great chain of evidence. Annals Internal Medicine, Philadelphia, v. 126, n. 5, p. 389-
391, 1997.
10. MEDICAL journal editors take hard line on drug research. The
Washington Post, Set. 2004. Disponvel em: <http://www.smh.com.au/
articles/2004/09/09/1094530773888.html>. Acesso em: 25 Mar. 2011.
59
Ministrio da Sade
12. DICKERSIN, K.; SCHERER, R.; LEFEBVRE, C. Identifying relevant studies for systematic
reviews. British Medical Journal, London, v. 309, n. 6964, p. 1286-1291, 1994.
13. ELSEVIER EMBASE TEAM. Access 24 million records with Embase [mensagem
pessoal]. Mensagem recebida por <mfigueiro@hcor.com.br>. Em 24 nov. 2010.
18. MALLET, S.; HOPEWELL, S.; CLARKE, M. The use of grey literature in the first 1000
Cochrane reviews. Paper presented at the Fourth Symposium on Systematic Reviews:
Pushing the Boundaries, Oxford, 2002.
19. CENTRO COCHRANE DO BRASIL. Busca por informaes nas principais bases
de dados da literatura mdica mundial: filtros para ensaios no pubmed. So Paulo:
Centro Cochrane do Brasil, 2008.
20. COHEN, J. Weighted kappa: nominal scale agreement with provision for scaled disagreement
or partial credit. Psychological Bulletin, Washington, v. 70, n. 4, p. 213-220, 1968.
21. COOK, D. J. et al. Rules of evidence and clinical recommendations on the use of
antithrombotic agents. Chest, Northbrook, v. 102, n. 4, p. 305S-311S, 1992.
60
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
25. MOHER, D. et al. Does quality of reports of randomised trials affect estimates of
intervention efficacy reported in meta-analyses? The Lancet, Philadelphia, v. 352, n.
9128, p. 609-613, 1998.
29. MOHER, D.; JADAD, A. R.; TUGWELL, P. Assessing the quality of randomized
controlled trials: current issues and future directions. International Journal of
Technology Assessment in Health Care, Cambridge, v. 12, n. 2, p. 195-208, 1996.
32. COOK, D. J.; SACKETT, D. L.; SPITZER, W. O. Methodologic guidelines for systematic
reviews of randomized control trials in health care from the Potsdam Consultation on meta-
analysis. Journal of Clinical Epidemiology, Maryland Heights, v. 48, n. 1, p. 167-171, 1995.
33. JAKABCIN, J. et al. Long-term health outcome and mortality evaluation after
invasive coronary treatment using drug eluting stents with or without the IVUS
guidance: randomized control trial. Catheterization Cardiovascular Intervention,
Malden, v. 75, n. 4, p. 578-583, 2010.
61
Ministrio da Sade
35. MAYO, E. The human problems of an industrial civilization. New York: The
Macmillan Company, 1933.
36. JUNI, P. et al. The hazards of scoring the quality of clinical trials for meta-analysis.
The Journal of the American Medical Association, Chicago, v. 282, n. 11, p. 1054-
1060, 1999.
37. FISHER, L.D. et al. Intention to treat in clinical trials. In: PEARCE, K.E. (Ed.).
Statistical issues in drug research and development. New York: Marcel Dekker,
1990. p. 331350.
39. HERITIER, S. R.; GEBSKI, V. J.; KEECH, A. C. Inclusion of patients in clinical trial
analysis: the intention-to-treat principle. Medical Journal of Australia, Sydney, v. 179,
n. 8, p. 438-440, 2003.
43. BASSLER, D. et al. Stopping randomized trials early for benefit and estimation of
treatment effects: systematic review and meta-regression analysis. The Journal of the
American Medical Association, Chicago, v. 303, n. 12, p. 1180-1187, 2010.
44. DICKERSIN, K. et al. Publication bias and clinical trials. Controlled Clinical Trials,
Maryland Heights, v. 8, n. 4, p. 343-353, 1987.
46. STERNE, J. A.; EGGER, M. Funnel plots for detecting bias in meta-analysis:
guidelines on choice of axis. Journal of Clinical Epidemiology, Maryland Heights, v.
54, n. 10, p. 1046-1055, 2001.
62
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
47. TERRIN, N.; SCHMID, C. H.; LAU, J. In an empirical evaluation of the funnel
plot, researchers could not visually identify publication bias. Journal of Clinical
Epidemiology, Maryland Heights, v. 58, n. 9, p. 894-901, 2005.
48. EGGER, M. et al. Bias in meta-analysis detected by a simple, graphical test. British
Medical Journal, London, v. 315, n. 7109, p. 629-634, 1997.
49. PETERS, J. L. et al. Comparison of two methods to detect publication bias in meta-
analysis. The Journal of the American Medical Association, Chicago, v. 295, n. 6, p.
676-680, 2006.
50. HARBORD, R. M.; EGGER, M.; STERNE, J. A. A modified test for small-study effects
in meta-analyses of controlled trials with binary endpoints. Statistic in Medicine,
Malden, v. 25, n. 20, p. 3443-3457, 2006.
51. DUVAL, S.; TWEEDIE, R. Trim and fill: a simple funnel-plot-based method of testing and
adjusting for publication bias in meta-analysis. Biometrics, Arlington, v. 56, n. 2, p. 455-463, 2000.
52. DOCHERTY, M.; SMITH, R. The case for structuring the discussion of scientific
papers. British Medical Journal, London, v. 318, n. 7193, p. 1224-1225, 1999.
54. MOHER, D. et al. Reprint-preferred reporting items for systematic reviews and
meta-analyses: the PRISMA statement. Physical Therapy, Alexandria, v. 89, n. 9, p.
873-880, 2009.
57. POGUE, J. M.; YUSUF, S. Cumulating evidence from randomized trials: utilizing
sequential monitoring boundaries for cumulative meta-analysis. Controlled Clinical
Trials, Maryland Heights, v. 18, n. 6, p. 580-593, 1997.
63
Ministrio da Sade
58. WETTERSLEV, J. et al. Trial sequential analysis may establish when firm evidence
is reached in cumulative meta-analysis. Journal of Clinical Epidemiology, Maryland
Heights, v. 61, n. 1, p. 64-75, 2008.
59. LAN, K. D. D. Discrete sequential boundaries for clinical trials. Biometrika, Oxford,
v.70, n.3, p.659-663, 1983.
60. PARMAR, M. K.; TORRI, V.; STEWART, L. Extracting summary statistics to perform
meta-analyses of the published literature for survival endpoints. Statistic in Medicine,
Malden, v. 17, n. 24, p. 2815-2834, 1998.
64
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
APNDICES
APNDICE A - Construo da estratgia de busca: smbolos e operadores booleanos
AND
OR: representa a soma, a unio dos termos. Ele permite recuperar artigos que
contenham tanto uma como a outra expresso, inclusive artigos que contenham
ambos os assuntos. No exemplo ilustrado anteriormente, ao utilizarmos o operador OR
(depression OR anxiety), recuperariam-se todos os artigos com depresso, artigos com
ansiedade e artigos com a interseco de ambos os termos que contenham depresso
e ansiedade.
OR
NOT: O NOT o operador booleano que exclui o termo subsequente. Pelo exemplo
anterior, o arranjo depression NOT anxiety recupera somente artigos com o assunto
depresso, ou seja, exclui todos os que incluem ansiedade, inclusive os artigos que
contenham ambos os termos depresso e ansiedade.
66
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
NOT
Assim, para otimizar tempo, sugere-se que a pesquisa seja realizada linha por
linha, ou seja, que para cada termo explorado se realize uma pesquisa individual.
Com isto, torna-se possvel realizar diversas combinaes utilizando os operadores
booleanos. Os termos podem ser copiados em arquivo Word para que, sempre que
necessrio rodar uma nova estratgia, possam ser colados na caixa de pesquisa da
respectiva base.
67
Ministrio da Sade
68
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
Notar
Notar que oque o resultado
resultado de pesquisa
de pesquisa #6 ofinal
#6 o resultado resultado
da buscafinal
pelada busca pela
estratgia estratgia
definida na base de
dados Medline que recuperou 507 artigos potencialmente elegveis para esta
definida na base de dados Medline que recuperou 507 artigos potencialmente questo de pesquisa.
elegveis
Para ilustarpara
uma esta questo
estratgia de pesquisa.
de busca na base de dados LILACS, utilizou-se a seguinte questo de
pesquisa:
Para ilustar uma estratgia de busca na base de dados LILACS, utilizou-se a
seguintedaquesto
Eficcia depreveno
aspirina na pesquisa:do Acidente Vascular Cerebral.
Quadro 13 Exemplo de estratgia na LILACS
Eficcia da aspirina na preveno do Acidente Vascular Cerebral.
Populao/condio: pacientes com acidente vascular cerebral
Quadro
(Acidente 1 Exemplo
vascular cerebral de
ORestratgia
stroke OR na LILACScerebrovascular OR Ictus Cerebral OR AVC
accidente
OR Apoplexia OR Acidente Cerebrovascular OR Apoplexia Cerebral OR Apoplexia
Populao/condio:
Cerebrovascular pacientes
OR Icto com acidente
Cerebral vascularVascular
OR Acidente cerebral Enceflico OR AVE OR Acidente
(Acidente
Vascular do vascular
Crebrocerebral OR strokeCerebral
OR Acidente OR accidente cerebrovascular
Vascular OR Ictus
OR Acidentes CerebralVasculares
Cerebrais OR AVC OR OR
Apoplexia OR Acidente Cerebrovascular OR Apoplexia Cerebral OR Apoplexia Cerebrovascular OR
Acidentes Cerebrovasculares OR Acidentes Vasculares Cerebrais OR mh:C10.228.140.300.775$
Icto Cerebral OR Acidente Vascular Enceflico OR AVE OR Acidente Vascular do Crebro OR Acidente
ORCerebral Vascular OR Acidentes
mh:C14.907.253.855$ ) Cerebrais Vasculares OR Acidentes Cerebrovasculares OR Acidentes
Vasculares Cerebrais OR mh:C10.228.140.300.775$ OR mh:C14.907.253.855$ )
AND AND
I = IInterveno:
= Interveno:aspirina
aspirina
(aspirinaOROR aspirin
(aspirina aspirin OR
OR cido
cido Acetilsaliclico
Acetilsaliclico OR
OR mh:D02.241.223.100.380.800.075$
mh:D02.241.223.100.380.800.075$ OR OR
mh:D02.241.511.390.700.075$OR
mh:D02.241.511.390.700.075$ OR mh:D02.755.410.700.075$)
mh:D02.755.410.700.075$)
AND
ANDC = Controle: placebo
C =(Efeito
Controle:placebo
placeboOR efecto placebo OR placebo effect OR mh:HP3.073.433.101$ OR
mh:N05.715.350.350.625$
(Efeito OR mh:N06.850.490.734.875$
placebo OR efecto placebo OR placebo effect OR OR mh:SP5.001.012.038.059.075$)
mh:HP3.073.433.101$ OR
mh:N05.715.350.350.625$
Fonte: elaborao prpria.
OR mh:N06.850.490.734.875$ OR mh:SP5.001.012.038.059.075$)
Notar que o resultado da busca foram dois artigos e que o filtro para ECR no foi utilizado.
Fonte: BVS. Disponvel em:< http://lilacs.bvsalud.org/>. Acesso em: 10 jan.2011.
Notar que o resultado da busca foram dois artigos e que o filtro para ECR no foi utilizado.
70
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
71
Ministrio da Sade
Continuao
Cada gerenciador de referncias tem sua peculiaridade, que deve ser explorada
na ocasio de sua utilizao. Para os gerenciadores mais comuns, o EndNote e o
Reference Manager, a maioria das etapas fundamentais so comuns e criar uma
biblioteca nica requer poucas etapas.
72
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
73
Ministrio da Sade
Fonte: EMBASE. Disponvel em:http://www.embase.com/home. Acesso em: 16 jan. 2011.
No CENTRAL, para exportar a busca, clicar em Export all results e depois selecionar
Export type:Noabstract and citation e para File type: PC e clicar export citation.
CENTRAL, para exportar a busca, clicar em Export all results e depois selecionar
Figura 10 Tela do CENTRAL
Export type: abstract and citation e para File type: PC e clicar export citation.
Fonte: The Cochrane Library. Disponvel em: <http://www.thecochranelibrary.com/view/0/index.html. Acesso em 16 jan. 2011.
Fonte: The Cochrane Library. Disponvel em: <http://www.thecochranelibrary.com/view/0/index.html.
Figura
Acesso em 102011.
16 jan. Tela do CENTRAL
74
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
Expressa o nmero de pacientes que deve ser tratado por um perodo de tempo
para obter um evento favorvel (em caso de tratamento) ou para prevenir um evento
desfavorvel (em caso de profilaxia). Por exemplo, se uma droga tem um NNT igual a
75
Ministrio da Sade
cinco, em relao ao evento morte, significa que cinco pacientes devem ser tratados
para que uma morte adicional seja evitada.
76
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
Para converter risco relativo em odds ratio, utiliza-se outra frmula matemtica
mais complexa, onde se faz necessrio incluir outra varivel, subjetiva, denominada de
risco assumido de controle (RAC), conforme:
RR = _________OR__________
1 - RAC x (1 - OR)
Esta varivel RAC pode ser estimada na seo de descrio do clculo do tamanho
de amostra, relatada no corpo do artigo.
O clculo da metanlise para hazard ratios esta disponvel na maioria dos programas que
calculam metanlise. Alguns mtodos incluem o teste log-rank e regresso de Cox.
77
Ministrio da Sade
Se o hazard for o nico tipo de dado a ser obtido dos estudos, um profissional estatstico
poder ser necessrio.
Mesmo se os dados necessrios para estimar o hazard ratio ou eles prprios forem
fornecidos, o hazard ratio como medida de efeito para o clculo da metanlise
prefervel em metanlise de dados individuais de pacientes. Neste tipo de reviso,
obtm-se os dados da reviso diretamente dos bancos de dados dos estudos primrios,
o que permite uma informao mais acurada.
DM = m1i - m2i
78
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
79
Ministrio da Sade
Cada estudo apresentado em linhas horizontais, e pode ser identificado por nome
do autor e data de publicao ou pelo acrnimo do estudo. Ao lado da identificao
do estudo esto os dados de incidncia do desfecho (nmero de caso sobre o total de
pacientes no grupo interveno e controle).
80
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
81
Ministrio da Sade
Marque um X
Critrios a serem avaliados Inadequado* Parcialmente adequado Adequado
Consegue orientar bem o leitor a fazer
uma anlise de impacto oramentrio?
Apresenta os conceitos de maneira fcil e
adequada?
Os mtodos descritos e propostos
para fazer uma anlise de impacto
oramentrio so adequados?
O documento foi escrito com clareza?
* Se inadequado ou parcialmente
adequado, por favor, justifique, indicando
os pontos que necessitam de mudanas
Questes abertas
Comentrios gerais:
Pontos positivos:
Pontos negativos:
Qual o n. de exemplares que a instituio precisa (tiragem)?
Enviar para: Esplanada dos Ministrios, Ministrio da Sade, 8 andar, sala 852, Braslia-DF, CEP: 70.058-900
email: ats.decit@saude.gov.br. Tambm disponvel no endereo: http://200.214.130.94/rebrats//diretriz.php.
REF
Enviar para: Esplanada dos Ministrios, Ministrio da Sade, 8 andar, sala 852, Braslia-DF, CEP: 70.058-900
email: ats.decit@saude.gov.br.
82
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
ANEXOS
ANEXO A Principais bases de dados e respectivos acessos eletrnicos
83
Ministrio da Sade
Continuao
Bases Especializadas
BDENF Base de dados de <http://enfermagem.bvs.br> LIVRE
enfermagem
BVS PSICO <http://www.bvs-psi.org.br/php/index. LIVRE
Base de dados em php>
psicologia
Bases Complementares
CRD (Centre for Reviews <www.york.ac.uk/inst/crd> LIVRE
and Dissemination)
DARE Database of
Abstracts of Reviews of
Effects
Bandolier <http://www.medicine.ox.ac.uk/ LIVRE
Sumrio de evidncias bandolier>
Universidade de Oxford
Portal do Ministrio da RS promovidas pelo Departamento de Cincia LIVRE
Sade e Tecnologia <portal.saude.gov.br/portal/
saude/visualizar_texto.cfm?idtxt=25514>
FDA U.S. Food and Drug <http://www.fda.gov/> LIVRE
Administration
Buscadores na Web
Google Acadmico <http://scholar.google.com.br/ LIVRE
schhp?hl=pt-BR>
TripDatabase <http://www.tripdatabase.com/> LIVRE
Turning Research into
Practice
Busca otimizada nos sites Desenvolvida no laboratrio do Google: LIVRE
dos membros da INAHTA <http://by.ly/ats ou http://ats.by.ly>
Registro de Ensaios Clnicos
Clinical trials <www.clinicaltrials.gov> LIVRE
Registro Brasileiro de <www.ensaiosclinicos.gov.br> LIVRE
Ensaios Clnicos
Fonte: elaborao prpria.
*Bases com acesso via Portal Capes (<www.periodicos.capes.gov.br>) Bases Essenciais:
Na elaborao de uma RS requisito mnimo; Bases Opcionais: Ampliar e buscar mais
evidncias; Bases Especializadas: Necessrias quando a pergunta envolve o assunto
da base; Bases Complementares: Ampliar e buscar mais evidncias e outras fontes de
informao pertinente; Buscadores de busca: Otimizar a busca em vrias fontes
84
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
85
Ministrio da Sade
86
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
87
Ministrio da Sade
Estudos includos na
sntese qualitativa
(n = )
Incluso
Estudos includos na
sntese quantitativa
(metanlise)
(n = )
88
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
89
Ministrio da Sade
Continuao
MTODOS
Risco de vis nos 12 Descrever os mtodos usados para avaliar o risco de vis
estudos individuais dos estudos individuais, insere o conceito de vis em
nvel de desfecho e define como esta informao ser
usada nas anlises
Medidas de efeito 13 Definio das medidas utilizadas (ex.: risco relativo, razo
de chance, diferenas em mdias...)
Sntese dos resultados 14 Descrever mtodos de manipulao dos dados e
combinao dos resultados dos estudos, se realizado,
incluindo medidas de consistncia para cada metanlise
(ex.: I2)
Risco de vis entre os 15 Especificar qualquer acesso ao risco de vieses que possa
estudos afetar a reviso (ex.: vis de publicao, de relato de
desfecho...)
Anlises adicionais 16 Descrever anlises de sensibilidade, de subgrupos, meta-
regresso, indicando quais foram pr-especificadas em
protocolo.
RESULTADOS
Seleo dos estudos 17 N de estudos triados, n de submetidos avaliao da
elegibilidade, n de includos na reviso, razes das excluses,
em cada estgio, idealmente com o diagrama de fluxo.
Caractersticas dos 18 Para cada estudo apresentar tamanho de amostra, PICO,
estudos perodo de seguimento, sempre com citaes
Risco de vis entre os 19 Apresentar dados sobre o risco de vis de cada estudo
estudos e se disponvel, qualquer acesso em nvel de desfecho
(ver item 12).
Resultados dos 20 Para todos os desfechos considerados (benefcios e
estudos individuais danos), apresentar as estimativas de efeito, intervalo de
confiana, idealmente com grfico de floresta (Forest
plot).
Sntese dos resultados 21 Apresentar resultados para cada metanlise feita,
incluindo intervalos de confiana e medidas de
consistncia.
Risco de vis nos 22 Apresentar resultados de qualquer risco de vis (ver item
estudos 15)
Anlises adicionais 23 Fornecer resultados de anlises adicionais, se feitas. Ex.:
sensibilidade, subgrupos, meta-regreso.(ver item 16).
Continua
90
DIRETRIZES METODOLGICAS: elaborao de reviso sistemtica e metanlise de ensaios clnicos randomizados
Continuao
DISCUSSO
Sumrio da evidncia 24 Sumarizar os principais achados, incluindo a fora da
evidncia para cada desfecho principal; considerar sua
relevncia para grupos-chaves (ex.: profissionais de
sade, usurios, gestores...)
Limitaes 25 Discutir as limitaes nos estudos, em nvel de desfechos
(risco de vis) e em nvel de reviso (vis de seleo,
publicao...)
Concluses 26 Fornecer uma interpretao geral dos resultados no
contexto das demais evidncias e implicaes para
pesquisas futuras.
FONTES
FINANCIADORAS
27 Descrever as fontes financiadoras para a reviso e outros
suportes, funo dos financiadores da reviso
Fonte: (MOHER, D. et al., 2009)
91
Ministrio da Sade
92
Esta obra foi impressa em papel couch fosco 240 g/m (capa) e papel off set
90 g/m (miolo) pela Athalaia Grfica, em setembro de 2012. A Editora do
Ministrio da Sade foi responsvel pela normalizao (OS 2012/0391).
MI
NISTRI
O DA SADE
DI
SQUESADE
DI
RETRI
ZESMET
ODOL
GI
CAS
Ouvi
dor
iaGer
aldoSUS
www.
saude.
gov.
br el
aborao de revi
so si
stemti
ca e
Bi
bl
iot
ecaVi
r
tualem SadedoMini
str
i
odaSade met
anl
is
edee ns
aiosc
l
ni
cosrandomi
zados
www.saude.
gov
.br
/bv
s
BRAS
LIA -DF
2012