Sie sind auf Seite 1von 21

129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 129

ARTCULO ESPECIAL
62.458

Cmo realizar, evaluar y utilizar revisiones sistemticas


y metaanlisis?
J.P. Gisberta,b y X. Bonfillc
a
Servicio de Aparato Digestivo. Hospital Universitario de La Princesa. Universidad Autnoma de Madrid. Madrid. Espaa.
b
Editor del Cochrane Upper Gastrointestinal and Pancreatic Diseases Group.
c
Centro Cochrane Iberoamericano. Servicio de Epidemiologa Clnica y Salud Pblica. Hospital de la Santa Creu i Sant Pau. Universidad Autnoma de
Barcelona. Barcelona. Espaa.

INTRODUCCIN enfermedad de Crohn o Crohns disease en cual-


quiera de los buscadores de Internet actualmente disponi-
Una de las definiciones ms populares de la tan nombrada
bles (Altavista, Yahoo, Google, etc.), encontraremos ms
medicina basada en la evidencia es la de la utilizacin
de 300.000 direcciones con informacin relacionada, lo
consciente, explcita y juiciosa de la mejor evidencia cl-
que evidentemente supone una cifra desorbitada.
nica disponible para tomar decisiones sobre el cuidado de
En segundo lugar, disponemos en la actualidad de un n-
los pacientes. La prctica de la medicina basada en la
mero inagotable de fuentes1; as, se publican anualmente
evidencia significa, por tanto, la integracin de la maes-
ms de 25.000 revistas y ms de 10 millones de referen-
tra clnica individual con las mejores evidencias cientfi-
cias en MEDLINE. Por ejemplo, si introducimos de nue-
cas externas disponibles a partir de una investigacin cl-
vo el trmino Crohns disease en la casilla de PubMed
nica. Aunque este ltimo componente parece, en teora,
(el motor de bsqueda ms conocido de MEDLINE),
relativamente fcil de adquirir, en la prctica los profesio-
identificaremos casi 20.000 referencias bibliogrficas re-
nales sanitarios se ven desbordados por una cantidad de
lacionadas con esa enfermedad, lo que de nuevo supone
informacin imposible de manejar.
una cifra realmente difcil de digerir. En este sentido, un
As, hoy ms que nunca existen diversos motivos que ha-
mdico que intente mantenerse al da slo en su especiali-
cen necesario gestionar correctamente el conocimiento1.
dad debera leer, tericamente, ms de 100 artculos com-
En primer lugar, sufrimos actualmente un exceso de in-
pletos cada semana, o ms de 500 el da de vuelta de sus
formacin; se ha pasado en tan slo unos pocos aos de
vacaciones de verano3. Por otro lado, el tiempo disponible
no disponer de fuentes de informacin a nadar en una so-
para la bsqueda de informacin y el estudio es cada vez
breabundancia que nos satura y puede ser ciertamente
ms limitado. Como consecuencia de lo anterior, los co-
contraproducente. Se calcula que se habrn realizado
nocimientos del mdico se deterioran rpidamente tras fi-
cientos de miles de ensayos clnicos aleatorizados sobre
nalizar la carrera de medicina (o el programa de forma-
diferentes aspectos de la asistencia sanitaria desde 1948,
cin continuada que posteriormente se haya llevado a
ao en el que se public el primero de estos estudios2. Y
cabo). Este hecho est magnficamente expresado en una
el futuro se promete imparable en cuanto a la expansin
figura ya clsica, donde el eje de ordenadas representa los
continua de la informacin obtenida mediante la investi-
conocimientos actualizados sobre el mejor tratamiento y
gacin. A modo de ejemplo del exceso de informacin al
el eje de abscisas, los aos desde la graduacin; y en di-
que nos vemos sometidos, si introducimos el trmino
cho grfico se observa cmo existe lo que se ha denomi-
nado una peligrosa pendiente resbaladiza.
En tercer lugar, la calidad de las diversas fuentes de infor-
Esta revisin ha sido realizada en parte gracias a la concesin de las becas macin es desigual, por lo que el problema al que nos en-
del Instituto de Salud Carlos III (C03/02 y G03/090) y de la Red Temtica de frentamos no es slo el exceso de informacin, sino el
Medicina basada en levidncia: la Collaboraci Cochrane
Iberoamericana (exp. 2003/XT/00087), Departament dUniversitats, que la calidad de la mayora de las fuentes es deficiente1.
Recerca i Societat de la Informaci, Generalitat de Catalunya. Por ltimo, los contenidos de las fuentes de informacin
Correspondencia: Dr. J.P. Gisbert.
se quedan obsoletos rpidamente, lo que supone una limi-
Playa de Mojcar, 29. Urb. Bonanza. tacin adicional de los sistemas actuales. Por tanto, nece-
28669 Boadilla del Monte. Madrid. Espaa. sitamos disponer de herramientas que nos permitan acce-
Correo electrnico: gisbert@meditex.es
der a la informacin adecuada en trminos de cantidad,
Recibido el 14-10-2003; aceptado para su publicacin el 15-10-2003. calidad y actualidad.

29 Gastroenterol Hepatol 2004;27(3):129-49 129


129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 130

GISBERT JP, ET AL. CMO REALIZAR, EVALUAR Y UTILIZAR REVISIONES SISTEMTICAS Y METAANLISIS?

Las revisiones nos ofrecen la posibilidad de estar informa- REVISIONES SISTEMTICAS FRENTE
dos sin necesidad de invertir la enormidad de tiempo antes A NO SISTEMTICAS
mencionada3. Precisamente, una de las maneras ms efi- Llegados a este punto, cabra preguntarse: es que no se
cientes de encontrar la evidencia cientfica a la que hace re- han empleado desde siempre este tipo de revisiones sis-
ferencia la medicina basada en la evidencia es buscar una temticas?, es esto de las revisiones sistemticas
revisin sistemtica de los ensayos clnicos aleatorizados algo realmente novedoso? Tradicionalmente se ha reali-
sobre los efectos de la atencin sanitaria. Por tanto, necesi- zado un tipo de revisiones que podramos denominar na-
tamos imperiosamente revisiones sistemticas para integrar rrativas. El inconveniente de este tipo de revisiones es
de forma eficiente toda la informacin vlida y proporcio- que utilizan mtodos informales, no explcitos, y a me-
nar una base para tomar decisiones de manera racional. Las nudo personales y subjetivos3. En consecuencia, los lec-
revisiones sistemticas establecen cundo los efectos de la tores de una revisin narrativa encararn 2 problemas:
atencin sanitaria son consistentes y cundo pueden aplicar- primero, los autores no especifican el proceso que han
se los resultados de la investigacin a los diferentes grupos seguido para buscar, reunir y evaluar la informacin que
de poblacin. El uso de mtodos explcitos y sistemticos les ha llevado a ofrecernos sus conclusiones, y en segun-
en las revisiones limita el sesgo (esto es, el error sistemti- do lugar, y ante la ausencia de dicha informacin, no se-
co) y reduce los efectos encontrados por azar, de modo que rn capaces de repetir y verificar los resultados y las con-
proporciona resultados ms fiables sobre los cuales sacar clusiones de la revisin3.
conclusiones y tomar decisiones. El metaanlisis, es decir, En resumen, los principales defectos de las revisiones tra-
el uso de los mtodos estadsticos para resumir los resulta- dicionales o narrativas son la dependencia de la subjetivi-
dos de estudios independientes entre s, puede proporcionar dad del revisor y la falta de explicitacin de los mtodos
estimaciones ms precisas sobre los efectos de la atencin de bsqueda y seleccin de las fuentes4. Las limitaciones
sanitaria que las derivadas de los estudios individuales in- antes mencionadas estn magnficamente expresadas en
cluidos en una revisin. la frase de D. Sackett, al referirse a las revisiones narrati-
El presente trabajo versar sobre cmo realizar, evaluar y vas: Creo que la razn de esta deficiencia en las revisio-
utilizar revisiones sistemticas y metaanlisis, en concre- nes se debe a la tradicin de llamar a un experto en el
to de ensayos clnicos aleatorizados (randomised contro- tema para hacer la revisin Esos autores comienzan su
lled trials), ya que stos tienen mayores posibilidades de apartado de objetivos con una conclusin Desafortuna-
proporcionar informacin ms fiable que otras fuentes de damente los resultados estn ya anunciados. Adems, la-
evidencia sobre los efectos diferenciales de las distintas mentablemente, la calidad de la mayora de la revisiones
opciones de atencin en salud. A lo largo de ese artculo mdicas tradicionales deja mucho que desear, debido a
se citarn numerosos ejemplos prcticos, con la intencin que las labores de recogida, anlisis y publicacin de los
de hacer ms ameno y didctico el enfoque de cada uno resultados no se realizan con el mismo cuidado y detalle
de los aspectos de las revisiones sistemticas. que cuando se trata de un trabajo de investigacin origi-
nal. Esta falta de mtodo lleva a la tendencia a extraer
conclusiones que, en el mejor de los casos, estn sesgadas
DEFINICIN DE REVISIN SISTEMTICA
y, en el peor de los casos, son errneas2.
Las revisiones sistemticas son investigaciones cientficas En contraposicin, como se ha sealado anteriormente,
en s mismas, con mtodos prefigurados y un ensamblaje las revisiones sistemticas emplean mtodos explcitos y
de los estudios originales, que sintetizan los resultados de sistemticos que limitan el sesgo, y de este modo propor-
stos. Las caractersticas bsicas que mejor definen a una cionan resultados ms fiables5,6. Como se deduce de su
revisin sistemtica se podran resumir en las siguientes: nombre, las revisiones sistemticas, no satisfechas con
a) son sntesis y anlisis de la informacin con un enfo- averiguar parte de la verdad, buscan toda la verdad, es
que prctico; b) se basan en la mejor evidencia cientfica decir, recogen y ensamblan todas las evidencias de cali-
disponible; c) formulan preguntas claramente definidas, y dad disponibles sobre una cuestin clnica en concreto.
d) utilizan mtodos sistemticos y explcitos para identifi- Adems, esta forma de revisin da al lector una importan-
car y seleccionar estudios, evaluar stos crticamente, ex- te ventaja sobre otras revisiones: la posibilidad de repro-
traer los datos de inters y analizarlos. ducirla y verificar si se llega a la misma conclusin3.
Consecuentemente, las revisiones sistemticas pretenden Otra diferencia importante es que las revisiones sistemti-
ser: a) rigurosas, en cuanto a los estudios incluidos (con cas se generan para responder en profundidad a cuestio-
criterios de calidad, etc.); b) informativas, esto es, enfoca- nes clnicas generalmente muy concretas y especficas.
das hacia problemas reales, tratando de contestar una pre- Estas cuestiones pueden y deben formularse con precisin
gunta claramente delimitada o especfica, e idealmente (vase ms adelante el apartado Componentes clave de
analizando y presentando los datos de la forma que mejor una pregunta). Si la pregunta que trata la revisin no
ayude a la toma de decisiones; c) exhaustivas: su objetivo est clara en su enunciado, en el resumen o en la intro-
es identificar y utilizar la mayor cantidad posible de in- duccin, o si no se incluye un apartado de Mtodos, lo
formacin pertinente, sin introducir sesgos (de publica- ms probable es que el artculo sea una revisin narrativa,
cin, de seleccin, etc.), y d) explcitas, ya que todos los no sistemtica.
mtodos utilizados en la revisin deben describirse con En contraposicin, la mayor parte de los artculos de revi-
suficiente detalle. sin de tipo narrativo abarcan un amplio abanico de asun-

130 Gastroenterol Hepatol 2004;27(3):129-49 30


129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 131

GISBERT JP, ET AL. CMO REALIZAR, EVALUAR Y UTILIZAR REVISIONES SISTEMTICAS Y METAANLISIS?

TABLA I. Revisiones sistemticas frente a revisiones primeras estn basadas frecuentemente en opiniones (ade-
narrativas
ms de, por supuesto, en algunos datos objetivos), mien-
Caracterstica Revisin narrativa Revisin sistemtica tras que las revisiones sistemticas estn basadas funda-
mentalmente en pruebas8.
Pregunta de Con frecuencia amplia y Clara, concreta,
investigacin poco definida centrada en una
cuestin clnica bien
definida
Fuentes de No especificada. No Estrategia de bsqueda DEFINICIN DE METAANLISIS
informacin dirigida a localizar sistemtica y
y revisin todos los estudios. Alta explcita de todas las El trmino metaanlisis fue introducido por Glass en
de la probabilidad de sesgo fuentes y artculos 1976 (es decir, hace relativamente poco tiempo), que lo
bibliografa potencialmente defina en los siguientes trminos: un anlisis estadstico
relevantes
Seleccin de Generalmente sin criterios Descripcin explcita de de una amplia serie de anlisis de resultados de estudios
estudios de seleccin. Alta criterios de seleccin. individuales con el objetivo de integrar sus hallazgos4.
probabilidad de sesgo Seleccin aplicada de
manera uniforme De entre las mltiples definiciones que se han propuesto
Calidad de los Generalmente no evaluada Evaluacin crtica de la posteriormente, una de las ms difundidas quiz sea la de
estudios calidad metodolgica Jenicek: Una integracin estructurada, con una revisin
de los estudios
revisados cualitativa y cuantitativa, de los resultados de diversos es-
Sntesis Resumen subjetivo, Basada en la calidad tudios independientes acerca de un mismo tema4.
de datos generalmente cualitativo, metodolgica de
sin un estimador los estudios, a Aunque a veces se utilicen indistintamente los 2 trminos,
estadstico menudo resumida revisin sistemtica no es igual a metaanlisis3. La primera
(cuantificada) por un es el proceso que nos lleva a obtener los estudios cuyos re-
estimador estadstico
Interpretacin En ocasiones basada en la Generalmente basada en sultados pueden combinarse o no matemticamente para
evidencia, pero con la evidencia poder ofrecer conclusiones. Cuando los resultados de los es-
frecuencia basada en cientfica, con
los estudios que se han identificacin de las tudios primarios se resumen pero no se combinan con mto-
seleccionado lagunas de dos estadsticos, el resultado puede denominarse revisin
subjetivamente y en conocimiento que sistemtica cualitativa. As, el mtodo matemtico llama-
opiniones personales persisten
do metaanlisis (que dara como resultado una revisin siste-
mtica cuantitativa) es slo una parte, aunque muy impor-
tante, de la revisin sistemtica. Dicho de otro modo, un
tos relacionados con un tema, ms que uno en profundi-
metaanlisis es la combinacin estadstica de al menos 2 es-
dad. Por ejemplo, una revisin narrativa sobre la pancrea-
tudios para obtener una estimacin o suma nica del efecto
titis aguda, como la que puede encontrarse en el captulo
de la intervencin en salud que estamos evaluando.
de un libro de texto, incluira apartados sobre anatoma
del pncreas, fisiopatologa de la funcin pancretica, cl-
nica, diagnstico, complicaciones y tratamiento. Por lo
EVOLUCIN DE LAS REVISIONES SISTEMTICAS
tanto, las revisiones narrativas pueden ser ms tiles para
Y LOS METAANLISIS
adquirir una perspectiva amplia sobre un tema, pero no lo
son tanto para obtener respuestas concretas y mensurables Las revisiones sistemticas en general, y los metaanlisis
ante cuestiones clnicas especficas. En este sentido, un en particular, han experimentado en la ltima dcada un
ejemplo de una revisin sistemtica de la Colaboracin crecimiento exponencial que se ha calificado de epide-
Cochrane relacionada con este tema plantea concretamen- mia de metaanlisis. Baste el dato de que durante el pe-
te la pregunta de si la nutricin parenteral total, en com- rodo 1981-1986 se encontraron slo 21 referencias con
paracin con la nutricin enteral, disminuye la mortali- ese encabezamiento en MEDLINE, mientras que una d-
dad, la morbilidad o la estancia hospitalaria en los cada despus (perodo 1991-1996) esta cifra haba au-
pacientes con pancreatitis aguda. mentado hasta 1.4594. En el ao 2003, una bsqueda en
Por ltimo, las recomendaciones halladas en las revisio- esta base de datos que incluyera como descriptor o pala-
nes narrativas publicadas en las revistas y los libros de bra clave el trmino meta-analysis recuper nada me-
texto suelen diferir de las que se encuentran en las revi- nos que 14.000 referencias bibliogrficas. La aplicacin
siones sistemticas7. As, las revisiones narrativas, por del metaanlisis se ha generalizado, habindose empleado
ejemplo, pueden retrasar ms de una dcada la recomen- en la mayora de las especialidades, por no decir en todas.
dacin de un nuevo tratamiento de probada eficacia o En aparato digestivo, por ejemplo, no se haba publicado
continuar defendiendo un tratamiento mucho tiempo des- ningn metaanlisis hasta el ao 1986; entre los aos
pus de que se haya demostrado su escasa eficacia o in- 1987 y 1991 se publicaron tan slo 15, y esta cifra ascen-
cluso su potencial iatrognico. Asimismo, las revisiones di hasta 65 en el perodo 1992-19989. Adems, dentro de
sistemticas que incorporan tcnicas cuantitativas pueden las diversas especialidades, las tcnicas metaanalticas se
detectar mejor que las revisiones narrativas pequeos, han utilizado en casi todas las reas temticas. A modo de
aunque significativos, efectos del tratamiento. ejemplo, hasta el ao 2003 se llevan publicados aproxi-
En resumen, se podra concluir que, de entre las mltiples madamente 130 metaanlisis relacionados con la infec-
diferencias que existen entre las revisiones narrativas y cin por Helicobacter pylori, una bacteria que se descu-
las sistemticas resumidas en la tabla I, destaca que las bri hace relativamente poco tiempo.

31 Gastroenterol Hepatol 2004;27(3):129-49 131


129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 132

GISBERT JP, ET AL. CMO REALIZAR, EVALUAR Y UTILIZAR REVISIONES SISTEMTICAS Y METAANLISIS?

TABLA II. Esquema de una revisin Cochrane REVISIONES SISTEMTICAS, METAANLISIS


Cartula Y GRADO DE EVIDENCIA CIENTFICA
Ttulo
Revisores Para evaluar el grado de evidencia cientfica existen di-
Fuentes de apoyo versas escalas que puntan la calidad de la informacin
Qu contenido es nuevo
Texto de la revisin en funcin del tipo de estudio que la soporta. Una de las
Sinopsis ms utilizadas es la propuesta por los National Institutes
Resumen of Health de EE.UU., que se emplea para graduar las re-
Antecedentes
Objetivos comendaciones en las guas de prctica clnica basadas en
Criterios para la seleccin de los estudios de esta revisin la evidencia y en la que las revisiones sistemticas y los
Tipos de estudios
Tipos de participantes metaanlisis ocupan una posicin privilegiada4.
Tipos de intervenciones
Tipos de medidas de resultado (outcomes)
Estrategia de bsqueda para la identificacin de los estudios
Mtodos de revisin REVISIONES SISTEMTICAS Y METAANLISIS
Descripcin de los estudios DE ENSAYOS CLNICOS
Calidad metodolgica
Resultados Archie Cochrane sealaba no hace mucho la necesidad de
Discusin
Conclusiones de los revisores un mayor nmero de revisiones de conjunto sistemticas
Implicaciones para la prctica cuando escribi: Seguramente es una crtica grave a
Implicaciones para la investigacin nuestra profesin el que no hayamos organizado un re-
Agradecimientos
Conflictos de inters sumen crtico, por especialidades o subespecialidades,
Referencias adaptado peridicamente, de todos los ensayos clnicos
Referencias de los estudios
Estudios incluidos de asignacin aleatoria relevantes8. Precisamente, la res-
Estudios excluidos puesta a ese desafo la constituyen las revisiones llevadas
Estudios pendientes de evaluacin a cabo por la Colaboracin que lleva su nombre, una or-
Estudios en curso
Otras referencias ganizacin internacional sin nimo de lucro que intenta
Referencias adicionales ayudar a tomar decisiones clnicas y sanitarias bien fun-
Otras versiones publicadas de esta revisin
Tablas y figuras damentadas preparando, manteniendo y divulgando revi-
Caractersticas de los estudios incluidos siones sistemticas sobre los efectos de la atencin sanita-
Caractersticas de los estudios excluidos ria. Las revisiones Cochrane tienen un formato estndar,
Caractersticas de los estudios en curso
Comparaciones, datos y grficos perfectamente definido, que debe constar de los siguien-
Tablas adicionales tes apartados (tabla II): un resumen en un formato estruc-
turado; el texto de la revisin, que consta de una introduc-
TABLA III. Pasos para la preparacin de una revisin cin (antecedentes y objetivos), materiales (criterios de
sistemtica seleccin y estrategia de bsqueda), mtodos, resultados
1. Formulacin del problema (descripcin de los estudios, calidad metodolgica y re-
2. Localizacin y seleccin de los estudios sultados propiamente dichos), discusin y conclusiones
3. Evaluacin de la calidad de los estudios
4. Extraccin de datos. Metaanlisis de los revisores. Adems, incorpora tablas y figuras es-
5. Anlisis y presentacin de los resultados tndar para mostrar las caractersticas de los estudios in-
6. Interpretacin de los resultados cluidos, la especificacin de las intervenciones que se han
comparado, los resultados propiamente dichos y una lista
Las causas ms probables de esta eclosin son fundamen- de los estudios que se han excluido. El programa Review
talmente 2: en primer lugar, el aumento de informacin Manager (RevMan) est diseado para ayudar a los revi-
acaecido a partir de 1940, reflejado en el incremento del sores a construir las revisiones segn el formato estructu-
nmero de revistas biomdicas, que pas de 2.300 a ms rado descrito y se puede adquirir gratuitamente en la web
de 25.000, con ms de 9 millones de artculos publicados de la Colaboracin Cochrane (www.Cochrane-net.org/
por ao10; y en segundo lugar, el auge del movimiento de- revman).
nominado medicina basada en la evidencia, que, basn-
dose precisamente en la revisin sistemtica de los trabajos
PASOS NECESARIOS PARA REALIZAR, EVALUAR
realizados en diversas reas, busca dotar a la prctica de la
Y UTILIZAR UNA REVISIN SISTEMTICA
medicina de los argumentos ms objetivos posibles10.
Esta fiebre de metaanlisis ha suscitado vivas polmi- En la tabla III se resumen los pasos necesarios para pre-
cas entre diversos autores, con posturas encontradas entre parar correctamente una revisin sistemtica. La mayora
los que afirman que cualquiera que se inicie en una nue- de lo que se expondr en este apartado est basado en el
va rea de investigacin, solicite una beca o realice su te- Manual de revisores de la Colaboracin Cochrane (ver-
sis doctoral debera antes realizar un metaanlisis del sin espaola de Cochrane reviewers handbook del
tema, con el objeto de establecer lo que ya se conoce Centro Cochrane Iberoamericano)11,12, texto de obligada
y los ms heterodoxos, que manifiestan todo lo contrario: consulta para todo aquel que quiera embarcarse, sin mie-
prefiero fiarme de un buen estudio individual que de un do al naufragio, en la preparacin de una revisin siste-
metaanlisis4. mtica. Las referencias bibliogrficas utilizadas en este

132 Gastroenterol Hepatol 2004;27(3):129-49 32


129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 133

GISBERT JP, ET AL. CMO REALIZAR, EVALUAR Y UTILIZAR REVISIONES SISTEMTICAS Y METAANLISIS?

artculo de revisin podran ser innumerables; puesto que ters. Esto implica tener que decidir si se est interesado
gran parte de stas se encuentran recogidas en el Manual en un grupo especfico de la poblacin, en funcin de fac-
de revisores, en este manuscrito citaremos nicamente tores como la edad, el sexo, la etnia, etc. Cualquier res-
algunas de las ms relevantes, remitiendo al lector intere- triccin basada en caractersticas especficas de la pobla-
sado por un detalle bibliogrfico ms exhaustivo a la con- cin o del mbito de estudio debe estar justificada por
sulta del citado manual. evidencia ya reconocida. Por ejemplo, enfocar una revi-
sin sobre la efectividad del cribado (screening) del cn-
cer de colon mediante colonoscopia dirigida nicamente a
Primer paso: formulacin del problema individuos mayores de 50 aos de edad parece estar justi-
ficado por diversas razones, entre las que destaca que la
Justificacin de las preguntas bien formuladas incidencia de este tipo de cncer en individuos menores
de 50 aos es muy baja.
Las preguntas mal enfocadas conducen a decisiones poco
El segundo componente clave de una pregunta bien for-
claras acerca de qu estudios conviene incluir en la revi-
mulada es especificar las intervenciones que son de inte-
sin y cmo resumir sus datos. As, una pregunta confusa
rs. Tambin es importante definir las intervenciones con
conduce, con mucha probabilidad, a una respuesta tam-
las que stas se compararn, es decir, el tipo de grupo
bin confusa, hecho que est magistralmente expresado
control que es aceptable para la revisin. As, debe consi-
en la afirmacin de Counsell13: Ask a poor question and
derarse con detenimiento si las personas en el grupo con-
youll get a poor review. Desde la perspectiva del lector,
trol pueden estar recibiendo otras intervenciones (y cu-
si el principal problema que aborda la revisin no est
les) distintas del placebo.
claro a partir del ttulo o del resumen, probablemente no
El tercer componente clave de una pregunta bien formu-
merece la pena perder el tiempo leyendo el artculo de re-
lada es la especificacin con criterios explcitos de
visin en su totalidad8. El desarrollo de un objetivo prin-
aquellos resultados concretos que sean de inters. Los re-
cipal claramente definido a priori ayuda a luchar contra
visores deben evitar abrumar a los lectores con datos que
las denominadas expediciones de pesca3; stas se orga-
tienen poca o ninguna trascendencia pero, al mismo tiem-
nizan cuando la pregunta principal es confusa y se opta
po, han de tener cuidado en no omitir datos importantes.
por unir hallazgos atrayentes entre todos los estudios,
Un componente adicional al plantear una pregunta es el
hasta que finalmente alguna combinacin de datos ofrece
tipo de diseo de los estudios, pues algunos resultan su-
un resultado positivo. Al igual que en cualquier proyecto
periores a otros para tratar de responder a determinadas
de investigacin, la primera y ms importante decisin a
cuestiones. Muchos autores consideran que los ensayos
la hora de preparar una revisin es determinar su enfoque,
clnicos controlados y aleatorizados son una condicin
lo que se consigue planteando preguntas claramente deli-
sine qua non para tratar asuntos referentes a la eficacia te-
mitadas. Dichas preguntas y los objetivos de una revisin
raputica. Ya que las revisiones Cochrane plantean cues-
sirven tambin a los lectores para valorar inicialmente su
tiones acerca de los efectos de la atencin sanitaria, stas
relevancia. As, los lectores pueden utilizar las preguntas
se centran principalmente en ensayos clnicos aleatoriza-
y los objetivos planteados para juzgar si la revisin les
dos. Existen 2 razones fundamentales por las que se debe
puede resultar de inters y si es pertinente para las cues-
ser cauteloso a la hora de incluir estudios no aleatorizados
tiones que ellos se plantean.
en una revisin sobre los efectos de la atencin sanitaria,
ambos relacionados con los sesgos. En primer lugar, la
Componentes clave de una pregunta
aleatorizacin es el nico modo de controlar aquellos que
Existen varios componentes clave que son necesarios no se conocen o no estn cuantificados14. Datos empricos
para formular correctamente una pregunta y que deben indican que, por lo general, los estudios no aleatorizados
especificarse en la seccin Criterios de seleccin de los tienden a sobreestimar los efectos de las intervenciones
estudios de la revisin. Una pregunta claramente defini- sanitarias. A pesar de las consideraciones anteriores, a ve-
da debe especificar el tipo de personas (participantes), el ces resulta apropiado realizar una revisin sistemtica de
tipo de intervenciones y el tipo de resultados que son de los estudios no aleatorizados sobre los efectos de un de-
inters para la revisin. A modo de ejemplo, una pregunta terminado tratamiento. Por ejemplo, en ocasiones el curso
correctamente planteada sera: En la poblacin asinto- de una enfermedad es tan uniforme o los efectos de una
mtica de ms de 50 aos (los participantes), el cribado intervencin son tan evidentes que resulta innecesario, e
con colonoscopia (la intervencin) se asocia con una re- incluso dudosamente tico, realizar un ensayo clnico alea-
duccin de la mortalidad debida al cncer de colon (el re- torizado. Por ltimo, otros aspectos relevantes acerca del
sultado)?. diseo de los estudios que merecen considerarse desde el
Con respecto al tipo de participantes, resulta de utilidad inicio son si se revisarn nicamente los estudios que tie-
considerar en 2 fases el tipo de personas que son objeto nen un seguimiento de una cierta duracin. No obstante,
de inters para la revisin. En primer lugar, hay que defi- es preciso tener en cuenta que cuanto ms restrictivos
nir las enfermedades o condiciones que pretendemos eva- sean los criterios exigidos acerca del diseo de los estu-
luar, debindose establecer criterios que sean suficiente- dios para responder a la pregunta planteada, menos pro-
mente explcitos para estas definiciones. En segundo babilidades habr de encontrar datos que respondan de
lugar, hay que identificar a la poblacin y el mbito de in- forma especfica a preguntas tan restringidas.

33 Gastroenterol Hepatol 2004;27(3):129-49 133


129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 134

GISBERT JP, ET AL. CMO REALIZAR, EVALUAR Y UTILIZAR REVISIONES SISTEMTICAS Y METAANLISIS?

Identificacin y seleccin de los estudios mediante te, la validez de las revisiones definidas en trminos muy
los componentes clave de la pregunta amplios puede no ser apropiada cuando existe evidencia
slida que induce a pensar que las diversas definiciones
Una vez que se ha planteado correctamente una pregunta,
de la condicin de inters se asocian con efectos de la in-
deberan determinarse qu componentes clave se tendrn
tervencin que son marcadamente diferentes.
en cuenta para definir la estrategia de bsqueda inicial15.
Para las revisiones Cochrane, la bsqueda de estudios se
ve enormemente facilitada por la existencia de los regis- Modificacin de la pregunta
tros especializados de ensayos clnicos elaborados por los
La pregunta debe plantearse en el protocolo antes de ini-
Grupos Colaboradores de Revisin. Las bsquedas que
ciar la revisin completa, pero no debe convertirse en una
requieran de la presencia simultnea de varios de los
camisa de fuerza que impida la exploracin de aspectos
componentes de la pregunta o bien de formulaciones
inesperados. Aunque es de esperar que se obtenga una
muy especficas de ciertos componentes suelen ser de-
cierta fluidez y refinamiento al formular las preguntas de
masiado especficas y tienden a pasar por alto informa-
revisin conforme se va adquiriendo una mayor compren-
cin relevante. Por ejemplo, si uno busca estudios que
sin del problema, es importante protegerse del riesgo de
aborden los efectos a largo plazo de la erradicacin de
sesgo al modificarlas. Las preguntas a posteriori son ms
H. pylori sobre la prevencin de la recidiva ulcerosa duo-
proclives al sesgo que aquellas que han sido formuladas
denal y lo hace buscando los que estn indexados me-
previamente, y las preguntas modificadas por los propios
diante los trminos Helicobacter pylori, tratamiento
datos pueden generar conclusiones falsas basadas en re-
erradicador, lcera duodenal, prevencin, recidiva
sultados espurios. Por tanto, en todo caso, debe documen-
ulcerosa y largo plazo, es probable que no se identifi-
tarse y justificarse cualquier cambio que sufra el protoco-
quen estudios que pueden ser relevantes. Por otro lado, si
lo derivado de la modificacin de la pregunta inicial de
slo se emplean los trminos Helicobacter pylori y
revisin.
recidiva ulcerosa en la bsqueda, se identificarn cien-
tos de artculos irrelevantes. En general, los componentes
clave que resultan de utilidad cuando se realiza una bs-
Segundo paso: localizacin y seleccin
queda incluyen la condicin o enfermedad de inters y la
de los estudios
intervencin o exposicin que se est evaluando. Aunque
se pueda estar especficamente interesado en un mbito
Como se ha mencionado previamente, que la bsqueda de
determinado, los estudios no suelen estar indexados se-
los estudios sea exhaustiva y no sesgada es una de las di-
gn esta variable dentro de las bases de datos electrni-
ferencias clave entre las revisiones sistemticas y las tra-
cas. Adems, los estudios pueden evaluar mltiples resul-
dicionales. Si bien las bases de datos electrnicas, como
tados, algunos de los cuales pueden ser relevantes para la
MEDLINE, son potentes herramientas para la localiza-
revisin, pero es posible que no formen parte de la inde-
cin de estudios, slo pueden identificar entre un 30 y un
xacin del artculo.
80% de todos los ensayos clnicos controlados aleatori-
zados que se han publicado. Por una parte, esta base de
Amplitud de las preguntas datos no incluye la totalidad de la bibliografa mdica pu-
blicada y, por otra, algunos estudios nunca llegan a publi-
El alcance de las preguntas que aborda una revisin pue-
carse. Las referencias de estudios escritos en lengua no
de ser amplio o restringido. Por ejemplo, un revisor po-
inglesa tienen una baja representacin en MEDLINE, por
dra plantear una pregunta amplia al considerar si los ami-
lo que si se utiliza esta base de datos para identificar estu-
nosalicilatos son eficaces en la prevencin de la recidiva
dios la revisin puede estar afectada potencialmente por
de la enfermedad inflamatoria intestinal crnica (en gene-
un sesgo de publicacin, que se origina cuando lo que se
ral, sin particularizar a ninguna subpoblacin de pacien-
publica no es representativo de lo que se investiga16-18.
tes). Por el contrario, otro revisor podra preguntarse si
Desde otra perspectiva, el sesgo de publicacin puede de-
estos frmacos son efectivos para reducir el riesgo de re-
berse a la tendencia existente entre autores, revisores y
cidiva nicamente en los pacientes con enfermedad de
editores de revistas a permitir que la direccin y la signi-
Crohn que han sido sometidos a ciruga de reseccin in-
ficacin estadstica de los resultados de la investigacin
testinal. Son varias las ventajas y desventajas que se deri-
influyan en las decisiones de enviar y aceptar para publi-
van del hecho de formular preguntas amplias o restringi-
cacin los resultados de la investigacin, al seleccionarse
das. Las revisiones enfocadas de manera restringida quiz
prioritariamente estudios con resultados positivos. Aun-
no sean generalizables a entornos diversos, a distintas po-
que en un principio se pens que las revistas mdicas po-
blaciones o a formas alternativas de una misma interven-
dan ser las responsables fundamentales de este tipo de
cin. Adems, un enfoque restringido comporta un eleva-
sesgo, ya que tenderan a publicar nicamente estudios
do riesgo de conclusiones sesgadas cuando el revisor
con resultados significativos, en la actualidad, y a partir
conoce la bibliografa sobre un determinado tema y res-
de las entrevistas efectuadas directamente con investiga-
tringe los criterios de inclusin de tal manera que queden
dores, se sabe que los principales responsables son los
excluidos algunos o varios estudios con resultados que
propios autores al considerar que, si no hay resultados
estn en conflicto con la postura que defiende. Por su par-
significativos, los estudios no son interesantes para su pu-

134 Gastroenterol Hepatol 2004;27(3):129-49 34


129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 135

GISBERT JP, ET AL. CMO REALIZAR, EVALUAR Y UTILIZAR REVISIONES SISTEMTICAS Y METAANLISIS?

blicacin4. En el sesgo de publicacin intervienen diver- por el NHS Centre for Reviews and Dissemination
sos factores: adems de que los trabajos con resultados (CRD) en York (Reino Unido). MEDLINE, EMBASE y
estadsticamente significativos tienen mayor probabilidad otras bases de datos bibliogrficas tambin pueden usarse
de ser publicados que los que no arrojan diferencias, una para identificar artculos de revisin (en MEDLINE, por
vez aceptados se publican ms rpidamente, lo hacen en ejemplo, los artculos de revisin aparecen indexados
revistas de ms impacto y son citados con ms fre- como Review en el campo Publication type).
cuencia10.
Para evitar estos sesgos y asegurar que, en la medida de
Comunicacin personal
lo posible, todos los datos relevantes sean incluidos en
una revisin, es necesario utilizar varias fuentes de infor- Los colegas pueden ser una importante fuente de infor-
macin para identificar los estudios. Debe tambin te- macin de ensayos recientes que todava no se han publi-
nerse en cuenta la posibilidad de que haya un sesgo de cado o de ensayos inditos ms antiguos. A veces estos
referencias (una tendencia a citar preferentemente los canales informales de comunicacin pueden ser los ni-
estudios que apoyan el propio punto de vista) y evitarlo cos medios para identificar datos no publicados. La lite-
mediante el empleo de mltiples estrategias de bsqueda. ratura gris u opaca (grey literature), compuesta por in-
Posibles fuentes de informacin para la localizacin de formes tcnicos, actas de congresos y tesis doctorales,
estudios incluyen4: a) bases de datos bibliogrficas com- entre otros, tambin puede resultar til, ya que muchos
putarizadas de estudios publicados en revistas indexadas estudios referenciados de esta manera no son publicados
(MEDLINE, EMBASE, Excerpta Medica, ndice Mdico en su totalidad2,19.
Espaol, Cochrane Library); b) artculos de revisin y
metaanlisis; c) artculos originales (publicaciones preli-
Bases de datos electrnicas
minares o completas) en publicaciones primarias; d) pu-
blicaciones secundarias: resmenes de artculos publica- Desde octubre de 1996, la Colaboracin Cochrane ha ve-
dos en otras revistas como originales (Evidence Based nido desarrollando su propio registro de estudios, deno-
Medicine, ACP Journal Club, etc.); e) resmenes de con- minado CENTRAL. Este registro incluye principal-
gresos; f) tesis doctorales (registro de publicaciones de fa- mente referencias de los ensayos clnicos controlados en
cultades); g) libros de texto sobre el tema; h) contactos atencin sanitaria, aportadas por grupos de revisin y
personales con expertos, sociedades cientficas, grupos de otras entidades que han identificado los ensayos a travs
trabajo, etc.; i) agencias financiadoras (FIS, CICYT, fun- de diversos mecanismos de bsqueda. Por su parte, Index
daciones, etc.); j) registros de ensayos clnicos (Ministe- Medicus y Excerpta Medica son repertorios de revistas de
rio de Sanidad, Colaboracin Cochrane, registros mo- ciencias de la salud que estn accesibles en formato elec-
nogrficos, entre otros); k) industria farmacutica, y l) trnico bajo la denominacin de MEDLINE y EMBASE,
bsquedas manuales a partir de las citas bibliogrficas de respectivamente. Estas bases de datos referenciales pue-
los artculos originales. A continuacin se revisan con den ser interrogadas mediante descriptores temticos
ms detalle las fuentes de informacin ms relevantes (subject terms) asignados por indexadores contratados
para la localizacin de los estudios. por las empresas productoras. Esta sencilla estrategia de
bsqueda funciona bien si el objetivo es recuperar algn
buen artculo sobre un tema o simplemente identificar un
Registros especializados de la Colaboracin Cochrane
artculo especfico. Sin embargo, cuando se realiza una
La principal fuente de estudios para las revisiones Coch- revisin sistemtica debe considerarse con cierto escepti-
rane es el registro especializado de los Grupos Colabo- cismo la precisin con la que se aplican los descriptores a
radores de Revisin. Al desarrollar una estrategia de las referencias, dado que los autores quiz no describan
bsqueda es importante consultar al coordinador de Bs- bien sus mtodos u objetivos; adems, los indexadores no
queda de Ensayos o al coordinador del grupo de revisin siempre son expertos en el rea temtica del artculo que
del Grupo de Colaboradores de Revisin para evitar la estn indexando. Por otra parte, ninguna de las bases de
duplicacin innecesaria de esfuerzos y garantizar que se datos mencionadas cubre todas las revistas. As, se ha cal-
est haciendo un uso eficiente de otras bases de datos adi- culado que el solapamiento entre MEDLINE y EMBASE
cionales. es de tan slo un tercio aproximadamente, por lo que una
bsqueda ms exhaustiva requiere que se interroguen,
como mnimo, ambas bases de datos.
Control de las listas de referencia
Los revisores deben controlar las listas de referencias de
Publicaciones secundarias
todos los artculos relevantes que hayan identificado. En
general, ste es un medio eficiente, aunque lento, de iden- Las publicaciones secundarias seleccionan estudios origi-
tificar estudios. Algunas de las fuentes de referencia de nales con la exigencia de que sean metodolgicamente
ensayos ms obvias y convenientes son las revisiones ya correctos y adems clnicamente relevantes. Presentan
existentes. La Cochrane Library incluye la Base de Datos un resumen estructurado de dichos estudios, junto con un
de Resmenes de Revisiones de Efectividad (Database of breve comentario de un experto que aporta una perspecti-
Abstracts of Reviews of Effectiveness-DARE), producida va clnica a los resultados. Entre las publicaciones secun-

35 Gastroenterol Hepatol 2004;27(3):129-49 135


129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 136

GISBERT JP, ET AL. CMO REALIZAR, EVALUAR Y UTILIZAR REVISIONES SISTEMTICAS Y METAANLISIS?

darias se encuentran el ACP Journal Club (http://www. cir, si cumplen la intervencin Y la condicin). Por
acpjc.org/) y el EBM online (http://ebm.bmjjournals. ejemplo, una estrategia de bsqueda para evaluar la posi-
com/). Estas 2 publicaciones se encuentran reunidas en ble relacin entre la infeccin por el virus C de la hepati-
formato CD-ROM bajo el ttulo Best Evidence. Algunas tis y el linfoma no hodgkiniano sera: (hepatitis C OR
especialidades disponen de publicaciones secundarias es- hepatitis C virus OR HCV) AND (lymphoma OR
pecficas, como es el caso de Evidence-Based Gastroen- non-Hodgkin lymphoma OR lymphoproliferative di-
terology (www.evidence-based-gastro.com/) en la espe- sease OR lymphoproliferative disorder).
cialidad de aparato digestivo.
Seleccin de estudios
Desarrollo de una estrategia de bsqueda
Todas las referencias de estudios identificados como po-
Debe describirse el proceso mediante el que se seleccio- tencialmente elegibles deben evaluarse con posterioridad
nan los estudios para su inclusin en una revisin, es de- para confirmar si cumplen los criterios de inclusin para
cir, debe explicitarse la estrategia de bsqueda. La prime- la revisin. Los revisores deben decidir: a) cundo se ne-
ra etapa de revisin de los resultados de una bsqueda cesitar que ms de un revisor evale la relevancia de
electrnica implica la evaluacin detallada de los ttulos y cada artculo (actitud, en general, recomendable); b) si las
resmenes para determinar si cada artculo rene los re- decisiones en cuanto a la seleccin las tomarn especia-
quisitos predeterminados para ser escogido. Si al exami- listas en el tema, no especialistas o ambos (los especialis-
nar la informacin disponible se puede determinar que un tas en un rea especfica con frecuencia tienen opiniones
artculo no cumple los criterios de inclusin, ste puede formadas previamente que pueden sesgar sus evaluacio-
rechazarse. Si, a criterio del revisor, el ttulo o el resumen nes, tanto sobre la relevancia como sobre la validez de los
del artculo ofrecen dudas que impiden rechazarlo defini- artculos; por lo tanto, aunque es importante que al menos
tivamente, debera obtenerse el texto completo del artcu- un revisor est versado en el tema objeto de revisin, qui-
lo. La revisin del texto completo puede llevar, finalmen- z sea una ventaja disponer de un segundo revisor que no
te, a la exclusin del estudio porque no rena los sea un experto en esa rea), y c) cmo se resolvern las
requisitos de inclusin. En cada etapa del proceso de se- discrepancias si existe ms de un revisor (generalmente
leccin es preferible errar por exceso que por defecto, ya mediante discusin, pues la causa del desacuerdo es a
que una vez que un estudio ha quedado excluido del pro- menudo un simple descuido por parte de uno de los revi-
ceso de seleccin es improbable que se vuelva a conside- sores; cuando la discrepancia se deba a una diferencia de
rar su inclusin. Debido a la importancia que tienen estas interpretacin ms profunda, el tema debe resolverse por
decisiones, es aconsejable que ms de un revisor examine consenso).
cada registro obtenido antes de que sea rechazado.
Aumentar la exhaustividad en una bsqueda implica re-
Documentacin de una estrategia de bsqueda
ducir su precisin e identificar ms artculos no relevan-
tes. Aunque es importante que la bsqueda sea lo ms La estrategia de bsqueda debe describirse con suficiente
completa posible, siempre es necesario mantener un equi- detalle en la revisin como para que el proceso pueda re-
librio entre el grado de exhaustividad y su precisin. A producirse. La documentacin debe incluir las principales
menudo, los bibliotecarios o documentalistas que se han fuentes de informacin utilizadas para identificar los estu-
especializado en bsquedas electrnicas pueden ser de dios, la estrategia de bsqueda para cada base de datos
gran ayuda en el desarrollo y ejecucin de stas. El desa- consultada y la fecha en la que se efectu dicha bsqueda,
rrollo de una estrategia de bsqueda es un proceso iterati- las limitaciones temporales (p. ej., de 1966 a 2003) y las
vo en el cual los trminos que se utilizan se modifican se- limitaciones de idioma o de otro tipo (aunque stas deben
gn los resultados que se vayan obteniendo. Por lo tanto, evitarse en la medida de lo posible).
es importante trabajar estrechamente con un documenta-
lista en el momento de decidir en qu bases de datos bus-
car y qu estrategias de bsqueda utilizar en cada una de Tercer paso: evaluacin de la calidad de los estudios
ellas. Idealmente, los revisores deben estar junto al docu-
mentalista cuando se ejecute la estrategia de bsqueda. Como expresa muy grficamente el refrn ingls garba-
Un buen abordaje para desarrollar una estrategia de bs- ge in, garbage out, si se introduce basura en una revi-
queda exhaustiva es empezar utilizando trminos mlti- sin sistemtica se obtendr tambin basura3,20. De este
ples que describan la condicin o enfermedad de inters y modo, si la calidad de los estudios incluidos es defectuo-
combinarlos con el operador booleano OR. Esto signi- sa, la calidad de la revisin sistemtica que los ha inclui-
fica que se identificarn los artculos indexados que in- do ser asimismo deficiente. En este caso, dicha revisin
cluyan por lo menos uno de los trminos utilizados. Los no slo no nos aportar beneficio alguno sino que incluso
resultados pueden reducirse utilizando posteriormente el podr confundirnos en nuestra prctica clnica. Por tanto,
operador AND. En este paso, se identifican los artcu- la evaluacin de la calidad de los estudios individuales
los que utilizan los trminos que describen las interven- que se incluyen en las revisiones sistemticas es necesaria
ciones que se estn evaluando (agrupados con el operador para limitar los sesgos y guiar la interpretacin de resulta-
OR) si tambin abordan la condicin de estudio (es de- dos. Incluso si la revisin incluye slo ensayos clnicos

136 Gastroenterol Hepatol 2004;27(3):129-49 36


129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 137

GISBERT JP, ET AL. CMO REALIZAR, EVALUAR Y UTILIZAR REVISIONES SISTEMTICAS Y METAANLISIS?

aleatorizados, es importante conocer si stos eran de bue- Sesgo de seleccin. Uno de los factores ms importan-
na calidad. Los factores que justifican una evaluacin de- tes que puede sesgar y distorsionar las comparaciones en-
tallada de la calidad son los relacionados con la aplica- tre tratamientos est relacionado con el proceso de obten-
bilidad de los resultados, la validez de los estudios indivi- cin de los grupos a comparar. As, en el diseo de
duales y ciertas caractersticas del diseo que afectan a la ensayos clnicos es muy importante utilizar un mtodo
interpretacin de los resultados. La aplicabilidad, tambin apropiado para prevenir que se conozca de antemano la
llamada validez externa o generalizacin, est relacionada asignacin de los tratamientos21. Mientras se evala la
con la definicin de los componentes clave de las pregun- elegibilidad potencial de un participante en un ensayo cl-
tas correctamente formuladas, aspecto ya comentado en nico, las personas que reclutan a los participantes deben
el apartado correspondiente. La interpretacin de los re- desconocer el tratamiento que corresponde a la prxima
sultados depende de la validez de los estudios incluidos y asignacin. Lo ideal es que el proceso de asignacin no
de otras caractersticas. Por ejemplo, una revisin quiz pueda estar influido por las personas que lo llevan a cabo,
resuma 20 ensayos clnicos vlidos que evalan los efec- para lo que debera instaurarse un programa de asigna-
tos del tratamiento erradicador de H. pylori sobre los sn- cin aleatoria implantado por alguien no implicado en el
tomas de la dispepsia funcional; sin embargo, los ensayos reclutamiento (p. ej., alguien ubicado en una oficina cen-
clnicos quiz examinen diferentes tipos de pacientes (con tral del ensayo). Si no puede organizarse tal aleatoriza-
dispepsia de tipo ulceroso o, por el contrario, de tipo dis- cin central, entonces es necesario tomar otras precaucio-
motilidad) y es posible que tengan perodos de segui- nes para evitar la manipulacin del proceso de asignacin
miento variables (desde unos pocos meses hasta ms de por las personas que participan en el reclutamiento. El
un ao). Estos aspectos afectaran a la interpretacin aun- proceso de ocultar la asignacin hasta que se asigna el
que quiz no estn relacionados directamente con la vali- tratamiento se denomina ocultacin de la asignacin
dez interna de los ensayos. Dado que la mayora de las (en ingls, allocation concealment), que no debe confun-
revisiones Cochrane incluyen ensayos clnicos aleatoriza- dirse con el trmino cegar, que se reserva para las me-
dos, nos centraremos a continuacin en cmo evaluar, didas tomadas para reducir el sesgo una vez que la inter-
precisamente, la validez de dichos estudios. vencin ya ha sido asignada.
Sesgo de realizacin. Hace referencia a las diferencias
sistemticas en la atencin sanitaria proporcionada a los
Validez. Sesgos en los ensayos clnicos
participantes en los grupos de comparacin, aparte, claro
Antes de fijarnos en las conclusiones de una revisin sis- est, de la intervencin objeto de estudio. Para proteger
temtica debemos valorar si nos las vamos a creer3. Cuan- contra las diferencias en la atencin y contra el efecto
ta mayor sea la validez de los estudios que sustentan di- placebo, puede cegarse a aquellos que dan y reciben el
cha revisin, ms nos fiaremos de las conclusiones. En el tratamiento para que no conozcan el grupo al que estn
contexto de una revisin sistemtica, la validez de un es- asignados quienes lo reciben.
tudio se refiere a la capacidad de evitar los errores sis- Sesgo de desgaste o prdida. Se refiere a las diferencias
temticos o sesgos mediante el correcto diseo y rea- sistemticas entre los grupos de comparacin en cuanto a
lizacin del estudio. En una revisin sistemtica, las la prdida de participantes durante el estudio. La manera
diferencias observadas en la validez de los estudios in- de tratar las prdidas puede sesgar los resultados, y la in-
cluidos podran ayudarnos a explicar la variabilidad de formacin incompleta sobre cmo se tratan las prdidas
sus resultados. De este modo, los estudios ms rigurosos puede ocultar este problema.
tienen mayor probabilidad de dar resultados ms prxi- Sesgo de deteccin. El sesgo de deteccin se refiere a
mos a la verdad, mientras que los estudios menos rigu- las diferencias sistemticas entre los grupos de compara-
rosos suelen estar sesgados hacia la sobreestimacin de la cin en la evaluacin de resultados. Los ensayos clnicos
eficacia de la intervencin. que ciegan la asignacin de las intervenciones a quienes
En resumen, el trmino sesgo hace referencia a los evalan los resultados son, lgicamente, menos propen-
problemas de validez interna de una investigacin, esto sos a estar sesgados que los ensayos clnicos que no lo
es, se plantea si los resultados obtenidos son ciertos en hacen. El cegamiento es particularmente importante en
la poblacin de referencia a la que se pretende generali- aquellas investigaciones que utilizan medidas subjetivas
zar los resultados16. Por ejemplo, si es cierta la menor de resultado, como el dolor.
incidencia de hemorragia digestiva por varices esofgi-
cas en los pacientes cirrticos que reciben profilaxis con
Evaluacin de la validez y calidad de los estudios
bloqueadores beta. Por el contrario, la validez externa
de una investigacin se plantea a la hora de generalizar Si se han utilizado, como es aconsejable, varios criterios ex-
los resultados obtenidos, es decir, si los datos encontra- plcitos para valorar la validez, es recomendable resumirlos
dos en una poblacin son aplicables a otra16. En los estu- para obtener una evaluacin global de los resultados de
dios sobre los efectos de la atencin sanitaria pueden cada estudio22,23. Se han identificado al menos 25 escalas y
existir 4 tipos de sesgos o errores sistemticos de se- 9 listas que se han utilizado para evaluar la validez y la ca-
leccin, de realizacin (performance bias), de desgaste lidad de los ensayos clnicos controlados y aleatorizados,
o prdida (attrition bias) y de deteccin que se comen- pero ninguna de ellas puede recomendarse sin reservas24,25.
tan a continuacin: Una de las ms empleadas es la escala de calidad propuesta

37 Gastroenterol Hepatol 2004;27(3):129-49 137


129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 138

GISBERT JP, ET AL. CMO REALIZAR, EVALUAR Y UTILIZAR REVISIONES SISTEMTICAS Y METAANLISIS?

por Jadad et al26, en la que se puntan por separado 3 com- detalle. Por ejemplo, en una revisin sobre terapia farma-
ponentes esenciales: la aleatorizacin, el doble ciego y la colgica con infliximab en la enfermedad de Crohn es
descripcin de las prdidas durante el seguimiento. importante conocer cmo se estableci en cada estudio el
Hay distintas formas de utilizar las evaluaciones de la va- fenotipo (inflamatorio o fistulizante) y cmo se defini la
lidez en una revisin: como un umbral para la inclusin refractariedad al tratamiento convencional (corticorresis-
de estudios, como una posible explicacin de las diferen- tencia o corticodependencia).
cias en los resultados entre los estudios, en los anlisis de Cmo medir el resultado de los estudios puede ser una de
sensibilidad y como pesos en el anlisis estadstico de los las secciones ms difciles de disear del formulario de ex-
resultados de los estudios. En algunas revisiones, si el traccin de datos. Los informes de los estudios suelen in-
riesgo de sesgo es elevado, se justifica la exclusin de los cluir ms de una medida de resultado (mortalidad, morbili-
estudios que no cumplen uno o varios criterios de validez. dad, calidad de vida, etc.); adems, pueden presentar la
Por ejemplo, para medidas de resultado muy subjetivas, misma medida de resultado usando diferentes escalas de
como la dispepsia, podra decidirse incluir slo los estu- cuantificacin, pueden incluir medidas de resultado para
dios que previenen el sesgo de realizacin mediante el ce- diferentes subgrupos de pacientes o pueden sealar medi-
gamiento de los participantes. das de resultado en diferentes momentos del tiempo. Por
Hay diversos mtodos para explorar si la validez puede ex- ejemplo, la valoracin del efecto del tratamiento erradica-
plicar las diferencias entre los resultados de los estudios in- dor de H. pylori sobre la dispepsia funcional es un tema
cluidos. Se pueden utilizar grficos visuales de los resulta- muy controvertido27. En parte, ello se debe a la falta de
dos ordenando los estudios segn su grado de validez. Un acuerdo entre los diversos estudios realizados sobre cmo
segundo enfoque consiste en analizar subgrupos de estu- se deben cuantificar los sntomas disppticos y por lo tanto
dios situados por encima del punto de corte metodolgico, su mejora: los sntomas podran considerarse una variable
el cual preferiblemente debe especificarse a priori en el cuantitativa, y el beneficio, un descenso determinado en el
protocolo de la revisin. Este enfoque puede utilizarse me- valor medio de todos los pacientes tras el tratamiento; o
diante un anlisis de sensibilidad, a fin de determinar si los tambin podra compararse el porcentaje de pacientes con
resultados globales coinciden con los que se obtienen sntomas disppticos de una determinada gravedad antes y
cuando slo se incluyen en el anlisis los estudios con ries- despus del tratamiento; por ltimo, otra opcin ms sim-
go de sesgo bajo. Tambin es posible ponderar los estudios plista consiste en definir como xito teraputico sencilla-
segn la validez, de manera que los estudios ms vlidos mente la ausencia de sntomas disppticos al final del estu-
tengan ms influencia en la medida resumen de efecto (no dio. Por otra parte, el momento preciso en que se evalan
obstante, no existe una base emprica para determinar qu los sntomas tras haber administrado tratamiento erradica-
peso debe asignarse a los distintos criterios de validez, por dor de H. pylori puede ser tambin relevante, pues algn
lo que este ltimo enfoque es de dudosa utilidad). estudio ha sealado que existe una cierta latencia desde
que desaparece la infeccin hasta que se comprueba la me-
jora sintomtica (en caso de que esto realmente ocurra).
Cuarto paso: proceso de extraccin de datos

El formulario de recogida de datos es un puente entre lo Quinto paso: anlisis y presentacin de resultados.
que han informado los investigadores de los estudios pri- Metaanlisis
marios y lo que, en ltimo trmino, informa un revisor.
Aunque la bsqueda y el proceso de seleccin deberan La razn fundamental para realizar las revisiones de for-
haber descartado la mayora de estudios no elegibles, es ma sistemtica es asegurar la validez de los resultados,
conveniente comprobar la elegibilidad de stos en el mo- pero el papel del anlisis estadstico en las revisiones pue-
mento del resumen o de la recogida de datos. As, las re- de estar menos claro. A veces, el uso de la estadstica
visiones Cochrane incluyen una tabla de estudios exclui- (metaanlisis) puede parecer, y quiz lo sea, ms un obs-
dos en el caso de aquellos que inicialmente parecan tculo que una ayuda para los que no estn familiarizados
reunir los criterios de inclusin pero que, tras un examen con estas tcnicas. Existe tambin el riesgo de prestar de-
ms minucioso, fueron finalmente excluidos. masiada atencin a la lnea estadstica inferior o al rom-
Algunas de las caractersticas de los mtodos de los estu- bo-diamante situado al final del grfico que resume los
dios que pueden ser relevantes incluyen la duracin del resultados de estudios individuales en un metaanlisis. En
estudio, el tipo de ensayo (diseos paralelos, cruzados), el ocasiones, los revisores y los lectores, con las prisas de
cegamiento (de pacientes, proveedores y evaluadores de llegar al rombo-diamante, descuidan la importancia de la
resultados), el nmero de prdidas y de cambios de trata- reflexin y de las consideraciones hechas en los pasos an-
miento, las cointervenciones y otros factores potenciales teriores al anlisis o en el anlisis mismo.
de confusin. Adems, el apartado de mtodos del formu-
lario de recogida de datos debe incluir los criterios de va-
Justificacin para realizar un metaanlisis
lidez utilizados (vase el apartado anterior).
en una revisin
Los criterios diagnsticos utilizados para definir el pro-
blema de salud de inters pueden ser una fuente impor- Para preparar una revisin se deben obtener datos de los
tante de variabilidad clnica y deberan describirse con estudios individuales y, posteriormente, se pueden usar

138 Gastroenterol Hepatol 2004;27(3):129-49 38


129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 139

GISBERT JP, ET AL. CMO REALIZAR, EVALUAR Y UTILIZAR REVISIONES SISTEMTICAS Y METAANLISIS?

mtodos estadsticos para analizar y resumir estos datos.


Si se usan apropiadamente, dichos mtodos proporcionan
una herramienta potente para llegar a unas conclusiones
que tengan sentido y ayudan a evitar errores de interpreta-
cin. Cuando en una revisin no se usan mtodos estads-
ticos, es fcil cometer el error de comparar el nmero de
estudios positivos con el nmero de estudios negati-
vos. Esta especie de recuento de votos, en el que se
confiere el mismo valor a los estudios de pequeo y gran
tamao es poco fiable y debe evitarse, porque un estudio
puede considerarse positivo o negativo dependiendo de
cmo interpreten los resultados los revisores, y adems
porque no tiene en cuenta el peso relativo de la evidencia
fiable proporcionada por cada estudio8. Al contar los vo-
tos tambin se tiende a pasar por alto los efectos peque-
os pero clnicamente relevantes, en particular al conside-
rar negativos los estudios con resultados que no son
estadsticamente significativos (debido, con probabilidad,
a un error beta consecuencia de la escasa potencia es-
Fig. 1. Logotipo de la Colaboracin Cochrane.
tadstica). Adems, un investigador puede interpretar un
estudio como positivo mientras que otro lo considera ne-
gativo; por ejemplo, un efecto importante que no sea esta- 1. Cuando hay que tomar decisiones (p. ej., teraputicas)
dsticamente significativo podra interpretarse como posi- y no se dispone de tiempo suficiente para realizar nuevos
tivo a la luz de la importancia clnica y como negativo estudios. La revisin sistemtica es un tcnica cientfica
desde la perspectiva de la significacin estadstica8. Sin eficiente, pues, aunque es laboriosa y ocupa mucho tiem-
embargo, los metaanlisis valoran los estudios de acuer- po, este procedimiento es generalmente ms rpido y me-
do, entre otras cosas, con su tamao, de modo que conce- nos costoso que embarcarse en un nuevo estudio2.
den un mayor peso a los ms grandes; por este motivo, 2. Cuando existen muchos estudios no concluyentes sobre
los resultados globales representan un promedio pondera- los efectos de un tratamiento, bien porque el efecto espe-
do de los resultados de los estudios individuales8. Por su- rable es pequeo aunque relevante desde el punto de vis-
puesto, el uso de mtodos estadsticos metaanlisis no ta clnico, bien porque el estudio que se tendra que lle-
garantiza que los resultados de una revisin sean vlidos, var a cabo para obtener una respuesta definitiva es
como ocurre tambin en un estudio primario. As, como irrealizable. As, los metaanlisis aumentan el poder esta-
cualquier herramienta, matemtica o no, los mtodos es- dstico de los estudios originales, lo que es especialmente
tadsticos pueden utilizarse de modo inapropiado. ventajoso en condiciones de baja prevalencia o cuando se
evalan efectos de pequea magnitud2. Un bonito ejem-
plo es el representado por el logotipo de la Colaboracin
Objetivos de los metaanlisis
Cochrane (fig. 1), que ilustra la capacidad de los corticoi-
Entre los propsitos generales comunes a cualquier meta- des para reducir la mortalidad perinatal en los recin naci-
anlisis se encuentran los siguientes4: dos de mujeres con riesgo de parto prematuro, mediante
un metaanlisis que incluye 7 ensayos clnicos aleatoriza-
1. Resumir los resultados de la bibliografa recogida y ha- dos: el efecto beneficioso es estadsticamente significati-
cer de ella una valoracin cualitativa y cuantitativa. vo, a pesar de que slo 2 de los estudios mostraban un
2. Resolver la incertidumbre (p. ej., si un determinado claro efecto a favor de los corticoides2.
frmaco tiene efecto beneficioso o no). 3. Cuando los resultados entre estudios son divergentes o
3. Mejorar la precisin del estimador del efecto testado incluso contradictorios. En estos casos el metaanlisis
(esto es, aumentar el poder estadstico). puede contribuir a explicar el porqu de las discrepancias
4. Comparar y contrastar los resultados divergentes de los entre estudios.
estudios individuales (resolver discrepancias). 4. Cuando se desea establecer con cierta precisin la
5. Responder preguntas nuevas que los estudios origina- magnitud de la eficacia de una intervencin sanitaria.
les no haban planteado o no podan responder por no te-
ner suficiente poder estadstico (anlisis de subgrupos).
Contraindicaciones para la realizacin
6. Orientar futuros trabajos de investigacin (generar hi-
de un metaanlisis
ptesis).
Por otro lado, hay tambin una serie de situaciones en las
que no debera llevarse a cabo un metaanlisis4:
Indicaciones para la realizacin de un metaanlisis
Existen, adems, ciertas situaciones concretas en las que 1. Para decidir la aprobacin o rechazo de un nuevo fr-
estara especficamente indicado realizar un metaanlisis4: maco (en las fases iniciales del desarrollo de un frmaco

39 Gastroenterol Hepatol 2004;27(3):129-49 139


129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 140

GISBERT JP, ET AL. CMO REALIZAR, EVALUAR Y UTILIZAR REVISIONES SISTEMTICAS Y METAANLISIS?

Comparacin: 01 IBP versus antagonistas H2 (todos juntos)


Mtodo de resultado: 02 hemografa persistente o recidivante
IBP Antagonistas H2 OR Peso OR
Estudio n/N n/N (IC del 95%) % (IC del 95%)
Brunner, 1990 3/19 17/20 17,6 0,03 (0,01-0,19)
Cardi, 1997 1/21 7/24 7,8 0,12 (0,01-1,09)
Labenz, 1997 3/20 2/20 2,1 1,59 (0,24-10,70)
Lanas, 1995 6/28 9/23 9,8 0,42 (0,12-1,45)
Lin, 1997 4/26 5/13 7,1 0,29 (0,06-1,36)
Lin, 1998 2/50 12/50 14,5 0,13 (0,03-0,63)
Michel, 1994 8/38 11/37 11,1 0,63 (0,22-1,80)
Ort, 1995 2/267 4/252 5,1 0,47 (0,08-2,58)
Prez Flores, 1994 1/38 3/43 2,5 0,36 (0,04-3,62)
Uribarrena, 1994 5/131 11/151 12,4 0,51 (0,17-1,49)
Villanueva, 1995 11/43 9/38 9,0 1,11 (0,40-3,05)

Total (IC del 95%) 46/681 90/671 100,0 0,40 (0,27-0,59)


Test de heterogeneidad 2 = 17,97 df = 10 p = 0,056
Test de efecto global z = 4,52 p = 0,00001

0,01 0,1 1 10 100


Favorece IBP Favorece antagonistas H2

Fig. 2. Grfico de efectos en el que se representa la odds ratio de cada estudio (cuadrado), sus intervalos de confianza del 95% (lneas horizontales)
y la odds ratio global (diamante). Se trata de un metaanlisis que compara los inhibidores de la bomba de protones con los antagonistas H2 en el tra-
tamiento de la hemorragia digestiva por lcera pptica. La medida de resultado evaluada es la persistencia o la recidiva hemorrgica. IBP: inhibi-
dores de la bomba de protones; H2 antagonistas: antagonistas H2 de la histamina; OR: odds ratio; IC: intervalo de confianza.

los ensayos clnicos aleatorizados constituyen la herra- Para el clculo de un efecto global, la situacin ideal
mienta ms apropiada para valorar la eficacia terapu- es aquella en la que se cuenta con bastantes estudios de
tica). pequeo tamao, muy homogneos tanto en su diseo
2. En situaciones en las que existe suficiente evidencia y se como en sus resultados, lo que permitir obtener una sli-
conoce con precisin el efecto de una intervencin sanita- da estimacin global del efecto10. La combinacin de los
ria (es obvio que no tiene sentido efectuar metaanlisis so- hallazgos de un grupo de estudios tiene sentido si las di-
bre aspectos en los que existe una certeza casi absoluta). ferencias observadas entre sus resultados no son estadsti-
3. Para intentar convertir un efecto clnicamente pequeo camente significativas o clnicamente relevantes. En tal
en estadsticamente significativo combinando muchos es- caso, la combinacin resulta relativamente sencilla y cada
tudios irrelevantes que muestran efectos insignificantes. estudio se resume usando una medida de efecto (riesgo
4. Para suplir la necesidad de llevar a cabo un estudio ori- relativo, odds ratio, etc.) que representa la comparacin
ginal, con el nico objetivo de aumentar el nmero de pu- del grupo de intervencin y de control. De este modo, los
blicaciones (aunque esta situacin pueda parecer absurda, participantes en cada estudio se comparan nicamente
no es excepcional encontrar en la bibliografa metaanli- con los dems participantes en el mismo estudio.
sis sin preguntas de inters cientfico o sanitario). Para la presentacin de los resultados se suelen emplear
grficos, el ms habitual de los cuales es el denominado
forest plot o grfico de efectos, en el que se ordenan en
Resumen de los efectos de los estudios en un metaanlisis
vertical, segn un cierto criterio (p. ej., el nombre del au-
Un objetivo de la mayora de los metaanlisis es propor- tor o la fecha de publicacin), los resultados obtenidos en
cionar una estimacin fiable de los efectos de una inter- cada estudio, con su intervalo de confianza del 95% (l-
vencin, basada en una media ponderada de los resulta- neas horizontales), as como el efecto global del metaan-
dos de todos los estudios relevantes. As, la sntesis lisis. Se suele representar el valor medio de cada estudio
cuantitativa o metaanlisis ocurre cuando al menos una mediante un smbolo (cuadrado o rombo) cuya rea es
medida de resultados procedente de como mnimo 2 estu- proporcional al peso con el que interviene en el clculo
dios diferentes se combina estadsticamente para obtener global (inversamente proporcional a la variancia), para
un resultado llamado efecto sumatorio global (overall as resaltar de algn modo los estudios ms precisos10.
summary effect en la terminologa anglosajona)3. Gene- En la figura 2 se puede observar el grfico de efectos de
ralmente, a cada estudio se le asigna como peso el inverso un metaanlisis que compara los inhibidores de la bomba
de su variancia; es decir, a las estimaciones ms precisas, de protones con los antagonistas H2 en el tratamiento de
provenientes de estudios ms amplios y con ms sucesos, la hemorragia digestiva por lcera pptica, siendo la me-
se les da ms peso. Tambin es posible dar ms o menos dida de resultado evaluada la persistencia o la recidiva
peso a los estudios basndose en otros factores como su hemorrgica28. Se observa cmo en la mayora de los ca-
calidad metodolgica, pero esto raramente se hace. sos el cuadrado que representa el efecto resumen de cada

140 Gastroenterol Hepatol 2004;27(3):129-49 40


129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 141

GISBERT JP, ET AL. CMO REALIZAR, EVALUAR Y UTILIZAR REVISIONES SISTEMTICAS Y METAANLISIS?

estudio se encuentra situado a la izquierda de la lnea me- (en comparacin con el tratamiento antisecretor) a tan
dia (la cual seala una odds ratio igual a la unidad, es de- slo 5 pacientes para conseguir prevenir un episodio de
cir, la ausencia de efecto) y, por tanto, indica un mayor recidiva hemorrgica, la interpretacin es ms directa e
efecto preventivo (sobre la persistencia o recidiva hemo- intuitiva.
rrgica) de los inhibidores de la bomba de protones. Sin Aunque no existe regla alguna para clasificar un NNT
embargo, en esta misma figura se puede comprobar cmo como alto o bajo, parece evidente que un valor de 5 tra-
en todos menos en 2 de los estudios la lnea horizontal, duce un efecto teraputico importante. Por el contrario,
que representa el intervalo de confianza del 95%, cruza la un reciente metaanlisis que evala el efecto del trata-
lnea media, lo que indica que, aunque exista una tenden- miento erradicador de H. pylori sobre la mejora de los
cia a un mayor efecto con los inhibidores de la bomba de sntomas de la dispepsia funcional demuestra que el NNT
protones, las diferencias no alcanzan significacin esta- con terapia erradicadora para conseguir la mejora sinto-
dstica en la mayora de los estudios individuales (proba- mtica de uno de estos pacientes (en comparacin con el
blemente por el reducido tamao muestral de stos). Y es placebo) es de 25, e incluso de 50 cuando se excluye un
aqu donde la potencia del metaanlisis, que aglutina los estudio responsable de heterogeneidad en los resultados27.
resultados de todos los estudios, nos proporciona una esti- Es obvio que esta ltima cifra (uno entre 50) supone un
macin ms precisa sobre el efecto del tratamiento: una beneficio ms que dudoso, que deber sopesarse con los
odds ratio global de 0,4 (representada por el rombo-dia- posibles perjuicios que podra causar la administracin de
mante situado en la parte inferior de la figura) con un in- tratamiento erradicador a los 49 pacientes restantes que
tervalo de confianza del 95% (representado por los extre- no se beneficiarn de l.
mos izquierdo y derecho de dicho rombo-diamente) que Cuando se presentan medidas absolutas como el NNT
no incluye a la unidad (de 0,27 a 0,59) y, por consiguien- es til dar la informacin para un intervalo de riesgos ba-
te, indica un efecto estadsticamente significativo. sales (p. ej., para el intervalo observado en los estudios
incluidos). Por otra parte, los NNT son especficos de un
perodo de seguimiento y solamente deben calcularse
Mtodos estadsticos de los metaanlisis
cuando se combinan ensayos en los que esta variable tie-
El anlisis estadstico es, quiz, la parte ms sencilla en la ne un valor similar. Por ltimo, conviene recordar que el
ejecucin de un metaanlisis. Si los otros pasos se han se- NNT es sumamente sensible a los sesgos de todo tipo y
guido con rigor, la combinacin estadstica de los valores en particular a la heterogeneidad entre los estudios, por lo
estimados por cada estudio es de naturaleza meramente que su uso a partir de los resultados globales de un metaa-
mecnica4. Los metaanlisis utilizan diversas tcnicas es- nlisis debe ser siempre juicioso3.
tadsticas pero, lamentablemente, no hay una nica co- Las medidas absolutas pueden ser ms informativas que
rrecta, pues la eleccin de sta depende del tipo de datos las relativas porque reflejan el riesgo basal y el cambio de
analizados. Para datos dicotmicos (o binarios) hay va- riesgo con la intervencin. No obstante, si la tasa en el
rios pros y contras en cada uno de los estadsticos de re- grupo control no es similar en todos los estudios, no es
sumen disponibles: odds ratio, riesgo relativo y diferen- correcto emplear una medida, como la reduccin absoluta
cia de riesgo. La interpretacin de la odds ratio como de riesgo, para estimar el efecto global y habr que utili-
aproximacin del riesgo relativo slo es vlida para tasas zar una medida relativa, como puede ser la odds ratio o el
pequeas, mientras que para sucesos frecuentes el primer riesgo relativo10. Como resumen, podramos recomendar
estadstico no es una buena aproximacin del segundo10. que siempre que sea posible deberan describirse los re-
El nmero necesario a tratar (NNT), que puede obte- sultados con una medida relativa (odds ratio, riesgo rela-
nerse fcilmente a partir de la diferencia de riesgos (es su tivo o reduccin del riesgo relativo) y tambin mediante
inversa), es una forma til e intuitiva, con mayor signifi- un estimador absoluto (NNT o diferencia de riesgos)4,30.
cacin clnica, de expresar de nuevo los resultados: nos
dice cuntos pacientes es necesario tratar con el nuevo
Evaluacin de la heterogeneidad
tratamiento para producir un evento de inters, en compa-
racin con el placebo o el tratamiento control. Por ejem- En la actualidad constituye una de las motivaciones fun-
plo, en un reciente metaanlisis que compara la inciden- damentales para realizar un metaanlisis, incluso mayor
cia de recidiva hemorrgica por lcera pptica en los que el mero clculo de una estimacin del efecto global10.
pacientes que reciben tratamiento erradicador de H. pylo- Es importante preguntarse si los resultados de los estu-
ri frente a los tratados nicamente con antisecretores (sin dios son similares dentro de cada comparacin. Una ma-
recibir posteriormente tratamiento antisecretor de mante- nera de responder a esta pregunta es examinar una pre-
nimiento), se calcula una odds ratio de 0,18 (con un inter- sentacin grfica de los resultados. Si los intervalos de
valo de confianza del 95% que no incluye la unidad)29. confianza para los resultados de cada estudio (representa-
Esta cifra, que evidentemente indica un efecto protector dos tpicamente mediante lneas horizontales) no se su-
del tratamiento erradicador sobre la recidiva hemorrgica, perponen, esto indica que es probable que las diferencias
no es fcil de trasladar a la prctica clnica. Sin embar- entre los estudios sean estadsticamente significativas.
go, si expresamos la magnitud de dicho efecto protector Las pruebas de homogeneidad son anlisis estadsticos
diciendo que el NNT correspondiente es de 5, lo que indi- formales para examinar si la variacin observada en los
ca que es necesario administrar tratamiento erradicador resultados de los estudios es compatible con la variacin

41 Gastroenterol Hepatol 2004;27(3):129-49 141


129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 142

GISBERT JP, ET AL. CMO REALIZAR, EVALUAR Y UTILIZAR REVISIONES SISTEMTICAS Y METAANLISIS?

Tratamiento. Tratamiento
erradicador control OR Peso OR
Estudio n/N n/N (IC del 95%) (%) (IC del 95%)

Blum, 1998 45/164 34/164 14,8 1,45 (0,87-2,41)


Bruley, 2000 80/129 74/124 14,9 1,10 (0,67-1,83)
Froehlich, 2001 47/74 45/70 10,7 0,97 (0,59-1,91)
Gisbert, 2001 9/15 16/33 4,3 1,59 (0,46-5,50)
Koelz, 1998 55/89 61/92 12,2 0,82 (0,45-1,51)
McColl, 1998 33/154 11/154 9,8 3,55 (1,72-7,31)
Passos, 1998 40/45 32/36 3,5 1,00 (0,25-4,03)
Talley, 1999 (ORCHID) 32/133 31/142 13,4 1,13 (0,65-1,99)
Talley, 1999 (USA) 69/150 71/143 16,4 0,86 (0,55-1,37)

Total IC del 95% 410/953 375/958 100,0 1,20 (0,91-1,58)


Test de heterogeneidad 2 = 13,31 df = 8 p = 0,1
Test de efecto global z = 1,26 p = 0,2

0,01 0,1 1 5 10
Mejor tratamiento control Mejor tratamiento erradicador

Tratamiento. Tratamiento
erradicador control OR Peso OR
Estudio n/N n/N (IC del 95%) (%) (IC del 95%)
Tratamiento
Blum 1998 45/164 34/164 control 17,7 1,45 (0,87-2,41)
Bruley 2000 80/129 74/124 n/N 18,1 1,10 (0,67-1,83)
Froehlich 2001 47/74 45/70 10,0 0,97 (0,59-1,91)
Gisbert 2001 9/15 16/33 3,0 1,59 (0,46-5,50)
Koelz 1998 55/89 61/92 12,5 0,82 (0,45-1,51)
Passos 1998 40/45 32/36 2,4 1,00 (0,25-4,03)
Talley 1999 (ORCHID) 32/133 31/142 14,6 1,13 (0,65-1,99)
Talley 1999 (USA) 69/150 71/143 21,9 0,86 (0,55-1,37)

Total IC del 95% 377/799 364/804 100,0 1,06 (0,85-1,31)


Test de heterogeneidad 2 =
3,43 df = 8 p = 0,84
Test de efecto global z = 0,51 p = 0,6

0,01 0,1 1 5 10
Mejor tratamiento control Mejor tratamiento erradicador

Fig. 3. Metaanlisis de la eficacia del tratamiento erradicador de Helicobacter pylori en la dispepsia funcional27. Panel superior: presencia de hete-
rogeneidad, debida a los resultados discordantes del estudio de McColl et al; panel inferior: resultados homogneos tras la exclusin de dicho estu-
dio. OR: odds ratio; IC: intervalo de confianza.

esperada nicamente por azar. Cuanto ms significativos (McColl, 1988) ofrece resultados claramente discordantes
sean los resultados de la prueba (valor de p ms peque- (fig. 3, panel superior). De hecho, la p del test de hetero-
o), ms probable es que las diferencias observadas no geneidad, con un valor de 0,1, confirma que nos encon-
sean debidas nicamente al azar. En general, las pruebas tramos en el lmite estadstico que la define. Los resulta-
estadsticas que valoran la presencia de heterogeneidad dos contradictorios entre varios estudios podran
suelen tener una baja potencia estadstica, por lo que es explicarse, al menos en parte, por la diferente prevalencia
habitual situar el punto de corte para la p10 en 0,1 en lugar de lcera gastroduodenal en las distintas reas geogrfi-
del habitual 0,05. Adems, una prueba no significativa no cas. As, es posible que el efecto favorable de la terapia
descarta necesariamente la existencia de heterogeneidad. erradicadora evidenciado en los ensayos clnicos positi-
Por lo tanto, las diferencias clnicamente importantes en- vos sea debido al tratamiento de la enfermedad ulcerosa
tre los resultados de los estudios siguen imponiendo pre- no diagnosticada, que, como es sabido, tiene una excelen-
caucin en la interpretacin de los hallazgos globales, a te respuesta a la erradicacin de H. pylori. Por tanto, la
pesar de que la prueba estadstica de heterogeneidad pue- terapia frente a H. pylori podra estar tratando nicamente
da no ser significativa8. al reducido subgrupo de pacientes con lcera pptica a los
En el ejemplo del metaanlisis anteriormente menciona- que se ha clasificado errneamente como disppticos fun-
do sobre el efecto del tratamiento erradicador de H. pylori cionales al no objetivarse durante la gastroscopia una
en la dispepsia funcional27, la mera observacin de la re- lcera gastroduodenal activa. La elevada incidencia de l-
presentacin grfica nos indica que uno de los estudios cera gastroduodenal en Escocia, donde se llev a cabo el

142 Gastroenterol Hepatol 2004;27(3):129-49 42


129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 143

GISBERT JP, ET AL. CMO REALIZAR, EVALUAR Y UTILIZAR REVISIONES SISTEMTICAS Y METAANLISIS?

nico estudio con resultados positivos, apoyara esta posi- TABLA IV. Preguntas que ayudan a decidir si debe
o no hacerse un anlisis de subgrupos
bilidad. Precisamente, la heterogeneidad encontrada al
principio en el metaanlisis desapareca al excluir el estu- 1. Hay evidencia indirecta que apoye la existencia de una
dio de McColl et al, situacin en la que el valor de la p diferencia en algn subgrupo en particular?
2. Las hiptesis acerca de la diferencia preceden al anlisis y no
del test de heterogeneidad ascenda hasta 0,84 (fig. 3, pa- surgen despus de ste?
nel inferior). 3. La diferencia se insina a partir de comparaciones dentro de los
estudios y no entre los estudios?
Como se ha comentado antes, la existencia de heteroge- 4. La diferencia es consistente a lo largo de los estudios?
neidad estadsticamente significativa indica que las dife- 5. La magnitud de la diferencia es clnicamente relevante?
rencias observadas en los resultados de los estudios in- 6. La diferencia es estadsticamente significativa?
dividuales podran estar causadas por otros factores dis-
tintos del azar. En este caso, los revisores deben alertar a
los lectores de su revisin y recomendar cautela en la in- azar. Es ms probable que las decisiones acerca de qu
terpretacin de los resultados combinados. Incluso podr- anlisis realizar estn reorientadas por los datos cuando
an llegar a decidir que la heterogeneidad es de tal magni- se planean a posteriori y, en consecuencia, es ms proba-
tud que es preferible no combinar los resultados de los ble que sean espurias. Se debe ser extremadamente caute-
estudios individuales. Se debe tener siempre presente que loso al examinar y plantear conclusiones acerca de la
los tests estadsticos no pueden compensar la falta de sen- existencia de diferencias en la respuesta de los subgrupos
tido comn, la perspicacia clnica y la plausibilidad biol- basndose en diferencias en los resultados entre los estu-
gica. De este modo, existen revisiones en que la sntesis dios, pues puede haber muchos factores que lo justifiquen
de datos no es posible (o mejor, no es deseable) y se que- (p. ej., diferencias en los frmacos, en las dosis, en los es-
dan en honrosas revisiones sistemticas cualitativas3. Los quemas de tratamiento especficos que se han utilizado,
revisores pueden comentar, en ese caso, que les fue impo- etc.). Incluso si la revisin incluye nicamente ensayos
sible combinar los resultados porque los estudios que en- aleatorizados, debe recordarse que no se aleatoriz a los
contraron no ofrecan datos combinables. Por ltimo, los pacientes a un estudio o a otro, sino que, dentro de un
revisores deben intentar explorar las causas de la hetero- mismo estudio, se les aleatoriz a recibir uno u otro trata-
geneidad y tratar de explicarla, pero cualquier interpreta- miento.
cin debe ser cautelosa, puesto que estos anlisis se hacen
habitualmente a posteriori. Idealmente, deben especifi-
Anlisis de sensibilidad
carse a priori, dentro del protocolo inicial de la revisin,
los factores que podran conducir a diferencias entre los Dado que hay varios enfoques para realizar una revisin
resultados de estudios individuales. En resumen, es im- sistemtica, los revisores deben preguntarse cun sensi-
portante recalcar que un adecuado anlisis de los factores bles son los resultados del anlisis a los cambios en el
que pueden ser responsables de la heterogeneidad entre modo en que ste fue realizado. Esto proporciona a los re-
los estudios es de mayor importancia que la idea simplista visores un mecanismo para probar cun robustos son los
de buscar una medida de efecto global cuando existen re- resultados de la revisin en relacin con las decisiones y
sultados contradictorios entre los diversos estudios10. con las asunciones clave surgidas en el proceso de reali-
zarla. Si los anlisis de sensibilidad que se efectan no
cambian sustancialmente los resultados, la confianza que
Anlisis de subgrupos
tendremos en stos queda fortalecida. Por el contrario, si
A menudo resulta interesante examinar una categora par- los resultados cambian de manera que conducen a conclu-
ticular de participantes en una revisin (como mujeres, un siones diferentes, se deber ser ms cauteloso en la inter-
grupo de edad en particular o los sujetos con un subtipo pretacin de los datos y al plantear las conclusiones.
especfico o gravedad de la enfermedad). Es preciso re-
calcar aqu que el trmino subgrupos se refiere a las
Presentacin de los resultados del metaanlisis
agrupaciones particulares de pacientes entre los estudios,
no a subgrupos de estudios3. Con frecuencia se abusa de Con el nimo de mejorar y homogeneizar la calidad de la
los anlisis de subgrupos, por lo que los revisores debern presentacin de los resultados de los metaanlisis, el grupo
ser cuidadosos al efectuarlas y los lectores al interpretar- QUOROM (Quality Of Reporting Of Meta-analysis) ha
las. Las preguntas incluidas en la tabla IV pueden utili- publicado recientemente un documento donde se destaca-
zarse para ayudar a decidir si se lleva o no a cabo este ban los puntos que deberan exigirse ineludiblemente31,32.
tipo de anlisis. De entre ellas destaca la primera, que Segn este grupo, existen 6 reas temticas generales im-
plantea si es plausible esperar que haya una diferencia ba- portantes para la realizacin y presentacin de los resulta-
sndose en lo que se conoce acerca de la intervencin y dos de cualquier metaanlisis de ensayos clnicos aleato-
del problema, ya que si no es as probablemente no debe- rizados: diseo del estudio, combinacin adecuada de di-
ra emplearse el anlisis de subgrupos. En la medida de lo versos estudios, control del sesgo, anlisis estadstico, an-
posible, los revisores deben intentar reducir al mnimo el lisis de sensibilidad y problemas de aplicabilidad. Esta pro-
nmero de estos anlisis, pues cuanto ms grande sea puesta incluye una lista (fig. 4) que obliga a los autores
el nmero de hiptesis a evaluar mayor ser el nmero de del metaanlisis a ofrecer a los lectores informacin expl-
las diferencias que podrn encontrarse simplemente por cita sobre la estrategia de bsqueda, los criterios para la se-

43 Gastroenterol Hepatol 2004;27(3):129-49 143


129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 144

GISBERT JP, ET AL. CMO REALIZAR, EVALUAR Y UTILIZAR REVISIONES SISTEMTICAS Y METAANLISIS?

Categora Subcategora tem Incluido en N.


informe? (S/N) pginas

Ttulo Identificar el trabajo como un metaanlisis


[o revisin sistemtica] de ECC26

Resumen Utilizar un formato estructurado27

Describir
Objetivos La cuestin clnica explcitamente

Fuentes de datos Las bases de datos (es decir, una relacin)


y otras fuentes de informacin

Mtodos de revisin Los criterios de seleccin (es decir,


poblacin, intervencin, resultado y diseo
del estudio); los mtodos de valoracin de la
validez, anlisis de datos y caractersticas
del estudio, y sntesis de datos cuantitativos
suficientemente detallada para permitir
la repeticin

Resultados Caratersticas de los ECC incluidos y


excluidos: hallagos cualitativos y cuanti-
tativos (estimaciones puntuales e interva-
los de confianza), y anlisis de subgrupo

Conclusin Resultados principales

Describir

Introduccin El problema clnico concreto; los funda-


mentos biolgicos de la intervencin y los
fundamentos de la revisin

Mtodos Bsqueda Las fuentes de informacin, con detalle28


(p.e. bases de datos, registros, ficheros
personales, expertos, agencias, bsqueda
manual) y cualquier restriccin (aos
considerados, situacin de publicacin29,
idioma de la publicacin30,31)

Seleccin Los criterios de inclusin y exclusin


(relativos a la poblacin, la intervencin,
los resultados principales y el diseo
del estudio32)
Fig. 4. Lista (checklist) para evaluar la
correcta presentacin de los resultados
Evaluacin Criterios y proceso utilizados (p.e.
de la validez condiciones encubiertas, valoracin de un metaanlisis. Propuesta QUOROM
de la calidad y sus hallazgos33-36) (Quality Of Reporting Of Meta-analy-
sis)32. ECC: ensayos clnicos controla-
dos.

leccin de estudios, la evaluacin de la validez de stos, el de mltiples estudios, como si fuera, por tanto, una revi-
modo en que se extrajeron los datos, las caractersticas de sin ordinaria, pero ms grande20. As, actualmente se
los diversos estudios y la sntesis cuantitativa de los datos. profundiza mucho ms en el anlisis de la heterogeneidad
Adems, la propuesta QUOROM incluye un diagrama de entre estudios y sus posibles causas, en la influencia de
flujo (fig. 5) en el que los autores debern aportar informa- las caractersticas de los pacientes incluidos y en el anli-
cin detallada sobre el nmero de ensayos clnicos aleatori- sis de sensibilidad de los resultados10. Por otra parte, no
zados identificados, incluidos y excluidos, y los motivos se debe olvidar que, en todo caso, el metaanlisis es un
por los que estos ltimos lo fueron. estudio observacional, con las limitaciones que ello com-
porta10. Desde sus orgenes el metaanlisis ha sido y sigue
siendo una tcnica controvertida, sobre todo cuando se ha
Interpretaciones errneas y limitaciones
limitado a un ingenuo clculo del efecto global, dado que
de los metaanlisis
los mtodos estadsticos no pueden corregir o ajustar
Despus de un notable entusiasmo inicial, las discrepan- las discrepancias entre estudios, y mucho menos lograr
cias entre las conclusiones extradas de algunos metaan- que resultados contradictorios se combinen en una nica
lisis y los hallazgos encontrados en macroensayos aleato- medida global10. La aparente precisin con la que se efec-
rizados33,34 han llevado a un planteamiento mucho ms ta el clculo de una estimacin global en un metaanlisis
crtico del papel del metaanlisis10. No se debe caer en el puede disuadir de la realizacin de estudios posteriores
error de considerar el metaanlisis una mera combinacin sobre ese asunto, lo que en ocasiones puede llegar a ser

144 Gastroenterol Hepatol 2004;27(3):129-49 44


129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 145

GISBERT JP, ET AL. CMO REALIZAR, EVALUAR Y UTILIZAR REVISIONES SISTEMTICAS Y METAANLISIS?

ECC identificados potencialmente relevantes


y sometidos a seleccin para su repuracin (n = )

ECC excluidos (motivos)


(n = )

ECC seleccionados para una


evaluacin ms detallada (n = )

ECC excluidos (motivos)


(n = )

ECC potencialmente adecuados


para su inclusin
en el metaanlisis (n = )

ECC excluidos del metaanlisis


(motivos) (n = )

ECC incluidos en el metaanlisis


(n = )

ECC retirados a causa del resutado


(motivos) (n = )
Fig. 5. Diagrama de flujo (flow diagram)
para evaluar la correcta presentacin de
ECC con informacin til segn los resultados de un metaanlisis. Pro-
el resultado (n = ) puesta QUOROM (Quality Of Reporting
Of Meta-analysis)32. ECC: ensayos clni-
cos controlados.

un inconveniente10. En este sentido, el metaanlisis no un error que se comete frecuentemente al realizar un me-
debe sustituir a los ensayos clnicos de gran tamao; sin taanlisis, al ignorar las diferencias fundamentales entre
embargo, cuando stos no existen, el metaanlisis consti- los distintos estudios y combinarlos sin ms20. Por ejem-
tuye una gua para la prctica clnica e incluso para el di- plo, no sera apropiado evaluar el efecto de los bloquea-
seo de futuros ensayos10. No se debe caer en el error de dores beta en la prevencin de la hemorragia digestiva
considerar el metaanlisis un sustituto de los grandes en- por varices esofgicas mezclando, en el mismo metaan-
sayos clnicos de elevada calidad. As, el metaanlisis lisis, estudios dirigidos a la profilaxis primaria (del pri-
debe ser una herramienta para la generacin de hiptesis mer episodio hemorrgico) y secundaria (de la recurren-
ms que para la toma de decisiones10. Idealmente deber cia de la hemorragia). Ambas poblaciones de pacientes
localizar dnde se encuentran las lagunas de conocimien- cirrticos tienen un riesgo de base diferente, del que de-
to, para as orientar las lneas de investigacin futuras. pende directamente el valor de la variable que se pretende
Dicho de otro modo, el metaanlisis es complementario, medir, en este caso, la incidencia de hemorragia digestiva
no sustituto, del ensayo clnico aleatorizado de gran tama- por varices esofgicas.
o y representa una estrategia coste-efectiva porque redu- En resumen, el metaanlisis, si se utiliza correctamente,
ce el nmero de estudios primarios innecesarios. constituye la mejor herramienta posible para combinar los
Como se ha comentado previamente, el metaanlisis no resultados de diversos estudios en un mundo cada vez
es la panacea que convierte estudios primarios metodol- ms desbordado por el volumen de informacin que pre-
gicamente deficientes en una combinacin brillante de cisa ser sintetizada10. Sin embargo, debido a su elevada
ensayos clnicos, por lo que hay que tener especial cuida- potencia, es tambin un arma de doble filo que puede lle-
do en no combinar de forma indiscriminada (dando igual varnos a sacar conclusiones sesgadas a partir de estudios
valor) las investigaciones de buena y mala calidad. Mez- imperfectos que aisladamente no habran sido capaces de
clar manzanas y naranjas en la misma cesta es tambin confundirnos20.

45 Gastroenterol Hepatol 2004;27(3):129-49 145


129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 146

GISBERT JP, ET AL. CMO REALIZAR, EVALUAR Y UTILIZAR REVISIONES SISTEMTICAS Y METAANLISIS?

TABLA V. Lista de verificacin (checklist) que permite gastroscopia, se fundamenta en una serie de estudios que
la deteccin de errores importantes en una revisin
sistemtica evalan dicha estrategia en pacientes disppticos jvenes
(p. ej., menores de 50 aos), pues en este grupo de edad la
1. Formulacin de la pregunta incidencia de cncer gstrico es mnima. Sin embargo, el
Las preguntas de la revisin estn bien formuladas y contienen
los componentes clave? lector puede que proceda de o resida en una zona de alta in-
2. Identificacin de estudios cidencia de adenocarcinoma gstrico como Japn o Latino-
Se realiza una bsqueda minuciosa de datos pertinentes usando
fuentes apropiadas? amrica, donde probablemente no sea aplicable este punto
Las estrategias de bsqueda son adecuadas para la pregunta que de corte para la edad y sea prudente reducirlo. Por tanto, los
se ha planteado? usuarios de cualquier revisin sistemtica deben decidir si
3. Seleccin de estudios
Se aplican criterios de inclusin y de exclusin apropiados para la evidencia que encuentran en ella es o no aplicable a sus
seleccionar los estudios? circunstancias especficas. Para hacerlo, deben determinar
Se aplican los criterios de seleccin de manera que limiten los
sesgos? si los participantes y los entornos en los estudios incluidos
4. Evaluacin de los estudios son razonablemente similares a su propia situacin. En ge-
Se valora de manera fiable la validez de los estudios neral, en lugar de aplicar rgidamente los criterios de inclu-
individuales?
Se abordan de modo sistemtico los parmetros importantes que sin y de exclusin de los estudios a situaciones especficas,
pueden afectar a los resultados del estudio? es mejor preguntarse si hay razones evidentes por las cuales
5. Obtencin de datos
Hay una mnima cantidad de datos no disponibles en los los ensayos no deben aplicarse en ciertas circunstancias.
resultados y en otras variables que se consideren clave para la Un tercer aspecto es si los beneficios compensan los ries-
interpretacin de los resultados? gos de la intervencin. Por ejemplo, en una reciente revi-
6. Sntesis de datos
Se tomaron decisiones razonables con respecto a la manera de sin sistemtica y metaanlisis, llevada a cabo por la Co-
combinar los datos? laboracin Cochrane sobre el efecto del tratamiento
Se han considerado en la sntesis factores importantes como el
diseo de los estudios? erradicador de H. pylori en la dispepsia funcional, se con-
Son sensibles los resultados a los cambios relacionados con el cluye que la erradicacin del microorganismo tiene un
modo en que se hizo el anlisis? pequeo pero estadsticamente significativo efecto bene-
Se informa de la precisin de los resultados?
7. Discusin ficioso35; los autores plantean un modelo econmico que
Se mencionan las limitaciones de los estudios y del proceso de apunta finalmente a que este modesto beneficio es, proba-
revisin?
Se integran los resultados de la revisin en el contexto de otra blemente, coste-efectivo.
evidencia indirecta? Finalmente, un error comn que se comete cuando la evi-
8. Conclusiones de los revisores dencia disponible no es concluyente, tanto al describir re-
Se apoyan las conclusiones en el contenido de la revisin?
Se abordan explicaciones alternativas y verosmiles de los sultados como al sacar conclusiones, es confundir la fal-
efectos observados? ta de evidencia de efecto con la evidencia de que no
Hay interpretaciones adecuadas acerca de la evidencia que no es
concluyente (sin evidencia de efecto frente a evidencia de que hay ningn efecto. Dicho de otro modo, no es lo mismo
no hay efecto)? decir que un estudio no ha demostrado diferencias esta-
Se identifican las consideraciones que resultan importantes para dsticamente significativas entre 2 tratamientos que afir-
las personas que deben adoptar decisiones?
mar que realmente no existen diferencias y que ambos
tratamientos son equivalentes. Los autores y los lectores
Sexto paso: interpretacin de los resultados deben ser cuidadosos para no caer en esta trampa, que
afecta tpicamente a los estudios (y tambin a los metaa-
Existen algunos temas que deben ser objeto de discusin nlisis) que incluyen un reducido nmero de pacientes, lo
en una revisin sistemtica y que pueden ser de ayuda en que se traduce en una escasa potencia estadstica y, cuan-
la toma de decisiones, como la solidez de la evidencia, la do no se demuestran diferencias entre los 2 grupos de tra-
aplicabilidad de los resultados o el balance entre los bene- tamiento, una elevada probabilidad de cometer un error
ficios esperados y los posibles daos y costes de la inter- beta o de tipo II. Un ejemplo que destaca este problema
vencin de inters. Con respecto a la solidez de la eviden- de equivalencia es el siguiente: el tamao muestral ne-
cia, un buen punto de partida o de destino para la seccin cesario para demostrar que existen diferencias estadstica-
de discusin de una revisin es abordar cualquier limita- mente significativas entre un tratamiento A (con una tasa
cin metodolgica importante de los estudios incluidos y de xito teraputico del 80%) y un tratamiento B (con una
de los mtodos usados en la revisin que pueda afectar a diferencia clnicamente significativa de un 10%, esto es,
las decisiones prcticas a tomar. una eficacia menor del 70% o mayor del 90%) es de nada
En relacin con la aplicabilidad, una de las ventajas de una menos que 250 pacientes por grupo aproximadamente
revisin de conjunto es que, dado que incluye numerosos (500 en total) si aplicamos un contraste bilateral.
estudios, los resultados proceden de una variedad muy di- Una segunda equivocacin comn consiste en sacar con-
versa de pacientes8. Si los resultados son consistentes a tra- clusiones que van ms all de la evidencia que se analiza.
vs de los estudios, se aplicarn por tanto a esta amplia va- Por ejemplo, si un metaanlisis ha demostrado que un de-
riedad de pacientes. Incluso as, se puede seguir teniendo terminado tratamiento es ms eficaz que el placebo para
dudas sobre la aplicabilidad de los resultados. Por ejemplo, controlar la hemorragia digestiva por varices en los pa-
una revisin sobre la estrategia test-and-treat en la dispep- cientes con cirrosis heptica, esto no implica que dicho
sia, basada en el diagnstico y el consiguiente tratamiento tratamiento se siga necesariamente de una disminucin de
de la infeccin por H. pylori sin necesidad de practicar una la mortalidad, ya que es posible que sta dependa, como

146 Gastroenterol Hepatol 2004;27(3):129-49 46


129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 147

GISBERT JP, ET AL. CMO REALIZAR, EVALUAR Y UTILIZAR REVISIONES SISTEMTICAS Y METAANLISIS?

a) Los resultados de la revisin son vlidos?

Preguntas de eliminacin

CA
1 Se hizo la revisin sobre 3 Crees que estaban incluidos

CA
un tema claramente definido? los estudios importantes
S No s No y relevantes? S No s No
Pista: un tema debe ser definido Pista: busca:
en trminos de: Qu bases de datos

SP
bibliogrficas se han usado?

SP
La poblacin de estudio Seguimientos de la referencias?
La intervencin realizada Contacto personal con expertos?
Los resultados (anteriores) bsqueda de estudios no
considerados publicados?

e
Bsqueda de estudios en idiomas
2 Buscaron los autores el tipo distintos del ingls?

e
de artculos decuado? 4 Crees que los autores de la
S No s No revisin han hecho sificiente
Pista: el mejor tipo de estudio esfuerzo para valorar la calidad
es el que: de los estudios incluidos? S No s No
Pista: los autores necesitan considerar
Se dirige a la pregunta objeto el rigor de los estudios que han
de la revisin identificado. La falta de rigor
Tiene un diseo apropiado

CA
puede afectar al resultado de los
para la pregunta estudios (No es oro todo lo que
reluce El mercader de Venecia,
Acto II)

SP
5 Si los resultados de los diferentes
estudios han sido mezclados para
obtener un resultado combinado, S No s No
era razonable hacer eso?
Pista: considera si:

Los resultados de los estudios eran


similares entre s
Los resultados de todos
los estudios incluidos estn
claramente presentados
Estn discutidos los motivos de
cualquier variacin de los resultados
e
Fig. 6. Preguntas propuestas por el grupo CASP (Critical Appraisal Skills Programme) para la lectura crtica de una revisin sistemtica: a) los re-
sultados de la revisin son vlidos?8.

en realidad ocurre, de otros factores que no se ven modi- resultados que se presentan, su validez y su relevancia
ficados por el tratamiento en cuestin. Por ltimo, incluso para el trabajo propio. En Espaa existe un grupo CASP
afirmaciones generales del tipo se necesitan ms estu- (CASPe), en cuya pgina web (www.redcaspe.org) se
dios, tan empleadas en las ltimas lneas de muchos pueden encontrar herramientas muy tiles para estas acti-
manuscritos, deberan evitarse. En todo caso, los reviso- vidades. Siguiendo las guas para usuarios de la biblio-
res deben especificar exactamente qu investigacin se grafa mdica publicadas en la revista JAMA (en concre-
necesita y su justificacin precisa. to, el artculo escrito por Oxman et al8 sobre cmo
utilizar una revisin), existen 3 preguntas fundamentales
que deben plantearse cuando se hace la lectura crtica
EVALUACIN CRTICA DE UNA REVISIN de este tipo de artculos: a) son vlidos los resultados?
SISTEMTICA (fig. 6); b) cules son los resultados? (fig. 7), y c) son
aplicables en el medio particular en que nos encontra-
Al plantearse llevar a cabo una revisin sistemtica, o
mos? (fig. 8). Las 2 primeras preguntas son de elimina-
para revisar una ya realizada por otros autores, es til em-
cin y se pueden responder rpidamente, con lo que es
plear una lista de verificacin (checklist) como gua para
probable que desechemos la mayor parte de las revisiones
descubrir errores importantes, como la propuesta en la ta-
(entre otros motivos, porque la mayora de las publicadas
bla V. Otro formato alternativo para la evaluacin crtica
hasta una poca muy reciente son narrativas y no sistem-
de una revisin sistemtica por parte de los lectores es la
ticas); slo si la respuesta es afirmativa en ambas merece
propuesta por el grupo CASP (Critical Appraisal Skills
la pena continuar con la tercera pregunta.
Programme, o programa de habilidades en lectura crtica),
que, como su nombre indica, tiene como objetivo ayudar
a desarrollar habilidades para hacer una lectura crtica de
A MODO DE CONCLUSIONES
la evidencia cientfica. La lectura crtica sera el proceso
de evaluar e interpretar la evidencia aportada por la bi- En las pginas anteriores se han aportado los argumentos
bliografa cientfica, considerando sistemticamente los necesarios para poder considerar las revisiones sistemti-

47 Gastroenterol Hepatol 2004;27(3):129-49 147


129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 148

GISBERT JP, ET AL. CMO REALIZAR, EVALUAR Y UTILIZAR REVISIONES SISTEMTICAS Y METAANLISIS?

sin nimo de lucro, es que las revisiones sistemticas son


b) Cules son los resultados? elaboradas por las personas interesadas por un tema parti-
6 Cul es el resultado
cular. Es decir, no se llevan a cabo de manera centraliza-

CA
global de la revisin? da por parte de un instituto especializado (aunque existen
Pista: considera: diversos organismos que producen revisiones sistemticas
Si tienes claro los resultados de calidad), sino de una red de profesionales sanitarios (y
ltimos de la revisin
tambin de pacientes y ciudadanos) de todo el mundo in-

SP
Cules son? (numricamente,
si es apropiado) teresados en revisar crticamente la base cientfica que
Cmo estn expresados los
resultados? (NNT, odds ratio, sustenta las diferentes decisiones clnicas y sanitarias.
etc.)
Para ello, la Colaboracin Cochrane proporciona forma-
7 Cun precisos son los
resultados?
Pista: busca los intervalos de
confianza de los estimadores
e cin y apoyo metodolgico a todos aquellos que se mues-
tran interesados en participar activamente en esta labor.
El Centro Cochrane Iberoamericano es el que en Espaa e
Iberoamrica se responsabiliza de coordinar este apoyo y
facilitar la informacin necesaria2,36, y desde aqu anima-
mos a cualquiera que est interesado en colaborar con
esta organizacin a visitar su pgina web (http://www.co-
chrane.es).
Fig. 7. Preguntas propuestas por el grupo CASP (Critical Appraisal Adems, desde octubre de 2003 y gracias a una suscripcin
Skills Programme) para la lectura crtica de una revisin sistemtica: realizada por el Ministerio de Sanidad y Consumo, cualquier
b) cules son los resultados?8. NNT: nmero necesario a tratar. ciudadano puede consultar gratuitamente la revista electr-
nica Cochrane Library Plus, la cual contiene la versin en

CA
castellano de la Cochrane Library y otras publicaciones de
c) Son los resultados aplicables en tu medio?
inters (http://www.update-software.com/clibplus).
8 Se pueden aplicar los
resultados en tu medio?
Pista: considera si:

SP
Los pacientes cubiertos por la
revisin pueden ser
suficientemente diferentes
S No s No

BIBLIOGRAFA

e
de los de tu rea
Tu medio parece ser muy
diferente al del estudio 1. Gisbert JP. Fuentes y centros de gestin del conocimiento. En-
fermedad inflamatoria intestinal al da 2003;2:32-8.
2. Lpez Arrieta JM, Qizilbash N. La medicina basada en prue-

CA
9 Se han considerado todos bas: revisiones sistemticas. La Colaboracin Cochrane. Med
los resultados importantes Clin (Barc) 1996;107:581-5.
para tomar la decisin? S No s No 3. Senz A, Ausejo M. Gua para leer e interpretar una revisin
sistemtica. Rev Soc Mad Med Fam Comunit 2000;2:29-36.
4. Gabriel-Snchez R, Pladevall-Vila M. Evaluacin de la eviden-

SP
10 Los beneficios merecen la pena
cia en medicina: revisiones sistemticas y metaanlisis. Medici-
ne 1998;7:4845-51.
5. Cook DJ, Mulrow CD, Haynes RB. Systematic reviews: syn-
thesis of best evidence for clinical decisions. Ann Intern Med

e
frente a los perjuicios y costes? 1997;126:376-80.
S No 6. Siwek J, Gourlay ML, Slawson DC, Shaughnessy AF. How to
Aunque no est planteado write an evidence-based clinical review article. Am Fam Physi-
explicitamente en la revisin, cian 2002;65:251-8.
qu opinas? 7. Antman EM, Lau J, Kupelnick B, Mosteller F, Chalmers TC. A
comparison of results of meta-analyses of randomized control
trials and recommendations of clinical experts. Treatments for
myocardial infarction. JAMA 1992;268:240-8.
8. Oxman AD, Cook DJ, Guyatt GH. Users guides to the medical
Fig. 8. Preguntas propuestas por el grupo CASP (Critical Appraisal literature. VI. How to use an overview. Evidence-Based Medi-
Skills Programme) para la lectura crtica de una revisin sistemtica: cine Working Group. JAMA 1994;272:1367-71.
c) son los resultados aplicables en el medio particular en que nos en- 9. Ceballos C, Valdizan JR, Artal A, Almarcegui C, Allepuz C,
contramos?8. Garca Campayo J, et al. Por qu la medicina basada en la
evidencia? 20 aos de metaanlisis. An Med Interna 2000;17:
521-6.
10. Molinero LM. Interpretacin, utilidad y limitaciones del metaa-
cas como piezas fundamentales del complejo engranaje nlisis. Gastroenterol Hepatol Continuada 2002;1:311-8.
que constituye la produccin y divulgacin de los conoci- 11. Clarke M, Oxman AD, editors. Cochrane Reviewers Handbo-
mientos cientficos en medicina. Asimismo, se han deta- ok 4.2 [updated March 2003]. En: Review Manager (RevMan)
[computer program]. Versin 4.2. Oxford, England: The Coch-
llado las diversas etapas metodolgicas que conviene te- rane Collaboration, 2003. Disponible en: http://www.cochra-
ner en cuenta para desarrollar con solvencia y validez una ne.de/cochrane/hbook.htm
revisin sistemtica, segn los criterios de la Colabora- 12. Centro Cochrane Iberoamericano. Manual de revisores (versin
espaola de Cochrane Reviewers Handbook) [actualizacin de
cin Cochrane. Precisamente, uno de los rasgos distinti- junio 2000]. Barcelona: Centro Cochrane Iberoamericano, 2001.
vos de esta organizacin internacional, independiente y Disponible en: http://www.cochrane.es/Castellano/CC_Handbook

148 Gastroenterol Hepatol 2004;27(3):129-49 48


129-149 ART ESPECIAL 4016 19/2/04 12:08 Pgina 149

GISBERT JP, ET AL. CMO REALIZAR, EVALUAR Y UTILIZAR REVISIONES SISTEMTICAS Y METAANLISIS?

13. Counsell C. Formulating questions and locating primary studies 27. Gisbert JP, Calvet X, Gabriel R, Pajares JM. Infeccin por He-
for inclusion in systematic reviews. Ann Intern Med 1997; licobacter pylori y dispepsia funcional. Metaanlisis de la efi-
127:380-7. cacia del tratamiento erradicador. Med Clin (Barc) 2002;
14. Kunz R, Oxman AD. The unpredictability paradox: review of 118:405-9.
empirical comparisons of randomised and non-randomised cli- 28. Gisbert JP, Gonzlez L, Calvet X, Roque M, Gabriel R, Pajares
nical trials. BMJ 1998; 317:1185-90. JM. Proton pump inhibitors versus H2-antagonists: a meta-
15. Dickersin K, Scherer R, Lefebvre C. Identifying relevant stu- analysis of their efficacy in treating bleeding peptic ulcer. Ali-
dies for systematic reviews. BMJ 1994;309:1286-91. ment Pharmacol Ther 2001;15:917-26.
16. Delgado-Rodrguez M, Sillero-Arenas M. Sesgos en el metaa- 29. Gisbert JP, Khorrami S, Carballo F, Calvet X, Gen E, Domn-
nlisis. Med Clin (Barc) 1999;112(Supl 1):43-50. guez-Muoz E. Helicobacter pylori eradication therapy versus
17. Egger M, Zellweger-Zahner T, Schneider M, Junker C, Lenge- antisecretory non-eradication therapy (with or without long-
ler C, Antes G. Language bias in randomised controlled trials term maintenance antisecretory therapy) for the prevention of
published in English and German. Lancet 1997;350:326-9. recurrent bleeding from peptic ulcer (Cochrane Review). En:
18. Sutton AJ, Duval SJ, Tweedie RL, Abrams KR, Jones DR. Em- The Cochrane Library, Issue 4, 2003. Chichester: John Willey
pirical assessment of effect of publication bias on meta-analy- & Sons, Ltd.
ses. BMJ 2000;320:1574-7. 30. McQuay HJ, Moore RA. Using numerical results from systema-
19. McAuley L, Pham B, Tugwell P, Moher D. Does the inclusion tic reviews in clinical practice. Ann Intern Med 1997;126:
of grey literature influence estimates of intervention effective- 712-20.
ness reported in meta-analyses? Lancet 2000;356:1228-31. 31. Moher D, Cook DJ, Eastwood S, Olkin I, Rennie D, Stroup DF.
20. Huang JQ, Hunt RH. Uses and abuses of meta-analysis in gas- Improving the quality of reports of meta-analyses of randomi-
troenterology. Chin J Dig Dis 2002;3:39-42. sed controlled trials: the QUOROM statement. Quality of Re-
21. Chalmers TC, Celano P, Sacks HS, Smith H Jr. Bias in treat- porting of Meta-analyses. Lancet 1999;354:1896-900.
ment assignment in controlled clinical trials. N Engl J Med 1983; 32. Moher D, Cook DJ, Eastwood S, Olkin I, Rennie D, Stroup DF.
309:1358-61. Mejora de la calidad de los informes de los metaanlisis de en-
22. Moher D, Pham B, Jones A, Cook DJ, Jadad AR, Moher M, et al. sayos clnicos controlados: el acuerdo QUOROM. Rev Esp Sa-
Does quality of reports of randomised trials affect estimates of lud Pblica 2000;74:107-18.
intervention efficacy reported in meta-analyses? Lancet 1998; 33. Cappelleri JC, Ioannidis JP, Schmid CH, De Ferranti SD, Au-
352:609-13. bert M, Chalmers TC, et al. Large trials versus meta-analysis of
23. Juni P, Altman DG, Egger M. Systematic reviews in health care: smaller trials: how do their results compare? JAMA 1996;276:
assessing the quality of controlled clinical trials. BMJ 2001; 1332-8.
323:42-6. 34. LeLorier J, Gregoire G, Benhaddad A, Lapierre J, Derderian
24. Oxman AD. Checklists for review articles. BMJ 1994;309: F. Discrepancies between meta-analyses and subsequent large
648-51. randomized, controlled trials. N Engl J Med 1997;337:536-
25. Moher D, Jadad AR, Nichol G, Penman M, Tugwell P, Walsh 42.
S. Assessing the quality of randomized controlled trials: an an- 35. Moayyedi P, Soo S, Deeks J, Delaney B, Harris A, Innes M, et
notated bibliography of scales and checklists. Control Clin al. Eradication of Helicobacter pylori for non-ulcer dyspepsia
Trials 1995;16:62-73. (Cochrane Review). En: The Cochrane Library, Issue 1, 2003.
26. Jadad AR, Moore RA, Carroll D, Jenkinson C, Reynolds DJ, Oxford: Update Software.
Gavaghan DJ, et al. Assessing the quality of reports of rando- 36. Bonfill X, Etcheverry C, Mart J, Glutting JP, Urrutia G, Plade-
mized clinical trials: is blinding necessary? Control Clin Trials vall M. El desarrollo de la Colaboracin Cochrane espaola.
1996;17:1-12. Med Clin (Barc) 1999;112(Supl 1):17-20.

49 Gastroenterol Hepatol 2004;27(3):129-49 149

Das könnte Ihnen auch gefallen