ARTCULO ESPECIAL

Evaluacin crtica de ensayos clnicos

J.A. Sacristn, J. Sotoa e l. Galendeb
Departamento de Investigacin Clnica, Lilly S.A.
a
Unidad de Farmacologa Clnica. Hospital Santa Cruz. Liencres. Cantabria.
Centro Regional de Farmacovigilancia de Cantabria.
b
Subdireccin General de Evaluacin de Medicamentos. Direccin General de Farmacia
y Productos Sanitarios. Ministerio de Sanidad y Consumo.

ensayos clnicos, encuesta de opinin

A pesar de sus limitaciones, el ensayo clnico controlado (ECC)

contina siendo la mejor herramienta para evaluar la eficacia y seguridad de un nuevo tratamiento. Para que haya llegado a convertirse en el estndar de oro de la investigacin
clnica ha sido necesario el anlisis minucioso de los defectos y los sesgos existentes en los primeros diseos y la puesta en marcha de medidas encaminadas a evitarlos. De esa
forma se han ido desarrollando mtodos de evaluacin ms
objetivos, se ha generalizado el empleo de la aleatorizacin,
del enmascaramiento, y del correcto anlisis estadstico. Esos
son los pilares sobre los que descansa la calidad de un ensayo clnico (EC) y los que garantizan la fiabilidad de los resultados obtenidos1-5 .
Debido al creciente nmero de EC que se publican actualmente, puede ser de una gran utilidad contar con mtodos
que ayuden a evaluar de forma rpida y sistemtica su calidad, mediante el anlisis de los requisitos metodolgicos y
ticos necesarios para que se puedan aceptar sus conclusiones. Diversas revistas mdicas internacionales han analizado los defectos metodolgicos ms comunes, que aparecen
en los ensayos clnicos publicados6,7, y en los ltimos aos
han surgido distintos cuestionarios o check-lists8-14, e incluso
algunas revistas, como British Medical Journal han propuesto sus propios check-lists sobre los apartados que debe tener un ensayo clnico para que pueda ser aceptada su publicacin16.
Adems de su objetivo fundamental, valorar si los mtodos
utilizados y los resultados obtenidos en la investigacin son
adecuados para producir informacin til9, los check-lists
cumplen una importante labor formativa, aportando informacin, mtodos e hiptesis nuevas y fomentando el sentido
crtico con los estudios que ya se han realizado o que se
puedan realizar en un futuro1.
El objetivo de este trabajo ha sido elaborar unos check-lists
prcticos, que puedan ser utilizados de forma fcil y rpida
para evaluar ensayos clnicos publicados y protocolos de ensayos clnicos. La distinta perspectiva de los autores, que
trabajan en reas complementarias relacionadas con la investigacin clnica (administracin sanitaria, hospital e industria farmacutica), y la utilizacin de los trminos en espaCorrespondencia: Dr. J.A. Sacristn.
Departamento de Investigacin Clnica, Lilly S.A.
Avda. de la Industria, 30. 28100 Alcobendas. Madrid.
Manuscrito recibido el 25-6-1992

Med Clin (Barc) 1993; 100: 780-787

780

ol, son las dos principales ventajas que pueden aportar los
check-lists que se presentan; sin olvidar que la unidad de
criterios a la hora de leer crticamente los estudios publicados, de aceptar trabajos por los editores de revistas y de disear y evaluar los protocolos de los ensayos, puede contribuir al aumento de la calidad de la investigacin clnica, gracias a la generacin de informacin cada da ms vlida.
La utilidad fundamental del primero de los check-lists propuestos es la evaluacin de ensayos clnicos publicados. Su
uso ayuda a conocer cules son los puntos que se deben
analizar y las repercusiones que pueden tener las deficiencias encontradas en los mismos. El segundo check-list , muy
similar al anterior, sirve para evaluar la calidad en el diseo
de protocolos de ensayos clnicos. Puede servir de gua para
aquellos investigadores que quieran disear un estudio teniendo en cuenta los aspectos metodolgicos y ticos que se
deben considerar cuando se va a realizar una investigacin
en seres humanos. Tambin puede ser til para los Comits
ticos de Investigacin Clnica, responsables en gran medida, especialmente cuando se desarrolle la Ley del Medicamento17, de garantizar la proteccin de los sujetos que participan en el ensayo, mediante un riguroso estudio de los aspectos anteriormente sealados.
Tras realizar una revisin de algunos de los check-lists publicados8-15, se defini un modelo ideal, que tuviera unas determinadas caractersticas generales: extensin, mtodo de
evaluacin y formato, entre otros. Posteriormente, cada uno
de los autores elabor de forma independiente sendos cuestionarios, que despus fueron confrontados, confeccionando de forma consensuada los definitivos.
Para intentar evitar confusiones, siempre que fue posible se
definieron los trminos empleados, y se sealaron sus equivalentes en ingls, por el gran arraigo que stos tienen.
Contenido de los cuestionarios (check-lists)
En el anexo 1 se nuestra el check-list para la evaluacin de
ensayos clnicos publicados; y en el anexo 2 el correspondiente a la evaluacin de protocolos de EC.
En ambos casos el formato es similar: se indican unos apartados generales que se deben evaluar (enmascaramiento o,
mtodos estadsticos, etc.), y en cada uno de ellos se formulan las preguntas que deben considerarse para poder valorar
de forma correcta cada uno de estos apartados. Por ejemplo,
en el apartado Anlisis estadstico es preciso comprobar si
se ha calculado de forma correcta el tamao de la muestra, o

J.A. SACRISTN ET AL.- EVALUACIN CRTICA DE ENSAYOS CLNICOS

si se indican las pruebas estadsticas utilizadas. A estos

subapartados se les califica como adecuado (+), dudoso
(), inadecuado (-) o no aplicable (NA). Tras evaluar esos
puntos, y de acuerdo a los mismos, se debe realizar una valoracin global del apartado general, calificndolo como correcto (C), aceptable (A), dudoso (R), incorrecto (I) o no aplicable (NA), siempre teniendo en cuenta la particularidad de
cada ensayo (fase de desarrollo del frmaco, enfermedad en
estudio, o alternativas teraputicas). Aunque pueden utilizarse para cualquier tipo de ensayo clnico, estos cuestionarios estn enfocados de forma especial a la evaluacin de
ensayos clnicos en fases III y IV. En los ensayos clnicos en
fases I y II a veces no ser necesario incluir alguno de los
apartados (p.ej., clculo del tamao de la muestra o enmascaramiento) y quiz sea necesario tener en cuenta otro tipo
de consideraciones. Lo mismo ocurre con determinadas enfermedades, que pueden requerir diseos especficos y cuya
evaluacin mediante estos check-lists puede resultar complicada (p. ej., oncologa, sida, etc.).
A continuacin se definen los trminos empleados y se analizan los subapartados que consideran:
Check-list para evaluacin de ensayos clnicos publicados
(anexo 1)

Objetivo del estudio. Todo ensayo clnico debe estar justificado y orientado hacia un objetivo principal, correctamente definido y basado en una hiptesis previa plausible. Slo sabiendo qu es exactamente lo que se busca se puede interpretar de forma adecuada un resultado. En general, el diseo debe estar encaminado a contestar un sola pregunta. Los
estudios que pretenden dar respuestas a varias preguntas
suelen ser excesivamente complicados y responden habitualmente de forma parcial a todas ellas.
Criterios de seleccin de los sujetos. Deben especificarse los
criterios que deben cumplir los posibles sujetos participantes para su inclusin en el estudio: edad, sexo, origen del
paciente (hospitalizado, ambulatorio) y la definicin del/os
criterio/s diagnstico/s (subtipo, escala de gravedad, etc.), a
ser posible de acuerdo a criterios internacionalmente aceptados10. As mismo, se indicarn aquellos criterios que, de
presentarse, excluiran a los sujetos, tanto para comenzar el
estudio, como caso de aparecer a lo largo del mismo.
Los resultados slo podrn extrapolarse (representarn) a
aquella poblacin de pacientes que cumplan los criterios de
seleccin exigidos a la muestra que participa en el ensayo.
Por ello los estudios de tipo explicativo, con unos criterios
muy restrictivos, intentan dar respuesta a un aspecto muy
concreto de un pequeo grupo de pacientes, y los estudios
pragmticos, con criterios de seleccin ms amplios, darn
lugar a resultados que sern extrapolables a la gran mayora
de los pacientes.
Definicin del tratamiento experimental y control. Para ser
reproducible es preciso especificar la dosis, intervalo, duracin, etc.1O. Es necesario valorar si el tratamiento elegido como
control es adecuado para el propsito del estudio y si es aceptable desde el punto de vista tico el uso de placebo (en caso
de emplearse). Tambin debera sealarse si se permite o no
el uso de medicacin concomitante, si se valora su influencia o los casos en los que est previsto el uso de medicacin
de rescate; si se ha realizado un perodo de lavado (washout
period), entendiendo como tal el tiempo necesario para eliminar la influencia de un tratamiento previo (al inicio del ensayo o durante el mismo en diseos cruzados)18,19 .
Cada vez se est concediendo una mayor importancia a la
valoracin del cumplimiento teraputico10,20. Es imposible establecer conclusiones si los pacientes no toman correctamen-

te la medicacin. Es preciso conocer el grado de cumplimiento y sealar el mtodo empleado para ello: recuento de
la medicacin sobrante, medida de niveles plasmticos o urinarios, marcadores qumicos o mtodos microelectrnicos.
Adems, es necesario evaluar la repercusin del incumplimiento en funcin del tipo de tratamiento, por ejemplo es
distinto no tomar una dosis de un tratamiento antibitico,
que no tomar una dosis de un tratamiento hipolipemiante.

Comparabilidad de los grupos de tratamiento. Para evaluar

la respuesta a un determinado factor (tratamiento), es preciso que los grupos en estudio sean comparables en todas sus
caractersticas excepto en dicho factor. Para intentar conseguir este objetivo es necesario evitar los sesgos de seleccin,
tanto conscientes como inconscientes, y ello se consigue mediante la asignacin aleatoria de los sujetos a los grupos de
tratamiento10. La asignacin aleatoria o aleatorizacin es el
procedimiento sistemtico y reproducible por el que los sujetos participantes en un estudio clnico son distribuidos al azar
en los distintos grupos de tratamiento, de tal forma que todos
ellos tienen la misma probabilidad de recibir cualquiera de
los posibles tratamientos19. Es un mtodo imprescindible para
reducir los sesgos de seleccin de los pacientes9,21-24.
En el caso de factores pronsticos conocidos puede recurrirse
a la estratificacin, que consiste en la asignacin de los pacientes a unos grupos determinados segn estos factores pronsticos o caractersticas especiales que pueden influir en
los resultados del estudio19,24 . Una vez estratificados (normalmente segn dos o tres variables), los pacientes se
aleatorizan a uno u otro grupo de tratamiento. Esta tcnica
es ms importante cuando el tamao de la muestra es inferior a 50 pacientes19,25 .
En los EC publicados debe comprobarse si los grupos eran
comparables al inicio10, tambin mediante estratificacin o
emparejamiento de los factores de confusin y/o pronsticos
ms importantes: estadio de la enfermedad, enfermedades
asociadas, entre otros. Es conveniente presentar esos datos
de forma tabulada en el apartado de resultados.
La aleatorizacin debe ser ciega10, esto es, que el investigador desconozca a qu grupo de tratamiento corresponder
el siguiente paciente. Debera especificarse el mtodo empleado para mantener el ciego (p.ej., sobres cerrados)19. En
determinados ensayos ser necesario realizar un perodo de
preinclusin (run-in period), que es el tiempo previo a la
aleatorizacin necesario para estabilizar la situacin clnica
de los pacientes o valorar el cumplimiento.
Medicin objetiva de los resultados. Aunque la asignacin
aleatoria disminuye el sesgo de seleccin de los pacientes,
los resultados del estudio pueden verse distorsionados cuando
el paciente o el investigador conocen el tratamiento asignado. Estos sesgos de valoracin pueden reducirse mediante el
enmascaramiento de las sustancias empleadas en el estudio19.
Aunque no debera emplearse, se utiliza el trmino ensayo
abierto o no ciego para los ensayos clnicos en los que tanto
el sujeto como el investigador conocen el grupo de tratamiento
al que aqul ha sido asignado; simple ciego cuando el sujeto
(o a veces el investigador) desconoce el grupo de tratamiento al que pertenece, y doble ciego cuando tanto el paciente
como el investigador desconocen la asignacin a los grupos
de tratamiento18,19. Adems, cuando se recurre a una tercera
persona que desconoce el tratamiento que est recibiendo el
sujeto, para evaluar la respuesta, se denomina evaluacin
ciega por terceros. El doble enmascaramiento (double
dummy) es un tipo de doble ciego en el que, por resultar
imposible lograr que la medicacin de los grupos sea idntica, junto al tratamiento experimental, se administra placebo
del tratamiento control y viceversa. Es muy importante que

781

MEDICINA CLNICA VOL. 100. NUM. 20. 1993

CHECK LIST PARA EV

ALUAR ENSA
YOS CLINICOS PUBLICADOS
EVALUAR
ENSAYOS
C A D I NA
1. Definicin del objetivo del estudio: ............................................................................................................

NA

.........

- Existe un objetivo fundamental? .....................................................................................................................................................

- Se define una hiptesis "a priori"? ..................................................................................................................................................

C A D I NA

2. Criterios de seleccin de los pacientes: .......................................................................................................

NA

.........

- Se especifican adecuadamente los criterios de inclusin? (edad, sexo, criterios diagnsticos, etc) ........................................
- Se especifican adecuadamente los criterios de exclusin? ..........................................................................................................

C A D I NA

3. Definicin del tratamiento experimental y control: .......................................................................................

NA

.........

- Es reproducible? (dosis, intervalo, duracin, va de administracin, etc.) .................................................................................

- Es el control adecuado? ..................................................................................................................................................................
- Se especifica el tratamiento concomitante? ..................................................................................................................................
- Sera necesario un periodod de lavado? .......................................................................................................................................
- Se mide el cumplimiento y se especifica el mtodo? ............................................................................................................

C A D I NA

4. Comparabilidad de los grupos de tratamiento (Asignacin aleatoria): .........................................................

NA

.........

NA

.........

NA

.........

- Se realiza asignacin aleatoria de los sujetos (randomizacin)? .............................................................................................

- Se especifica el mtodo de randomizacin? ...............................................................................................................................
- Es la randomizacin ciega? ..........................................................................................................................................................
- Son los grupos comparables al inicio? .......................................................................................................................................
- Se necesitara un periodo de preinclusin? ......................................................................................................................

C A D I NA

5. Medicin objetiva de los resultados (Enmascaramiento): ............................................................................

- Es adecuado el mtodo de enmascaramiento? ........................................................................................................................
- Estudio no enmascarado? ...........................................................................................................................................................
- Simple ciego? ...............................................................................................................................................................................
- Doble ciego o doble dummy? .....................................................................................................................................................
- Se ha valorado la eficacia del enmascaramiento? ............................................................................................................

C A D I NA

6. V
ariable principal de valoracin (end point): .............................................................................................
Variable

- Es objetiva? ...............................................................................................................................................................................
- Es relevante desde el punto de vista clnico? ....................................................................................................................

C A D I NA

7. Criterios de evaluacin de la respuesta: .....................................................................................................

NA

.........

NA

.........

- Es/son objetivo/s? ......................................................................................................................................................................

- Es/son sensible/s y especfico/s? ................................................................................................................................................
- Es/son un/os mtodo/s validado/s? ............................................................................................................................................
- Se especifican los criterios de fracaso? ......................................................................................................................................
- Es suficiente el periodo de seguimiento postratamiento? ..................................................................................................

C A D I NA

8. Prdidas: .................................................................................................................................................
- Se especifican las prdidas prerrandomizacin? ...................................................................................................................
- Se especifican las prdidas postrandomizacin? ......................................................................................................................
- Abandonos (drop out)? ..............................................................................................................................................................
- Retiradas (withdrawal)? ...............................................................................................................................................................
- Pueden reemplazarse? ....................................................................................................................................................
9. Diseo estadstico: ..................................................................................................................................

C A D I NA
+

NA

.........

- Se realiza un clculo "a priori" del nmero de pacientes? ....................................................................................................

- Se tiene en cuenta el error alfa? .............................................................................................................................................
- Se tiene en cuenta el poder estadstico? ..............................................................................................................................
- Se tienen en cuenta las diferencias clnicamente relevantes? .............................................................................................
- Se tienen en cuenta los abandonos? .....................................................................................................................................
- Se especifican y son adecuados los test estadsticos empleados? .................................................................................
10. Anlisis de los resultados: . ..................................................................................................................

C A D I NA
+

NA

.........

NA

.........

- Se realiza anlisis por intencin de tratar? .............................................................................................................................

- Se realiza anlisis por tratamiento? .........................................................................................................................................
- Se realiza anlisis de subgrupos sobre hiptesis "a priori"? ................................................................................................
- Se valora la repercusin de las prdidas? .....................................................................................................................
11. Conclusiones: . ......................................................................................................................................

C A D I NA

- Son justificadas (validez interna)? ...........................................................................................................................................

- Puede generalizarse (validez externa)? ...................................................................................................................................
- Son justificadas las conclusiones por subgrupos? ..........................................................................................................

C A D I NA

12. Es adecuado el mtodo de recogida e imputabilidad de acontecimientos adversos? .......................................................

13. Se especifica si el ensayo se realiz segn BPC? ...........................................................................................................
14. Se aprob el protocolo por un Comit tico de investigacin clnica? .............................................................................
15. Se solicit consentimiento informado a los sujetos participantes en el EC? .....................................................................

+ = ADECUADO 6 = DUDOSO - = INADECUADO NA = NO APLICABLE

782

C = CORRECTO A = ACEPTABLE D = DUDOSO I = INCORRECTO NA = NO APLICABLE

J.A. SACRISTN ET AL. - EVALUACIN CRTICA DE ENSAYOS CLNICOS

CHECK LIST P
ARA EV
ALUAR PROTOCOLOS DE ENSA
YOS CLNICOS
PARA
EVALUAR
ENSAYOS
C A D I NA

1. Est justificada la realizacin del ensayo? (en funcin de la fase de desarrollo del frmaco):...............................................................
hhhhh

2. Definicin del objetivo del estudio:......................................................................................................................................................

hhhhh
+ 6 - NA
- Existe un objetivo fundamental?.................................................................................................................................................................. hhhh
- Se define une hiptesis a priori?............................................................................................................................................................... hhhh
C A D I NA
3. Criterios de seleccin de los pacientes:.................................................................................................................................................hhhhh
+ 6 - NA
- Se especifican adecuadamente los criterios de inclusin? (edad, seno, criterios diagnsticos, etc).................................................... hhhh
- Se especifican adecuadamente los citerios de esclusin?........................................................................................................................ hhhh
C A D I NA
4. Definicin del tratamiento experimental y control:................................................................................................................................ hhhhh
+ 6 - NA
- Es reproducible? (dosis, intervalo, duracin, vis de administracin, etc)................................................................................................. hhhh
-Es el control adecuado?................................................................................................................................................................................ hhhh
- Se especifica el tratamiento concomitante?...............................................................................................................................................

hhhh

- Sera necesario un periodo de lavado?....................................................................................................................................................... hhhh

- Se mide el cumplimiento y se especifica el mtodo?................................................................................................................................. hhhh

C A D I NA

5. Aleatorizacin: ............................................................................................................................................................................................................................................... hhhhh

+ 6 - NA
- Se asigna de forma aleatorias los sujetos del EC (randomizacin)............................................................................................................ hhhh
- Se especifica el mtodo de randomizacin?............................................................................................................................................... hhhh
- Es la randomizucin ciega?.......................................................................................................................................................................... hhhh
-Seria necesario estratificar?........................................................................................................................................................................... hhhh
- Se necesitara un perodo de preinclusin?............................................................................................................................................... hhhh

C A D I NA

6. Medicin objetiva de los resultados (Enmascaramiento)

(Enmascaramiento)............................................................................................................................................................... hhhhh
+ 6 - NA
- Es el mtodo de enmascaramiento adecuado?.......................................................................................................................................... hhhh
- Estudio no enmascarado?............................................................................................................................................................................ hhhh
- Simple ciego?................................................................................................................................................................................................. hhhh
- Doble ciego o doble dummy?....................................................................................................................................................................... hhhh

- Se prev la valoracin de la eficacia del enmascaramiento?.................................................................................................................... hhhh

C A D I NA
7. V
ariable principal de valoracin (end point):
Variable
):.....................................................................................................................................................................................hhhhh
+ 6 - NA
- Es objetiva?.................................................................................................................................................................................................... hhhh
- Es relevante desde el punto de vista clnico?............................................................................................................................................. hhhh

C A D I NA

8. Criterios de evaluacin de la respuesta:

respuesta:................................................................................................................................................................................................
hhhhh
+ 6 - NA
- Es/son objetivo/s?........................................................................................................................................................................................... hhhh
- Es/son sensible/s y especfico/s?.................................................................................................................................................................. hhhh
- Es/son un/os mtodo/s validado/s?.............................................................................................................................................................. hhhh
- Se especifican los criterios de fracaso?........................................................................................................................................................ hhhh
- Es suficiente el perodo de seguimiento postratamiento?........................................................................................................................... hhhh

C A D I NA

9. Prdidas: .......................................................................................................................................................................................................................................................... hhhhh

+ 6 - NA
- Se especifican las prdidas prerrandomizacin?....................................................................................................................................... hhhh
- Se especifican las prdidas postrandomizacin?....................................................................................................................................... hhhh
- Abandonos (drop out)?.................................................................................................................................................................................. hhhh
- Retiradas (withdrawal)?................................................................................................................................................................................. hhhh
- Pueden reemplazarse?................................................................................................................................................................................. hhhh

C A D I NA

10. Diseo estadstico:

estadstico:...................................................................................................................................................................................................................................... hhhhh
- Se calcula a priori el nmero de pacientes?...........................................................................................................................................

+ 6 - NA
- Se tiene en cuenta el error alfa?................................................................................................................................................................... hhhh
- Se tiene en cuenta el poder estadstico?..................................................................................................................................................... hhhh
- Se tienen en cuenta las diferencias clnicamente relevantes?.................................................................................................................. hhhh
- Se tienen en cuenta los abandonos?........................................................................................................................................................... hhhh
- Se especifican los test estadsticos y son adecuados en funcin de la variables a analizar?.................................................................. hhhh

C A D I NA

11. Acontecimientos
Acontecimientos adversos
adversos(AA)..............................................................................................................................................................................................................
(AA)
hhhhh
+ 6 - NA
- Existe una hoja de recogida de AA?............................................................................................................................................................. hhhh
- Se especifica el mtodo de notificacin de AA?......................................................................................................................................... hhhh
- Se especifica el mtodo de imputabilidad?................................................................................................................................................ hhhh

C A D I NA

12. Se especifica si el ensayo se har segn BPC?

BPC?.............................................................................................................................................................................. hhhhh
13. Se ha solicitado la aprobacin del protocolo por un Comit tico de investigacin clnica?................................................................ hhhhh
14. Se solicita el consentimiento informado a los sujetos participantes en el EC?..................................................................................... hhhhh
15. Medios materiales y humanos para realizar el ensayo:
ensayo:................................................................................................................................................................. hhhhh
+ 6 - NA
- Es suficiente el nmero de pacientes disponibles?................................................................................................................................... hhhh
- Son suficientes los recursos materiales?..................................................................................................................................................... hhhh
- Existe un responsable directo de la supervisin del ensayo?.................................................................................................................... hhhh

+ = ADECUADO 6 = DUDOSO - = INADECUADO NA = NO APLICABLE

C = CORRECTO A = ACEPTABLE D = DUDOSO I = INCORRECTO NA = NO APLICABLE

783

MEDICINA CLNICA VOL. 100. NUM. 20. 1993

se describan correctamente todas estas medidas en la seccin material y mtodos del estudio.
La otra pregunta que se debe realizar es si el enmascaramiento ha sido eficaz. A pesar de que el diseo del estudio
sea doble ciego, es posible que a lo largo del estudio pueda
descubrirse a qu grupo de tratamiento pertenece, bien por
presentar efectos adversos predicibles, por aparicin, de alteraciones de los parmetros de laboratorio, interacciones
farmacocinticas, coloracin de la orina.
A veces es imposible realizar un enmascaramiento perfecto
de los tratamientos. En tales casos habr que considerar la
repercusin que puede tener sobre los resultados obtenidos.
Tratar de conseguir un enmascaramiento perfecto nunca debe
suponer un aumento del riesgo para los sujetos.

Variable principal de valoracin (end point). En todos los ensayos clnicos debe existir una variable que sea considerada
como la ms importante para la evaluacin final de los resultados. Es deseable que sea lo ms objetiva posible y que
tenga relevancia desde el punto de vista clnico 19. No es raro
ver ensayos clnicos donde se demuestra una diferencia significativa de una serie de parmetros secundarios, sin ningn inters en la prctica clnica. Esto debe hacer sospechar
un anlisis a posteriori de dichos parmetros, tras no encontrar diferencia significativa en la variable principal de valoracin entre el tratamiento experimental y el control.
Criterios de evaluacin de la respuesta. El criterio de medida
debe ser objetivo, lo que es especialmente importante en el
caso de estudios multicntricos, donde los distintos puntos
de vista de los investigadores podran introducir importantes
sesgos (principalmente de valoracin), llegando a invalidar
los resultados 26.
Es necesario elegir mtodos validados, sensibles y especficos 9, requisitos indispensables para que podamos detectar
las posibles diferencias existentes, y asegurar que esos resultados son fiables. En el caso de determinaciones de laboratorio, es necesario indicar que se realizan controles (internos y externos) de calidad en los aparatos, as como los coeficientes de variacin detectados.
Los criterios de fracaso deben estar siempre especificados, y
el seguimiento postratamiento tiene que ser suficientemente
largo, en funcin de la patologa y las caractersticas especficas del tratamiento en estudio.
Prdidas. Las prdidas prealeatorizacin se refieren a los pacientes elegibles que, por voluntad propia o del investigador,
no participan en el ensayo. Deben conocerse las caractersticas de estos pacientes, puesto que si difieren de las de los
sujetos incluidos, no ser posible generalizar los resultados
(la muestra slo ser representativa si se aleatorizan todos o
la mayora de los pacientes considerados susceptibles de
eleccion)19,27.
Tambin hay que indicar las prdidas despus de la
aleatorizacin10,19,27: abandonos (drop out ) o pacientes que
no quieren o no pueden continuar en el estudio y de los que
no se puede realizar seguimiento, y las retiradas (withdrawal)
o pacientes que deben abandonar por aparicin de reacciones adversas o de criterios de exclusin secundarios, pero
de los que se puede realizar un seguimiento. Ninguno de
estos pacientes debera ser sustituido, ya que el nuevo paciente no tendra la misma oportunidad de ser incluido en los
grupos del estudio. Para evitar que la prdida de sujetos disminuya el nmero global de los mismos y, por tanto, el poder
estadstico del estudio, habra que preverlas de antemano e
incluirlas al realizar el clculo del tamao de la muestra.
Diseo estadstico . El diseo estadstico incorrecto es uno de
los problemas ms comunes en los ensayos clnicos publica-

784

dos24,28 , y hay algunos check-lists que slo analizan este aspecto12,29. Es esencial realizar un clculo a priori del nmero
de pacientes necesarios para detectar una determinada diferencia, basndose en el error alfa (normalmente de un 5
%), en el poder estadstico (o en el error beta) y en lo que se
considerar diferencia clnicamente relevante24,30,31. Esta es
la nica forma de saber si la posible falta de diferencia detectada se debe a un tamao insuficiente de la muestra (equivalencia no es lo mismo que falta de diferencia) o a una falta
de diferencia real, evitando de esta forma el gran problema
de los falsos negativos. Por ello es importante, en el caso
de resultados negativos, hacer mencin, en la discusin, de
la influencia del error beta y el poder estadstico en los resultados obtenidos10,29.
No resulta raro ver como se suelen elegir de manera arbitraria 20 o 30 pacientes, de forma que resulta imposible extraer
cualquier tipo de conclusin (a no ser que haya grandes diferencias entre los tratamientos que se comparan). No hay
que olvidar que con una muestra pequea resulta difcil detectar diferencias reales, mientras que con una muestra suficientemente grande se puede detectar casi cualquier diferencia, por mnima que sea.
Las pruebas estadsticas que sern utilizadas en la seccin
Resultados deberan estar previamente indicadas en el
apartado de Material y mtodos, y tienen que ser las ms
adecuadas para el tipo de variables que se pretende analizar29.
Durante los ltimos aos han aparecido numerosas publicaciones28-31,34 insistiendo en que resulta preferible expresar los
resultados en forma de intervalos de confianza que como
valor de p (no es lo mismo una p de 0,06 que una p de 0,4 y,
sin embargo, en los 2 casos se habla de diferencias no significativas), ya que dichos intervalos permiten obtener una idea
ms real de la magnitud de las diferencias observadas. A
pesar de ello resulta muy difcil encontrar artculos en los
que se siga este consejo. No obstante, la utilizacin de intervalos de confianza no debe eximir de realizar el clculo del
tamao de la muestra35.
Es inaceptable expresar los resultados como tantos por ciento, extrayendo conclusiones de su comparacin directa, sin
realizar ningn tipo de anlisis estadstico.

Anlisis de los resultados. Deberan analizarse los pacientes

asignados inicialmente a cada grupo de tratamiento, independientemente de que hayan completado o no el perodo
de tratamiento y/o seguimiento. Esto es lo que se conoce
como anlisis por intencin de tratar (intention to treat)1,18,19 ,
y tiene una especial importancia en determinados tipos de
ensayos, como por ejemplo los de antibiticos, ya que es la
nica forma de demostrar su eficacia real cuando sean utilizados en la prctica clnica diaria, donde muchas veces no
es fcil la realizacin de cultivos y antibiogramas que permitan excluir a un paciente en el que aparecen resistencias.
El otro tipo de anlisis, en el que slo se incluyen los pacientes evaluables (p. ej., pacientes en los que el germen aislado
es sensible al antibitico a estudio, que han recibido un nmero mnimo de dosis del tratamiento, etc.) se conoce como
anlisis por tratamiento1,18. Este puede ser realizado tras el
anterior, aunque en determinados tipos de estudios es el ms
idneo.
En el anlisis de los resultados hay que considerar el nmero
de pacientes que completaron el tratamiento y el motivo y
posible repercusin de las prdidas en cada grupo9,1O. Resulta muy frecuente que se realicen anlisis por subgrupos,
de forma exploratoria y sin una hiptesis a priori28. Evidentemente, cruzando todas las variables es probable encontrar algn resultado significativo. Este tipo de comparaciones
mltiples puede resultar til para establecer nuevas hiptesis y plantear ensayos adicionales encaminados a resolver

J.A. SACRISTN ET AL.- EVALUACIN CRTICA DE ENSAYOS CLNICOS

una nueva pregunta, pero nunca para extraer conclusiones

de los mismos.

Conclusiones. Las conclusiones deben estar basadas en los

resultados obtenidos. Se entiende por validez interna la validez de los resultados para los pacientes del estudio 36. As
mismo, hay que preguntarse si es posible generalizar los resultados a toda la poblacin de pacientes, teniendo en cuenta los criterios de seleccin establecidos (validez externa). Es
totalmente inaceptable establecer conclusiones derivadas de
anlisis realizados a subgrupos de manera expioratoria o a
priori.
Mtodo de recogida de acontecimientos adversos (AA). Segn las recomendaciones sobre Buena Prctica Clnica de la
Comunidad Europea y la Ley del Medicamento, se define
como acontecimiento o evento adverso cualquier experiencia no deseada que le ocurra a un sujeto durante un ensayo
clnico, se considere o no, relacionada con los productos en
investigacin 11,37 . Es preciso indicar los AA surgidos a lo
largo del EC.
Especificacin si el ensayo se relizar segn Buena Prctica
Clnica (BPC). La BPC son normas segn las cuales los ensayos clnicos son diseados, realizados y comunicados de
modo que se asegure que los datos son fiables y que se protegen los derechos, la integridad y la confidencialidad de los
sujetos 36. En ellas se indican tambin las responsabilidades de los diferentes implicados en cada una de las fases de
planificacin y ejecucin de un EC y obligan a la existencia
de unos procedimientos preestablecidos (Procedimientos Normalizados de Trabajo) por escrito que se apliquen de forma
sistemtica durante todo el desarrollo del EC. En Espaa,
adems, tenemos que tener en cuenta que la obligacin de
cumplir las normas de BPC viene explcita en la Ley del Medicamento.

de ensayo clnico.
Justificacin del ensayo en funcin de la fase de desarrollo
del frmaco. Aunque este punto siempre debe ser considerado, es necesario que en todo protocolo de ensayo clnico
se especifiquen las razones para llevarlo a cabo, y si los resultados que se prev obtener justifican su realizacin.

Acontecimientos adversos. Deberan especificarse de forma

clara los mtodos de recogida, registro y notificacin de acontecimientos adversos, valorndose de forma especial la existencia de una hoja de recogida de AA adecuada.
Debera indicarse el mtodo de deteccin empleado, considerndose preferible la utilizacin conjunta de un check-list
o cuestionario, la comunicacin espontnea y la pregunta
estndar27; los criterios de imputabilidad y el modo de notificacin de los AA graves e inesperados a los CEIC y a las
Autoridades Sanitarias.
Medios materiales y humanos con los que cuenta el centro.
Cuando se evala un protocolo de ensayo clnico, aparte de
todos los aspectos hasta ahora revisados, es necesario considerar algunos aspectos prcticos. Una de las misiones
fundamentales de los Comits ticos de Investigacin Clnica es asegurarse si se ha realizado el clculo del nmero de
pacientes disponibles para poder reclutar el nmero calculado en el tiempo previsto. No realizar este clculo es uno de
los motivos fundamentales de que bastantes ensayos clnicos no lleguen a concluir, con las graves repercusiones ticas, cientficas y econmicas que ello conlleva.
Tambin se asegurar que haya un responsable que supervise directamente el desarrollo del mismo y de que el centro
cuenta con la infraestructura necesaria (p.ej., respecto a los
aparatos) para poder realizar todo lo indicado en el protocolo.
Discusin

Aprobacin por el Comit tico de Investigacin Clnica (CEIC).

Cada da son ms las revistas que exigen para la publicacin
de un EC, la certificacin de que tal EC ha sido aprobado por
un CEIC (aunque ello no garantice de forma absoluta la tica
del EC). En Espaa, el Real Decreto que desarrolla la Ley del
Medicamento38 recoge la obligatoriedad de que se haga as
y, adems, detalla las funciones de los CEIC, que se podran
resumir en garantizar la proteccin de los sujetos participantes en el estudio.
Consentimiento informado del paciente. Se define el consentimiento informado como el proceso que garantiza que el sujeto ha expresado voluntariamente su intencin de participar
en el ensayo clnico, despus de haber comprendido la informacin que se le ha dado acerca de los objetivos, beneficios,
incomodidades y riesgos previstos, derechos y responsabilidades. Es imprescindible que el sujeto otorgue libremente
su consentimiento informado antes de poder ser incluido en
un ensayo clnico y as debe constar en todo ensayo publicado.
Check-list para evaluar la calidad de protocolos de ensayos
clnicos (anexo 2)
En general, la mayora de los apartados de este cuestionario
se corresponden a los del anterior, sin embargo, por tratarse
de protocolos de ensayo clnico no se hace referencia a alguno de ellos y es necesario hacer algunas consideraciones
especiales. En el Real Decreto en el que se establecern los
requisitos para la realizacin de ensayos clnicos, se especifican los apartados bsicos que debe incluir todo protocolo

Durante los ltimos aos han sido publicados distintos tipos

de cuestionarios o check-lists para evaluar los EC publicados8-15. Aunque los objetivos generales de todos ellos son los
mismos, la extensin, formato y mtodo de evaluacin vara
considerablemente de unos a otros. Existen dos tipos fundamentales de check-lists: los cuantitativos y los cualitativos1.
En los primeros, a travs de escalas numricas, se asigna
una puntuacin a cada uno de los apartados, dependiendo
de su importancia10,11, de forma que al final se da una puntuacin global. En los segundos, por el contrario, la valoracin no est basada en ese tipo de escalas y tiene una mayor
importancia la evaluacin de cada uno de los puntos8,12,13 .
Ambos mtodos tienen ventajas e inconvenientes. Los cuestionarios cuantitativos tienen las ventajas de una (tericamente) mayor objetividad y de permitir una evaluacin global del
ensayo (p. ej., se han utilizado, para comprobar el aumento
de la calidad de los ensayos clnicos a lo largo del tiempo39);
sin embargo, presentan serios problemas conceptuales: se
puede ser rgido con una escala de medida flexible? Establecer una determinada puntuacin no deja de ser una forma
de objetivar algo que a menudo es necesariamente subjetivo: puede darse el mismo valor a varios apartados menores que un solo punto mayor? Sera demasiado simplista
clasificar los ensayos en correctos e incorrectos basndose
en una puntuacin general. Realmente la calidad de casi todos los estudios es intermedia: aportan informacin valiosa,
pero pueden ser mejorados en determinados aspectos9. Por
fin, lo que consideramos su mayor inconveniente, un mismo
apartado puede tener diferente valor dependiendo del tipo
de estudio (p.ej., cuanto ms subjetiva sea la variable princi-

785

MEDICINA CLNICA VOL. 100. NUM. 20. 1993

pal de valoracin mayor valor tendr el enmascaramiento).

Por otro lado, los cuestionarios cualitativos permiten un anlisis ms matizado de cada uno de los apartados del ensayo,
dando una idea ms clara de cules son los aspectos problemticos. Su inconveniente es que con frecuencia constan de
pocos apartados y son demasiado generales, llegando a perder su carcter de herramienta. Exagerando, si se propone un check-list con dos apartados como son: diseo adecuado y aspectos ticos correctos, se englobar todo lo que
debe evaluarse, pero su utilidad prctica ser escasa.
No se pretende que los cuestionarios que aqu se presentan
sean utilizados como unos instrumentos rgidos de medida
(todo check-list es subjetivo y, por tanto, criticable), sino que
sirvan de gua para repasar de forma sistemtica los principales puntos que deben ser considerados cuando, a la vista
de un determinado ensayo clnico, se quiera analizar la forma en que ha sido realizado, y as formarnos una idea de la
solidez de sus conclusiones. Por todo ello, se ha elegido un
tipo de cuestionario cualitativo, no excesivamente extenso,
pero que analice de forma ordenada los aspectos que se
consideran esenciales. Ambos cuestionarios constan de 15
apartados generales que deben ser evaluados individualmente
utilizando las preguntas que aparecen en cada uno de los
mismos.
Aunque no se han incluido en los check-lists, porque en estos momentos prcticamente ningn ensayo clnico los contempla, todo parece apuntar que durante los prximos aos
ser necesario tener en cuenta dos aspectos adicionales: 1)
un apartado sobre las limitaciones del ensayo clnico, tales
como posibles sesgos, validez de los resultados, etc, y grado
en que las mismas pueden influir en las conclusiones. En
determinadas revistas cientficas ya se exige dicho apartado,
y 2) el impacto econmico de los nuevos frmacos. As, se
ha desarrollado una nueva disciplina, la farmacoeconoma,
definida como la descripcin y el anlisis de los costes del
tratamiento farmacolgico a los sistemas de salud y a la sociedad. Aunque se realicen estudios especficamente diseados para evaluar el coste-beneficio, coste-efectividad, etc.,
es muy probable que la evaluacin econmica sea tambin
un objetivo secundario de ensayos clnicos diseados primeramente para evaluar eficacia y seguridad40. Este tipo de anlisis econmico, para mantener su credibilidad, debe tener
el mismo rigor metodolgico que cualquier ensayo clnico ya
que, por naturaleza, es especialmente vulnerable a los sesgos.
En este sentido, algunos pases, como Australia, han propuesto directrices especiales para el desarrollo de estos estudios41.
Un problema ya apuntado por algunos autores es que en
muchas ocasiones lo publicado es menos de lo realizado10.
Desgraciadamente, por motivos de espacio es necesario acortar alguna de las secciones ms importantes (habitualmente
la de Material y mtodos). Tampoco suele incluirse un apartado esencial para valorar a fondo la calidad del ensayo: el
cuaderno de recogida de datos (CRD). Aunque es fcil de
comprender, no deja de ser sorprendente que a menudo se
d tan poca importancia a uno de los aspectos ms cruciales
de la investigacin: la reproducibilidad. En este punto la investigacin bsica saca una importante ventaja a la clnica, y
es quizs el motivo de que, en general, la fiabilidad de sus
resultados sea superior. Para lograr ese objetivo se debera
escribir el apartado de Material y mtodos de una manera
ms detallada, y esa es una de las tareas en la que todos
debemos colaborar. La unificacin de criterios que puede
obtenerse utilizando cuestionarios como los que aqu se
presentan puede ser una forma de contribuir a mejorar la
interpretacin de los datos de los ensayos clnicos, y en ltima instancia a lograr una mejor utilizacin de los medicamentos.

786

REFERENCIAS BIBLIOGRFICAS
1.
Spilker B. Guide to clinical trials. Nueva York: Raven Press, 1991.
2.
Klimt CR. The conduct and principles of randomized clinical trials.
Controlled Clin Trials 1981; 1: 283-293.
3.
Higgins MW. Conducting clinical trials. Am Rev Resp Dis 1980; 122: 39.
4.
Green SB. Randomized clinical trials: design and analysis. Semin Oncol
1981; 8: 417-423.
5.
Spilker B. Practical considerations in planning and conducting clinical
trials with investigational or marketed drugs. Clin Neuropharmacol 1983; 6:
325-347.
6.
Der Simonian R, Charette LJ, Mc Peek B, Mosteller F. Reporting on
methods in clinical trials. N Engl J Med 1982; 306: 1.332-1.337.
7.
Gardner MJ, Bond J. An exploratory study of statistical assessment of
paper published in the British Medical Journal. Br Med J 1990; 263: 1.3551.357.
8.
Grant A. Repoding controlled trials. Br J Obstet Gynaecol 1989; 96:
397-400.
9.
Fowkes FGR, Fulton PM. Critical appraisal of published research:
introductory guidelines. Br Med J 1991; 302: 1.136-1.140.
10. Chalmers TC, Smith H Jr, Balckburn B, Silverman B, et al. A method
for assessing the quality of a randomized control trial. Control Clin Trials
1981; 2: 31-49.
11. Evans RW, Pollock AV. A score system for evaluating random control
clinical trials of prophylaxis of abdominal surgical wound infections. Br J Surg
1985; 72: 256-260.
12. Gardner MJ, Machin D, Campbell MJ. Use of check lists in assessing
the statistical content of medical studies. Br Med J 1986; 292: 810-812.
13. Mahon WA, Daniel EE. A method for the assessment of reports of drug
trials. Can Med Assoc J 1964; 90: 565-569.
14. Weintraub M. How to critically assess clinical drug trials. Drug Ther
1982; 12: 131-148.
15. Dixon JS, Smith A, Evans SJV. Reporting clinical trials. Br J Rheumatol
1983; 22 Supl: 74-78.
16. British Medical Journal. Guidelines for writing papers. Br Med J 1988;
296: 48-50.
17. Ley del Medicamento. Ministerio de Sanidad y Consumo. BOE 306, 22
de diciembre de 1990.
18. Grupo de Trabajo sobre Terminologa. Coordinadora: Dra. Ins Galende.
Glosario de trminos de ensayos clnicos. En: Garca Alonso F, Bakke OM,
editores. Metodologa del ensayo clnico. Barcelona: Doyma, 1991; 113-116.
19. Galende I,Tristn C. Problemas prcticos en un ensayo clnico (II). En:
Garca Alonso F, Bakke OM, editores. Metodologa del ensayo clnico. Barcelona: Doyma, 1991; 21-30.
20. Cramer JA, Mattson RH, Prevey ML, et al. How often is medication
taken as prescribes? A novel assessment technique. JAMA 1989; 261:3.2733.277.
21. Bailar JC III, Louis TA, Lavori PW, Polansky M. Studies without internal
controls. N Engl J Med 1984; 311: 156-162.
22. Altaman DG, Dor CJ. Randomisation and baseline comparisons in
clinical trials. Lancet 1990; 335: 149-153.
23. Altman DG. Randomisation. Essential for reducing blas. Br Med J 1991;
302: 1.481-1.482.
24. Pocock SJ. Current issues in the design and interpretation of elinical
trials. Br Med J 1985; 290: 39-42.
25. Meinert Cl. Clinical trials: design, conduct and analysis. Oxford: Oxford
University Press, 1986.
26. Warlow C. Organise a multicentre trial. Br Med J 1990; 300: 180-183.
27. De Abajo M, Serrano-Castro MA. Problemas prcticos en un ensayo
clnico (I). En: Garca Alonso F, Bakke OM, editores. Metodologa del ensayo
clnico. Barcelona: Doyma, 1991; 11-20.
28. Pocock SJ, Hughes MD, Lee RJ. Statistical problems in the reporting of
clinical trials. A survey of three medical journals. N Engl J Med 1987; 317:
426-432.
29. Bailar III JC, Mosteller F. Guidelines for statistical reporting in articles
for medical journals. Amplifications and explanations. Ann lntern Med 1988;
108: 266-273.
30. Carn X, Moreno V, Porta M, Velilla E. El clculo del nmero de pacientes necesarios en la planificacin de un estudio clnico. Med Clin (Barc)
1988, 92: 72-77.
31. Porta M, Moreno V, Sanz F, Carn X, Velilla E. Una cuestin de poder.
Med Clin (Barc) 1989; 92: 223-228.
32. Gardner MJ, Altman DG. Confidence intervals rather than P values:
estimation rather than hypothesis testing. Br Med J 1986; 292: 746-750.
33. Simon R. Confidence intervals for reporting results of clinical trials. Ann
lntern Med 1986; 105: 429-435.
34. Plasencia A, Porta M. La calidad de la informacin clnica (II): significacin estadstica. Med Clin (Barc) 1988; 90: 122-126.
35. Daly LE. Confidence intervals and samplesizes: dont throw out all your
old sample size tables. Br Med J 1991; 302: 333-336.
36. Porta M, Alvarez-Dardet C, Bolmar F, Plasencia A, et al. La calidad de
la informacin clnica (I): validez. Med Clin (Barc) 1987; 89: 741-747.
37. CPMP Working Party on Efficacy of Medicinal Products. EEC note for
guidance: Good Clinical Practice for trials on medicinal products in the

J.A. SACRISTN ET AL.- EVALUACIN CRTICA DE ENSAYOS CLNICOS

european community. Pharmacol Toxicol 1990; 67:361-372.

38. Proyecto de Real Decreto, que desarrolla el Ttulo Tercero (De los ensayos clnicos), de la Ley 25/1990, de 20 de diciembre, del Medicamento.
39. Emerson JD, Burdick E, Hoaglin DC, Mosteller F, Chalmers TC. An
empirical study of the possible relation of treatment differences to quality
scores in controlled randomized clinical trials. Controlled Clin Trials 1990;
11: 339-352.

40. Bootman JL, Larson LN, McGhan WF, Towsend RJ. Pharmacoeconomic
research and clinical trials: concepts and issues. Drug lntell Clin Phar 1989;
23: 693-697.
41. Commonwealth of Australia. Guidelines of the pharmaceutical industry
on preparation of submissions to the Pharmaceutical Benefits Advisory
Committee: including submissions involving economic analysis. Camberra
(ACT): Department of Health, Housing and Community Services, 1990

787