HOW TO READ A

PAPER
THE BASICS OF EVIDENCE-BASED MEDICINE
KAPITEL 4
PRÜFUNG DER
METHODOLOGISCHEN QUALITÄT
• Der Abschnitt über die Methodik einer wissenschaftlichen Arbeit
fragt nach dem „Wie?“
• soll kritischen Leser befähigen zu entscheiden, ob die
Ergebnisse einer Studie stichhaltig sind oder nicht.
• Er soll detaillierte Informationen enthalten um folgenden
Fragen beantworten zu können:

1. War die Studie original?

2. Auf WEN treffen die Ergebnisse der Studie zu?
3. Wurde ein gutes Studiendesign verwendet?
4. Wurden systematischen Bias vermieden oder vermindert?
5. War die Anzahl der Probanden und die Dauer der Studie groß
genug um eine relevante Wirkung zu messen?
4.1. WAR DIE STUDIE ORIGINAL?
 ....umformuliert, wurde die Gesamtmenge der Fachliteratur über irgendwelches Thema durch
diese Studie ergänzt?

1. War die Studie großer und länger durchgeführt und/ oder der Inhalt beträchtlicher?
2. Wurde die Methodologie strenger geprüft?
3. Können die statistisch relevanten Ergebnisse zu einer Metaanalyse hinzugefügt werden?
4. Wurden die Probanden aus anderer Bevölkerungsgruppe ausgewählt?
5. Ist das Studienthema bedeutsam und klinisch relevant?
4.2. AUF WEN TREFFEN DIE ERGEBNISSE DER STUDIE ZU?

 ...meistens sind die Probanden und Patienten aus dem „realen Leben“ unterschiedlich

1. Wie lief die Rekrutierung? Wurde ein Selektions-Bias vermieden?

Der Versuch, in der Münchner Innenstadt das beliebteste Krankenhaus ganz Deutschlands herauszufinden, würde ein
stark verzerrtes Ergebnis liefern.

2. Wer wurde in der Studie ein-/ausgeschlossen?

Die Ein-/Ausschlusskriterien mögen wissenschaftlich korrekt sein, sie behindern aber die Anwendbarkeit der
Ergebnissen auf die realen Patienten (v.a. In der pharmakokinetischen Studien)

3. Wurden die Probanden in „normalen“ Lebensbedingungen untersucht?

Die sorgfältige stationäre Beobachtung, die ausführlichen Aufklärungsgespräche und Kontaktmöglichkeiten während
der Studie sind im realen Leben nicht verfügbar. Um so mehr wenn besonderen technischen Verfahren genutzt wurden
4.3. WURDE EIN GUTES STUDIENDESIGN VERWENDET?

 Der Autorenvorschlag: ...statt einer Beurteilung durch komplizierte Terminologie soll man 2
einfachen Fragen beantworten :

1. Was für Behandlung/Intervention wurde untersucht und was wurde verglichen?

2. Was wurde als Outcome gemessen und wie?

 4.3. WURDE EIN GUTES STUDIENDESIGN
VERWENDET?
1. Was für Behandlung/Intervention wurde untersucht und was wurde verglichen?
• Nicht selten werden diese Information mangelhaft dargestellt:

Was hat der Autor gesagt Was sollte er sagen Als Beispiel von.....

„Wir maßen, wie oft ein Arzt die Patienten nach Wir haben aus der Anamnesebogen Die Annahme dass die die Dokumentation
Nikotinkonsum fragen“ gezählt bei wie vielen Patienten den 100% akkurat sind
Rauchen Status dokumentiert wurde

„Wir verglichen den Nikotinpflaster mit Die Probanden von der
Placebo“ Interventionsgruppe erhielten ein
Nikotinpflaster je 15mg Nikotine 2x/d.
Die aus dem Kontrollgruppe bekamen
Pflaster mit gleichem Aspekt.
Mangelhafte Informationen über das
verwendetes Medikament und Placebo
Sorte.

„Um den Effekt eines pädagogischen Prospekt
zu beurteilen, haben wir der Interventionsgruppe
ein Prospekt und eine Rufnummer zur
Telefonberatung gegeben. Die Kontrollgruppe
erhielt nichts.“
Wenn es ausschließlich um die Durchführung Bias : abgesehen von der
Beurteilung des Prospekts geht, sollten Intervention wurden die beide Gruppen
beide Gruppen die Rufnummer zur nicht gleich behandelt.
Telefonberatung bekommen
4.3. WURDE EIN GUTES STUDIENDESIGN VERWENDET?
 2.Was wurde als Outcome gemessen und wie?
• Sind die Outcome Variable auch klinisch relevant oder nur Ersatzendpunkte?
• Ändert diese Schussfolgerung auch den Status des Patienten? (was für den Arzt wichtig ist, mag
für den Patienten gar unwichtig bleiben)
• Beispiel: Bei einer unheilbaren Krankheit würde man prüfen ob ein neues Medikament das
Leben mit einer befriedigenden Lebensqualität verlängert. Man wird weniger Interesse zeigen ob
dieses Medikament irgendwelchen Enzymspiegel senkt.

• Bei der qualitativen Parameter (wie Schmerz, Mobilität, Angststörungen) konfrontiert man sich
mit größerer Schwierigkeiten- man soll darauf achten, dass die Beurteilung objektiv war ggf. die
verwendeten Skala für die Outcome geeignet waren)
4.4. WURDE DEN SYSTEMATISCHEN BIAS
VERMIEDEN ODER VERMINDERT?
 Ein Bias bzw. eine Verzerrung besteht in einem Fehler der Datenerhebung, der zu fehlerhaften
Ergebnissen einer Untersuchung führt
 ....jedes Studiendesign hat seine eigene Methode um solche Fehler zu vermeiden
4.4. BIAS VERMEIDEN IN DEN
INTERVENTIONSSTUDIEN
 Randomisierte kontrollierte Studien : die Probanden werden nach relevanten Merkmalen
ausgewählt und dann nach dem Zufallsprinzip einer Experimental- oder einer Kontrollgruppe
zugeordnet.
Trotz dessen kann sogar dieser „Studien-Goldstandard“ von Bias betroffen werden:
 Selektions-Bias :inkomplette Randomisierung
 Durchführung-Bias: systematische Unterschiede in der Behandlungsart der Patienten von den
beiden Gruppen (abgesehen von der untersuchten Intervention)

 Ausfall-Bias: die Drop-Out Raten in den beiden Gruppen werden nicht berücksichtigt ( für
den Endpunkt signifikant)

 Endpunkt-Bias: wenn nur ausgewählte positive und signifikante Studienendpunkte berichtet

und die negativen Endpunktergebnissen vernachlässigt werden. Es kann zu einer Überschätzung
der Wirksamkeit von Interventionen führen
4.4. BIAS VERMEIDEN IN INTERVENTIONSSTUDIEN

 Nicht randomisierte kontrollierte Studien : die Probanden werden NICHT nach dem
Zufallsprinzip rekrutiert
 Bias Quelle: signifikante Merkmale in den 2 Gruppen beeinflussen die Endpunkten

Beispiel: Eine Patientengruppe mit Asthma erhielten ambulant schriftliche Informationen über
ihre Krankheit, während stationäre Patienten ebenso mit Asthma aber auf einer chirurgischen
Abteilung, nahmen an einem Schulungsprogramm im Krankenhaus teil....
4.4. BIAS VERMEIDEN IN
BEOBACHTUNG/ANALYTISCHEN STUDIEN
 Kohorten- Studie ist ein beobachtendes Studiendesign meistens in der Epidemiologie angewendet mit dem
Ziel, einen Zusammenhang zwischen einer oder mehreren Expositionen und dem Auftreten einer Krankheit
aufzudecken.
 Bias Quelle: unterschiedliche Qualität der Informationen über die exponierten und nicht-exponierten
Probanden

 Beispiel: In der Studien über Alkohol Konsum und Mortalität resultierte dass die Abstinenzler vorzeitig
sterben als die moderaten Trinkern
Aber...mögliche Gründen der Abstinenzler können selber den Endpunkt beeinflussen:
- Gesundheitliche Probleme

- Religiöse Gründen (woraus sich andere Lebensgewohnheiten ändern können)

- Das Lugen
4.4. BIAS VERMEIDEN IN BEOBACHTUNG/ANALYTISCHEN
STUDIEN
 Fallkontroll-Studie: eine retrospektive Untersuchung einer Stichprobe, die aus erkrankten Personen
besteht (Fall), und einer Stichprobe, die aus gesunden Personen besteht (Kontrolle). Bei beiden Gruppen
wird nun ermittelt, ob in der Vergangenheit eine Exposition gegenüber potenziellen Risikofaktoren
vorlag. Ein signifikanter Unterschied zwischen beiden Gruppen bedeutet eine Korrelation zwischen
Risikofaktor und Erkrankung.

 Bias Quelle: die Beurteilung darüber ob jemand als Fall zu betrachten ist oder nicht

 Beispiel: Eine Fallkontroll-Studie wurde durchgeführt nach Anmeldung von mehreren

Hirnschädigungsfälle bei kleinen Kinder kurzfristig nach Gabe von Keuchhusten Impfung
Falsche Beurteilung als „Fall“ bei ....:
- (selten aber möglich) eingeborene Hirnschädigung die sich erst nach einer Woche (nach der Impfung
Verabreichung) klinisch manifestieren könnten
- Angst der Eltern und des medizinischen Personals die zur Überschätzung der neurologischen Symptomen
als Hirnschädigung führte
 4.4. BIAS VERMEIDEN DURCH OBJEKTIVITÄT
  
WAR DIE DURCHFÜHRUNG WIRKLICH „BLIND“?
Quellen für eine mangelhafte Objektivität:
Die Auswertung der diagnostischen Verfahren
Es passiert sehr selten dass sich 2 kompetente Ärzte über einen Befund eignen, egal was für Untersuchung
durchgeführt wurde
mathematisch kann die Eignung durch K (Kappa) Score quantifiziert werden (1,0= perfekte Übereinstimmung)
 Beispiel: berechnete K Score bei Spezialisten in der Auswertung von zentral venösem Druck, diabetischer Retinopathie
und Mammografien betrugen jeweils 0,42, 0,55 und 0,67
Die Ärzte erfahren zu welchem Group die Patienten gehören
Man sieht dann und findet, was sie eigentlich erwarten
Beispiel: wenn man weiß dass ein Patient ein aktives Medikament zur RR Senkung erhielt, hat man die Tendenz bei
ungewöhnlich hohem RR die Messung zu wiederholen - dadurch entsteht sich ein Performance Bias
Gegenbeispiel:
In der 90` Jahren zeigten mehrere Studien dass die stationäre Aufenthaltsdauer bei Colezytektomie durch Laparoskopie
deutlich kurzer war als bei CE durch klassische offene Operationstechnik
eine neue RCT hat den Gegenteil demonstriert durch Vermeidung von den systematischen Bias, zwar:
die Randomisierung erfolgte erst nach der Narkose
weder die Patienten noch die Ärzte konnten nach der Operation wissen was für Technik durchgeführt wurde da alle
Patienten mit gleichem Verband (einschließlich Blutflecke) die OP Saal verlassen haben
  
4.5. WURDEN DIE STATISCHEN VORAUSSETZUNGEN ERFÜLLT...

1. Berechnung der Stichprobengroße

2. Bestimmung der Studiendauer / Beobachtungsdauer
3. Beachtung der „follow-up“ - Vollständigkeit  

 ....um statisch relevante Schussfolgerungen zu ziehen?

 4.5. WURDEN DIE STATISCHEN
VORAUSSETZUNGEN ERFÜLLT?

1. Die Berechnung der Stichprobe

....bevor sie zu berechnen, sollen:
 Der Unterschied zwischen die beiden Gruppen angenommen werden

- Fokus auf die klinisch und nicht auf die statistisch relevanten Unterschied!
- Beispiel: Ein blutdrucksenkendes Medikament welches den RR um 10mmHg senkt aber den
Schlaganfallrisiko nur in 1:850 behandelten Patient reduziert, wird später die Patienten zur
Therapieadährenz nicht ausreichend motivieren.
 Mittelwert (Mean) und Standardabweichung (SD) der Schlussfolgerung (wenn quantitativ)
bestimmt werden

SD= eine Wahrscheinlichkeitsrechnung/ein Maß für die Streuung der Werte einer Zufallsvariablen um ihren
Erwartungswert.
4.5. WURDEN DIE STATISCHEN VORAUSSETZUNGEN
ERFÜLLT?

1. Die Berechnung der Stichprobe

• Soll vor dem Studienbeginn erfolgen (Bestimmung durch Standard- Formeln/Rechner im Netzwerk)
• Davon abhängig wird den Unterschied zwischen die 2 Gruppen mehr oder weniger signifikant sein
• bzw. das Power der Studie mehr oder weniger stark
Ein RCT sollte über diese Rechnung so ein Paragraph enthalten:
„Für eine 90% ige Wahrscheinlichkeit zum Nachweis eines 1 Nacht - Unterschiedes der Aufenthaltsdauer im
Krankenhaus mit dem Mann-Withney U-Test (non-parametric test) wurden 100 Patienten in jeder Gruppe benötigt
(vorausgesetzte SD von 2 Nächten). Dies ergibt eine Trennschärfe (Power) größer als 90%, um eine Differenz der
Operationszeiten von 15 Minuten zu erfassen, wobei eine SD von 20 Minuten angenommen wird.“
• ? Für eine normale Verteilung benötigt man eine mittlere Aufenthaltsdauer von mindestens 5 Nächte
(mean- 2xSD soll >0)
4.5. WURDEN DIE STATISCHEN
VORAUSSETZUNGEN ERFÜLLT?

2. Studiendauer / Beobachtungsdauer
• Soll adäquat sein um die Behandlung/Intervention signifikant die Outcome Variablen zu beeinflussen

• Beispiel: bei Testung eines Schmerzmittels postoperativ würden 48 Stunden ausreichen, während bei
Strategien gegen Adipositas wäre mehr als 1 Jahr nötig.
3. Vollständige Dokumentation des „follow-up“(Nachsorge)
 Bezieht sich vorwiegend auf eine ausführliche Dokumentation der Rücktritt Fälle

 Mangelnde Compliance hat unterschiedliche Auswirkungen auf das Studienergebnis

 Die Ignorierung dieser Probanden ist ein Bias

 Mögliche Gründe, warum Probanden herausfallen können: Missachten der Ausschlusskriterien, vermutliche
Nebenwirkung an der Therapie, Verlust der Motivation, neue Erkrankung, Schwangerschaft, Umzug, Tod.
 Wurden diese Daten analysiert, soll es in der Studie erwähnt werden z.B. durch die Satz „ Die Ergebnisse
wurden nach dem intent-to-treat-Analyse ausgewertet.“
BEISPIEL ALS ZUSAMMENFASSUNG:
„ EFFECTIVENESS AND SAFTEY OF DABIGATRAN, RIVAROXABAN AND APIXABAN VERSUS WARFARIN
IN NONVALVULAR ATRIAL FIBRILATION“ –JOURNAL OF AHA 06/2016

1. War die Studie original?

 Was wurde beurteilt: Wirksamkeit und Sicherheit der NOAK (Dabigatran, Rivaroxaban und Apixaban im Vergleich
zum Warfarin)- neu, umfangreich, für die Praxis klingelt auch relevant
2. Um wen handelt es sich in der Studie?
 Um Patienten aus USA über 18 Jahren (aber bis...>75 ) mit nonvalvulärem VHF, ohne frische Knie oder Hüfte OP und
ohne TVT oder LAE an dem Studienbeginn, bei denen eine Kardioversion länger als 1Monat und eine Ablation
länger als 2 Monaten zurückliegen, möglich mit Warfarin vortherapiert aber ohne NOAK als Vormedikation
3. Wurde ein anpassendes Design verwendet?
 Retrospektive Analyse von der 3 Gruppen, als Cohort Studie durchgeführt.

 Die Outcomes wurden aus der ICD Dokumentation (100% sicher?) gesammelt und verglichen (Wirksamkeit als
niedrigere Risiko für systemische Embolie und Schlaganfall aber nicht TIA (für die Patienten vielleicht relevant) ,
Sicherheit als Blutungskomplikationen- intracranial, gastrointestinal oder andere)
BEISPIEL ALS ZUSAMMENFASSUNG:
„ EFFECTIVENESS AND SAFTEY OF DABIGATRAN, RIVAROXABAN AND APIXABAN VERSUS WARFARIN
IN NONVALVULAR ATRIAL FIBRILATION“ –JOURNAL OF AHA 06/2016

4. War die Studie adäquat kontrolliert?

 48 Patienten Merkmale, tabellarisch dargestellt, mit ähnlicher Auftrittsrate
 Mögliche Bias Quelle: Apixaban wurde 2 Jahren nach Studienbeginn zugelassen (wurden wenigere Patienten in dieser
Gruppe eingeschlossen), die negative Werbung für Dabigatran (höhere Non Compliant Rate) , in der Dabigatran Gruppe
jüngere, mehrere Warfarin-naive Patienten.
5. Wurde die Große der Stichprobe und die Dauer der Durchführung an die Intervention angepasst
bzw. die Nachsorge komplett analysiert?
• Die große Patientenzahl soll der Studie höhe Trennschärfe geben

• Es wurden aber zweifach weniger Patienten unter Apixaban als unter anderen 2 NOAKs verfolgt

• Der gesamte analysierte Zeitraum war zwischen 01.10.2010 und 30.06.2015, initial je 1 Jahr Beobachtungsdauer pro
Patient
• Nach Zulassung von Apixaban (12.2012) wurde die Beobachtungsdauer auf 6 Monaten reduziert und alle NOAKs
Patienten erst seit 01.2013 in der Analyse eingeschlossen
• die intent-to-treat Analyse ist erfolgt (die Rücktritt Fälle wurden berücksichtig)
Vielen Dank!