Originalien

Chirurg
DOI 10.1007/s00104-015-0012-1
Springer-Verlag Berlin Heidelberg 2015

E.Hanisch1 T.F.Weigel2 A.Buia1 H.-P.Bruch3

1Asklepios Klinik Langen, Langen, Deutschland
2Heilig-Geist-Hospital Bingen, Bingen, Deutschland
3Berufsverband der Deutschen Chirurgen, Langenbeck-Virchow-Haus, Berlin, Deutschland

Die Validitt von Routinedaten

zur Qualittssicherung
Eine qualitative systematische
bersichtsarbeit
Im Jahr 2000 publizierte das Institute of Medicine To Err is Human
Building a Safer Health System [8].
Ein Jahr spter folgte der Bericht:
Crossing the Quality Chasm A new
Health System for the 21th Century
[9]. Diese beiden Reports kennzeichneten den Beginn einer neuen ra sowohl in den USA wie auch international [13]. Oberstes Ziel ist die Verbesserung der Qualitt des Gesundheitswesens. Dies setzte natrlich die Bewertung von Qualitt voraus. Bereits
1966 hatte Donabedian die Grundlagen dafr geschaffen er schlug
vor, dass Qualitt aus drei Kategorien besteht Struktur, Prozess, Outcome [10].
Iezzoni [15], untersttzt durch die Agency for Health care and Quality Research
(AHRQ), erforschte als erster bereits in
den frhen 1990ern das Potenzial administrativer (Abrechnungs-)Daten (Routinedaten) zur Qualittsmessung. Daraus
resultierend fhrte die AHRQ 2002 Patient Safety Indicators (PSIs) basierend auf
Routinedaten ein.
In Deutschland haben der AOK Bundesverband und HELIOS zusammen mit
dem wissenschaftlichen Instituten WidO
und FEISA die Qualittssicherung der stationren Versorgung mit Abrechnungsdaten (QSR) umgesetzt [38]. Dabei werden
nach dem Indikatorenhandbuch 2014 des
WidO alle Indikatoren nach dem Elixhauser-Komorbidittsscore riskoadjustiert, wobei auf der Homepage QSR eine Risikoadjustierung nach Huber und

White genannt wird. Auf der Basis dieser Daten werden dann Noten vergeben
(Krankenhausnavigator Lebensbumchen). Die Bewertung mit einem Lebensbumchen entspricht unterdurchschnittlicher, mit zweien durchschnittlicher und
die Bewertung mit drei Lebensbumchen
bedeutet berdurchschnittliche Qualitt.

Ziel der Arbeit

Die vorliegende Arbeit adressiert zwei
Fragen:
1. Wie wird das AOK/WidO/HELIOSVerfahren der LebensbumchenKlassifikation durch Chirurgen eingeschtzt?
2. Wie sind ICD (International Statistical Classification of Diseases and Related Health Problems) -Codes, Indikatoren und die Komorbidittsrisikoscores nach Elixhauser/Charlson
validiert, d.h. wie valide sind Abrechnungsdaten, wenn sie mit dem Goldstandard Analyse der Patientenakte/
klinische Registerdatenbank verglichen werden?

Material und Methodik

1. Der BDC (Berufsverband der Deutschen Chirurgen) fhrte zwei Umfragen bei 2000 Chefrzten durch.
In der ersten wurden folgende Fragen gestellt:
55Misst das AOK-Verfahren objektiv
Qualitt?

55Kann man die AOK-Bewertungen

korrigieren?
55Wird von der AOK eine Risikoadjustierung durchgefhrt?
55Klagt Ihre Klinik gegen die AOK wegen der Bewertung?
In der zweiten Umfrage wurde die Frage
gestellt:
55Wurden Sie konkret durch das AOKVerfahren falsch beurteilt?
2. Die Literaturrecherche richtet sich
nach den Empfehlungen des PRISMA-Statements [24]. ber den PubMed advanced search builder wurde folgende Abfrage (angelehnt an
das PICO-Format; http://www.cebm.
net/finding-the-evidence-1-usingpico-to-formulate-a-search-question/) vorgenommen: quality indicators, health care [MeSH Major Topic] OR administrative data [other
term] OR claims data [other term]
OR Routinedaten [other term]
AND patient safety indicators
[other term] OR performance indicators [other term] AND validation
studies as topic [MeSH Major Topic]
OR sensitivity and specifity [MeSH
Major Topic] OR positive predictive value [other term] OR negative predictive value [other term] OR
audit [other term] OR kappa [other
term].
3. Eine weitere Literaturrecherche wurde mit folgenden Schlagwrtern vorgenommen [title]: quality measures,
quality metrics, quality indicators, cliDer Chirurg

Originalien
Literatursuche
Datenbanken: PubMed, MedPilot,
Google Scholar (siehe auch
Methodik)

Kombinierte Suchergebnisse
(n = 233)

Screening der Artikel auf der

Basis von Titel und Abstrakt

Ausgeschlossen (n = 77):
Keine Validittskriterien (n = 21)
Duplikate (n = 56)
Eingeschlossen
(n = 156)

Volltextanalyse
Eingangskriterien angewendet

Ausgeschlossen (n = 115):
Keine Validittskriterien (n= 101)
Keine chirurgischen Patienten
(n = 14)

Eingeschlossen
(n = 41)

Abb. 18Strukturierte Literatursuche

nical performance measures, comorbidity scores, outcome based monitoring, risk-adjusted procedures, star
rating, risk-adjusted mortality.
Voreinstellungen fr den Zeitraum der
Abfrage oder die Sprache wurden nicht
vorgenommen.
Das Screening der Literatur wurde
nach Titel und Abstrakt durch zwei Autoren unabhngig voneinander vorgenommen.
Einschlusskriterien:
55Vergleich von Abrechnungsdaten mit
einer Krankenblattanalyse oder klinischen Registerdatenbank,
55chirurgische Patienten,
55mindestens ein Validittskriterium
musste berichtet sein (Sensitivitt, positiver prdiktiver Wert, Spezifitt, negativer prdiktiver Wert, c-Statistik,
kappa-Wert).

Der Chirurg

Folgende Webseiten/Datenbanken wurden kontaktiert: AOK, WidO, QSR,

AQUA, WHO, OECD, Research Gate,
Orcid, Google Scholar, CSP (Complication Screening Program), AHRQ (Agency for Health care Research and Quality),
CMS (Centers for Medicare and Medicaid
Services), The Health Foundation, BMJ
Quality & Safety, NICE, Canadian Institute for Health Information, Aktionsbndnis Patientensicherheit, MedPilot (Virtuelle Fachbibliothek Medizin): Suchportal
ber eine Vielzahl von Datenbanken wie
z.B. Medline, Cochrane-Reviews, Pressedienste Gesundheitswesen, EMBASE,
IHTA International Health Technology,
Proceedings (MEDITEC, SCISEARCH).
Das WidO-Institut wurde direkt nach
der Validitt ihrer Indikatoren gefragt
(Dokumentation der E-Mail-Anfrage unter https://de.scribd.com/doc/245180221/
Anfrage-beim-wissenschaftlichen-Institut-der-AOK-WIDO-zum-Thema-Datenvalidierung).
Die . Abb. 1 bildet das Schema der
strukturierten Literatursuche ab.
Einen berblick ber die in dieser Ar
beit verwendeten Begrifflichkeiten gibt
.Tab.1.

Ergebnisse
Umfrage
Teil 1

Auf die Frage Sind Sie der Meinung, dass

die AOK mit ihren Bewertungen objektiv Qualitt misst? antworteten 520 von
2000 Kollegen, mit Ja stimmten 4,42%,
mit Nein 95,58%.
Auf die Frage Konnten Sie nach Ihrer
Intervention erreichen, dass die AOK ihre Bewertungen korrigiert hat antworteten 425 von 2000 Kollegen, mit Ja 1,18%,
mit Nein 98,82%.
Auf die Frage Sind Sie der Meinung,
dass die AOK Risikoadjustierungen in
ihren Bewertungen bercksichtigt antworteten 506 von 2000 Kollegen, mit Ja
4,94%, mit Nein 95,06%.
Auf die Frage Klagt Ihre Klinik gegen
die AOK wegen deren Bewertung antworteten 505 von 2000 Kollegen, mit Ja
1,78%, mit Nein 98,22%.

Teil 2

Auf die Frage Ist Ihre Abteilung konkret

durch die AOK falsch beurteilt worden
antworteten 345 von 2000 Kollegen, mit
Ja 34,2%, mit Nein 65,8%.
Die kompletten Umfrageergebnisse
mit der Responserate und ausfhrlichen
Freitextkommentaren sind unter den folgenden Adressen einsehbar:
https://de.scribd.com/doc/245027774/
BDC-Umfrage-AOK-LebensbaumchenTeil-1 DOI:10.13140/2.1.1182.8160
https://de.scribd.com/doc/245028501/
BDC-Umfrage-AOK-LebensbaumchenTeil-2 DOI:10.13140/2.1.2755.6804

Literaturrecherche
Die Validitt von Routinedaten, gemessen an der Sensitivitt, liegt in den meisten Fllen in einem niedrigen Bereich
(.Tab.2). Das gleiche gilt fr die Validi
tt von ICD-10-Diagnosen, die im Elixhauser-Komorbidittsrisikoscore verwendet werden (. Tab. 3). Die Validitt
des Charlson-Komorbidittsrisikoscores
ist ebenfalls eingeschrnkt (.Tab.4).
Die Validitt der AOK-Indikatoren
konnte nicht ermittelt werden, eine Publikation zu diesem Thema konnte nicht
gefunden werden. Im Abschlussbericht
zum QSR-Verfahren [1] wird lediglich
ein Hinweis auf eine Studie der AOK im
Jahre 2003 gegeben, in der Routinedaten
mit klinischen Daten von HELIOS-Kliniken verglichen wurden. Die bereinstimmung der Datenquellen wird dabei als gut
bezeichnet (keine Indikatoren berprft,
keine Validittskriterien genannt). Eine
direkte Anfrage bei der AOK/WidO (siehe https://de.scribd.com/doc/245180221/
Anfrage-beim-wissenschaftlichen-Insti
tut-der-AOK-WidO-zum-Thema-Da
tenvalidierung) wurde nicht beantwortet.

Diskussion
In der Einleitung zu seinem Editorial
Measuring hospital clinical outcomes
schreibt Harlan M Krumholz:
The proliferation of information about hospital performance is a cause of consternation. We are drawn to data about performance, yet we are wary of their accuracy
and reliability. We want information about

Zusammenfassung Abstract
the results that our acute care organizations
achieve, yet we are often skeptical about
whether what is important in medicine can
be measured well. [21]
Diese Aussage wird durch das Umfrageergebnis des BDC in beeindruckender Weise besttigt: 95% der antwortenden leitenden Chirurgen glauben nicht, dass die
von der AOK verwendete Methode objektiv Qualitt misst. Dies ist ein Meinungsbild, das jedoch nicht durch eigene wissenschaftliche Arbeiten untermauert ist.
Eine entscheidende Frage ist natrlich,
wie Qualitt des rztlichen Handelns zu
definieren ist und wie sich diese quantifizieren lsst.
Eine Qualitt, von lat. qualitas, Beschaffenheit, bezeichnet eine Eigenschaft von Gegenstnden, die eine Angabe wie (griech.
poion) der jeweilige Gegenstand der Rede oder das Ding ist. [] Manchmal gebraucht man das Wort Qualitt auch in
einer engeren, wertenden Bedeutung, nmlich im Sinne von positiver Eigenschaft,
etwa wenn man von den Qualitten einer
Person oder einer Institution, eines Gesetztes, einer Erfindung oder eines Gerts, eines Kunstwerks oder Knstlers spricht. [36]

Chirurg DOI 10.1007/s00104-015-0012-1

Springer-Verlag Berlin Heidelberg 2015
E.Hanisch T.F.Weigel A.Buia H.-P.Bruch

Die Validitt von Routinedaten zur Qualittssicherung.

Eine qualitative systematische bersichtsarbeit
Zusammenfassung
Hintergrund. Die Bewertung der Qualitt
rztlichen Handelns ist eine legitime gesellschaftliche Forderung. Dabei wird weltweit
nach verlsslichen Methoden der Qualittsmessung gesucht. Hufig wird dabei die Qualitt aus Abrechnungsdaten (sog. Routinedaten) ermittelt. In Deutschland hat die AOK
dieses Verfahren umgesetzt.
Fragestellungen. 1) Wie wird das AOK-Qualittssystem von chirurgischen Chefrzten
eingeschtzt? 2) Wie ist die Validitt von Qualittsaussagen, die aus Abrechnungsdaten
hergeleitet werden?
Material und Methoden. Die vorliegende Arbeit wird in Anlehnung an das PRISMA-Statement fr eine qualitative systematische bersichtsarbeit erstellt. Zur Beantwortung der 1) Fragestellung fhrte der Berufsverband der Deutschen Chirurgen zwei Umfragen durch. Zur Beantwortung der 2) Frage
erfolgte eine strukturierte Literaturrecherche

Schlsselwrter
rztliches Handeln AOK-Qualittssystem
Qualittsicherung Routinedaten Validitt

The validity of routine data on quality assurance.

A qualitative systematic review

Die Verwandlung von qualitativen Urteilen in quantitative ist immer prekr und
bedeutet hufig eine Vergrberung unserer
Unterscheidungen, wenn auch oft mit dem
Vorzug der schneller schematischen Informationsbertragung. Dies gilt insbesondere
fr quantitative Bewertungen von Leistungen, wie z.B. durch Wertungspunkte auf einer Skala, auch von Kennziffern und Notengebungen. [36]

Abstract
Background. The assessment of the quality of medical practice is a legitimate requirement by society. Reliable methods for measurement of the quality of performance are
sought worldwide. Quality is often quantified
by using administrative data and in Germany
this method has been implemented by the
health insurance company AOK.
Objectives. (1) How is the AOK quality system rated by senior consultant surgeons?
(2) How valid are quality statements derived
from administrative data?
Methods. This article was compiled following the PRISMA (i.e. preferred reporting items
for systematic reviews and meta-analyses)
statement for qualitative systematic reviews.
In order to answer the first question the Professional Association of German Surgeons
(Berufsverband der Deutschen Chirurgen) initiated two surveys and to answer the second
question a structured literature search following the PICO (i.e. patient problem or population, intervention, comparison control or

Dies fhrt unweigerlich zur Frage, wie

valide die Instrumente zur Qualittsmessung sind. Grundstzlich fordert die evidenzbasierte Medizin schon lange, dass
klinische Entscheidungsregeln (wie das

bereits erwhnte Outcome-Ranking der

AOK nach Auswertung von Abrechnungsdaten) validiert werden mssen, bevor sie Verwendung finden [26]. In die-

Eine gute Qualitt zu fordern, insbesondere wenn es um unsere Gesundheit

geht, ist naturgem legitim. Dabei ist
zu beachten, dass Qualitt und Quantitt
grundstzlich zwei verschiedene Dinge
sind. Um Qualitten zu beurteilen, werden diese heutzutage bemessen und in
Zahlen ausgedrckt.

in Anlehnung an das PICO-Format. Zustzlich

wurden zahlreiche Webseiten kontaktiert.
Ergebnisse. Insgesamt 95% der antwortenden chirurgischen Chefrzte sind der
Meinung, dass die AOK-Methodik, aus Abrechnungsdaten Qualittsaussagen zu treffen, nicht objektiv ist. Ein Drittel wurde konkret falsch beurteilt. Aus der Literaturrecherche geht hervor, dass fr AOK-Indikatoren
inklusive des Elixhauser-Risikoscores, keine Validierung vorliegt. Insgesamt ist die
Sensitivitt von Indikatoren in der Literatur
schlecht, wenn man eine gute Sensitivitt als
80<90% definiert (AQUA-Institut).
Schlussfolgerung. Qualittsaussagen basierend allein auf Abrechnungsdaten sind nicht
verlsslich.

comparator and outcomes) format was initiated. In addition numerous websites were
contacted.
Results. Of the responding senior consultant surgeons 95% considered that the AOK
method of quality measurement by administrative data is not objective. One third was
definitely wrongly classified. The literature
search revealed that no validation data exist
for the AOK indicators, including the Elixhauser comorbidity risk score. Altogether, the sensitivity of indicators is poor when good sensitivity is defined by the Institute for Applied
Quality Improvement and Research in Health
Care (AQUA Institute) as 80<90%.
Conclusions. Quality statements resulting
from administrative data alone are unreliable.
Keywords
Medical performance AOK quality system
Quality assurance Administrative data
Validity

sem Zusammenhang ist auch die Feststellung von Romano et al. [33] zu werten,
dass Routinedaten sich einem Vergleich

Der Chirurg

Originalien
Tab. 1Glossar
Sensitivitt

Spezifitt

Positiver prdiktiver Wert

Negativer prdiktiver Wert

Konfidenzintervall
Cohens kappa
c-Statistik
Sekundrdaten

Risikoscore nach Elixhauser [11]

Risikoscore nach Charlson [7]
Abrechnungsdaten

Ma der Genauigkeit fr die richtige Prsenz des Indikators in

Abrechnungsdaten verglichen mit dem Goldstandard Patientenakte/klinische Registerdatenbank
Ma der Genauigkeit fr die richtige Abwesenheit des Indikators in Abrechnungsdaten verglichen mit dem Goldstandard
Patientenakte/klinische Registerdatenbank
Ma, mit dem der in den Abrechnungsdaten vorkommende
Indikator auch in der Referenzdatenbank (Patientenakte/klinische Registerdatenbank) vorkommt
Ma, mit dem der in den Abrechnungsdaten nicht vorkommende Indikator auch nicht in der Referenzdatenbank (Patientenakte/klinische Registerdatenbank) vorkommt
z.B. 95%-Konfidenzintervall(-KI) bedeutet, dass 95% der
Messwerte/Parameter im angegebenen Bereich liegen
Ma fr die bereinstimmung, kappa =1 bedeutet 100%ige
bereinstimmung
Flche unter der ROC (receiver operating characteristic)Kurve
Daten, die einer Auswertung ber ihren originren, vorrangigen Verwendungszweck hinaus zugefhrt werden (z.B.
Abrechnungsdaten werden fr Qualittsaussagen verwendet)
[14]
Komorbidittsrisikoscore
Komorbidittsrisikoscore
Synonyme Routinedaten, administrative Daten, claims data,
administrative billing data

Tab. 2 Validitt chirurgisch relevanter Indikatoren

Indikator
Postoperative Lungenembolie/
tiefe Beinvenenthrombose

Sensitivitt
(%)
56 (5063) [32]

Positiver prdiktiver Wert (%)

22 (1925) [32]

65 (6367) [27]

43 (3453) [17]
89,5 (66,998,7)
[30]
31 (3033) [27]
46 (3655) [34]
62,5 (35,484,8)
[30]
72 (6380) [32]
87 (7992) [34]
72 (6876) [27]
75 (6683) [6]
44 (3949) [27]
20 [5]
8 (69) [32]
73 (6481) [34]

Belassener
Fremdkrper
Platzbauch

29 (2434) [32]
31 (2934) [27]

Postoperative Blutung/Hmatom
Sepsis
Septischer Schock
Iatrogener Pneumothorax

42 (2364) [37]
31 (2735) [27]
1,2 [5]
17 (1420) [32]

Oberflchlicher Wundinfekt
Tiefer/Organinfekt
Versehentliche Punktion/Verletzung

27 [22]
34,4 [22]

Pneumonie
Prolongierter Ileus/Obstruktion
Blutung, 4/+ Konserven

19,3 [5]
10,5 [5]
13,4 [5]

Der Chirurg

0,14 (0,030,25) [19]

0,07 (0,0090,12) [19]

0,25 [22]
0,27 [22]
Klinisch relevant
68 (6274) [37]
85 (7791) [34]
86,4 (7594) [30]
30,4 [5]
23,3 [5]
10,2 [5]

In Klammern 95%-Konfidenzintervall; Definition gute Sensitivitt (AQUA): 80<90

Kappa

mit dem Goldstandard Krankenblattanalyse unterziehen mssen.

Bei der Sichtung der Literatur fllt auf,
dass es zu den Qualittsindikatoren der
AOK keine Validierungsparameter (z.B.
Sensitivitt) gibt. Eine Nachfrage beim
wissenschaftlichen Institut der AOK (WidO) diesbezglich wurde nicht beantwortet.
Dabei formuliert die AOK in der Einleitung zum QSR-Klinikbericht (Qualittssicherung mit Routinedaten) fr das
Berichtsjahr 2011 mit Nachbeobachtung
2012: Routinedaten sind mit Einschrnkungen geeignet, Qualittsindikatoren
fr die Krankenhausbehandlung zu bilden. Nheres dazu wird jedoch nicht ausgefhrt.
Insgesamt muss festgehalten werden,
dass Routinedaten, verglichen mit dem
Goldstandard Patientenakte/klinische
Registerdatenbank, bezglich ihrer Sensitivitt nicht gut abschneiden (. Tab. 2,
3 und 4). Als Grnde werden vor allem
die Dokumentationsqualitt von Abrechnungsdaten und die Ungenauigkeit bzw.
die Grobkrnigkeit der ICD-Codes angefhrt.
Obwohl es Mitteilungen gibt, dass
z.B. durch eine repetitive interne Mahnung die Vollstndigkeit der Dokumentation von Komplikationen gesteigert werden kann [16], kommen andere Autoren
zum Schluss, dass eine qualitativ gute Dokumentation die Sensitivitt von Routinedaten nicht wesentlich steigern kann [35].
Kostuj und Smektala [20] weisen in
diesem Zusammenhang darauf hin, dass
Unterschiede in der Kodierqualitt und
der z.T. erhebliche Interpretationsspielraum der Abrechnungsdaten es fast unmglich machen, ohne weitere Kontrolle
zu entscheiden, ob eine schlechte Darstellung der Qualitt in den Abrechnungsdaten wirklich mit einer schlechten Ergebnisqualitt vergesellschaftet ist oder mglicherweise nur Folge einer suboptimalen Kodierqualitt.
Ein wichtiges Element bei den AOKBerechnungen ist die Risikoadjustierung
mithilfe des Elixhauser-Komorbidittsrisikoscores [11]. Unabhngig davon, dass
keine AOK-Validittsdaten zu diesem
Score vorliegen, ist auch die Sensitivitt
von Diagnosen, die in diesem Score verwendet werden, niedrig (siehe . Tab. 3).

Tab. 3 Validitt (Vergleich Routinedaten mit Patientenakten) von ICD-10-Codes, die im Elixhauser-Risikoscore verwendet werden. [5, 31]
Diagnosen

Sensitivitt (%)

Herzrhythmusstrungen
Pulmonale Zirkulationsstrungen
Herzklappenerkrankung
Hypertension
Hypothyroidismus
Solider Tumor ohne Metastasen
Niereninsuffizienz
Blutungsanmie
Fe-/Folat-/B12-Mangelanmie
Koagulopathie
Flssigkeits- und Elektolytstrung
Gewichtsverlust
Obesitas
Alkoholabusus
Drogenabusus
Psychosen
Lymphome

39,0
37,0
40,9
68,3
39,3
45,9
78,8
17,8
30,3
13,9
36,3
12,7
18,6
52,2
46,7
56,9
63,4

Positiver prdiktiver Wert (%)

93,4
61,5
80,3
93,1
93,3
58,7
64,3
32,0
40,4
59,7
71,6
55,9
83,8
83,7
81,4
90,4
78,8

Kappa
0,48
0,45
0,52
0,72
0,53
0,47
0,69
0,22
0,34
0,20
0,44
0,20
0,28
0,62
0,58
0,69
0,70

Definition gute Sensitivitt (AQUA): 80<90

Tab. 4 Validitt des Charlson-Risikoscores [23]

Outcome Variable
Krankenhausmortalitt
Krankenhausmortalitt
Einjahresmortalitt nach Aufnahme
Patientensterblichkeit
Mortalitt innerhalb von 63 Monaten
Grobe bereinstimmung von Krankenblatt und Routinedaten

So liegt die bereinstimmung von administrativen Daten mit der Patientenakte beim Charlson-Score (ebenfalls ein
Komorbidittsrisikoscore) bei 53% (siehe .Tab.4).
Ein weiteres Element bei der Gesamtbeurteilung durch die AOK ist die Mitbercksichtigung der Krankenhaussterblichkeit sowie die 30-Tage-, 90-Tage- und
Einjahresmortalitt. Dabei wird auf zwei
Arbeiten verwiesen, die fr den Indikator
Mortalitt in administrativen und klinischen Daten hnliche Ergebnisse finden
[3, 29].
Dass standardisierte Mortalittsraten
ein schlechtes Ma sind, um die Qualitt von Krankenhusern zu beurteilen,
hat schon der klinische Epidemiologe Richard Lilford [25] eindrcklich dargelegt,
darber hinaus ist auch die Validitt dieses Indikators in anderen Studien schlecht
(.Tab.4). In diesem Kontext sei erwhnt,

Kappa (95%-KI)
0,30 (0,26034)
0,56 (0,530,60
0,35
0,47
0,362
53%

dass die AOK die Ursachen fr die Mortalitt aus Datenschutzgrnden den Kliniken nicht mitteilen kann (z.B. 30-Tage-,
90-Tage- und Einjahresmortalitt), eine
wesentliche Erkenntnis fr eine Qualittsverbesserung ist also nicht vorhanden.
Jedes Instrument der Qualittsmessung muss nachweisen, wie effektiv es
ist. Diese Forderung wurde bereits 2004
von Arah et al. [2] aufgestellt. Diese Au
toren stellen fest, dass die Unsicherheiten
in diesem Bereich selbst zur Unsicherheit fhren. Jedenfalls kommt eine Cochrane-Analyse [18] zu dem Schluss, dass
die Verffentlichung von PerformanceDaten von Krankenhusern keinen Einfluss auf das Verhalten potenzielle Patienten hat. Eine Verbesserung von Qualitt konnte ebenfalls nicht nachgewiesen
werden.
Zwei jngst verffentliche Arbeiten
kommen ebenfalls zum Schluss, dass das

Feedback ber Outcomes nicht gengend

ist, um eine Qualittsverbesserung zu erreichen [12, 28]. Ein Begleiteditorial zitiert in diesem Zusammenhang ein afri
kanisches Sprichwort: Weighing a pig
does not make the pig fatter [4].

Fazit fr die Praxis

55Eine Literaturrecherche belegt, dass
die Validitt von Qualittsindikatoren,
abgeleitet aus Abrechnungsdaten (=
Routinedaten), im internationalen
Kontext in der Regel schlecht ist.
55Die Validitt von Risikoscores, berechnet mittels Abrechnungsdaten, ist
ebenfalls nicht gut.
55Fr Deutschland liegen zu smtlichen
von der AOK verwendeten Qualittsindikatoren keine Daten zur Validitt vor, d.h. ein Vergleich von Abrechnungsdaten mit dem Goldstandard
Patientenakte gibt es nicht.
55Mit Abrechnungsdaten alleine lassen
sich keine verlsslichen Qualittsaussagen treffen.
55Public reporting hat keinen Einfluss
auf die Qualitt von Krankenhusern
und auf das Verhalten von Patienten.

Korrespondenzadresse
Prof. Dr. Dr. E. Hanisch
Asklepios Klinik Langen
Rntgenstr 20, 63225 Langen
e.hanisch@asklepios.com

Einhaltung ethischer Richtlinien

Interessenkonflikt. E. Hanisch, T.F. Weigel, A. Buia
und H.-P. Bruch geben an, dass kein Interessenkonflikt besteht.
Dieser Beitrag beinhaltet keine Studien an Menschen
oder Tieren.

Literatur
1. AOK-Bundesverband, FEISA, HELIOS Kliniken, WIDO: Qualittssicherung der stationren Versorgung mit Routinedaten (QSR). Abschlussbericht.
Bonn 2007 http://www.qualitaetssicherung-mitroutinedaten.de/imperia/md/qsr/publikationen/
wido_kra_qsr-abschlussbericht_0407.pdf. Zugegriffen: 30. Nov. 2014
2. Arah OA, Klazinga NS (2004) How safe is the safety
paradigm? Qual Saf Health Care 3:226232
3. Aylin P, Bottle A, Majeed A (2007) Use of administrative data or clinical databases as predictors of
risk of death in hospital: comparison of models.
BMJ. doi:10.1136/bmj.39168.496366.55

Der Chirurg

Originalien
4. Berwick D (2015) Measuring surgical outcomes
for improvement. Was Codman wrong?. JAMA
313:469470
5. Best WR, Khuri SF, Phelan M, Hur K, Henderson
WG, Demakis JG, Daley J (2002) Identifying patient
preoperative risk factors and postoperative adverse events in administrative databases: results from
the Department of Veterans Affairs National Surgical Quality Improvement Program. J Am Coll Surg
3:257266
6. Borzecki AM, Kaafarani H, Cevasco M (2011) How
valid is the AHRQ Patient Safety Indicator postoperative hemorrhage or hematoma? J Am Coll
Surg 6:946953.e12
7. Charlson M, Szatrowsk T, Peterson J, Gold J (1994)
Validation of a comorbidity index. J Clin Epidemiol
47:12451251
8. Committee on quality of health care in America
(2000) To err is human. In: Kohn L, Corrigan M, Donaldson M (Hrsg) Building a safer health system.
National Academy Press, Washington DC
9. Committee on quality of health care in America
(2001) Crossing the quality chasm. A new health
system for the 21st century. National Academy
Press, Washington DC
10. Donabedian A (1966) Evaluating the quality of medical care. Milbank Mem Fund 3(Suppl):166206
11. Elixhauser A, Steiner C, Harris DR, Coffey RM (1998)
Comorbidity measures for use with administrative
data. Med Care 1:827
12. Etzioni D, Wasif N, Dueck AC, Cima RR, Hohmann
SF, Naessens JM, Mathur AK, Habermann E (2015)
Association of hospital participation in a surgical outcomes monitoring program with inpatient
complications and mortality. JAMA 313:505511
13. Groene O, Skau, Jutta KH, Frolich A (2008) An international review of projects on hospital performance assessment. Int J Qual Health Care 3:162
171
14. Gute Praxis Sekundranalyse (GPS) Leitlinien
und Empfehlungen 3. Fassung 2012 http://www.
gesundheitsforschung-bmbf.de/_media/GPS.pdf.
Zugegriffen: 30. Nov. 2014
15. Iezzoni LI, Foley SM, Heeren T, Daley J, Duncan CC,
Fisher ES, Hughes J (1992) A method for screening
the quality of hospital care using administrative
data: preliminary validation results. QRB Qual Review Bull 11:361371
16. Jakob J, Marenda D, Sold M, Schluter M, Post S,
Kienle P (2014) Quality of documentation of intraoperative and postoperative complications. Chirurg 8:705710
17. Kaafarani MA, Borzecki AM, Itani K (2011) Validity
of selected patient safety indicators: opportunities
and concerns. J Am Coll Surg 6:924934
18. Ketelaar A, Faber MJ, Flottorp S, Rygh LH, Deane HO, Eccles MP (2011) Public release of performance data in changing the behaviour of healthcare consumers, professionals or organisations.
Cochrane Database Syst Rev 11:CD004538
19. Koch CG, Li L, Hixson E, Tang A, Phillips S, Henderson JM (2012) What are the real rates of postoperative complications: elucidating inconsistencies
between administrative and clinical data sources. J
Am Coll Surg 5:798805
20. Kostuj T, Smektala R (2010) Quality assurance
using routine data. Is outcome quality now measurable? Unfallchirurg 113(12):10471048, 1050
1052
21. Krumholz HM, Lin Z, Normand S-LT (2013) Measuring hospital clinical outcomes. BMJ 346:f620

Der Chirurg

22. Lawson E, Louie R, Zingmond D, Brook R, Hall B,

Han L, Rapp M, Ko C (2012) A comparison of clinical registry versus administrative claims data for
reporting of 30-day surgical complications. Ann
Surg 6:973981
23. Leal JR, Laupland KB (2010) Validity of ascertainment of co-morbid illness using administrative
databases: a systematic review. Eur J Clin Microbiol
Infect Dis 6:715721
24. Liberati A, Altman D, Tetzlaff J et al (2009) The
PRISMA statement for reporting systematic reviews and meta-analysis of studies that evaluate
healthcare interventions: explanations and elaboration. BMJ 339:b2700
25. Lilford R, Pronovost P (2010) Using hospital mortality rates to judge hospital performance: a bad
idea that just wont go away. BMJ 340:c2016
26. McGinn TG, Guyatt GH, Wyer PC, Naylor CD, Stiell
IG, Richardson WS (2000) Users guides to the medical literature: XXII: how to use articles about clinical decision rules. Evidence-Based Medicine
Working Group. JAMA 1:7984
27. Mull H, Borzecki A, Loveland S et al (2014) Detecting adverse events in surgery: comparing events
detected by the Veterans Health Administration
Surgical Quality Improvement Program and the
Patient Safety Indicators. Am J Surg 4:584595
28. Osborne N, Nocholas L, Ryan A, Thumma J, Dimick
J (2015) Association of hospital participation in a
quality reporting program with surgical outcomes
and expenditures for medicare beneficiaries. JAMA
313:496504
29. Pine M, Jordan HS, Elixhauser A, Fry D, Hoaglin D,
Jones B, Meimban R, Warner D, Gonzales J (2007)
Enhancement of claims data to improve risk adjustment of hospital mortality. JAMA 297:7176
30. Quan H, Eastwood C, Cunningham C, Liu M, Flemons W, De Coster C, Ghali W (2013) Validity of
AHRQ patient safety indicators derived from ICD10 hospital discharge abstract data (chart review
study). BMJ Open 3:e003716
31. Quan H, Li B, Saunders LD, Parsons GA, Nilsson CI,
Alibhai A, Ghali WA (2008) Assessing validity of
ICD-9-CM and ICD-10 administrative data in recording clinical conditions in a unique dually coded
database. Health Services Res 4:14241441
32. Romano P, Mull H, Rivard P et al (2009) Validity of
selected AHRQ patient safety indicators based on
VA National Surgical Quality Improvement Program data. Health Services Res 44:182204
33. Romano P, Roos L, Luft H, Jollis J, Doliszny K (1994)
A comparison of administrative versus clinical data: coronary artery bypass surgery as an example. J
Clin Epidemiol 47:249260
34. Rosen AK, Itani MF, Cevasco M et al (2012) Validating the patient safety indicators in the Veterans
Health Administration: do they accurately identify
true safety events? Med Care 1:7485
35. So L, Beck CA, Brien S, Kennedy J, Feasby TE, Ghali WA, Hude Q (2010) Chart documentation quality and its relationship to the validity of administrative data discharge records. Health Informatics
2:101113
36. Stekeler-Weithofer (2011) Qualitt/Quantitt. In:
Sandkhler H (Hrsg) Enzyklopdie PhilosophieMeiner F, Hamburg, S2184, 2188
37. Utter GH, Zrelak PA, Baron R, Tancredi DJ, Sadeghi
B, Geppert JJ, Romano PS (2013) Detecting postoperative hemorrhage or hematoma from administrative data: the performance of the AHRQ Patient Safety Indicator. Surgery 5:11171125
38. www.qualittssicherung-mit-routinedaten.de.
Zugegriffen: 30. Nov. 2014