Anforderungen und Anwendungshinweise für den Einsatz von Qualitätsindikatoren in der medizinischen Versorgung: Ergebnisse eines systematischen Reviews

Zusammenfassung

Hintergrund: Qualitätsindikatoren werden zur Bewertung der medizinischen Versorgungsqualität eingesetzt. Die valide Messung und Darstellung von Qualität sind entscheidend, um eine hochwertige medizinische Versorgung zu erhalten und weiterzuentwickeln. Diese Arbeit untersucht, welche Anforderungen an Qualitätsindikatoren und ihre erfolgreiche Anwendung in der Routineversorgung zu stellen sind.

Methoden: Eine systematische Literaturrecherche in MEDLINE anhand definierter Hauptsuchbegriffe ergab 573 Treffer, eine ergänzende Handsuche weitere 153 Arbeiten, sodass insgesamt 726 Abstracts gescreent wurden. Anhand des Vorgehens nach dem PRISMA Statement wurden 83 Artikel in das Review eingeschlossen.

Ergebnisse: 48 Artikel beschreiben Gütekriterien und 41 Artikel Anforderungen an die Anwendung von Qualitätsindikatoren in der medizinischen Versorgung. Am häufigsten werden Validität (n=19), Praktikabilität (n=16), Reliabilität (n=14) und Interpretierbarkeit des Qualitätsindikators (n=14) als Gütekriterien genannt, gefolgt von Relevanz (n=10), Sensitivität (n=8) und Risikoadjustierung (n=6). Die meisten beschriebenen Anwendungsanforderungen umfassen die Einbindung von Qualitätsindikatoren in den Versorgungskontext (n=15), die Möglichkeit der Ableitung von Verbesserungspotenzialen (n=11), Datenqualität (n=8), die Datenverfügbarkeit (n=7) sowie die Akzeptanz der Qualitätsmessung im jeweiligen Setting (n=6).

Schlussfolgerung: Plausible Qualitätsergebnisse helfen, Versorgungsstrukturen und -prozesse zu verbessern und bieten Patienten und Akteuren valide Aussagen zur Versorgungsqualität. Die untersuchten Originalarbeiten setzen sich in erster Linie mit der inhaltlich-fachlichen Validität von Qualitätsindikatoren auseinander. Eine Konsentierung methodischer Gütekriterien für Entwicklung, Implementierung und Anwendung von Qualitätsindikatoren ist dringend erforderlich. Diese konsentierten Kriterien wären zudem empirisch bezüglich ihrer Praxistauglichkeit zu überprüfen.

Abstract

Background: Quality indicators are employed in the assessment of quality of medical care. Valid measurement and reporting of quality are essential for maintenance and enhancement of high-quality medical care. The aim of this study was to identify the requirements for quality indicators and their successful implementation in routine care.

Method: A systematic literature search conducted in Medline using MESH keywords resulted in 573 hits. A complementary hand search additionally identified 153 papers, so that in all 726 abstracts were screened. In conformity with the PRISMA Statement, 83 papers were finally included in this review.

Results: Quality criteria are described in 48 publications and requirements for the application of quality indicators in medical care are given in 41 publications. Validity (n=19), feasibility (n=16), reliability (n=15), and interpretability of the quality indicator (n=14) are the most frequently named quality criteria, followed by relevance (n=10), sensitivity (n=8) and risk adjustment (n=6). The most common requirements for the application of quality indicators are integration of quality indicators in the given healthcare setting (n=15) and ability to derive potential improvement (n=11), data validity (n=8), data availability (n=7) as well as acceptance of the measurement in the given setting (n=6).

Conclusion: Plausible quality measurements help improve healthcare structures and processes and provide patients and professionals with valid statements on the quality of care. The original articles examined focus primarily on the validity of quality indicators. A consensus on methodological criteria for the development, implementation and application of quality indicators is required. Furthermore, the practical applicability of quality criteria should be tested empirically.

Schlüsselwörter

Qualitätsindikator - Qualitätsmessung - Evaluation - Gütekriterien - Routineversorgung

Key words

quality indicator - quality measurement - evaluation - quality criteria - routine care

Einleitung

Die Anwendung valider Instrumente zur Messung, Bewertung und Darstellung der Versorgungsqualität stellen aktuelle gesundheitspolitische Ziele in Deutschland [1] und auch in anderen Ländern wie Österreich und der Schweiz dar. Um den gesundheitspolitischen Willen einer für Patienten transparenten Darstellung des Versorgungsgeschehens umzusetzen, wurde das Institut für Qualität und Transparenz im Gesundheitswesen (IQTIG) gegründet. Ziel des Instituts ist die möglichst sektorenübergreifende ,,Messung und Darstellung der Versorgungsqualität durch abgestimmte risikoadjustierte Indikatoren“ [2].

Qualitätsindikatoren werden aktuell in unterschiedlichen Verfahren zur Ermittlung der Versorgungsqualität eingesetzt [3] [4] [5] [6]. Bislang erfolgte in Deutschland ausschließlich im stationären Sektor eine bundesweit einheitliche Messung, Bewertung und Darstellung der Versorgungsqualität. Durch die Bundesgeschäftsstelle Qualitätssicherung (BQS) und das Institut für angewandte Qualitätsförderung und Forschung im Gesundheitswesen (AQUA-Institut) entwickelten Qualitätsindikatoren zur Messung und Darlegung der stationären Versorgungsqualität [3] [7] werden von allen deutschen Kliniken angewandt. Die Ergebnisse werden in den Strukturierten Qualitätsberichten der Krankenhäuser gemäß § 137 SGB V veröffentlicht. Aber auch für die ambulante Versorgung stehen Qualitätsindikatoren in den Startlöchern und werden in den kommenden Jahren an Bedeutung gewinnen [5].

Sowohl für die Entwicklung von Qualitätsindikatoren als auch deren erfolgreichen, d. h. nachhaltigen Einsatz in der Routineversorgung existieren kaum definierte und konsentierte Anforderungen, die in der Versorgungsrealität eingesetzt werden und einer evidenzbasierten Qualitätsmessung entsprechen. Die Gesellschaft für Qualitätsmanagement in der Gesundheitsversorgung (GQMG) sieht es als eine wichtige Aufgabe für alle Beteiligten an, den begonnenen Diskurs [8] [9] [10] [11] der Güte von Qualitätsindikatoren fortzuführen, weitere Informationen verdichtet zur Verfügung zu stellen und somit wissenschaftlich fundiert die Entwicklung, Verbreitung und Evaluation von Methoden und Konzepten des Qualitätsmanagements zu fördern.

Ziel dieser Arbeit ist es, Anforderungen an Qualitätsindikatoren und Hinweise für deren Anwendung für die Nutzer von Qualitätsindikatoren zu identifizieren und deren Relevanz herauszustellen. Dazu erfolgte die Bearbeitung der beiden folgenden Fragestellungen:

1. Welchen Anforderungen muss ein Qualitätsindikator für den Einsatz in der Routineversorgung genügen?

2. Was ist bei der Anwendung von Qualitätsindikatoren in der Routineversorgung zu beachten?

Methode

Beide Fragestellungen wurden mittels eines systematischen Reviews mit Veröffentlichungszeitraum 2000–2013 untersucht. Die Untergrenze des Veröffentlichungszeitraums basiert auf dem Bericht ,,To Err is Human“ des Institute of Medicine (IOM) aus dem Jahr 1999 [12]. Dieser löste ähnlich wie der ,,Primer on Indicator Development“ der Joint Commission [13] [14] [15] Anfang der 1990er Jahre zu Beginn der 2000er Jahre eine zweite Welle der Entwicklung von Qualitäts- und Patientensicherheitsindikatoren aus. In Folge der Veröffentlichung des IOM-Berichtes wurde die Thematik der Patientensicherheit erstmalig im größeren Umfang in einer breiten Publikation dargestellt und das Bewusstsein für eine nachhaltige Qualitätsmessung und -verbesserung geschaffen.

Die Recherche wurde in MEDLINE anhand der medizinischen Hauptsuchbegriffe (MeSH Terms) ,,humans“, ,,quality indicator“, ,,health care“ in Kombination mit dem Freitextbegriff ,,assess*“ und Veröffentlichungsarten ,,comparative study“, ,,evaluation study“, ,,journal article“, ,,observational study“ und ,,review“ durchgeführt. Diese erste Recherche ergab 573 Arbeiten. Im zweiten Schritt ergänzten die Autoren weitere 153 Arbeiten in deutscher und englischer Sprache, die per Handsuche unter anderem anhand der Referenzen der als Standardwerke [16] [17] zum Thema geltenden Übersichtsarbeiten identifiziert wurden. Somit lagen insgesamt 726 Artikel zum Thema Qualitätsindikatoren aus den Jahren 2000–2013 vor. Das Vorgehen entspricht dem des PRISMA Statements [18] ([Abb. 1]). Die Einschlusskriterien für die Beantwortung der Fragestellungen waren die Implementierung bzw. Anwendung von Qualitätsindikatoren in der Routineversorgung unabhängig vom Behandlungssektor, die Sprache der Artikel (deutsch- oder englischsprachig), Open-Access-Originalarbeiten, um ausschließlich frei zugängliche Arbeiten zu identifizieren, die dem praktischen Anwender in der täglichen Klinikroutine bei einer raschen Onlinerecherche zugänglich sind. Die Richtigkeit der gewählten Suchstrategie wurde über den Recall von ex ante definierten, im Ergebnis erwarteten Arbeiten bestätigt.

Abb. 1 Modifiziertes PRISMA Diagramm zur Literaturrecherche [18].

Die Bewertung der Relevanz der 726 Artikel für die untersuchten Fragestellungen erfolgte in 2 Schritten. Zunächst wurden die Artikel anhand der Abstracts von je 2 Gutachtern unabhängig voneinander bewertet und in einer Ergebnisliste strukturiert dokumentiert. Bei unterschiedlichen Bewertungsergebnissen der beiden Gutachter erfolgte eine erneute gemeinsame Prüfung und Diskussion der Inhalte innerhalb der Gruppe der Autoren. Im Ergebnis wurden 138 Artikel aufgrund des Abstracts als potentiell relevant eingestuft.

In einem zweiten Bewertungsschritt wurden von allen 138 Artikeln im Volltext wiederum von je 2 Gutachtern die relevanten Aussagen zu den beiden Fragen exzerpiert. Dabei kam ein a priori entwickelter, strukturierter Bewertungs- und Extraktionsbogen zum Einsatz. Die Inhalte dieses Extraktionsbogens waren die Diagnose/Erkrankungsgruppe, die mit den Qualitätsindikatoren analysiert wird, der Behandlungssektor, die konkreten Anforderungen an Qualitätsindikatoren sowie Hinweise bei der Implementierung und Anwendung von Qualitätsindikatoren in der Routineversorgung. Bei diesem Schritt wurden weitere 55 Artikel ausgeschlossen, da sie keine für die Fragestellungen relevanten Aussagen beinhalteten.

Ergebnisse

Insgesamt 83 Artikel mit verwertbaren Aussagen zu mindestens einer der beiden untersuchten Fragestellungen konnten, unter Berücksichtigung der Beschränkung auf Veröffentlichungen in deutscher oder englischer Sprache und auf freie Verfügbarkeit, in das Review eingeschlossen werden ([Abb. 1]). Gütekriterien für Qualitätsindikatoren wurden in 48 Artikeln beschrieben und Anforderungen an die Anwendung von Qualitätsindikatoren in der medizinischen Versorgung in 41 Artikeln. Viele Artikel (n=32) enthalten Aussagen sowohl zu Gütekriterien als auch zu Anwendungsanforderungen.

1. Frage: Welchen Anforderungen muss ein Qualitätsindikator für den Einsatz in der Routineversorgung genügen?

1.1 Gütekriterien für Qualitätsindikatoren aus Originalarbeiten

Die 48 identifizierten Arbeiten benennen jeweils unterschiedliche Gütekriterien für Qualitätsindikatoren. Am häufigsten geben die Arbeiten folgende Gütekriterien an: Validität (n=19), Praktikabilität (n=16) und Reliabilität (n=14). Die Interpretierbarkeit der Ergebnisse (n=14) und die Evidenzbasierung (n=12) werden ebenfalls häufig als Gütekriterien für Qualitätsindikatoren benannt. Als weitere Kriterien zur Bestimmung der Güte eines Qualitätsindikators werden Relevanz (n=10), Sensitivität (n=8) und Risikoadjustierung (n=6) aufgeführt. Die RUMBA-Regel [19] – relevant, understandable, measurable, behaviourable, achievable/feasable – wird ebenso häufig (n=7) durch die Autoren angegeben. Weniger häufig benannt werden Bewertungsinstrumente für Qualitätsindikatoren wie QUALIFY (n=2) [7] oder die RAND/UCLA Appropriateness Method (n=1) [20], die wie die RUMBA-Regel eine Übersicht von Gütekriterien bieten ([Tab. 1]).

Tab. 1 Anforderungen an Qualitätsindikatoren in der Routineversorgung.

Erstautor Publikationsjahr	Validität	Praktikabilität	Reliabilität	Interpretierbarkeit	Evidenzbasierung	Relevanz	Sensitivität	RUMBA-Regel	Risikoadjustierung	Manipulationssicherheit	Spezifität	Patientenorientierung	Prognosefähigkeit	Anwendungsbezug	Änderungssensitivität	QUALIFY	RAND/UCLA Appropriateness Method
Albert 2012 [35]	●		●		●
Andersen 2006 [36]	●					●				●
AQUA 2013 [3]		●		●		●		●					●
Asch 2001 [37]						●				●			●
Avery 2011 [38]					●												●
Baumann 2008 [39]									●
Blumenstock 2011 [40]								●								●
Bombardier 2013 [41]	●	●			●
Burge 2007 [42]	●	●	●	●
Cheng 2004 [43]	●	●		●
Chenot 2010 [44]	●	●	●	●	●	●	●
Earle 2003 [45]										●
Eberl 2008 [46]	●		●				●				●
Evans 2009 [47]	●		●	●	●	●			●	●
Gagliardi 2005 [48]		●		●
Groene 2008 [49]						●						●
Händel 2004 [50]								●
Heller 2008 [51]	●			●
Hermann 2007 [52]	●	●	●						●	●
Hermann 2002 [53]		●
John 2008 [54]				●
Johnstone 2012 [55]		●			●	●
Jüttner 2012 [56]	●	●	●				●	●
Kitson 2010 [57]					●
Kliche 2011 [58]			●	●
Kopp 2007 [59]							●
Kostuj 2010 [60]	●
Kristensen 2009 [61]														●
Krzyzanowska 2011 [62]														●
Laux 2011 [63]	●
Leffmann 2004 [64]	●		●				●	●			●
Mainz 2003 [65]									●
Marshall 2006 [66]				●	●	●
Peters 2012 [67]												●		●
Popken 2011 [68]										●
Prütz 2012 [69]																●
Schrappe 2011 [70]	●
Selbmann 2004 [71]	●	●	●									●			●
Sens 2007 [72]		●		●	●	●		●
Seow 2009 [73]	●	●	●		●	●									●
Simon 2011 [74]												●
Stelfox 2010 [30]		●		●	●
Streppel 1998 [75]							●
Vagts 2009 [76]	●		●	●				●	●
Vowinkel 2008 [77]			●	●			●				●
Weinbrenner 2008 [78]	●				●
Willis 2007 [79]		●							●
Willis 2008 [80]		●	●				●				●		●
Anzahl der Nennungen	19	16	14	14	12	10	8	7	6	6	4	4	3	3	2	2	1

1.2 Gütekriterien für Qualitätsindikatoren aus systematischen Übersichtsarbeiten

Anhand der Suchkriterien wurden 6 systematische Übersichtsarbeiten identifiziert, die Antworten auf die gewählten Fragestellungen beinhalten. Im Abgleich der in Einzelarbeiten benannten Gütekriterien mit den vorliegenden systematischen Reviews zeigte sich, dass in den systematischen Reviews keine weiteren Anforderungen an Qualitätsindikatoren benannt wurden ([Tab. 2]) als durch die Einzelarbeiten identifiziert werden konnten. Dieser Abgleich macht deutlich, dass keine Gütekriterien aus Artikeln fehlen, die in den systematischen Reviews genannt werden.

Tab. 2 Anforderungen an Qualitätsindikatoren (Ergebnisse aus systematischen Reviews).

Erstautor Publikationsjahr	Praktikabilität	Reliabilität	Relevanz	Interpretierbarkeit	Validität	Änderungssensitivität	Evidenzbasierung	Patientenorientierung	Anwendungsbezug	Sensitivität	Spezifität
Abrahamyan 2012 [81]				●					●
Boulkedid 2011 [82]	●	●								●	●
Stelfox 2011 [83]		●			●	●
Kringos 2010 [24]	●		●	●		●
Shahangian 2009 [84]	●		●				●	●
Verleye 2009 [85]	●	●			●
Anzahl der Nennungen	4	3	2	2	2	2	1	1	1	1	1

2. Frage: Was ist beim Einsatz von Qualitätsindikatoren in der Routineversorgung zu beachten?

Die Einbindung von Qualitätsindikatoren und deren Ergebnisse in den Versorgungskontext ist als häufigstes Merkmal in den Artikeln benannt (n=15). Die Möglichkeit der Ableitung von Verbesserungspotenzialen aus den Qualitätsergebnissen wird in 11 Artikeln gefordert (n=11). Die Datenqualität (n=8), die Datenverfügbarkeit (n=7) und die Akzeptanz der Qualitätsmessung im jeweiligen Setting (n=6) werden häufig im Kontext der Anwendung von Qualitätsindikatoren benannt. Weitere anwendungsbezogene Anforderungen für die erfolgreiche Anwendung von Qualitätsindikatoren in der Routineversorgung umfassen die Variabilität der Ergebnisse (n=6), die zeitnahe und zielgruppenspezifische Berichterstattung der Ergebnisse (n=5), die tatsächliche Übertragbarkeit der Qualitätsergebnisse in die Praxis (n=4), die Verknüpfung bzw. Einbindung von Qualitätsindikatoren in andere Maßnahmen des Qualitätsmanagements (n=4), die praxisorientierte Messung (n=3), die Herstellung des Bezugs zu entstandenen bzw. aufgewandten Kosten der Versorgung (n=2) sowie die Langzeitmessung von Qualitätsergebnissen (n=1) ([Tab. 3]).

Tab. 3 Was ist bei der Anwendung in der Praxis zu beachten?.

Erstautor; Jahr der Publikation	Einbindung in den Versorgungskontext	Potenzial der Qualitätsverbesserung	Datenqualität	Datenverfügbarkeit	Akzeptanz	Variabilität der Ergebnisse	Berichterstattung der Ergebnisse	Übertragbarkeit der Ergebnisse	Verknüpfung mit anderen Maßnahmen des Qualitätsmanagements	Praxisorientierte Messung	Verknüpfung mit Kosten	Langzeitmessung
Albert 2012 [35]		●	●	●
Andersen 2006 [36]					●
Aulitzky 2011 [86]							●
Avery 2011 [38]								●
Baumann 2008 [39]			●
Bittner 2007 [87]	●						●
Blumenstock 2011 [40]		●			●	●
Bombardier 2013 [41]		●								●
Rucholtz 2007 [88]	●	●						●
Burge 2007 [42]												●
Cheng 2004 [43]		●							●		●
Chenot 2010 [44]			●	●
Earle 2003 [45]	●	●								●
Groene 2008 [49]											●
Güldner 2011 [89]			●
Händel 2004 [50]	●
Heller 2008 [51]							●
Hermann 2007 [52]				●
John 2008 [54]			●			●
Kopp 2011 [90]									●
Kostuj 2010 [60]		●								●
Krzyzanowska 2011 [62]	●
Laux 2011 [63]				●
Leffmann 2004 [64]	●	●						●
Levenson 2007 [91]									●
Mainz 2003 [16]	●
Meißner 2010 [92]	●		●	●
Nabavi 2012 [93]									●
Nakano 2008 [94]	●						●
Peters 2012 [67]	●
Schrappe 2011 [70]	●
Selbmann 2004 [71]			●		●
Selbmann 2005 [95]							●
Seow 2009 [73]	●			●				●
Simon 2011 [74]	●
Swart 2008 [96]	●				●	●
Vagts 2009 [76]	●	●
Vowinkel 2008 [77]					●	●
Weinbrenner 2008 [78]		●				●
Willis 2007 [79]		●	●	●
Willis 2008 [80]					●	●
Anzahl der Nennungen	15	11	8	7	6	6	5	4	4	3	2	1

2.1 Einsatzgebiete von Qualitätsindikatoren in der Medizin

Berichte über den Einsatz von Qualitätsindikatoren im klinischen Alltag liegen aus einzelnen Fachabteilungen von Krankenhäusern vor, so aus der Augenklinik, der Andrologie, der Abdominalchirurgie, der invasiven Kardiologie, der Notaufnahme, der Anästhesie, der Intensivmedizin, aus Stroke Units, aus der Onkologie und der Traumatologie. Daneben wird auch zu fachübergreifenden Themenbereichen berichtet wie der Behandlung von Patienten mit Rückenschmerzen oder der Vorbeugung von Dekubitalulzera ([Tab. 4]).

Tab. 4 Einsatzgebiete für Qualitätsindikatoren in der Medizin.

Fachgebiete
Akutbehandlung	Kringos (2010) [24]
Akutpsychiatrie	Hermann (2002) [53]
Andrologie	Popken (2011) [68]
Augenheilkunde	Händel (2004) [50]
Gefäßchirurgie	Ploeg (2010) [25]
Intensivmedizin	Jüttner (2012) [56], Vagts (2009) [76]
Kardiologie	Abrahamyan (2012) [81], Burge (2007) [42], Johnstone (2012) [55], Levenson (2007) [91]
Labormedizin	Shahangian (2009) [84]
Onkologie	Albert (2011) [35], Aulitzky (2011) [86], Baumann (2008) [39], Earle (2003) [45], Selbmann (2005) [95], Seow (2009) [73], Vowinkel (2008) [77]
Rettungsmedizin	Güldner (2011) [89]
Rheumatolgie	Bombardier (2013) [41]
Schmerztherapie	Meißner (2010) [92]
Stroke Unit	Nabavi (2012) [93]
Traumatologie	Kostuj (2010) [60], Rucholtz (2007) [88], Simon (2011) [74], Stelfox (2010) [30], Stelfox (2011) [83], Willis (2008) [80]
Krankheitsbilder
Darmkrebs	Gagliardi (2005) [48]
Dekubitusprophylaxe	Leffmann (2004) [64]
Diabetes	Eberl (2008) [46]
Gynäkol. Tumoren	Krzyzanowska (2011) [62], Verleye (2009) [85]
Herzinsuffizienz	Laux (2011) [63]
Kopfschmerz	Peters (2012) [67]
Magengeschwüre	Nakano (2008) [94]
Parkinson	Cheng (2004) [43]
Rückenschmerz	Chenot (2010) [44]
Systemforschung
Behandlungsfehler	Kristensen (2009) [61]
Integrierte Versorgung	Weinbrenner (2008) [78]
Krebsregister	Kopp (2011) [90]
Prävention	Kliche (2011) [58], Marshall (2006) [66]

Diskussion

Die identifizierten Anforderungen an die Güte von Qualitätsindikatoren und für ihre Anwendung in der Versorgungspraxis unterscheiden sich stark zwischen den einzelnen Autoren. Es konnten keine 2 Arbeiten gefunden werden, in denen exakt dieselben Kriterien benannt sind. Die am häufigsten aufgeführten Gütekriterien sind Validität, Praktikabilität, Reliabilität und Evidenzbasierung von Qualitätsindikatoren. Damit wird diesen Kriterien die höchste Relevanz zugewiesen. Für einen nachhaltigen Einsatz von Qualitätsindikatoren in der Routineversorgung sollten diese Kriterien fest in den Kontext der Implementierung und Evaluation von Qualitätsindikatoren eingebunden sein.

Ein wenig überraschend sind metrologische Gütekriterien, also solche, die die technischen Aspekte des Messens betreffen, in der gefundenen Literatur Mangelware. Risikoadjustierung, wie sie seit vielen Jahren insbesondere von Iezzoni [21] [22] als für bestimmte Anwendungsbereiche unabdingbar proklamiert wird, findet man nur selten (n=6), Gütekriterien aus einer empirischen Überprüfung in der Praxis wie die Diskriminationsfähigkeit [7] oder der positiv prädiktive Wert eines auffälligen Indikatorergebnisses [23] sucht man vergebens.

Eine empirische ,,Härtung“ der vorgeschlagenen Gütekriterien anhand zugrunde liegender Daten aus der Versorgungspraxis fand in keiner der Arbeiten statt. Damit besteht hier eine gravierende Evidenzlücke für Messinstrumente, die bereits flächendeckenden Eingang in die medizinische Versorgung gefunden haben. Nur in sehr wenigen der eingeschlossenen Originalarbeiten [24] [25] erfolgte eine Differenzierung der Gütekriterien mithilfe von Qualitätsdimensionen wie bspw. der Einteilung in Struktur-, Prozess- und Ergebnisqualität nach Donabedian [26].

Wie viele Qualitätsindikatoren allein in Deutschland aktuell angewendet werden, ist unklar. Der Qualitätsindikatoren-Thesaurus des GKV-Spitzenverbandes führt 1 667 Qualitätsindikatoren in unterschiedlichen Entwicklungs- und Anwendungsstadien auf. Evidenz und Güte dieser Indikatoren sind in vielen Fällen nicht dokumentiert und bleiben deshalb für den Anwender unklar [9]. Auch die Frage, ob der eingesetzte Indikator das zu messende Qualitätsmerkmal überhaupt sachgerecht abbildet, ist eine entscheidende Frage, zu der in vielen Fällen keine empirisch abgesicherte Datenbasis vorliegt [27]. Analysen zur Anwendbarkeit und Umsetzung von Qualitätsindikatoren zeigen, dass die Akzeptanz der Anwender und die gesicherte und problemlose Datenverfügbarkeit ebenfalls kritische Erfolgsfaktoren darstellen [28] [29].

Die Ergebnisse machen deutlich, dass abhängig vom Autor unterschiedliche Anforderungen an Qualitätsindikatoren gestellt werden und daher eine Konsentierung methodischer Gütekriterien für die Entwicklung, Implementierung und Anwendung von Qualitätsindikatoren dringend erforderlich ist. Diese Konsentierung relevanter Kriterien und ihre Überprüfung in der Versorgungsrealität sollten im Rahmen eines strukturierten Prozesses und unter Beteiligung aller relevanten Interessengruppen und Entscheidungsträger des Gesundheitswesens durchgeführt werden. Der Nachweis der Güte von implementierten Messinstrumenten in die Routineversorgung ist notwendig, um einen transparenten Umgang mit Versorgungsdaten zu schaffen. Patienten und ihren Angehörigen wird so eine nachvollziehbare Entscheidungsgrundlage für die Wahl des medizinischen Leistungserbringers geboten. Ärzten und Pflegenden werden Kriterien für die Steuerung der Qualität ihrer Behandlungsprozesse bereitgestellt. Zukünftig sind Qualitätsindikatoren als Kriterien in der Bemessung von qualitätsbezogenen Vergütungsbestandteilen sowie in der Krankenhausplanung vorgesehen. Diese neuen gesetzlichen Regelungen bringen besonders hohe Anforderungen an die Güte von Qualitätsindikatoren mit sich.

Stärken und Schwächen

Das vorliegende Review liefert einen Überblick über aktuelle wissenschaftliche Arbeiten zur gewählten Fragestellung. Die Autoren entschieden sich aktiv dafür, das Review auf frei verfügbare Originalartikel in deutscher oder englischer Sprache zu beschränken. Dies ermöglicht dem Leser einen schnellen, unmittelbaren Zugriff auf die einzelnen Originalarbeiten und Reviews. Eine solche orientierende Recherche entspricht den Möglichkeiten eines Klinikers, wenn er mehr über praktische Erfahrungen mit Qualitätsindikatoren erfahren möchte und selbst Qualitätsindikatoren in klinische Prozesse implementieren möchte. Diese beiden Fragestellungen, Hinweise bei der Implementierung sowie Gütekriterien von Qualitätsindikatoren, sind essentiell, um praktikable Messinstrumente im Alltag zu nutzen sowie relevante und valide Qualitätsergebnisse zu erhalten.

Durch diese Einschränkung ist allerdings nicht auszuschließen, dass weitere methodische Gütekriterien existieren, die mit der durchgeführten Suchstrategie nicht identifiziert wurden. Ein Abgleich der Ergebnisse mit anderen Reviews [30] zeigt jedoch eine hohe Übereinstimmung mit den aus der vorliegenden Recherche extrahierten Gütekriterien für Qualitätsindikatoren. Sicherlich ist auch zu beachten, dass allein die Anzahl der Nennungen einer Anforderung in der gefundenen Literatur zwar ein empirisches Maß der Bedeutung – oder zumindest der Aufmerksamkeit – in der aktuellen wissenschaftlichen Praxis im Umgang mit Qualitätsindikatoren darstellt. Es ist jedoch nur ein Anhaltspunkt, kein absolutes Maß für die Wichtigkeit der einzelnen Kriterien. In der Praxis wird die Bedeutung der einzelnen Kriterien jeweils in Abhängigkeit vom konkreten Anwendungskontext und unter Berücksichtigung praktischer Erwägungen neu zu bewerten sein.

Fragestellungen für weitere Forschung

In keiner der identifizierten Arbeiten erfolgte die Anwendung der Gütekriterien auf Qualitätsindikatoren. BQS und AQUA haben die von ihnen bereitgestellten Indikatoren größtenteils bezüglich ihrer methodischen Güte bewertet und dies transparent dokumentiert. Das gilt aber bei weitem nicht für alle Qualitätsindikatoren. Somit ist unklar, welche Güte die aktuell verwendeten Qualitätsindikatoren aufweisen. Da bislang kein Konsens über die Art und Ausprägung von Gütekriterien für Qualitätsindikatoren besteht, ist auch die Konsequenz der Überprüfung der Güte unklar. Auch BQS und AQUA haben nicht systematisch validiert, welchen Einfluss das Erfüllen oder Nicht-Erfüllen bestimmter Gütekriterien auf die Wirksamkeit des Einsatzes eines Qualitätsindikators in der Routineversorgung hat.

Fazit

Nur sehr wenige der identifizierten Arbeiten dokumentieren eine kritische Auseinandersetzung mit den verschiedenen Anforderungen für einen sinnvollen Einsatz der beschriebenen Qualitätsindikatoren. Dass sich die gefundenen Originalarbeiten in erster Linie mit der inhaltlich-fachlichen Validität von Qualitätsindikatoren auseinandersetzen, ist nicht verwunderlich, fehlt es doch an einem Konsens über Gütekriterien und an Beispielen, wie diese empirisch zu überprüfen sind. Umso wichtiger erscheint eine systematische methodische Auseinandersetzung mit den Anforderungen an Qualitätsindikatoren, die sich aus Erfahrungen ableiten, die klinisch tätige Ärzte und Pflegefachkräfte im praktischen Einsatz der Qualitätsindikatoren gesammelt haben. Es besteht hier ein deutlicher Nachholbedarf an wissenschaftlichen Untersuchungen zum sinnvollen Einsatz von Qualitätsindikatoren. Die Einbindung von Qualitätsindikatoren in den Versorgungskontext und aus ihnen ableitbare Verbesserungspotenziale sind die wesentlichen Voraussetzungen für einen sinnvollen Einsatz, die bereits bei der Entwicklung von Qualitätsindikatoren Berücksichtigung finden sollten. Sie stellen einen wichtigen Beitrag für die spätere Akzeptanz der Qualitätsindikatoren durch die jeweiligen Anwender dar.

Nach Ansicht der Autoren zeigt sich eine Parallelität zur Entwicklung und Implementierung von Leitlinien in den 1990er und 2000er Jahren. Die schrittweise Entwicklung, Bewertung, Einführung sowie regelmäßige Evaluation der Anwendung von Leitlinienempfehlungen in der Praxis haben dazu geführt, dass Leitlinien inzwischen als anerkanntes Instrument für die Gestaltung evidenzbasierter Behandlungsprozesse gelten [31] [32] [33]. Übertragen auf Qualitätsindikatoren bedeutet dies, Empfehlungen für die systematische Entwicklung und -bewertung methodisch transparent zu gestalten und zu beachten sowie die Wirksamkeit ihrer Implementierung regelmäßig zu evaluieren und aufzuzeigen. Die Autoren sehen in der Bewertung und standardisierten Darlegung der methodischen Güte von Qualitätsindikatoren einen vergleichbaren wichtigen und notwendigen Erfolgsfaktor. Dieses Review hat gezeigt, dass wir im Moment noch viel zu wenig über Wirksamkeit, mögliche Erfolgsfaktoren und Grenzen des Praxiseinsatzes von Qualitätsindikatoren wissen.

Es besteht kein Zweifel, der Einsatz von Qualitätsindikatoren ist wichtig und unverzichtbar, um die Versorgungsqualität zu messen, zu bewerten und zu verbessern. Allerdings müssen durch eine methodische Validierung die notwendige Transparenz geschaffen und zusätzlich durch eine flächendeckende Begleitevaluation die Wirksamkeit ihres Einsatzes überprüft werden. Dabei ist sicherzustellen, ,,dass das Verhältnis von Machbarkeit, Sinnhaftigkeit und Angemessenheit gewahrt bleibt und dass die Qualitätsaussagen auf das beschränkt werden, was die Messinstrumente leisten können“ [34]. Ziel muss es sein, dass mittelfristig Qualitätsindikatoren von hoher methodischer Güte in der medizinischen Versorgung zur Anwendung kommen und als Grundlage für eine Verbesserung von Versorgungsstrukturen und -prozessen genutzt werden.

Interessenkonflikt:

Susanne Rode ist Mitarbeiterin der Geschäftsstelle Qualitätssicherung im Krankenhaus an der Baden- Württembergischen Krankenhausgesellschaft und Mitglied in der Bundesfachgruppe Pflege für die externe Stationäre Qualitätssicherung nach § 137 SGB V. Uta Buch ist seit dem 01.01.2016 Referentin bei der Deutschen Krankenhausgesellschaft (DKG) und war Mitarbeiterin des AQUA-Instituts, welches zum Zeitpunkt des systematischen Reviews durch den Gemeinsamen Bundesausschuss zur Umsetzung der externen Qualitätssicherung gemäß § 137 SGB V beauftragt war. Burkhard Fischer ist Leiter des Referats Qualitätsmanagement, IT und Datenanalyse der Krankenhausgesellschaft Nordrhein-Westfalen, Düsseldorf, Mitglied in der Kommission Qualitätssicherung der Deutschen Krankenhausgesellschaft und Geschäftsführer der Gesellschaft für Qualitätsmanagement in der Gesundheitsversorgung (GQMG) e. V. Die übrigen Autoren erklären, dass kein Interessenskonflikt besteht.

Danksagung

Die Autoren bedanken sich bei den Mitgliedern der GQMG-Arbeitsgruppe „Kennzahlen und externe Qualitätsvergleiche“ für die engagierte Mitarbeit bei der Begutachtung und Bewertung der Abstracts und Volltexte im Rahmen des systematischen Literaturreviews.

• Literatur

• 1 CDU., CSU., SPD.: Deutschlands Zukunft gestalten . Koalitionsvertrag zwischen CDU, CSU und SPD. 2013 p. 53-57
• 2 Institut für Qualitätssicherung und Transparenz im Gesundheitswesen (IQTIG): Satzung http://www.iqtig.org/satzung (last accessed on 27.07.2015 2015)
• 3 Institut für angewandte Qualitätsförderung und Forschung im Gesundheitswesen GmbH (AQUA). Allgemeine Methoden im Rahmen der sektorenübergreifenden Qualitätssicherung im Gesundheitswesen nach §137a SGB V. Göttingen 2013 p. 74
• 4 Mansky T, Nimptsch U. German Inpatient Quality Indicators (G-IQI) – Qualitätsmessung in der Initiative Qualitätsmedizin. In: Kuhlen R, Rink O, Zacher J. (eds.). Jahrbuch Qualitätsmedizin 2010. Berlin: Medizinisch Wissenschaftliche Verlagsgesellschaft; 2011. p. 17-31
• 5 Kleudgen S, Diel F, Burgdorf F et al. KBV entwickelt Starter-Set ambulanter Qualitätsindikatoren – AQUIK®-Set. Z Evid Fortbild Qual Gesundh wesen 2011; 105: 54-63
• 6 Hermes K, Buschmann-Maiworm R, Klein G et al. WINHO-Qualitätsindikatoren der ambulanten onkologischen Versorgung in Deutschland. Z Evid Fortbild Qual Gesundh wesen 2013; 107: 548-559
• 7 Reiter A, Fischer B, Kotting J et al. QUALIFY – a tool for assessing quality indicators. Zeitschrift für ärztliche Fortbildung und Qualitätssicherung 2007; 101: 683-688
• 8 Schmitt J, Petzold T, Eberlein-Gonska M et al. Requirements for quality indicators. The relevance of current developments in outcomes research for quality management. Zeitschrift für Evidenz, Fortbildung und Qualität im Gesundheitswesen 2013; 107: 516-522
• 9 Petzold T, Deckert S, Eberlein-Gonska M et al. Evidenzbasierte Qualitätsmessung als Voraussetzung für Value-based Healthcare. Monitor Versorgungsforschung 2015; 8: 49-54
• 10 Rode S, Buch U, Fischer B. Ist Qualität messbar?. f&w 2014; 1175-1177
• 11 Altenhofen L, Brech W, Brenner G et al. Beurteilung klinischer Messgrößen des Qualitätsmanagements – Qualitätskriterien und -Indikatoren in der Gesundheitsversorgung. 2001
• 12 Kohn L, Corrigan J, Donaldson M. To Err Is Human. Building a Safer Health System. Washington, DC: Institute of Medicine; 1999
• 13 Joint Commission On Accreditation of Health Care Organizations . Characteristics of Clinical Indicators. Quality Rev Bull 1989; 15: 330-339
• 14 Joint Commission On Accreditation of Health Care Organizations . Primer on Indicator Development and Application. Measuring Quality in Health Care. Oakbrook Terrace 1990;
• 15 Characteristics of clinical indicators. QRB Quality review bulletin 1989; 15: 330-339
• 16 Mainz J. Defining and classifying clinical indicators for quality improvement. International journal for quality in health care: Journal of the International Society for Quality in Health Care/ISQua 2003; 15: 523-530
• 17 McGlynn EA, Asch SM. Developing a clinical performance measure. American Journal of preventive medicine 1998; 14: 14-21
• 18 Moher D, Liberati A, Tetzlaff J et al. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. PLoS medicine 2009; 6: e1000097
• 19 Schmidt S. Das QM-Handbuch. Qualitätsmanagement für die ambulante Pflege. Berlin, Heidelberg: Springer; 2010
• 20 Fitch KB, Aguilar SJ, Burnand MD et al. The RAND/UCLA Appropriateness Method User’s Manual. Santa Monica: RAND; 2001
• 21 Iezzoni LI. (ed.). Risk Adjustment for Measuring Health Care Outcomes. Fourth Edition Chicago: Health Administration Press; 2013
• 22 Iezzoni LI. The risks of risk adjustment. JAMA: the journal of the American Medical Association 1997; 278: 1600-1607
• 23 Romano PS, Mull HJ, Rivard PE et al. Validity of selected AHRQ patient safety indicators based on VA National Surgical Quality Improvement Program data. Health services research 2009; 44: 182-204
• 24 Kringos DS, Boerma WG, Bourgueil Y et al. The European primary care monitor: structure, process and outcome indicators. BMC family practice 2010; 11: 81
• 25 Ploeg AJ, Flu HC, Lardenoye JH et al Assessing the quality of surgical care in vascular surgery; moving from outcome towards structural and process measures. European journal of vascular and endovascular surgery: the official journal of the European Society for Vascular Surgery 2010; 40: 696-707
• 26 Donabedian A. Evaluating the quality of medical care, 1966. The Milbank quarterly 2005; 83: 691-729
• 27 Schmitt J, Petzold T, Deckert S et al. Recommendations for quality indicators in german S3 guidelines: a critical appraisal. Gesundheitswesen 2014; 76: 819-826
• 28 Hermes-Moll K, Baumann W, Zimmermann A et al. Machbarkeitsanalyse von Qualitätsindikatoren zur Messung der Qualität der ambulanten onkologischen Versorgung mit Daten aus Patientendokumentationen. Gesundh ökon Qual manag 2014;
• 29 de Cruppé W, Kleudgen S, Diel F et al. Feasibility of 48 quality indicators in ambulatory care in Germany: a cross-sectional observational study. Zeitschrift fur Evidenz, Fortbildung und Qualität im Gesundheitswesen
• 30 Stelfox HT, Bobranska-Artiuch B, Nathens A et al. Quality indicators for evaluating trauma care: a scoping review. Archives of surgery (Chicago, Ill: 1960) 2010; 145: 286-295
• 31 Field MJ, Lohr KN. Clinical practice guidelines: Directions for a new program. Washington (DC): National Academies Press; 1990
• 32 Ärztliches Zentrum für Qualität in der Medizin (ÄZQ), Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften (AWMF): Deutsches Instrument zur methodischen Leitlinien-Bewertung (DELBI). http://www.awmf.org/fileadmin/user_upload/Leitlinien/Werkzeuge/delbi-fassung-2005-2006-domaene-8-2008-1.pdf (letzter Zugriff 08.08.2015)
• 33 Semlitsch T, Blank WA, Kopp IB et al. Evaluating guidelines – a review of key quality criteria. Dtsch Arztebl Int 2015; 112: 471-478 DOI: 10.3238/arztebl.2015.0471.
• 34 Veit C, Hertle D, Bungard S et al. Pay-for-Performance im Gesundheitswesen: Sachstandsbericht zu Evidenz und Realisierung sowie Darlegung der Grundlagen für eine künftige Weiterentwicklung. BQS Institut für Qualität und Patientensicherheit 2012; p 23-28
• 35 Albert JM, Das P. Quality assessment in oncology. International journal of radiation oncology, biology, physics 2012; 83: 773-781
• 36 Andersen M. Is it possible to measure prescribing quality using only prescription data?. Basic & clinical pharmacology & toxicology 2006; 98: 314-319
• 37 Asch SM, Kerr EA, Lapuerta P et al. A new approach for measuring quality of care for women with hypertension. Archives of internal medicine 2001; 161: 1329-1335
• 38 Avery AJ, Dex GM, Mulvaney C et al. Development of prescribing-safety indicators for GPs using the RAND Appropriateness Method. The British journal of general practice: the journal of the Royal College of General Practitioners 2011; 61: e526-e536
• 39 Baumann W, Schmitz S. Qualitätsmonitoring mit Indikatoren. Der Onkologe 2008; 14: 1260-1267
• 40 Blumenstock G. Zur Qualität von Qualitätsindikatoren. Bundesgesundheitsbl 2011; 54: 154-159
• 41 Bombardier C, Mian S. Quality indicators in rheumatoid arthritis care: using measurement to promote quality improvement. Annals of the rheumatic diseases 2013; 72 (Suppl. 02) ii128-ii131
• 42 Burge FI, Bower K, Putnam W et al. Quality indicators for cardiovascular primary care. The Canadian journal of cardiology 2007; 23: 383-388
• 43 Cheng EM, Siderowf A, Swarztrauber K et al. Development of quality of care indicators for Parkinson’s disease. Movement disorders: official journal of the Movement Disorder Society 2004; 19: 136-150
• 44 Chenot J. Qualitätsindikatoren für die Versorgung von Patienten mit Rückenschmerz. Schmerz 2010; 24: 213-220
• 45 Earle CC, Park ER, Lai B et al. Identifying potential indicators of the quality of end-of-life cancer care from administrative data. Journal of clinical oncology: official journal of the American Society of Clinical Oncology 2003; 21: 1133-1138
• 46 Eberl S, Landgraf R. Qualitätsmanagement. Diabetologe 2008; 4: 657-670
• 47 Evans SM, Lowinger JS, Sprivulis PC et al. Prioritizing quality indicator development across the healthcare system: identifying what to measure. Internal medicine journal 2009; 39: 648-654
• 48 Gagliardi AR, Simunovic M, Langer B et al. Development of quality indicators for colorectal cancer surgery, using a 3-step modified Delphi approach. Canadian journal of surgery Journal canadien de chirurgie 2005; 48: 441-452
• 49 Groene O, Skau JK, Frolich A. An international review of projects on hospital performance assessment. International journal for quality in health care: journal of the International Society for Quality in Health Care/ISQua 2008; 20: 162-171
• 50 Händel A. Qualitätsmanagement in der Augenheilkunde. Umsetzung im klinischen Alltag. Ophthalmologe 2004; 101: 973-981
• 51 Heller G. Zur Messung und Darstellung von medizinischer Ergebnisqualität mit administrativen Routinedaten in Deutschland. Bundesgesundheitsbl 2008; 51: 1173-1182
• 52 Hermann RC, Rollins CK, Chan JA. Risk-adjusting outcomes of mental health and substance-related care: a review of the literature. Harvard review of psychiatry 2007; 15: 52-69
• 53 Hermann RC, Palmer RH. Common ground: a framework for selecting core quality measures for mental health and substance abuse care. Psychiatric services (Washington, DC) 2002; 53: 281-287
• 54 John S. Wie können wir medizinische Qualität im Krankenhaus management?. DMW 2008; 133: 149
• 55 Johnstone DE, Buller CE. Pan-Canadian cardiovascular data definitions and quality indicators: a status update. The Canadian journal of cardiology 2012; 28: 599-601
• 56 Jüttner B, Stenger K, Heller G et al. Anästhesiologische Ergebnisqualität aus Routinedaten. Beispiele der Appendektomie und der Dickdarmresektion. Anaesthesist 2012; 61: 444-451
• 57 Kitson A, Straus SE. The knowledge-to-action cycle: identifying the gaps. CMAJ: Canadian Medical Association journal=journal de l’Association medicale canadienne 2010; 182: E73-E77
• 58 Kliche T. Versorgungsstrukturen und Qualitätssicherung für Prävention und Gesundheitsförderung in Deutschland. Bundesgesundheitsbl 2011; 54: 194-206
• 59 Kopp IB, Geraedts M, HJäckel W et al. Nationale VersorgungsLeitlinien. Evaluation durch Qualitätsindikatoren. Medizinische Klinik 2007; 102: 678-682
• 60 Kostuj T, Smektala R. Qualitätssicherung mithilfe von Routinedaten. Unfallchirurg 2010; 113: 1047-1052
• 61 Kristensen S, Mainz J, Bartels P. Selection of indicators for continuous monitoring of patient safety: recommendations of the project ‘safety improvement for patients in Europe’. International journal for quality in health care: journal of the International Society for Quality in Health Care/ISQua 2009; 21: 169-175
• 62 Krzyzanowska MK, Barbera L, Elit L et al. Identifying population-level indicators to measure the quality of cancer care for women. International journal for quality in health care: journal of the International Society for Quality in Health Care/ISQua 2011; 23: 554-564
• 63 Laux G, Nothacker M, Weinbrenner S et al. Nutzung von Routinedaten zur Einschätzung der Versorgungsqualität: Eine kritische Beurteilung am Beispiel von Qualitätsindikatoren für die „Nationale Versorgungsleitlinie Chronische Herzinsuffizienz“. Zeitschrift fur Evidenz, Fortbildung und Qualität im Gesundheitswesen 2011; 105: 21-26
• 64 Leffmann CJ. Qualitätssicherung in der Dekubitusprophylaxe. Zeitschrift für Gerontologie und Geriatrie 2004; 37: 100-108
• 65 Mainz J. Developing evidence-based clinical indicators: a state of the art methods primer. International journal for quality in health care: journal of the International Society for Quality in Health Care/ISQua 2003; 15 (Suppl. 01) i5-i11
• 66 Marshall M, Klazinga N, Leatherman S et al. OECD Health Care Quality Indicator Project. The expert panel on primary care prevention and health promotion. International journal for quality in health care: journal of the International Society for Quality in Health Care/ISQua 2006; 18 (Suppl. 01) 21-25
• 67 Peters M, Jenkinson C, Perera S et al. Quality in the provision of headache care. 2: defining quality and its indicators. The journal of headache and pain 2012; 13: 449-457
• 68 Popken G. Qualitätssicherung bei andrologischen Operationen. Urologe 2011; 50: 17-19
• 69 Prütz F. Was ist Qualität im Gesundheitswesen?. Ethik Med 2012; 24: 105-115
• 70 Schrappe M, Gültekin N. Pay for Performance – Langfristige Effekte und Anreizwirkungen. Bundesgesundheitsblatt 2011; 54: 166-170
• 71 Selbmann HK. Bewertung und Zertifizierung von Akut-Krankenhäusern in Deutschland. Bundesgesundheitsbl 2004; 47: 103-110
• 72 Sens B, Fischer B, Bastek A et al. Begriffe und Konzepte des Qualitätsmanagements. GMS Med Inform Biom Epidemiol 2007; 3(1): Doc05
• 73 Seow H, Snyder CF, Mularski RA et al. A framework for assessing quality indicators for cancer care at the end of life. Journal of pain and symptom management 2009; 38: 903-912
• 74 Simon A. Patienteninvolvement und Informationspräfenrenzen zur Krankenhausqualität. Ergebnisse einer empirischen Analyse. Unfallchirurg 2011; 1: 73-78
• 75 Streppel M, Eckel HE, Goldschmidt O et al. Qualitätsbewertende Indikatoren in der stationären Versorgung einer HNO-Klinik. HNO 1998; 46: 864-869
• 76 Vagts D, Bauer M, Martin J. (Un-)Sinn von Zertifizierung in der Intensivmedizin. Problematik der Detektion geeigneter Indikatorsysteme. Anaesthesist 2009; 58: 81-87
• 77 Vowinkel T, Senninger N. Hilft die Zertifizierung zur Eliminierung von Fehlversorgung?. Der Onkologe 2008; 14: 715-720
• 78 Weinbrenner S, Ollenschläger G. Leitlinien – Grundlage neuer, zukunftsweisender Versorgungsformen. Bundesgesundheitsbl 2008; 51: 558-564
• 79 Willis CD, Gabbe BJ, Cameron PA. Measuring quality in trauma care. Injury 2007; 38: 527-537
• 80 Willis CD, Stoelwinder JU, Cameron PA. Interpreting process indicators in trauma care: construct validity versus confounding by indication. International journal for quality in health care: journal of the International Society for Quality in Health Care/ISQua 2008; 20: 331-338
• 81 Abrahamyan L, Boom N, Donovan LR et al. An international environmental scan of quality indicators for cardiovascular care. The Canadian journal of cardiology 2012; 28: 110-118
• 82 Boulkedid R, Abdoul H, Loustau M et al. Using and reporting the Delphi method for selecting healthcare quality indicators: a systematic review. PloS one 2011; 6: e20476
• 83 Stelfox HT, Straus SE, Nathens A et al. Evidence for quality indicators to evaluate adult trauma care: a systematic review. Critical care medicine 2011; 39: 846-859
• 84 Shahangian S, Snyder SR. Laboratory medicine quality indicators: a review of the literature. American journal of clinical pathology 2009; 131: 418-431
• 85 Verleye L, Ottevanger PB, van der Graaf W et al. EORTC-GCG process quality indicators for ovarian cancer surgery. European journal of cancer (Oxford, England: 1990) 2009; 45: 517-526
• 86 Aulitzky W, Becker G. Aufbau klinischer Krebsregister. Anmerkungen aus klinischer Sicht. Der Onkologe 2011; 14: 115-20
• 87 Bittner R, Burghardt J, Gross E et al. Qualitätsindikatoren bei Diagnostik und Therapie des Rektumkarzinoms. Zentralbl Chir 2007; 132: 85-94
• 88 Ruchholtz S, Lefering R, Paffrath T et al. Traumaregister der Deutschen Gesellschaft für Unfallchirurgie. Trauma Berufskrankh 2007; 9: 271-278
• 89 Güldner S, Mang H, Popp S et al. Gedanken zur Fehler- und Sicherheitskultur in deutschen Notaufnahmen. Notfall Rettungsmed 2011; 14: 351-360
• 90 Kopp IB. Von Leitlinien zur Qualitätssicherung. Bundesgesundheitsbl 2011; 54: 160-165
• 91 Levenson B, Albrecht A, Göhring S et al. 5. Bericht des Bundesverbandes Niedergelassener Kardiologen zur Qualitätssicherung in der diagnostischen und therapeutischen Invasivkardiologie 2003–2005. Herz 2007; 32: 73-84
• 92 Meißner W. Qualitätssicherung in der Schmerztherapie. Schmerz 2010; 24: 315-316
• 93 Nabavi D, Ringelstein E, Faiss J et al. Regionale und überregionale Stroke-Units in Deutschland. Aktualisierte Zertifizierungskriterien. Nervenarzt 2012; 83: 1039-1052
• 94 Nakano A, Bendix J, Adamsen S et al. 30-days mortality in patients with perforated peptic ulcer: A national audit. Risk management and healthcare policy 2008; 1: 31-8
• 95 Selbmann HK. Zertifizierungsverfahren in der Onkologie. Der Onkologe 2005; 11: 1292-1297
• 96 Swart E, Deh U, Robra BP. Die Nutzung der GKV-Daten für die kleinräumige Analyse und Steuerung der stationären Versorgung. Bundesgesundheitsbl 2008; 51: 1183-1192