? Was sagen Sie zur neuen Kritik an der Methodik von QSR.
Die weisen wir als methodisch fehlerhaft zurück. Lassen Sie mich das im Einzelnen
erläutern
? Könnten Sie uns zunächst erklären, wie Sie bei QSR vorgehen?
Grundlage sind die Abrechnungsdaten, die die einzelnen AOKen von den Kliniken erhalten
und danach in anonymisierter Form an das WIdO übermitteln. Mit diesen Längsschnittdaten
können wir damit über viele Jahre hinweg schauen, welche Versorgung unsere Versicherten
wo und wie erhalten haben.
? Wie lange heben Sie Routinedaten auf? 10 Jahre?
Sogar länger. Bei den von uns veröffentlichten Daten aus QSR werden Sie aber immer
nur die Auswertung der anonymisierten Daten zu einem Haus über einen Zeitraum von
3 Jahren finden. Dabei werden die Ergebnisse jährlich aktualisiert. Im Moment sind
in QSR die Daten von 2011 bis 2013 mit Follow-up bis 2014 enthalten. Wir haben ja
Indikatoren dabei, die den Zeitraum bis zu 1 Jahr nach einem Eingriff betrachten.
? Die Autoren besagter Publikation kritisieren Ihre Verfahren auf mehreren Ebenen.
So sei die Zuordnung von Daten aus einem Follow-up noch 1 Jahr nach der Erstoperation,
etwa nach Implantation eines Kunstgelenks, nicht statthaft. Ein Krankenhaus könne
längst nicht immer verantworten, was mit dem Patienten passiert, sobald er das Haus
verlassen hat. Was sagen Sie dazu?
Bei QSR geht es nicht um individuelle Einzelfälle sondern um die statistische Häufung
von Folgeereignissen. Uns beraten in solchen Fragen medizinische Fachgruppen, hier
speziell das Expertenpanel Orthopädie und Unfallchirurgie [
1
]. Nach Einschätzung der Gruppe stehen Revisionen binnen eines Jahres sehr wohl oft
im Zusammenhang mit der Erstoperation. Eine Infektion des Hüftgelenks zum Beispiel
führt oft erst nach Monaten zur Gelenkrevision und zum Austausch der Prothese. Daher
nehmen wir für diesen Indikator einen Zeitraum von 1 Jahr.
? Welchen Einfluss hat das Gremium der Experten generell?
Die Definition und Auswahl der Qualitätsindikatoren, die Risikoadjustierung und die
Eignung der Indikatoren für die Berichterstattung sind Dinge, die ausdrücklich von
den externen Mitgliedern in diesen Panels entschieden werden. Die Anwendung der Definitionen
auf die Daten und deren statistische Aufbereitung inklusive der Klassifizierung in
3 Wertungskategorien (Lebensbaum-Systematik) übernimmt das WIdO.
? Und wie gehen Sie dazu vor?
Wir rechnen für jedes Haus und jeden Parameter zunächst einmal die so genannte Standard
Morbiditäts-Rate oder Standard Mortalitäts-Rate (SMR) aus. Damit wollen wir erreichen,
dass man die Werte in den Kliniken überhaupt vergleichen kann – denn die Patienten
sind in jedem Haus unterschiedlich. Wir machen also eine so genannte Risikoadjustierung.
? Und das geht wie?
Wir kennen aus den Routinedaten die Zahl der tatsächlichen Fälle an Komplikationen
in einem Haus und setzen die ins Verhältnis zu einer Zahl an Komplikationen, die angesichts
des Risikoprofils der Patienten im Mittel zu erwarten sind. Der SMR-Wert kalkuliert
sich dann durch den Bezug: Im Zähler stehen die beobachteten Werte und im Nenner die
erwarteten. Ein SMR von 1 wäre damit genau der Durchschnitt, so viele Komplikationsfälle
wie erwartet. Ein SMR von 2,0 heißt doppelt so viele Komplikationen oder Sterbefälle
wie im Durchschnitt der Häuser. Und ein SMR von 0,5 heißt halb so viel wie erwartet.
? Wie kommen Sie auf die Zahlen für die zu erwarteten Fälle?
Dafür wird der komplette Datensatz aller deutschen Kliniken ausgewertet und dann in
einer Regressionsmodellierung berechnet, welche Faktoren in welcher Stärke komplikationserhöhend
wirken.
? Vermutlich Dinge wie Übergewicht, Vorerkrankungen?
Ja, ein Diabetes, Adipositas und andere Faktoren. Anhand der Daten zu solchen Risikofaktoren
bei den Patienten können wir dann für jedes Krankenhaus hochrechnen, mit wie vielen
Komplikationen anhand der Begleiterkrankungen der Patienten zu rechnen ist. Dieses
Verfahren der Regressionsmodellierung ist international etabliert und verbreitet sich
zunehmend auch in der gesetzlichen externen Qualitätssicherung. Es ist ein wesentlicher
Schritt hin zu überhaupt vergleichbaren Daten.
? Sie nehmen ein Verfahren zur Risikoadjustierung nach Elixhauser – was heißt das?
Anne Elixhauser hat 1998 erstmals 31 Erkrankungen definiert, die sie für die Risikoadjustierung
von Routinedaten verwendet. Diese Einteilung nehmen auch wir, haben dabei aber einige
Dinge in Abstimmung mit unseren Expertenpanels aktualisiert und erweitert. Sie können
alle Details auf unseren Seiten nachlesen (siehe Link unter Weitere Infos).
? Die Kritiker werfen Ihnen jetzt aber vor, dass Sie für den Vergleich der Kliniken
gerade nicht mit den Werten für den SMR arbeiten, sondern mit denen des so genannten
95 %-Konfidenzintervalls. Was ist das?
Bei dem SMR handelt es sich um einen Schätzwert mit einer Streubreite. Daher gibt
man ein Intervall an, in dem der tatsächliche Wert mit einer entsprechenden Wahrscheinlichkeit
liegt. Das 95 %-Konfidenzintervall gibt an, dass der wahre Wert für einen SMR mit
95-prozentiger Wahrscheinlichkeit in diesem Intervall liegt. Eine ausschließliche
Orientierung am SMR-Wert ohne Konfidenzintervall kann zu irreführenden Ergebnissen
führen.
? Und wie entwickeln Sie die Einstufung von Kliniken nach ihrer Qualität?
Wir wollen, dass der Leser die Information in einer einfachen Form erhält. Denn nur
so kann der Patient sie bei der Suche nach einem guten Krankenhaus nützen. Für jeden
einzelnen Qualitätsindikator sortieren wir daher ein Haus in eine von drei Gruppen
Plus, Minus oder Null. Die 20 % der Häuser, mit der geringsten Wahrscheinlichkeit
für unerwünschte Ereignisse kriegen das Plus, 20 % für die die Wahrscheinlichkeit
einer Komplikation hoch ist, kriegen das Minus, die 60 % in der Mitte kriegen die
Null.
Wir nehmen für diese Kategorisierung die Lage des 95 %-Vertrauensbereichs. Und zwar
mit folgender Grundüberlegung: Ein Patient, der bei uns die Daten von 1000 Kliniken
vergleichen will, möchte wissen: Welches dieser Krankenhäuser kann mir mit 95-prozentiger
Wahrscheinlichkeit nachweisen, dass die Komplikationsrate bei einem Eingriff, etwa
der Implantation einer künstlichen Hüfte, niedrig ist. Nehmen Sie die Zahl der Revisionsoperationen
binnen eines Jahres. Dafür will ich nicht wissen, wo der Punktschätzer SMR liegt,
sondern ich möchte wissen, mit welcher Sicherheit ein beliebiges Haus auch wirklich
einen niedrigen SMR-Wert hat. Wir betrachten dafür den oberen Grenzwert des Konfidenzintervalls.
Je niedriger der liegt, desto besser. Die 20 % Kliniken, die hier die niedrigsten
oberen Grenzwerte zeigen, kommen in die Kategorie Plus.
? Ein Beispiel?
Angenommen, für ein Haus findet sich bei ungeplanten Folgeoperationen binnen 365 Tagen
nach dem Eingriff ein SMR von 0,8 und ein 95 %-Konfidenzintervall von 0,6–0,9. Damit
zeigt sich für dieses Haus, dass das Ergebnis mit hoher Wahrscheinlichkeit unter 0,9
liegt, damit besser ist als der Durchschnitt aller Kliniken ist.
Und angenommen bei einem weiteren Haus mit dem gleichen SMR von 0,9 ginge das Intervall
von 0,6–1,3. Da würde ich als Patient doch in jedem Fall in das Haus mit dem niedrigeren
oberen Wert für das Konfidenzintervall von 0,9 gehen. Und eher nicht in das Haus mit
dem Wert 1,3, das mir also mit 95-prozentiger Wahrscheinlichkeit nur sagen kann, das
Risiko liegt unter 1,3. Der SMR könnte hier also auch bis zu 30 % über dem Durchschnitt
aller Häuser liegen. Das sagt der Grenzwert von 1,3 ja aus.
? Und was gilt für jene 20 %, die in der Kategorie Minus landen?
Dafür schauen wir von der anderen Seite auf das Intervall. Wir nehmen die Häuser mit
den höchsten unteren Grenzwerten für das 95 %-Konfidenzintervall. Sie haben die höchsten
Risiken auf Komplikationen.
? Harald Englisch und Burkhard Fischer werfen Ihnen vor, dass mit dieser Arithmetik
durchaus gute Häuser durch den Rost fallen könnten und anders herum. Dahinter stecke
ein methodischer Fehler Ihres Verfahrens, das eben von den Fallzahlen abhänge. Das
rechnen Sie anhand der Zahlen für die Sterblichkeit binnen 90 Tagen nach Implantation
einer Hüftendoprothese nach hüftgelenksnahem Bruch vor.
Ja, und eine Seite später rechnen uns die Autoren dann vor, dass die Fallzahl bei
den von ihnen ausgewerteten QSR-Daten zur Implantation eines künstlichen Hüftgelenks
nach hüftgelenksnahem Bruch gar nicht mit dem Abschneiden beim Parameter Sterblichkeit
binnen 90 Tagen in den Kliniken korreliert. Der Grund für diese Verwirrung, ich muss
es so hart sagen: Die Arbeit der Autoren ist methodisch so nicht haltbar. Wir haben
das nachgerechnet.
So möchten die Autoren Aussagen zu den AOK-Lebensbäumen machen, schauen sich dann
aber nur Sterblichkeiten an. Das kann man aber gar nicht vergleichen – denn in die
Bewertung nach Lebensbäumen gehen ja bei der gewählten Indikation 3 Einzelindikatoren
ein. Das sind Chirurgische Komplikationen innerhalb von 90 Tagen, die Sterblichkeit
innerhalb von 90 Tagen nach dem Eingriff, und ungeplante Folge-Operation bis zu 365
Tage nach dem Eingriff.
? Also hat Ihre Berechnungsweise bei QSR gar keine Makel?
Wir kämpfen mit einem grundlegenden statistischem Problem, das jeden trifft, der
derart Daten für eine Qualitätsbewertung aufarbeiten möchte. Eine verlässliche Bewertung
wird bei höherer Fallzahl einfacher möglich. Das drückt sich darin aus, dass das Konfidenzintervall
um den SMR kleiner wird. Und deswegen haben Häuser mit einer höheren Fallzahl auch
bei den Lebensbäumen eine höhere Wahrscheinlichkeit entweder in die 1er oder 3er-Kategorie
einsortiert zu werden, eben weil die Qualitätseinstufung leichter möglich wird.
? Und Häuser mit niedrigeren Fallzahlen?
Da haben Sie immer das Problem, dass in diesen Häusern die Konfidenzintervalle tendenziell
breiter sind. Das macht bei Häusern mit geringer Fallzahl aufgrund des Einflusses
zufälliger Effekte die Auswahl schwieriger.
? Mit der Folge, dass sie die am Ende eher in die mittlere Kategorie sortieren müssen
– da Sie es nicht genauer wissen?
Richtig. Und das ist gar nicht erstaunlich – dieser Punkt ist ein statistisches Problem,
vor dem alle stehen, die vergleichende Qualitätsbetrachtungen machen möchten. Was
man zugestehen muss, das ist aber eine statistische Trivialität, ist, dass die Konfidenzintervalle
schmaler sind bei hoher Fallzahl.
? Also tun Sie Häusern mit hohen Fallzahlen eventuell doch Unrecht?
Nein. Gerade bei Kliniken mit hoher Fallzahl ist aufgrund der schmalen Konfidenzintervalle
eine Qualitätseinstufung gut möglich. Bei Kliniken mit geringer Fallzahl ist es hingegen
aus statistischen Gründen viel schwieriger gute oder schlechte Behandlungsqualität
zu erkennen. Wenn Kliniken weniger als 30 Patienten in einer Indikation in 3 Jahren
behandeln, veröffentlichen wir diese Daten im Übrigen nicht. Unter 30 sind die Werte
zu volatil.
? Fällt damit nicht gerade die Gruppe der Häuser durchs Raster, die AOK wie auch viele
Orthopäden aufgrund kleiner Fallzahlen besonders kritisch beim Thema Qualität sehen?
Nein. Die Kliniken mit sehr kleinen Fallzahlen muss man methodisch anders auswerten.
In Volume-Outcome-Analysen fasst man sie üblicherweise zu einer Gruppe zusammen. So
konnten wir auch für Deutschland einen inversen Zusammenhang von Fallzahl und Komplikationsrate
beim Gelenkersatz feststellen, also weniger Komplikationen bei höherer OP-Zahl [
2
].
? Warum nehmen Sie nicht einfach die SMR-Werte für Ihre Einstufung? Das ist eine Forderung
Ihrer Kritiker.
Nein, das reicht eben nicht. Wie dargelegt ist das SMR als Punktschätzer alleine nicht
ausreichend. Die statistische Sicherheit muss in Form der Konfidenzintervalle mit
berücksichtigt werden.
? Wie ist die Zukunft? QSR nimmt für sich in Anspruch, Langzeitdaten zu erheben –
und das über die Grenzen von stationär und ambulant hinweg. Kommt so etwas jetzt auch
in der gesetzlichen Qualitätssicherung?
Das wünschen wir uns. Schon das AQUA-Institut hat ja im Bereich Herzkatheter, PCI,
ein Verfahren vorgeschlagen, dass erstmals sektorübergreifend Daten erheben soll,
einschließlich von Routinedaten. Das geht nach Beschluss des G-BA in diesem Jahr los
[
3
]. Bei Hüftgelenk- und Knieersatz könnte der G-BA ebenfalls längst damit loslegen,
leider geht das aber nach unserem Eindruck nicht voran.
? Was meinen Sie?
Der G-BA hatte AQUA zuletzt am 22.01.2015 beauftragt, zu prüfen, wie man in der Endoprothetik
ein längerfristiges Follow-Up nach einem stationären Aufenthalt gestalten kann. In
seinem seit 29.01.2016 vorliegenden Abschlussbericht hat das AQUA-Institut auch Verfahren
dabei, die auf unsere QSR-Indikatoren und Konzepte aufsatteln. Als da sind „Sterblichkeit
innerhalb von 90 Tagen“, Revisionsraten, Folge-OP (innerhalb von 1,2 und 5 Jahren)
[
4
]. Und mehr noch: AQUA hatte derartige Indikatoren bereits 2012 und 2013 vorgelegt
– die eine hohe Übereinstimmung mit den damaligen QSR-Definitionen hatten. Der neue
Bericht ist da nur eine Konkretisierung.
? Und jetzt?
Es geht nicht voran. Der G-BA muss beim Institut für Qualitätssicherung und Transparenz
im Gesundheitswesen, beim IQTiG, die Umsetzung beauftragen. Da kämen dann übrigens
die Routinedaten aller Kassen zum Tragen, was wir ebenfalls begrüßen würden.
? Man hört schon mal Befürchtungen, Sie wollten mit QSR einen Endlosprozess anstoßen.
Man nehme die 20 % schlechtesten Häuser raus aus der Versorgung, werte danach die
verbleibenden 80 % neu aus, und lege dann wieder die 20 % schlechtesten still?
Mit Verlaub: Das ist ein theoretisches Gedankenspiel. Die QSR-Daten informieren Ärzte
und Patienten über potentielle Komplikationen im Behandlungsverlauf bis zu einem Jahr.
Sie geben Orientierung im Endlosprozess, Qualität zu sichern und zu verbessern. Die
Unterschiede sind heute noch erheblich. Man muss sich vergegenwärtigen, dass die
Revisionsraten zwischen dem Viertel der Kliniken mit den niedrigsten Raten und dem
Viertel mit den höchsten um den Faktor 2 differieren. Wenn Komplikationen reduziert
werden und sich überall auf ähnlichem Niveau bewegen, dann ist das Ziel erreicht und
die QSR-Einstufung hat sich überflüssig gemacht. Das ist meine Wunschvorstellung.
Das Interview führte Bernhard Epping
