Robustheit eines Krankenhausvergleichs mit der Hospital Standardized Mortality Ratio (HSMR): eine Sekundärdatenanalyse von 37 deutschen Krankenhäusern

Zusammenfassung

Einleitung: Die Hospital Standardized Mortality Ratio (HSMR) wird international zunehmend als risikoadjustierte und einfach berechenbare Kennzahl zur Qualitätsbewertung eingesetzt. Mit einer Sekundärdatenanalyse sollte die Güte verschiedener Risikomodelle für deutsche Verhältnisse und die Robustheit von Krankenhausvergleichen mit der HSMR bestimmt werden.

Methodik: Routinedaten des Jahres 2012 aus 37 Krankenhäusern des Vereins Qualitätsindikatoren für Kirchliche Krankenhäusern standen anonymisiert zur Verfügung. Verglichen wurden 2 unabhängig entwickelte Risikomodelle sowie die beobachtete Sterblichkeit. Die Risikomodelle wurden unverändert und neu berechnet eingeschlossen.

Ergebnisse: Die Area Under Curve der Risikomodelle lag zwischen 0,906 [95%-KI 0,904–0,908] und 0,920 [0,918–0,922]. Alle Risikomodelle wiesen mit einem Korrelationskoeffizienten zwischen 0,388 (p<0,05) und 0,936 (p<0,01) untereinander sowie mit der beobachteten Sterblichkeit einen signifikanten Zusammenhang auf. 26 Krankenhäuser erzielten im Vergleich ihrer HSMR mit den Ergebnissen der Gesamtgruppe in allen Risikomodellen ein identisches Ergebnis. Unter Einschluss der beobachteten Sterblichkeit gab es 2 Krankenhäuser, bei denen eine positive und eine negative Bewertung möglich war.

Schlussfolgerung: Die Güte der Risikomodelle ist hoch. Der Krankenhausvergleich mittels HSMR führt zu einer sehr stabilen Bewertung. Offen ist, ob Unterschiede zwischen Krankenhäusern tatsächlich auf qualitätsrelevante Aspekte oder auf strukturelle oder patientenseitige Faktoren zurückzuführen sind. Die Anwendung der HSMR in Deutschland sollte primär im Rahmen eines einrichtungsinternen Qualitätsmanagements erfolgen.

Abstract

Introduction: Internationally, the hospital standardized mortality ratio is increasingly used as a risk-adjusted simple measure for quality control. Goodness of fit of different risk models in Germany and robustness of hospital comparisons were evaluated with a secondary data analysis.

Methods: Anonymized routine data from the year 2012 of 37 hospitals of the association Quality Indicators for Ecclesiastical Hospitals were used. 2 independent risk models and the observed mortality were compared, the risk models considered both the original and the adapted forms.

Results: The risk models showed an area under curve between 0.906 [95% CI 0.904–0.908] and 0.920 [0.918–0.922]. There was a significant correlation between the risk models and the observed mortality with a correlation coefficient between 0.388 (p<0.05) and 0.936 (p<0.01). 26 hospitals had an identical assessment in all risk models comparing their HSMR with the group. 2 hospitals achieved a positive and a negative assessment taking into account the observed mortality.

Conclusion: The quality of the risk models is high and the hospital comparison with the HSMR remained stable. However, it is unclear whether the differences are caused by quality-related issues or by different structures and case-mix. Therefore, the HSMR is primarily intended for quality management purposes within German hospitals.

Schlüsselwörter

Krankenhaus - Hospital Standardized Mortality Ratio - Patientensicherheit - Qualitätsmanagement - Sterblichkeit

Key words

hospital - hospital standardized mortality ratio - patient safety - quality management - mortality

• Literatur

• 1 Statistisches Bundesamt . Fallpauschalenbezogene Krankenhausstatistik (DRG-Statistik) Diagnosen, Prozeduren, Fallpauschalen und Case Mix der vollstationären Patientinnen und Patienten in Krankenhäusern. 2012. Wiesbaden: Statistisches Bundesamt; 2013
• 2 Escobar Pinzon LCE, Claus M et al. Sterben in Rheinland-Pfalz: Gewünschter und tatsächlicher Sterbeort. Gesundheitswesen 2013; 75: 853-858
• 3 Schrappe M, Lessing C, Albers B et al. Agenda Patientensicherheit 2007. Witten: Aktionsbündnis Patientensicherheit e. V.; 2007
• 4 Richter-Kuhlmann E. Patientensicherheit. Gefährliche Zahlenspielchen. Dtsch Arztebl 2014; 111: B127
• 5 Stausberg J, Berghof K. Qualität der stationären Versorgung in Deutschland: eine Analyse der Entwicklung zwischen 2004 und 2008 aus Daten der externen vergleichenden Qualitätssicherung. DMW 2014; 139: 181-186
• 6 Mansky T, Nimptsch U, Winklmair C et al. G-IQI|German Inpatient Quality Indicators Version 4.0. Berlin: Universitätsverlag der TU Berlin; 2013
• 7 Stausberg J. Zusammenhang von Sterblichkeit im Krankenhaus und Sterblichkeit in definierten Zeiträumen nach stationärer Aufnahme. Eine Analyse von Qualitätsberichten zu AOK-Versicherten. DMW 2010; 135: 2015-1020
• 8 Drösler SE, Cools A, Köpfer T et al. Eignen sich Qualitätsindikatoren aus Routinedaten zur Qualitätsmessung im Krankenhaus? Erste Ergebnisse mit den amerikanischen Indikatoren zur Patientensicherheit in Deutschland. ZaeFQ 2007; 101: 35-42
• 9 Jarman B, Gault S, Alves B et al. Explaining Differences in English Hospital Death Rates Using Routinely Collected Data. BMJ 1999; 318: 1515-1520
• 10 Black N. Assessing the Quality of Hospitals. Hospital Standardised Mortality Ratios Should Be Abandoned. BMJ 2010; 340: 933-934
• 11 Mohammed MA, Lilford R, Rudge G et al. The Findings of the Mid-Staffordshire Inquiry Do Not Uphold the Use of Hospital Standardized Mortality Ratios as a Screening Test for ‘Bad’ Hospitals. QJM 2013; 106: 849-854
• 12 Scott IA, Brand CA, Phelps GE et al. Using Hospital Standardised Mortality Ratios to Assess Quality of Care-Proceed with Extreme Caution. Med J Aust 2011; 194: 645-648
• 13 Shojania KG, Forster AJ. Hospital Mortality: When Failure Is Not a Good Measure of Success. CMAJ 2008; 179: 153-157
• 14 van Gestel YR, Lemmens VE, Lingsma HF et al. The Hospital Standardized Mortality Ratio Fallacy: A narrative Review. Med Care 2012; 50: 662-667
• 15 Jarman B. In Defence of the Hospital Standardized Mortality Ratio. Healthc Pap 2008; 8: 37-42
• 16 Penfold RB, Dean S, Flemons W et al. Do Hospital Standardized Mortality Ratios Measure Patient Safety? HSMRs in the Winnipeg Regional Health Authority. Healthc Pap 2008; 8: 8-24
• 17 Brien SE, Ghali WA. Public Reporting of the Hospital Standardized Mortality Ratio (HSMR): Implications for the Canadian Approach to Safety and Quality in Health Care. Open Med 2008; 2: e70-e73
• 18 Frisch L, Anscombe L, Bamford M. How Can We Know Whether Short Term Trends in a Hospital's HSMR Are Significant?. Stud Health Technol Inform 2009; 143: 149-154
• 19 Canadian Institute for Health Information. Hospital Standardized Mortality Ratio (HSMR). Technical Notes. . Updated September 2013. Im Internet http://www.cihi.ca/
• 20 Australian Commission on Safety and Quality in Health Care . National Core, Hospital-Based Outcome Indicator Specification. Sydney: Commonwealth of Australia; 2012
• 21 Israëls A, van der Laan J, van den Akker-Ploemacher J et al. HSMR 2012: Methodological report. The Hague: Statistics Netherlands; 2013
• 22 Dr Foster Intelligence. Understanding HSMRs. A Toolkit on Hospital Standardised Mortality Ratios. Version 7: March 2012 http://www.drfoster.co.uk/
• 23 Zahn C, Baker M, MacNaughton J et al. Hospital Standardized Mortality Ratio Is a Useful Burning Platform. Healthc Pap 2008; 8: 50-53
• 24 Stausberg J, Assenmacher D, Kohl G et al. für das Projekt Qualitätsindikatoren für Kirchliche Krankenhäuser – QKK . Evaluation von Qualitätsindikatoren im Projekt Qualitätsindikatoren für Kirchliche Krankenhäuser – QKK. Gesundh ökon Qual manag 2011; 16: 110-116
• 25 Stausberg J. Welche projektspezifischen Indikatoren sind sinnvoll? Empfehlung der wissenschaftlichen Begleitung. Qualitätsindikatoren für Kirchliche Krankenhäuser (QKK). 10. Januar 2012 Im Internet http://www.qkk-online.de/
• 26 Stausberg J, Halim A, Färber R. Concordance and Robustness of Quality Indicator Sets for German Hospitals. BMC Health Serv Res 2011; 11: 106
• 27 Halasyamani LK, Davis MM. Conflicting Measures of Hospital Quality: Ratings from “Hospital Compare” versus “Best Hospitals”. J Hosp Med 2007; 2: 128-134
• 28 Jacobs R, Goddard M, Smith PC. How Robust Are Hospital Ranks Based on Composite Performance Measures. Med Care 2005; 43: 1177-1184
• 29 Bobrowski C, Rathmann E, Kohlmann T et al. Bewertung der Mortalität im stationären Bereich mittels einer differenzierten Risikoadjustierung anhand der §-21-Daten. Gesundh ökon Qual manag 2014; 19: 290-297
• 30 Vandenbroucke JP. A shortcut method for calculating the 95 per cent confidence interval of the standardized mortality ratio. Am J Epidemiol 1982; 115: 303-304
• 31 Heijink R, Koolman X, Pieter D et al. Measuring and Explaining Mortality in Dutch Hospitals; the Hospital Standardized Mortality Rate between 2003 and 2005. BMC Health Serv Res 2008; 8: 73
• 32 Jacques RM, Fotheringham J, Campbell MJ et al. Did Hospital Mortality in England Change from 2005 to 2010? A Retrospective Cohort Analysis. BMC Health Serv Res 2013; 13: 216
• 33 van den Bosch WF, Kelder JC, Wagner C. Predicting Hospital Mortality among Frequently Readmitted Patients: HSMR Biased by Readmission. BMC Health Serv Res 2011; 11: 57
• 34 Arboretti Giancristofaro R, Salmaso L. Model performance analysis and model validation in logistic regression. Statistica 2003; LXIII: 375-396
• 35 Bottle A, Jarman B, Aylin P. Hospital Standardized Mortality Ratios: Sensitivity Analyses on the Impact of Coding. Health Serv Res 2011; 46: 1741-1761
• 36 Jarman B, Pieter D, van der Veen AA et al. The Hospital Standardised Mortality Ratio: A Powerful Tool for Dutch Hospitals to Assess Their Quality of Care?. Qual Saf Health Care 2010; 19: 9-13
• 37 Campbell MJ, Jacques RM, Fotheringham J et al. Developing a Summary Hospital Mortality Index: Retrospective Analysis in English Hospitals over Five Years. BMJ 2012; 344: e1001
• 38 van den Bosch WF, Spreeuwenberg P, Wagner C. Variations in Hospital Standardised Mortality Ratios (HSMR) as a Result of Frequent Readmissions. BMC Health Serv Res 2012; 12: 91
• 39 Pouw ME, Peelen LM, Lingsma HF et al. Hospital Standardized Mortality Ratio: Consequences of Adjusting Hospital Mortality with Indirect Standardization. PLoS One 2013; 8: e59160
• 40 Ben-Tovim DI, Pointer SC, Woodman R et al. Routine Use of Administrative Data for Safety and Quality Purposes-Hospital Mortality. Med J Aust 2010; 193: S100-S103
• 41 Mohammed MA, Stevens AJ. A Simple Insightful Approach to Investigating a Hospital Standardised Mortality Ratio: An Illustrative Case-Study. PLoS One 2013; 8: e57845
• 42 Popowich J, Zaborowski J. Bellows M. Hospital Standardized Mortality Ratios: A Tale of Two Sites. Healthc Q 2011; 14: 42-48
• 43 Joint Commission on Accreditation of Healthcare Organisations . Primer on Indicator Development and Application. Measuring Quality in Health Care. Oakbrook Terrace, Illinois: Joint Commission on Accreditation of Healthcare Organisations; 1990