Risikoberechnung mit Routinedaten? Entwicklung und Validierung multivariabler Modelle zur Prädiktion der 30- und 90-Tage-Mortalität nach chirurgischer Behandlung kolorektaler Karzinome

Zusammenfassung

Ziele Qualitätssicherung, Benchmarking und Pay for Performance (P4P) erfordern aussagekräftige Indikatoren sowie die adäquate Berücksichtigung der Risikostruktur der Patientenpopulation der jeweiligen Institution anhand geeigneter statistischer Modelle. Der Ansatz, Abrechnungsdaten zur Qualitätsmessung und Risikomodellierung zu verwenden, wird häufig kritisch gesehen. Ziel unserer Analysen war die exemplarische Entwicklung von Prädiktionsmodellen für die 30- und 90-Tage-Mortalität nach chirurgischer Therapie kolorektaler Karzinome mit Routinedaten.

Studiendesign Vollerhebung der Patienten einer großen gesetzlichen Krankenkasse.

Setting Chirurgische Kliniken im gesamten Bundesgebiet.

Patienten 4283 bzw. 4124 Patienten mit Operationen kolorektaler Karzinome in den Jahren 2013 bzw. 2014.

Prädiktoren Alter, Geschlecht, Haupt- und Nebendiagnosen sowie Tumorlokalisation aus den von den Kliniken an die Krankenkasse übermittelten Abrechnungsdaten gemäß §301 Sozialgesetzbuch V.

Outcomes 30- und 90-Tage-Mortalität.

Statistische Analyse Ableitung von Elixhauser Comorbidities, Charlson Conditions sowie Charlson Scores aus den ICD-10-Diagnosen. Entwicklung von Prädiktionsmodellen anhand eines penalisierten Regressionverfahrens (logistische Ridge Regression) in einer Lernstichprobe (Patienten des Jahres 2013). Beurteilung von Kalibrierung und Diskriminationsfähigkeit der Modelle in einer internen Validierungsstichprobe (Patienten des Jahres 2014) mithilfe von Kalibrierungskurven, Brier Scores und Analysen von Receiver Operating Characteristic Curves (ROC-Kurven) und der Flächen unter denselben (Areas Under the Curves, AUC).

Ergebnisse Die 30- bzw. 90-Tage-Mortalität in der Lernstichprobe betrugen 5,7 bzw. 8,4%. Die entsprechenden Werte im Validierungssample waren 5,9% und gleichfalls 8,4%. Modelle auf der Basis der Elixhauser Comorbidities zeigten die beste Diskrimination mit AUC-Werten von 0,804 (95%-KI: 0,776–0,832) bzw. 0,805 (95%-KI: 0,782–0,828) für die 30- bzw. 90-Tage-Mortalität. Die zugehörigen Brier-Scores für die Elixhauser-Modelle betrugen 0,050 (95%-KI: 0,044–0,056) bzw. 0,067 (95%-KI: 0,060–0,074) und stimmten weitgehend mit denjenigen der konkurrierenden Modelle überein. Alle Modelle zeigten im Bereich niedriger prädizierter Wahrscheinlichkeiten eine gute Kalibrierung, bei höheren prädizierten Werten tendierten sie zur Überschätzung der Ereigniswahrscheinlichkeiten.

Schlussfolgerung Trotz der augenscheinlich befriedigenden Ergebnisse zur Diskriminierung und Kalibrierung der vorgestellten Prädiktionsmodelle auf der Basis von Abrechnungsdaten ist deren Anwendung im Kontext von P4P kritisch zu sehen. Als Alternative bietet sich die Modellierung auf der Basis klinischer Register an, die ein umfassenderes, valideres Bild vermitteln dürften.

Abstract

Aims Quality control, benchmarking, and pay for performance (P4P) require valid indicators and statistical models allowing adjustment for differences in risk profiles of the patient populations of the respective institutions. Using hospital remuneration data for measuring quality and modelling patient risks has been criticized by clinicians. Here we explore the potential of prediction models for 30- and 90-day mortality after colorectal cancer surgery based on routine data.

Study design Full census of a major statutory health insurer.

Setting Surgical departments throughout the Federal Republic of Germany. Patients: 4283 and 4124 insurants with major surgery for treatment of colorectal cancer during 2013 and 2014, respectively.

Predictors Age, sex, primary and secondary diagnoses as well as tumor locations as recorded in the hospital remuneration data according to §301 SGB V.

Outcomes 30- and 90-day mortality.

Statistical analysis Elixhauser comorbidities, Charlson conditions, and Charlson scores were generated from the ICD-10 diagnoses. Multivariable prediction models were developed using a penalized logistic regression approach (logistic ridge regression) in a derivation set (patients treated in 2013). Calibration and discrimination of the models were assessed in an internal validation sample (patients treated in 2014) using calibration curves, Brier scores, receiver operating characteristic curves (ROC curves) and the areas under the ROC curves (AUC).

Results 30- and 90-day mortality rates in the learning-sample were 5.7 and 8.4%, respectively. The corresponding values in the validation sample were 5.9% and once more 8.4%. Models based on Elixhauser comorbidities exhibited the highest discriminatory power with AUC values of 0.804 (95% CI: 0.776 –0.832) and 0.805 (95% CI: 0.782–0.828) for 30- and 90-day mortality. The Brier scores for these models were 0.050 (95% CI: 0.044–0.056) and 0.067 (95% CI: 0.060–0.074) and similar to the models based on Charlson conditions. Regardless of the model, low predicted probabilities were well calibrated, while higher predicted values tended to be overestimates.

Conclusion The reasonable results regarding discrimination and calibration notwithstanding, models based on hospital remuneration data may not be helpful for P4P. Routine data do not offer information regarding a wide range of quality indicators more useful than mortality. As an alternative, models based on clinical registries may allow a wider, more valid perspective.

Schlüsselwörter

Kolorektales Karzinom - Krankenhaussterblichkeit - Routinedaten - Leistungsorientierte Vergütung von Krankenhausleistungen

Key words

Colorectal carcinoma - Hospital mortality - Routine data - Pay for performance

• Literatur

• 1 Hoffmann TC, Del Mar C. Cliniciansʼ Expectations of the Benefits and Harms of Treatments, Screening, and Tests: A Systematic Review. JAMA internal medicine 2017; 177: 407-419
• 2 Christakis NA, Lamont EB. Extent and determinants of error in physicians' prognoses in terminally ill patients: prospective cohort study. The Western journal of medicine 2000; 172: 310-313
• 3 Crispin A, Klinger C, Rieger A et al. The DGAV risk calculator: development and validation of statistical models for a web-based instrument predicting complications of colorectal cancer surgery. International Journal of Colorectal Disease 2017
• 4 Charlson ME, Pompei P, Ales KL. et al. A new method of classifying prognostic comorbidity in longitudinal studies: development and validation. Journal of chronic diseases 1987; 40: 373-383
• 5 Quan H, Sundararajan V, Halfon P. et al. Coding algorithms for defining comorbidities in ICD-9-CM and ICD-10 administrative data. Medical care 2005; 43: 1130-1139
• 6 Stausberg J, Hagn S. New Morbidity and Comorbidity Scores based on the Structure of the ICD-10. PloS one 2015; 10: e0143365
• 7 Stausberg J, Jungen T, Bartels C. et al. Robustness of Hospital Benchmarking with the Hospital Standardized Mortality Ratio (HSMR): An Analysis of Secondary Data from 37 German Hospitals. Gesundheitswesen (Bundesverband der Arzte des Offentlichen Gesundheitsdienstes (Germany)) 2016; 78: 637-644
• 8 Brenner H, Schrotz-King P, Holleczek B. et al. Declining Bowel Cancer Incidence and Mortality in Germany. Deutsches Arzteblatt international 2016; 113: 101-106
• 9 Kriza C, Emmert M, Wahlster P. et al. Cost of illness in colorectal cancer: an international review. PharmacoEconomics 2013; 31: 577-588
• 10 R Core Team. R: A language and environment for statistical computing. Vienna, Austria: R Foundation for Statistical Computing; 2016. Available from https://www.R-project.org/
• 11 Jelle Goeman RM, Chaturvedi N.penalized: L1 (lasso and fused lasso) and L2 (ridge) penalized estimation in GLMs and in the Cox model. R package version 0.9-45. 2014; Available from: https://CRAN.Rproject.org/package = penalized
• 12 Puhr R, Heinze G, Nold M. et al. Firthʼs logistic regression with rare events: accurate effect estimates and predictions?. Statistics in medicine 2017; 36: 2302-2317
• 13 Harrell Jr. FE, Lee KL, Mark DB. Multivariable prognostic models: Issues in developing models, evaluating assumptions and adequacy, and measuring and reducing errors. Statistics in medicine 1996; 15: 361-387
• 14 Xavier Robin NT, Hainard A, Tiberti N. et al. pROC: An open-source package for R and S+ to analyze and compare ROC curves. BMC Bioinformatics 2011; 12: 1-8
• 15 Bradley AA, Schwartz SS, Hashino T. Sampling Uncertainty and Confidence Intervals for the Brier Score and Brier Skill Score. Weather and Forecasting 2008; 23: 992-1006
• 16 Fahrmeir L, Thomas Kneib T, Lang S. Regression. Heidelberg, Dordrecht, London, New York: Springer; 2009
• 17 Spiegelhalter DJ. Funnel plots for comparing institutional performance. Statistics in medicine 2005; 24: 1185-1202
• 18 Schneeweiss S, Wang PS, Avorn J. et al. Improved comorbidity adjustment for predicting mortality in Medicare populations. Health services research 2003; 38: 1103-1120
• 19 Dekker JW, Gooiker GA, van der Geest LG. et al. Use of different comorbidity scores for risk-adjustment in the evaluation of quality of colorectal cancer surgery: does it matter?. European journal of surgical oncology: the journal of the European Society of Surgical Oncology and the British Association of Surgical Oncology 2012; 38: 1071-1078
• 20 Gagne JJ, Glynn RJ, Avorn J. et al. A combined comorbidity score predicted mortality in elderly patients better than existing scores. Journal of clinical epidemiology 2011; 64: 749-759
• 21 Frederiksen BL, Osler M, Harling H. et al. The impact of socioeconomic factors on 30-day mortality following elective colorectal cancer surgery: a nationwide study. European journal of cancer (Oxford, England: 1990) 2009; 45: 1248-1256
• 22 Glen P, Simpson MF, Donnelly L. et al. Thirty-day mortality from colorectal cancer surgery within a deprived population. Colorectal disease: the official journal of the Association of Coloproctology of Great Britain and Ireland 2005; 7: 193-195
• 23 Morris EJ, Taylor EF, Thomas JD. et al. Thirty-day postoperative mortality after colorectal cancer surgery in England. Gut 2011; 60: 806-813
• 24 Osler M, Iversen LH, Borglykke A. et al. Hospital variation in 30-day mortality after colorectal cancer surgery in denmark: the contribution of hospital volume and patient characteristics. Annals of surgery 2011; 253: 733-738
• 25 Krankenhauspatienten: Deutschland, Jahre, Geschlecht, Altersgruppen, Hauptdiagnose ICD10 [Internet]. 2017. Available from: www.destatis.de
• 26 Volzke H, Ittermann T, Schmidt CO. et al. Prevalence trends in lifestyle-related risk factors. Deutsches Arzteblatt international 2015; 112: 185-192
• 27 Deutsche Krankenhausgesellschaft (DKG), GKV-Spitzenverband, Verband der privaten Krankenversicherung (PKV), Institut für das Entgeltsystem im Krankenhaus (InEK GmbH). Deutsche Kodierrichtlinien: Allgemeine und Spezielle Kodierrichtlinen für die Verschlüsselung von Krankheiten und Prozeduren 2017
• 28 Wehkamp K. Abrechnung von Krankenhausleistungen: Ein System frei von Ethik?. Dtsch Arztebl International 2012; 109: 1912
• 29 Shojania KG, Forster AJ. Hospital mortality: When failure is not a good measure of success. CMAJ: Canadian Medical Association journal=journal de l'Association medicale canadienne 2008; 179: 153-157
• 30 Sacks GD, Dawes AJ, Ettner SL. et al. Surgeon Perception of Risk and Benefit in the Decision to Operate. Annals of surgery 2016; 264: 896-903
• 31 Paruch JL, Ko CY, Bilimoria KY. An opportunity to improve informed consent and shared decision making: The role of the ACS NSQIP Surgical Risk Calculator in oncology. Annals of surgical oncology 2014; 21: 5-7