Die angemessene Evidenz für Therapieentscheidungen: eine Diskussion des Methodenpluralismus in klinischen Studien

Zusammenfassung

Die randomisierte kontrollierte Studie (RCT) gilt als Goldstandard zur Gewinnung angemessener Evidenz für Therapieentscheidungen. Idealtypische Studien werden auch als Explanatory Trials bezeichnet, um sie von Studien unter Alltagsbedingungen (Pragmatic Trials) zu unterscheiden. Bei Einhaltung aller für die Durchführung dieser Studien geforderten Qualitätskriterien können die vier wesentlichen Formen systematischer Fehler (Selection Bias, Performance Bias, Attrition Bias und Detection Bias) vermieden und die interne Validität von Studien gewährleistet werden. Wenn die interne Validität einer Studie bestätigt wird, ist davon auszugehen, dass die innerhalb der Studie angestellten Vergleiche weitgehend frei von systematischen Fehlern sind. Die externe Validität besagt, dass in einer Studie die Eigenschaften der Grundgesamtheit reflektiert werden, für welche die Ergebnisse der Studie gültig sein sollen. Da eine gute randomisierte Studie eine möglichst exakt definierte und homogene Population von Probanden enthält, kann sie per definitionem nahezu keine externe Validität, d. h. externe Gültigkeit, haben. Der Nachweis der externen Validität ist aber ebenso bedeutend wie der Nachweis der internen Validität, weil Erkenntnisse, die in randomisierten Studien gewonnen werden, nur wertvoll sind, wenn sie auch bei Patienten unter Alltagsbedingungen mit Erfolg angewandt werden können. Eine Verletzung dieser letztgenannten Forderung wird auch als Sampling Bias bezeichnet. Zur Gewährleitung der internen und externen Evidenz scheint ein Zwei-Schritt-Verfahren sinnvoll. Im ersten Schritt wird die Wirkung eines Therapieprinzips idealtypisch in einem Explanatory Trial ohne Anspruch auf externe Validität nachgewiesen. Im zweiten Schritt wird der Nutzen für die untersuchten Patientengruppen unter Alltagsbedingungen (Pragmatic Trial) geprüft. Designs und etablierte Methoden zur Auswertung dieser Studien werden diskutiert. Das Zwei-Schritt-Verfahren bietet gegenüber den bisherigen Verfahren drei Vorteile: Das Risiko, die Ergebnisse von RCTs zu überinterpretieren, wird reduziert, weil Explanatory Trials lediglich die Wirkung unter Idealbedingungen nachweisen können. Der vom Gesetzgeber geforderte Nachweis des Nutzens kann durch Pragmatic Trials, welche die externe Validität berücksichtigen, erbracht werden. Möglicherweise lassen sich Fortschritte des Erkenntnisgewinns nur erzielen, wenn in kontrollierten pragmatischen Studien Methoden angewandt werden, bei denen der Einfluss der beabsichtigten Intervention (Therapie) mit jenem unbeabsichtigter Interventionen (Confounder) verglichen wird. Beispiele solcher Methoden sind das Propensity Score Matching und Strukturgleichungsmodelle. Die Entscheidung über die ideale Auswertungsmethode ist von den Bedingungen und den Variablen der Studie abhängig.

Abstract

Randomized controlled trials (RCTs) are considered gold standard in generating judicious evidence to support treatment decisions. Ideal-typical trials are called explanatory trials to distinguish it from trials completed under real-world conditions. The four most prevalent types of bias (selection-, performance-, attrition-, and detection-bias) can be avoided and internal validity of a study can be increased if all requested quality criteria will be met. The external validity can be neither investigated not can it be confirmed by randomized trials. But the confirmation of external validity is as important as the confirmation of internal validity because knowledge that has been generated in RCTs will be valuable only if it can be successfully applied to patients under real-world conditions. For confirmation of external validity the mentioned four types of bias have to be avoided. In addition, it has to be confirmed that the individuals from whom the evidence was derived are comparable to the individuals to whom the evidence should be applied. Violation of this simple appearing requirement is called ‘sampling bias’. A two-step procedure seems to be useful to confirm internal as well as external evidence. As first step the efficacy of a therapeutic principle may be confirmed under ideal study conditions by using an explanatory trial without demanding the confirmation of external validity. In a second step the benefit for the investigated group of patients is examined under real-world conditions (pragmatic trial). The design and established methods for evaluation of these studies are discussed. The two-step approach offers three advantages: it reduces the risk to over-interpret the results of RCTs as explanatory trials can only demonstrate efficacy under ideal conditions. The benefit which is requested by our authorities can be demonstrated only by pragmatic trials which consider the external validity. Progress may possibly achieved only if controlled pragmatic trials will be used which can compare the influence of the intended (specific treatment effect) intervention with not-intended (confounder) interventions. Examples for these methods are the propensity score matching or structural equation models.

Schlüsselwörter

randomisierte klinische Studien - pragmatische Studien - Bias - interne Validität - externe Validität - Patientenpräferenzen - Propensity Score Matching - Strukturgleichungsmodelle

Key words

randomized controlled trials - pragmatic trials - bias - internal validity - external validity - patient preferences - propensity score matching - structural equation modeling

• Literatur

• 1 Pfaff H, Abholz H, Glaeske G et al. Versorgungsforschung: unverzichtbar bei Allokationsentscheidungen – eine Stellungnahme. Dtsch Med Wochenschr 2011; 136: 2496-2500
• 2 Schwartz D, Lellouch J. Explanatory and pragmatic attitudes in therapeutical trials. J Chron Dis 1967; 20: 637-648
• 3 Oxman AD, Lombard C, Treweek S et al. Why we will remain pragmatists: four problems with the impractical mechanistic framework and a better solution. J Clin Epidemiol 2009; 62: 485-488
• 4 IQWiG. Allgemeine Methoden Version 4.0 (Nutzenbewertung) vom 23.11.2011.
• 5 Windeler J. Externe Validität. Z Evid Fortbild Qual Gesundh wesen (ZEFQ) 2008; 102: 253-260
• 6 Burchett H, Umoquit M, Dobrow M. How do we know when research from one setting can be useful in another? A review of external validity, applicability and transferability frameworks. Journal of Health Services Research & Policy 2011; 16: 238-244
• 7 Metge CJ. What comes after producing the evidence? The importance of external validity to translating science to practice. Clin Ther 2011; 33 (05) 578-580
• 8 Tugwell P, Knottnerus A, Idzerda L. Comparative effectiveness reviews need to pay as much attention to external validity as to internal validity risks of bias. J Clin Epidemiol 2011; 64: 1163-1165
• 9 Jüni P, Altman DG, Egger M. Systematic reviews in health care: Assessing the quality of controlled clinical trials. BMJ 2001; 323: 42-46
• 10 Scott NW, McPherson GC, Ramsay CR et al. The method of minimization for allocation to clinical trials. A review. Control Clin Trials 2002; 23: 662-674
• 11 Pocock SJ, Simon R. Sequential treatment assignment with balancing for prognostic factors in the controlled clinical trial. Biometrics 1975; 31: 103-115
• 12 Akazawa K, Odaka T, Sakamoto M et al. A random allocation system with the minimization method for multi-institutional clinical trials. J Med Syst 1991; 15: 311-319
• 13 Chen LH, Lee WC. Two-way minimization: a novel treatment allocation method for small trials. PLoS One 2011; 6: e28604
• 14 Cunningham D, Allum WH, Stenning SP et al. Perioperative Chemotherapy versus Surgery Alone for Resectable Gastroesophageal Cancer. N Engl J Med 2006; 355: 11-20
• 15 Riethmüller G, Gruber R, Schneider-Gädicke E et al. Randomised trial of monoclonal antibody for adjuvant therapy of resected Dukes‘ C colorectal carcinoma. The Lancet 1994; 343: 1177-1183
• 16 Waber RL, Shiv B, Carmon Z et al. Commercial features of placebo and therapeutic efficacy. JAMA 2008; 299: 1016-1017
• 17 Clouth J, Porzsolt F. Beitrag der Ökonomie. In: Porzsolt F, (Hrsg.) Grundlagen der Klinischen Ökonomik. Berlin: PVS Verlag; 2011: 63-90
• 18 Miller RB, Hollist CS. Attrition Bias. Faculty Publications, Department of Child, Youth, and Family Studies. Paper 45 2007 http://digitalcommons.unl.edu/famconfacpub/45
• 19 Mahnken JD, Chan W, Freeman Jr DH et al. Reducing the effects of lead-time bias, length bias and over-detection in evaluating screening mammography: a censored bivariate data approach. Stat Methods Med Res 2008; 17: 643-663
• 20 Straus SE, Richardson WS, Glasziou P et al. Evidence-based Medicine: How to Practice and Teach EBM. 4th ed. Edinburgh: Churchill Livingstone; 2010
• 21 The Coronary Drug Project Research Group. Influence of Adherence to Treatment and Response of Cholesterol on Mortality in the Coronary Drug Project. N Engl J Med 1980; 303: 1038-1041
• 22 Gray JAM. Evidence-based policy making is about taking decisions based on evidence and the needs and values of the population. BMJ 2004; 329: 988-989
• 23 Gray JAM. Unconcern about cost is unethical. In: Porzsolt F, (Hrsg.) Grundlagen der Klinischen Ökonomik. Berlin: PVS Verlag; 2011: 13-14
• 24 Ajzen I, Albarracín D, Hornik R (eds) Predicition and change or health behavior. Mahwah New Jersey: Lawrence Erlbaum Associates, Psychology Press; 2007
• 25 Thorpe KE, Zwarenstein M, Oxman AD et al. A pragmaticmatic-explanatory continuum indicator summary (PRECIS): a tool to help trial designers. Journal of Clinical Epidemiology 2009; 62: 464 -475
• 26 Godwin M, Ruhland L, Casson I et al. Pragmatic controlled clinical trials in primary care: the struggle between external and internal validity. BMC Medical Research Methodology 2003; 3: 28
• 27 Porzsolt F, Braubach P, Huppertz E et al. Benefit assessment of pharmaceutical products. Gesundheitsökonomie und Qualitätsmanagement 2012; 17: 283-290
• 28 Porzsolt F. Bedeutung einer zielgerichteten Versorgungsstrategie. In: Porzsolt F, (Hrsg.) Grundlagen der Klinischen Ökonomik. Berlin: PVS Verlag; 2011: 25-32
• 29 Porzsolt F, Bauer K, Henne-Bruns D. Klinische Ökonomik – Ein Konzept zur Optimierung der Gesundheitsversorgung. Der Chirurg 2012; 83: 268-273
• 30 Bäumler M, Stargardt T, Schreyögg J et al. Cost effectiveness of drug-eluting stents in acute myocardial infarction patients in Germany: results from administrative data using a propensity score-matching approach. Appl Health Econ Health Policy 2012; 10: 235-248 DOI: 10.2165/11597340-000000000-00000.
• 31 Bendifallah S, Koskas M, Ballester M et al. The survival impact of systematic lymphadenectomy in endometrial cancer with the use of propensity score matching analysis. Am J Obstet Gynecol 2012; 206: 500.e1-500.e11 Epub 2012 Mar 30
• 32 Reinecke J. Strukturgleichungsmodelle in den Sozialwissenschaften. München, Wien: R. Oldenburg Verlag; 2005
• 33 Skrondal A, Rabe-Hesketh S (eds) Generalized Latent variable Modeling: Multilevel, Longitudinal and Structural Equation Models. Boca Raton FL: Chapman and Hall; 2004
• 34 Pearl J. Causality: Models Reasoning and Inference. Cambridge, New York, Melbourne, Madrid, Cape Town, Singapore, Sao Paulo, Delhi: Cambridge University Press; 2000
• 35 Berg GM, Ekengren F, Lee FA et al. Patient satisfaction with surgeons in a trauma population: testing a structural equation model using perceptions of interpersonal and technical care. J Trauma Acute Care Surg 2012; 72: 1316-1322
• 36 Van Bogaert P, Clarke S, Willems R et al. Nurse practice environment, workload, burnout, job outcomes, and quality of care in psychiatric hospitals: a structural equation model approach. J Adv Nurs 2012; [Epub ahead of print] DOI: 10.1111/jan.12010.
• 37 Craig P, Dieppe P, Macintyre S et al. Developing and evaluating complex interventions: the new Medical Research Council guidance. BMJ 2008; 337: a1655 DOI: 10.1136/bmj.a1655.
• 38 Sox HC, Goodman SN. The Methods of Comparative Effectiveness Research. Annu Rev Public Health 04.04.2011;
• 39 Karanicolas PJ, Montori VM, Devereaux PJ et al. A new “mechanistic-practical” framework for designing and interpreting randomized trials. J Clin Epidemiol 2009; 62: 479-484
• 40 McGrath PJ. Randomization within trials does not contribute to external validity. Clin J Pain 2011; 27: 89