Systematische Übersichtsarbeiten und Metaanalysen – Segen oder Fluch?

Systematische Übersichtsarbeiten und Metaanalysen gelten als die höchste Stufe der Evidenz [1]. In ihnen werden alle zum Zeitpunkt der Literaturrecherche verfügbaren Studien nach vorgegebenen Kriterien zusammengefasst und ein gemeinsames Resultat formuliert [3]. Die Autoren von systematischen Übersichtsarbeiten ersparen damit dem Leser, nach Studien zu recherchieren, sie zu lesen, deren Qualität zu beurteilen, die wichtigsten Ergebnisse zu extrahieren und diese mit den Ergebnissen anderer Studien zu vergleichen. In einer Metaanalyse werden positive und negative Ergebnisse zusammengefasst, und man erhält ein kombiniertes Ergebnis aus allen Studien, das richtungweisend für z. B. den Effekt einer Intervention sein kann [3].

Für die Erstellung von systematischen Übersichtsarbeiten gibt es sehr konkrete Handlungsanweisungen, wie z. B. das Cochrane Handbook [3] und das PRISMA Statement [7]. Für den Leser einer systematischen Literaturübersicht stehen ebenfalls eine Reihe von Instrumenten zur Verfügung, z. B. Assessing the Methodological Quality of Systematic Reviews (AMSTAR; [9]) oder Critical Appraisal Skills Programme (CASP; [2]).

Aber selbst wenn alle Qualitätsaspekte berücksichtigt wurden, wenn unter anderem mindestens 2 Personen eine Literaturrecherche in allen relevanten Datenbanken, Referenzlisten, Inhaltsverzeichnissen, Konferenz-Abstracts und der grauen Literatur durchführten, wenn mindestens 2 Personen die Qualität der eingeschlossenen Studien beurteilten und die wichtigsten Inhalte extrahierten, sind die Ergebnisse nie wirklich objektiv.

Die Beurteilung der methodischen Qualität der eingeschlossenen Studien ist einer der wichtigsten Qualitätsaspekte einer systematischen Literaturübersicht. Leider wird diese nur in etwas über der Hälfte von systematischen Reviews durchgeführt, wie MacDonald et al. [5] am Beispiel der urologischen Literatur aufdeckten.

Allerdings kann auch die Qualitätsbeurteilung Subjektivität einführen, da Rubriken wie „Other sources of bias“ im Cochrane Instrument [3] nicht immer so einheitlich zu beantworten sind wie im Falle der Studie von Sharma et al. [8], die in der Rubrik „gelesen & kommentiert“ in diesem Heft besprochen wird.

Die Übereinstimmung der Beurteiler wird anhand des Kappa-Wertes dargestellt. Die systematische Literaturübersicht von Klein et al. in diesem Heft zeigt, dass sich zwar eine gute, aber keine perfekte Übereinstimmung erzielen lässt. Insbesondere, wenn Studien eingeschlossen werden, die keine RCTs sind (z. B. Fallstudien, Cross-over-Studien), wird die Beurteilung oft ungenau und die Übereinstimmung zwischen den Bewertern schlechter.

Die Metaanalyse soll durch das Poolen von Daten dazu führen, dass aus mehreren kleinen Studien eine große entsteht, die dadurch eine höhere Validität aufweist. Dem Autor einer Metaanalyse liegen jedoch nicht die Rohdatensätze der einzelnen Teilnehmer einer Studie vor, sondern bestenfalls die Mittelwerte mit ihren Standardabweichungen (und selbst die müssen meist erst bei den Autoren angefordert werden, da oft manipulierte Daten berichtet werden, die durch Normalisierung, Prozentangaben etc. oft keinen Rückschluss auf die absoluten Zahlen zulassen; aber schlechtes Reporting ist ein anderes Thema). Werden also nur Studien mit sehr kleinen Teilnehmerzahlen eingeschlossen, deren Ergebnisse naturgemäß sehr anfällig für Ausreißer sind [11] und legen wir außerdem zugrunde, dass es nach wie vor schwierig ist, Negativstudien zu veröffentlichen – also ein „Publication bias“ vorliegt, so wird das Ergebnis der Metaanalyse sehr viel positiver ausfallen als es der Realität entspricht [6].

Manche Autoren argumentieren daher, dass kleinere Studien aus Metaanalysen ausgeschlossen werden sollten [4] [10], aber oft sind diese in den therapeutischen Disziplinen die einzig vorhandene Evidenz. Publication bias und die Heterogenität der eingeschlossenen Studien lassen sich anhand eines sogenannten „Funnel plots“ schätzen [12], und Konfidenzintervalle geben zudem an, wie sehr die eingeschlossenen Studien variieren.

Weniger offensichtlich ist die Heterogenität der Patientenkohorten innerhalb der eingeschlossenen Studien. In diesem Heft wird unter der Rubrik „gelesen & kommentiert“ eine Arbeit vorgestellt, die zeigt, wie unklar die Ein- und Ausschlusskriterien der meisten Studien sind – in diesem Fall bei nicht spezifischen Rückenschmerzen. Es ist also unklar, ob sich die Ergebnisse der Metaanalyse überhaupt auf das eigene Patientenklientel übertragen lassen, weil Studien eventuell ganz anders charakterisierte Patientenkohorten untersuchen.

Systematische Literaturübersichten und Metaanalysen sind demnach eine unverzichtbare Erleichterung für evidenzbasiertes Handeln, sollten jedoch immer eine Qualitätsbeurteilung der eingeschlossenen Studien beinhalten und ein Minimum an methodischen Voraussetzungen erfüllen.

• Literatur

• 1 Centre for Evidence-Based Medicine. www.cebm.net
• 2 Critical Appraisal Skills Programme (CASP). www.casp-uk.net
• 3 Higgins JPT, Green S, (eds). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration; 2011 www.cochrane-handbook.org
• 4 Kraemer HC, Gardner C, Brooks III JO et al. Advantages of excluding underpowered studies in meta-analysis: inclusionist versus exclusionist viewpoints. Psychological Methods 1998; 3: 23-31
• 5 MacDonald SL, Canfield SE, Fesperman SF et al. Assessment of the methodological quality of systematic reviews published in the urological literature from 1998 to 2008. J Urol 2010; 184: 648-653
• 6 Nüesch E, Trelle S, Reichenbach S et al. Small study effects in meta-analyses of osteoarthritis trials: meta-epidemiological study. BMJ 2010; 341: c3515
• 7 Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA). PRISMA Statement. www.prisma-statement.org
• 8 Sharma A, Hameed U, Grover S. Multimodal therapy in cervicogenic headache – a randomized controlled trial. Indian Journal of Physiotherapy and Occupational Therapy 2011; 5: 9-13
• 9 Shea BJ, Grimshaw JM, Wells GA et al. Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews. BMC Medical Research Methodology 2007; 7: 10-17
• 10 Stanley TD, Jarrell SB, Doucouliagos H. Could it be better to discard 90% of the data? A statistical paradox. The American Statistician 2010; 64: 70-77
• 11 Sterne JAC, Gavaghan D, Egger M. Publication and related bias in meta-analysis: power of statistical tests and prevalence in the literature. Journal of Clinical Epidemiology 2000; 53: 1119-1129
• 12 Sterne JAC, Sutton AJ, Ioannidis JPA et al. Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. BMJ 2011; 343: d4002