So lügt man mit Statistik – Heute: Die Meta-Analyse

Zum Beitrag in der DMW Nr. 48/2009 ; 134: 2465 – 2470

Für und Wider der Meta-Analyse

Die Kollegen Koschak [2] und Ziegler [6] haben methodenkritisch und beispielhaft Grenzen der Methodik von Meta-Analysen aufgezeigt. Mehrere Probleme bestehen dabei: Zunächst ist die grundlegende Frage nicht beantwortet, ob RCTs als Zufallsstichprobe bezeichnet werden können. Idealtypischerweise sollten sie es sein, in praxi handelt es sich aber um mehr oder weniger selektierte Populationen. Die Selektion ist notwendig um potentielle Störgrößen auszuschließen oder ausreichend kontrollieren zu können, andererseits wirft sie die Frage der externen Validität auf. Den Autoren ist hinsichtlich der Kritik des „Zusammenfassens” unterschiedlichster Studientypen zuzustimmen. Ihr jüngstes Beispiel der Analyse von Medikamenten als Sturzfaktoren älterer Menschen, in dem RCTs, Fall-Kontroll-Studien und Cross-sectional- und Kohortenstudien zusammengefasst wurden, zeigt dies [5]. Noch problematischer erscheint es aber dem Unterzeichnenden, dass einerseits eine Selektion von RCTs unter dem Gesichtspunkt der Homogenität von Daten sinnvoll ist, aus publizierten Meta-Analysen aber häufig nicht nachvollzogen werden kann warum Studien ein- oder ausgeschlossen wurden. Dies eröffnet einen weiten Horizont von unbeabsichtigter oder vorsätzlicher Verzerrung. Melander et al. [3] berichten über multiple und selektive Verwendung sowie Nicht-Verwendung von Studien für Meta-Analysen zum Nutzen neuerer Antidepressiva. Eine Meta-Analyse von Windblad et al. [4] über 6 Studien zum Antidementivum Memantin verwendet zwei unpublizierte Arbeiten, sodass die Basisdaten und das Design dieser Studien für den Leser nicht nachvollziehbar sind. Dieser Umstand und die Tatsache, dass drei der fünf Autoren Firmenangestellte sind, macht es naheliegend hier an einen Selektions-Bias zu denken. Hennekens und DeMets [1] zeigten an verschiedenen Beispielen, dass methodisch korrekte Analysen bzw. RCTs zu widersprechenden Ergebnissen führen können und folgern, dass wir gut beraten wären, Meta-Analysen zunächst nur als Hypothesen-generierende Untersuchungen aufzufassen.

Literatur

• 1 Hennekens C H, DeMets D. The need for large-scale randomized evidence without undue emphasis on small trials, meta-analyses, or subgroup analyses.  JAMA. 2009;  302 2361-2362
• 2 Koschack J. Weder heiliger Gral noch Teufelswerk: eine methodenkritische Bewertung der Meta-Analyse.  Dtsch Med Wochenschr. 2009;  134 2465-2468
• 3 Melander H, Ahlqvist-Rastad J, Meijer G, Beermann B. Evidence b(i)ased medicine – selective reporting from studies sponsored by pharmaceutical industry: review of studies in new drug applications.  BMJ. 2003;  326 1171-1173
• 4 Winblad B, Jones R W, Wirth Y, Stöffler A, Möbius H J. Memantine in moderate to severe Alzheimer’s disease: a meta-analysis of randomised clinical trials.  Dement Geriatr Cogn Disord. 2007;  24 20-27
• 5 Woolcott J C, Richardson K J, Wiens M O, Patel B, Marin J, Khan K M, Marra C A. Meta-analysis of the impact of 9 medication classes on falls in elderly persons.  Arch Intern Med. 2009;  169 1952-1960
• 6 Ziegler A. So lügt man mit Statistik – Heute: die Meta-Analyse.  Dtsch Med Wochenschr. 2009;  134 2469-2470