So lügt man mit Statistik – Heute: Die Meta-Analyse

In seinem Leserbrief weist Manfred Gogol nicht nur auf Publikationen hin, die als mehr oder weniger traurige Beispiele dienen, wie sehr sich eine Meta-Analyse in den von Ziegler [4] und Koschack [2] beschriebenen methodischen Fallstricken verfangen kann. Darüber hinaus zitiert er einen Artikel von Hennekens und DeMets [1], in dem die beiden Autoren schlussfolgern, dass Studien, die die Vor- und Nachteile einer Intervention untersuchen, sich an zwei Prinzipien orientieren sollten – und zwar unabhängig davon, ob die Untersuchung ein RCT, eine Fall-Kontroll- bzw. Beobachtungsstudie oder eben eine Meta-Analyse ist: Erstens sollten sie die „policy decision for the health of the general public” unterstützen. Zweitens sollten sie die Grundlage für rationale klinische Entscheidungen im individuellen Fall darstellen.

Doch genau diese beiden Forderungen oder Prinzipien unterlaufen Meta-Analysen häufig: Erstens sind Meta-Analysen – wie in den Kommentaren beschrieben – Verzerrungen auf vielen Ebenen unterworfen und liefern dementsprechend nur ein scheinbar objektives, zuverlässiges und aussagekräftiges Ergebnis, das im schlimmsten Falle vor allem den pharmazeutischen Geldgeber der Studie erfreut. Die von Gogol erwähnte Studie von Winblad et al. zur Wirksamkeit von Memantin in der Behandlung moderater bis schwerer Alzheimer-Demenz zeigt diese interessensgeleitete Tendenz leider ausgezeichnet [3]. Gleichwohl ist diese Studie aber auch ein Beispiel für die Nichterfüllung des zweiten Anspruchs, den Interventionsstudien laut Hennekens und DeMets haben sollten, nämlich die Basis für eine rationale klinische Entscheidung im Einzelfall zu liefern: Wenn als Endpunkt („outcome”) der klinischen Studie nicht der klinische Zustand selbst erhoben, sondern lediglich eine (psychometrische) Messung durchgeführt wird, dann ist die gemessene Veränderung, die eine Aussage über die Wirksamkeit des Medikaments (der Behandlung) geben soll, bereits eine Konstruktion, die die nachvollziehbare Abbildung des tatsächlichen Effekts einer Behandlung mit der noch folgenden Ergebnisabstraktion im Rahmen der Meta-Analyse erschwert. Für die Meta-Analyse von Winblad und Kollegen heißt das: In den in die Meta-Analyse eingehenden Primärstudien wurde der klinische Status der Patienten mit Alzheimer-Demenz zu zwei Zeitpunkten mit verschiedenen Tests erhoben, die unterschiedliche kognitive und verhaltensbezogene Funktionsbereiche erfassen (sollen). Für die Meta-Analyse wurden die verschiedenen Endpunkte der einzelnen Studien nochmals abstrahiert bzw. zusammengefasst: „Summary statistics were calculated for each individual study at week 24/28. These summary statistics included the arithmetic mean change from baseline, the standard deviation of the mean change from baseline, and the number of patients in each treatment group for the domains cognition, function, and behavior.” Und weiter: „As the meta-analyses required the combination of different rating scales within the same domain across selected trials […], the treatment effect for each outcome was presented by standardized mean differences.” Abschließend werden statistisch signifikanten Ergebnisse – typisch und lege artis für eine Meta-Analyse – als standardisierte Effektgrößen präsentiert: „0.22 (p < 0.001) for the global domain; 0.26 (p < 0.001) for the cognitive domain; 0.18 (p < 0.001) for the functional domain, and 0.12 (p < 0.03) for the behavioral domain.”

Welcher praktisch tätige Leser, welche praktisch tätige Leserin ist in der Lage, die klinische Bedeutsamkeit einer standardisierten Effektstärke von „0,26 im kognitiven Funktionsbereich” einzuschätzen? Hilfreicher – wenngleich nicht zu leisten – wäre an dieser Stelle vielleicht eine Rückübersetzung, die dann ungefähr lauten müsste: „ Ein Patient mit einer mittelschweren Alzheimer-Demenz verbessert sich nach sechsmonatiger Einnahme eines Memantin-Präparats im Durchschnitt um zwei Punkte im Test x. Das bedeutet, er kann sich statt drei nun fünf Gegenstände merken.” Die Frage, ob diese Verbesserung allerdings eine klinische Bedeutsamkeit im Alltag des Patienten hat, sei dahingestellt. Das hieße nämlich, eine allgemeine Diskussion um die Validität, also die Gültigkeit von Messinstrumenten, anzufachen.

Literatur

• 1 Hennekens C H, DeMets D. The need for large-scale randomized evidence without undue emphasis on small trials, meta-analyses, or subgroup analyses.  JAMA. 2009;  302 2361-2362
• 2 Koschack J. Weder heiliger Gral noch Teufelswerk: eine methodenkritische Bewertung der Meta-Analyse.  Dtsch Med Wochenschr. 2009;  134 2465-2468
• 3 Winblad B, Jones R W, Wirth Y, Stöffler A, Möbius H J. Memantine in moderate to severe Alzheimer’s disease: a meta-analysis of randomised clinical trials.  Dement Geriatr Cogn Disord. 2007;  24 20-27
• 4 Ziegler A. So lügt man mit Statistik-Heute: die Meta-Analyse.  Dtsch Med Wochenschr. 2009;  134 2469-2470