In jüngster Zeit wird von den maßgeblichen Leitlinien für die Publikation von Studienergebnissen
in medizinischen [1]
[2]
[3]
[4] und psychologischen [5]
[6] Zeitschriften gefordert, das Ergebnis einer statistischen Hypothesenprüfung, oft
kurz Signifikanztest genannt, durch die Angabe der Effektstärke sowie der Präzision,
mit der diese geschätzt werden konnte (Konfidenzintervall), zu ergänzen. Welche Überlegungen
haben zu dieser Forderung geführt? Warum erscheinen die Resultate von Hypothesenprüfungen,
also die bloße Angabe, ob ein Ergebnis statistisch signifikant ist oder nicht, heute
als nicht mehr ausreichend, um die Aussage einer Studie beurteilen zu können? Oder
kurz gefragt: „What's wrong with significance tests?” [7].
Über die Bedeutung des Ausdrucks „statistisch signifikant” sind viele Missverständnisse
im Umlauf.[1] Deshalb soll zuerst noch einmal kurz und mit einfachen Worten erklärt werden, was
es bedeutet, wenn das Ergebnis unserer Studie „statistisch signifikant” ist. Entgegen
verbreiteten Missverständnissen heißt „Das Ergebnis ist signifikant, p < 0,05” nicht,
dass die Nullhypothese (es existiert kein Effekt, also kein Unterschied, kein Zusammenhang
etc.) nur noch eine Wahrscheinlichkeit von 5 % hat; der p-Wert (p = probability),
den ein Signifikanztest erbringt, sagt nichts darüber aus, wie wahrscheinlich die
geprüfte Nullhypothese ist; er ist weder eine Eigenschaft der Nullhypothese noch der
Alternativhypothese, sondern eine Eigenschaft der Daten (genauer: ein Resultat aus
dem in der Stichprobe gemessenen Effekt, der Stichprobengröße und der Verteilungsannahmen)
unserer Stichprobe, unter der Bedingung der Gültigkeit der Nullhypothese: Er gibt
die Wahrscheinlichkeit an, mit welcher die gefundenen (oder extremere) Stichprobenergebnisse
auftreten können, wenn die Nullhypothese gilt (also der untersuchte Effekt in der
Population nicht existiert) [9]
[10]. Der p-Wert wird a posteriori auf der Basis der Daten berechnet, das Alpha-Fehlerrisiko
(Signifikanzniveau), d. h. die Wahrscheinlichkeit, fälschlicherweise einen Effekt
anzunehmen, wo tatsächlich keiner existiert, hingegen a priori, also vor Beginn der
Studie festgelegt.
Am Beispiel des Mittelwerts soll dieser Sachverhalt kurz erläutert werden: Aus dem
zentralen Grenzwerttheorem lässt sich ableiten, wie die Mittelwerte von Stichproben
eines bestimmten Umfangs (n) ausfallen, die aus einer Population mit einem bestimmten
Mittelwert gezogen werden. Die Mittelwerte dieser Stichproben verteilen sich nämlich,
ausreichende Stichprobengröße vorausgesetzt, glockenförmig um den Populationsmittelwert
(Normalverteilung, Gaußsche Glockenkurve). Wir wissen also im Vorhinein, mit welcher
Wahrscheinlichkeit bestimmte Stichprobenmittelwerte auftreten werden: Stichproben
mit Mittelwerten, die in der Nähe des Populationsmittelwerts liegen, kommen häufiger
vor, weiter abweichende Mittelwerte seltener. Ein p-Wert von 0,05 oder 5 % sagt aus,
dass der Mittelwert unserer Stichprobe so weit vom Populationsmittelwert abweicht,
dass er (oder ein extremerer Wert) per Zufall in 5 % aller Stichproben vorkommen würde,
die aus dieser Population gezogen werden. Es hat sich nun im Laufe der Zeit eingebürgert,
diese Wahrscheinlichkeit von 5 % für selten genug zu erachten, um den Schluss zu ziehen,
dass unsere Stichprobe wohl nicht aus einer Population stammt, von der sie so weit
abweicht, dass dies nur in 5 % der Fälle auch zufälligerweise zustande kommen kann.
Analog kann beim Vergleich zweier Untersuchungsgruppen der Unterschied zwischen den
beiden Mittelwerten behandelt werden. Dies leuchtet unmittelbar ein, wenn man den
Kontrollgruppenmittelwert als 0 ansetzt; der Experimentalgruppenmittelwert entspricht
dann der Differenz beider Mittelwerte.
Wir treffen also vor dem Hintergrund unseres Stichprobenwerts die Entscheidung, dass
die Nullhypothese nicht gilt. Dies ist jedoch eine willkürliche Entscheidung auf der
Basis einer Konvention, die sich im Lauf vieler Jahre herausgebildet hat [11]. Ob eine Wahrscheinlichkeit von 5 % wirklich so selten ist, dass man sie vernachlässigen
kann, hängt von der Tragweite der Entscheidung ab, um die es geht: Wenn die Wettervorhersage
die Wahrscheinlichkeit dafür, dass es morgen regnen wird, mit 5 % beziffert, werde
ich wohl den Regenschirm zu Hause lassen. Wenn mein Chirurg dieselbe Wahrscheinlichkeit
von 5 % dafür angibt, dass die geplante Operation tödlich ausgeht, werde ich mir sehr
gut überlegen, ob es nicht auch andere, weniger riskante Behandlungsmöglichkeiten
gibt.
Die Entscheidung, dass ein Ergebnis statistisch signifikant ist, schließt nicht mit
Sicherheit aus, dass die Nullhypothese doch zutrifft. Bei 5 von 100 Testungen kann
ein signifikantes Ergebnis allein durch Zufall zustande kommen: Die Festsetzung des
Signifikanzniveaus (Irrtumswahrscheinlichkeit, Alpha-Fehlerrisiko) auf 5 % impliziert
ja, dass ich bereit bin, mich auf lange Frist in 5 % der Fälle zu irren. Ich kann
also nie sicher wissen, ob nicht gerade mein signifikantes Ergebnis eines von diesen
5 von 100 zufällig signifikanten Ergebnissen ist. Eine Replikation des Befunds macht
ihn verlässlicher. Viel problematischer wird dieser Umstand dann, wenn ich in meiner
Studie nicht nur eine, sondern eine ganze Reihe von Hypothesen teste oder gar ohne
spezifische Hypothese alle möglichen Subgruppenunterschiede oder Merkmalszusammenhänge
prüfe. Die Logik des Signifikanztestens wird durch diese Praxis ad absurdum geführt,
Zufallsbefunde sind nahezu garantiert. Deshalb muss streng zwischen hypothesenprüfenden
und explorativen Auswertungen unterschieden werden.
Die Attraktivität des Signifikanztests rührt daher, dass er ein quasi deterministisches,
mechanisches und objektives Schema liefert, das zu klaren und eindeutigen Ja-Nein-Entscheidungen
führt: Ein Ergebnis ist signifikant (p < 0,05) oder nicht (p ≥ 0,05). Was ist nun
„falsch” am Signifikanztesten? Die Signifikanzprüfung hat mehrere erhebliche Nachteile:
1. Sie setzt ein willkürliches, dichotomes Kriterium; 2. ob dieses Kriterium erfüllt
wird oder nicht, hängt aber sehr wesentlich von der Stichprobengröße ab; 3. sie gibt
uns keine Information über die Größe und 4. über die klinische Bedeutsamkeit eines
Effekts [9]
[10]. Im Gegenteil: Ein und derselbe Effekt kann in der einen Studie signifikant sein,
in einer anderen, bis auf die Stichprobengröße identischen Studie hingegen nicht.
Ein Beispiel: Eine Patientenschulung bringt hinsichtlich eines Ergebniskriteriums
(z. B. Summenwert auf einem Wissensfragebogen) in der Behandlungsgruppe einen um 0,70
Standardabweichungen besseren Mittelwert als in der Kontrollgruppe. (Einen Unterschied
dieser Größe findet man häufig, wenn man eine wirksame Intervention mit keiner Behandlung
vergleicht.) In einer Studie mit n = 10 Teilnehmern in der Behandlungsgruppe und n
= 10 Teilnehmern in der Kontrollgruppe wäre dieser Unterschied nicht signifikant.
Derselbe Unterschied würde jedoch signifikant werden, wenn Experimental- und Kontrollgruppe
aus jeweils 30 Teilnehmern bestehen würden. Kazdin meint dazu: „This is chaos and
not how we want our science to proceed” ([12], S. 376). Dass es so sehr auch von der Stichprobengröße statt von der eigentlich
interessierenden Größe eines Effekts abhängt, ob ein Ergebnis signifikant wird oder
nicht, behindert den systematischen Aufbau von Wissen: Wir können oft nicht unterscheiden,
ob nicht signifikante Ergebnisse bedeuten, dass tatsächlich kein Effekt vorhanden
ist, oder vielmehr, dass ein tatsächlich vorhandener Effekt wegen Schwächen im Design,
wie z. B. eine zu kleine oder zu inhomogene Stichprobe, lediglich nicht entdeckt wurde.
(Diese Schwächen des Designs sind natürlich nicht dem Nullhypothesentest anzurechnen,
sondern dem Forscher, der z. B. nicht vorab den erforderlichen Stichprobenumfang berechnet
hat.)
Gleichwohl werden Erfolg oder Misserfolg einer Behandlung meist mechanisch daran festgemacht,
ob p unter oder über 5 % liegt. Dass es sich bei dem inzwischen nahezu sakrosankten
5 %-Kriterium für die Entscheidung, ob ein Effekt statistisch bedeutsam ist oder nicht,
um eine durchaus willkürliche Festlegung handelt, haben Rosnow u. Rosenthal ([13], S. 1277) in ihrem klassischen Zitat spöttisch folgendermaßen kommentiert: „Surely,
God loves the .06 nearly as much as the .05.” Für den Signifikanztest wird die empirische
Welt aber anhand dieses Kriteriums in „existent/nicht existent” eingeteilt: Ein Effekt
(ein Unterschied, ein Zusammenhang) ist vorhanden oder nicht. Dass sich Wissenszuwachs
entlang derartiger Ja-oder-Nein-Entscheidungen vollzieht, ist wenig plausibel; viel
interessanter ist dagegen die Frage, wie groß ein Unterschied zwischen zwei Gruppen
oder wie stark ein Zusammenhang zwischen zwei Merkmalen ist. Darüber enthält der p-Wert
jedoch keinerlei Information. Er besagt lediglich, dass der Effekt nicht Null ist,
nicht aber, wie groß er ist. „Sehr signifikant” heißt nicht „sehr wichtig”. Vielmehr
hängt es wesentlich von der Größe der untersuchten Stichproben ab, ob ein Unterschied
signifikant wird oder nicht. Dies liegt daran, dass die Mittelwerte größerer Stichproben
sehr viel enger um den Populationsmittelwert schwanken als diejenigen kleiner Stichproben.
Ein abweichender Mittelwert kommt bei größeren Stichproben mit entsprechend geringerer
Wahrscheinlichkeit (p-Wert) vor, deshalb genügt bei größeren Stichproben umgekehrt
schon eine geringere Abweichung vom Populationsmittelwert, ein Ergebnis signifikant
werden zu lassen. Bei sehr kleinen Stichproben muss hingegen ein Effekt schon sehr
groß sein, um signifikant zu werden. Diese unterschiedliche „Fähigkeit”, signifikante
Ergebnisse zu erzielen, wird „Power” (Teststärke) genannt [14]
[15].
Die Abhängigkeit der Signifikanzprüfung von der Stichprobengröße kann also in zwei
Richtungen in die Irre führen. Einerseits werden bei genügend großen Stichproben auch
minimale Unterschiede signifikant, sodass mit Recht gesagt wurde, dass die Nullhypothese
eigentlich nie gelte - nur sind diese Unterschiede trotz der „hohen Signifikanz” möglicherweise
sehr klein und inhaltlich völlig bedeutungslos. Hierzu ein Beispiel: 1986 erschien
in der New York Times die Nachricht, dass eine Studie mit nahezu 14 000 Schulkindern
bewiesen habe, dass ein signifikanter Zusammenhang zwischen Körpergröße und Intelligenz
bestehe, und zwar bei Kontrolle von Alter, Geschlecht, körperlicher Reife, soziodemografischen
Merkmalen und vielen anderen Variablen. Cohen [9], der diesen Artikel las, vermisste darin allerdings eine Angabe über die Stärke
dieses Zusammenhangs. Auf der Basis einer Poweranalyse berechnete er, dass ein Korrelationskoeffizient
bei n = 14 000 und α = 0,001 mindestens r = 0,0278 betragen muss, um signifikant zu
werden. Um, entsprechend der impliziten Kausalhypothese des Journalisten, die Intelligenz
eines Kindes von 100 auf 130 Punkte zu erhöhen, müsste man seine Körpergröße demnach
um 4,20 m steigern; oder, falls die Kausalität in die andere Richtung liefe und man
Basketballspieler heranbilden wollte, so würde eine Größenzunahme um 10 cm einen Intelligenzzuwachs
um 900 Punkte erfordern. (Später recherchierte Cohen den tatsächlichen Korrelationskoeffizienten;
dieser betrug immerhin 0,11, was bedeutet, dass man einen Intelligenzgewinn von 30
Punkten schon mit einem Größenzuwachs um 1,05 m bzw. einen 10-cm-Wachstumsschub schon
mit einer Intelligenzsteigerung um 233 Punkte erzielen würde.) Hoch signifikant heißt
also mitnichten hoch bedeutsam. Die Korrelation im genannten Beispiel ist zwar hoch
signifikant, aber sehr niedrig und in keiner Weise relevant.
Signifikanz sagt also noch nichts über die klinische Bedeutsamkeit oder Relevanz eines
Effekts. Unter der klinischen Bedeutsamkeit versteht man die Auswirkung auf das Alltagsleben
der Patienten [16]. Dies ist ein breiteres Konzept, das sich nicht so einfach operationalisieren lässt
- zumal nicht anhand einer einfachen kriterienbezogenen Entscheidung - wie die statistische
Signifikanz, wenngleich es auch statistische Ansätze zur Definition klinischer Bedeutung
gibt [17]. Deshalb erscheint es angemessen, den Begriff „Signifikanz” für die statistische
Signifikanz zu reservieren und statt von „klinischer Signifikanz” besser von „klinischer
Bedeutsamkeit” oder „Relevanz” zu sprechen. Obwohl sich die Größe eines Effekts und
seine klinische Bedeutung nicht eins zu eins ineinander überführen lassen, stehen
doch beide in einem Zusammenhang miteinander, insofern große Effekte auch eher klinisch
bedeutsam sind als kleine Effekte.
Die zweite Richtung, in die das bloße Signifikanztesten irreführen kann, ist folgende:
Bei kleinen Stichproben haben große, inhaltlich möglicherweise durchaus bedeutsame
Effekte nur eine geringe Chance, signifikant zu werden, mit der Folge, dass realiter
durchaus vorhandene Befunde nicht entdeckt, wissenschaftlich anerkannt und therapeutisch
genutzt werden [18]. Schmidt [19] gibt ein Beispiel eines Forschungsfelds, in welchem viele einzelne Studien jeweils
positive Korrelationen zwischen zwei Merkmalen in substanzieller Höhe gezeigt haben,
die aber fast alle wegen zu kleiner Stichproben nicht signifikant wurden. Die (hybride)
Logik des Signifikanztestens käme in diesem Fall zu dem Schluss, dass der geprüfte
Zusammenhang nicht existiert. Viel plausibler wäre jedoch die Vermutung, dass an dem
Zusammenhang durchaus etwas dran sein könnte und es lediglich ein Resultat der kleinen
Stichprobe ist, dass die Signifikanz „ausbleibt”. Hätte man die Studien ausreichend
dimensioniert und dadurch für die nötige Power gesorgt, wären die substanziellen Korrelationen
möglicherweise signifikant geworden. Die Kombination der einzelnen Studien in einer
Metaanalyse kann schließlich das zutreffende Bild eines tatsächlich vorhandenen und
starken Zusammenhangs aufdecken, das auf der Ebene der einzelnen nicht signifikanten
Ergebnisse verborgen geblieben wäre. Metaanalysen können deshalb die Fehler zu kleiner
Studien manchmal heilen.
Alle genannten Nachteile können aber auch auf der Ebene der einzelnen Studie gemildert
werden, wenn man die Signifikanzprüfung durch die Angabe der Größe eines Effekts (Unterschieds,
Zusammenhangs) und der Präzision seiner Schätzung (Konfidenzintervall) ergänzt [20]. Die Größe eines Effekts wird als Effektstärke bezeichnet. In einem Kontrollgruppendesign
ist dies z. B. der Unterschied zwischen Interventionsgruppe und Kontrollgruppe auf
einem Ergebniskriterium (Outcome). Ein Beispiel: Die Evaluation eines Selbstmanagementprogramms
für Patienten mit hohem Blutdruck habe in der Interventionsgruppe einen mittleren
diastolischen Blutdruck von 90 mm Hg und in der Kontrollgruppe von 95 mm Hg gezeigt.
Die Effektstärke beträgt in diesem Fall 5 mm Hg. Wenn die Skala, auf der der Effekt
dargestellt wird, nicht so unmittelbar verständlich ist wie die Blutdruckskala, ist
es sinnvoll, die Größe des Effekts in Einheiten der Standardabweichung auszudrücken
und dadurch unterschiedliche Skalierungen miteinander vergleichbar zu machen. So ist
Cohens d, ein gebräuchliches Maß der Effektstärke, definiert als Mittelwertsunterschied
dividiert durch die (gepoolte) Standardabweichung [14]
[15]. (Gepoolt heißt, dass aus den Standardabweichungen von Interventions- und Kontrollgruppe
unter Berücksichtigung der Größe der beiden Gruppen ein gemeinsamer Wert berechnet
wird, zur Formel siehe [14].) Für einen auf diese Weise standardisierten Mittelwertsunterschied hat Cohen [14]
[15] folgende Bewertung vorgeschlagen, die inzwischen allgemein akzeptiert wird: d =
0,2 kleiner Effekt, d = 0,5 mittlerer Effekt, d = 0,8 großer Effekt. Das gebräuchlichste
Maß der Effektstärke für einen Zusammenhang zwischen zwei intervallskalierten Variablen
ist der Produkt-Moment-Korrelationskoeffizient. Hierfür schlägt Cohen [14]
[15] folgende Bewertung vor: r = 0,1 kleiner Effekt, r = 0,3 mittlerer Effekt, r = 0,5
großer Effekt.
Angenommen, ein Schulungsprogramm hat zu einem signifikanten Unterschied zwischen
Interventionsgruppe und Kontrollgruppe in der Rate von Rehospitalisierungen geführt.
Dies allein sagt mir, wie erwähnt, noch nichts darüber, wie groß dieser Unterschied
ist. Als geeignetes Maß für die Größe des Unterschieds, die Effektstärke, könnte in
diesem Fall ein Häufigkeitsunterschied angegeben werden, der 20 % betragen sollte.
Ein Unterschied von dieser Größe erscheint durchaus relevant. Der in der Studienstichprobe
erzielte Effekt stellt aber nur einen ungefähren Schätzwert für den Effekt in der
Population dar, aus der die Stichprobe stammt und für die auf der Basis der Studie
eine Aussage getroffen werden soll. Die Präzision dieser Schätzung lässt sich jedoch
bestimmen, und zwar durch das 95 %-Konfidenzintervall. Dieses gibt, kurz gesagt, den
Bereich an, in dem der Effekt in der Population mit 95 %iger Sicherheit liegt. (Genauer
gesagt: Berechnet man eine Serie von Konfidenzintervallen in unterschiedlichen Stichproben
aus derselben Population, dann überdecken 95 % dieser Konfidenzintervalle den Effekt
in der Population.) Angenommen, in der erwähnten Studie liegt das 95 %-Konfidenzintervall
zwischen 6 und 34 %. Dies bedeutet, dass der wahre Effekt mit 95 %iger Sicherheit
zwischen 6 und 34 % liegt. (Werte darunter oder darüber sind allerdings nicht völlig
ausgeschlossen.) Eine Reduktion um 34 % wäre natürlich klinisch noch bedeutsamer als
eine Reduktion um 20 %. Ob dagegen 6 % noch relevant sind, müsste diskutiert werden.
Werte am Rande des Konfidenzintervalls sind jedoch weniger wahrscheinlich, und die
beste Schätzung des Populationseffekts ist 20 %, der Stichprobenwert. Ein anderes
Beispiel: Eine Selbstmanagementprogramm für Patienten mit Hypertonie habe zwischen
Behandlungs- und Kontrollgruppe einen mittleren Unterschied von 5 mm Hg im diastolischen
Blutdruck gebracht, mit einem 95 %-Konfidenzintervall von 1 - 9 mm Hg. Das Ergebnis
der Studie ist also konsistent mit einem relativ breiten Bereich, der klinisch bedeutsame
Werte bis hin zu beträchtlichen 9 mm Hg, aber auch eine sehr geringe Verminderung
des Blutdrucks um nur 1 mm Hg umschließt.
Wichtig ist, dass das Konfidenzintervall bei einem Kontrollgruppendesign für den Unterschied
zwischen Experimental- und Kontrollgruppe berechnet werden muss, nicht für jede Gruppe
getrennt. 95 %-Konfidenzintervalle geben nun nicht nur einen Hinweis für die Größe
des Effekts und die Bandbreite, in welcher der Populationseffekt mit einer bestimmten
Wahrscheinlichkeit liegt, sondern sie beantworten nebenbei auch noch die Frage nach
der statistischen Signifikanz: Wenn der Wert Null außerhalb des 95 %-Konfidenzintervalls
liegt, so ist das Ergebnis auf dem 5 %-Niveau signifikant; wenn er innerhalb des Intervalls
liegt, nicht. Wenn in einer kleinen Studie (kleines n) das 95 %-Konfidenzintervall
sowohl große Effekte als auch den Wert Null einschließt („nicht signifikant”), so
heißt dies, dass das Ergebnis sowohl mit dem Vorhandensein klinisch bedeutsamer Effekte
als auch mit der Gültigkeit der Nullhypothese konsistent ist [7]. Welche von beiden Möglichkeiten letztlich zutrifft, muss die Replikation in weiteren
Studien und deren Synthese in einer Metaanalyse entscheiden. Zusätzlich zum Konfidenzintervall
sollte immer der genaue p-Wert angegeben werden, nicht nur, ob p oberhalb oder unterhalb
einer willkürlichen Schwelle liegt. Die Präsentation von Konfidenzintervallen, d.
h. der Bandbreite der Effektstärke, mit der das Studienergebnis kompatibel ist, gehört
inzwischen zum Standard der Präsentation quantitativer Ergebnisse.[2]
