Zusammenfassung
Über die Bedeutung von „statistischer Signifikanz” sind viele Missverständnisse im
Umlauf. Oft wird ein Studienergebnis als „hoch signifikant” bezeichnet, als würde
man damit implizieren, dass es auch „hoch bedeutsam” sei. Statistisch signifikant
heißt aber lediglich, dass ein Studienergebnis mit einer definierten Wahrscheinlichkeit
(meist auf 5 % festgelegt) auch dann auftreten kann, wenn in der erforschten Population
die Nullhypothese gilt, der in der Stichprobe gefundene Effekt also gar nicht vorhanden
ist. Ob ein Ergebnis signifikant wird oder nicht, hängt in hohem Maße auch von der
Größe der untersuchten Stichprobe ab. So können bei einer großen Stichprobe auch minimale,
inhaltlich unbedeutende Effekte signifikant werden, während bei einer kleinen Stichprobe
auch große, inhaltlich bedeutsame Effekte die Signifikanz verfehlen können. Deshalb
sollten bei der Darstellung von Studienergebnissen immer auch die Größe eines Effekts
(Effektstärke) und die wahrscheinliche Bandbreite des Effekts in der Population (Konfidenzintervall)
berichtet werden.
Abstract
The term „statistical significance” is often misunderstood. The result of a study
may be labelled to be „highly significant” as if implying „highly important”. Statistically
significant, however, does only mean that a study result might have been found with
a predefined probability (conventionally set at 5 %) even when the null hypothesis
is true in the population, i. e. the effect found in the study sample does not exist
in reality. Whether a result proves to be significant or not largely depends on sample
size. Thus, in a large sample minimal effects of no practical relevance may turn out
significant whereas in a small sample even large, important effects may fail to reach
the significance level. As a consequence, when presenting the results of a study the
effect size should be reported together with a confidence interval indicating the
probable range that contains the population effect.
Schlüsselwörter
Signifikanz - Effektstärke - Konfidenzintervall
Key words
Significance - effect size - confidence interval
Literatur
Statistical guidelines for contributors to medical journals. In: Altman DG, Machin D, Bryant TN, Gardner MJ (eds) Statistics with confidence. London;
BMJ Books 2000: 171-190 On the origins of the .05 level of statistical significance. American Psychologist
1982; 37: 553 - 558, wiederabgedruckt. In: Kazdin AE (ed) Methodological issues and strategies in clinical research. 2.
Aufl. Washington, DC; American Psychological Association 1998: 291-300
1 Dazu mag beigetragen haben, dass es streng genommen nicht nur ein, sondern drei Konzepte
der Signifikanztestung gibt: ein frühes und ein spätes von R. A. Fisher sowie eines
von J. Neyman und E. Pearson. Die beiden Konzepte von Fisher beinhalten lediglich
die Nullhypothese, die anhand eines vorab definierten Signifikanzkriteriums (frühes
Konzept) oder unter Angabe eines datenabhängigen p-Werts (spätes Konzept) falsifiziert
werden soll. Neyman und Pearson erweiterten dieses Modell um die Alternativhypothese,
die einen Effekt von einer bestimmten Größe postuliert. Zum Fehler erster Art, die
Nullhypothese fälschlich abzulehnen, dessen Wahrscheinlichkeit durch das Alpha-Fehlerrisiko
bestimmt wird, kommt nun ein Fehler zweiter Art, nämlich die Alternativhypothese fälschlich
abzulehnen, hinzu, dessen Wahrscheinlichkeit durch das Beta-Fehlerrisiko bestimmt
wird. Aus didaktischen Gründen wird diese Differenzierung in der vorliegenden Arbeit
jedoch nicht durchgeführt, sondern es wird die Praxis des Signifikanztestens so dargestellt,
wie sie derzeit allgemein üblich ist: als eine Mischung aus den drei Konzepten [8
2 Eine einfache Anleitung zur Berechnung von Konfidenzintervallen für alle gängigen
Kennwerte (Mittelwertsunterschiede, Häufigkeitsunterschiede, Korrelationen etc.) sowie
ein entsprechendes, leicht zu bedienendes Computerprogramm bieten Altman et al. [20
h.faller@mail.uni-wuerzburg.de
