Rehabilitation (Stuttg) 2004; 43(3): 174-178
DOI: 10.1055/s-2003-814934
Methoden in der Rehabilitationsforschung
© Georg Thieme Verlag KG Stuttgart · New York

Signifikanz, Effektstärke und Konfidenzintervall

Significance, Effect Size, and Confidence IntervalH.  Faller1
  • 1Stiftungsprofessur Rehabilitationswissenschaften, Universität Würzburg
Koordinatoren der Reihe „Methoden in der Rehabilitationsforschung”: Prof. Dr. Dr. Hermann Faller, Würzburg; Prof. Dr. Thomas Kohlmann, Greifswald; Dr. Christian Zwingmann, Frankfurt/MainInteressenten, die einen Beitrag zur Reihe beisteuern möchten, werden gebeten, vorab Kontakt aufzunehmen, E-mail: christian.zwingmann@vdr.de
Further Information

Publication History

Publication Date:
17 June 2004 (online)

Zusammenfassung

Über die Bedeutung von „statistischer Signifikanz” sind viele Missverständnisse im Umlauf. Oft wird ein Studienergebnis als „hoch signifikant” bezeichnet, als würde man damit implizieren, dass es auch „hoch bedeutsam” sei. Statistisch signifikant heißt aber lediglich, dass ein Studienergebnis mit einer definierten Wahrscheinlichkeit (meist auf 5 % festgelegt) auch dann auftreten kann, wenn in der erforschten Population die Nullhypothese gilt, der in der Stichprobe gefundene Effekt also gar nicht vorhanden ist. Ob ein Ergebnis signifikant wird oder nicht, hängt in hohem Maße auch von der Größe der untersuchten Stichprobe ab. So können bei einer großen Stichprobe auch minimale, inhaltlich unbedeutende Effekte signifikant werden, während bei einer kleinen Stichprobe auch große, inhaltlich bedeutsame Effekte die Signifikanz verfehlen können. Deshalb sollten bei der Darstellung von Studienergebnissen immer auch die Größe eines Effekts (Effektstärke) und die wahrscheinliche Bandbreite des Effekts in der Population (Konfidenzintervall) berichtet werden.

Abstract

The term „statistical significance” is often misunderstood. The result of a study may be labelled to be „highly significant” as if implying „highly important”. Statistically significant, however, does only mean that a study result might have been found with a predefined probability (conventionally set at 5 %) even when the null hypothesis is true in the population, i. e. the effect found in the study sample does not exist in reality. Whether a result proves to be significant or not largely depends on sample size. Thus, in a large sample minimal effects of no practical relevance may turn out significant whereas in a small sample even large, important effects may fail to reach the significance level. As a consequence, when presenting the results of a study the effect size should be reported together with a confidence interval indicating the probable range that contains the population effect.

Literatur

1 Dazu mag beigetragen haben, dass es streng genommen nicht nur ein, sondern drei Konzepte der Signifikanztestung gibt: ein frühes und ein spätes von R. A. Fisher sowie eines von J. Neyman und E. Pearson. Die beiden Konzepte von Fisher beinhalten lediglich die Nullhypothese, die anhand eines vorab definierten Signifikanzkriteriums (frühes Konzept) oder unter Angabe eines datenabhängigen p-Werts (spätes Konzept) falsifiziert werden soll. Neyman und Pearson erweiterten dieses Modell um die Alternativhypothese, die einen Effekt von einer bestimmten Größe postuliert. Zum Fehler erster Art, die Nullhypothese fälschlich abzulehnen, dessen Wahrscheinlichkeit durch das Alpha-Fehlerrisiko bestimmt wird, kommt nun ein Fehler zweiter Art, nämlich die Alternativhypothese fälschlich abzulehnen, hinzu, dessen Wahrscheinlichkeit durch das Beta-Fehlerrisiko bestimmt wird. Aus didaktischen Gründen wird diese Differenzierung in der vorliegenden Arbeit jedoch nicht durchgeführt, sondern es wird die Praxis des Signifikanztestens so dargestellt, wie sie derzeit allgemein üblich ist: als eine Mischung aus den drei Konzepten [8].

2 Eine einfache Anleitung zur Berechnung von Konfidenzintervallen für alle gängigen Kennwerte (Mittelwertsunterschiede, Häufigkeitsunterschiede, Korrelationen etc.) sowie ein entsprechendes, leicht zu bedienendes Computerprogramm bieten Altman et al. [20].

Prof. Dr. med. Dr. phil. Hermann Faller

Institut für Psychotherapie und Medizinische Psychologie

Klinikstraße 3

97070 Würzburg

Email: h.faller@mail.uni-wuerzburg.de