Zusammenfassung
Studienziel: Anhand von Einschulungsdaten aus vier Jahren wurde untersucht, ob sich die Urteilsmuster
innerhalb der Gruppe der untersuchenden Ärztinnen und Ärzte unterscheiden. Zwei Diagnosen
waren Gegenstand der Überprüfung: 1) Adipositas, weil für die Diagnose ein externes
Kriterium zur Überprüfung vorhanden war. Die ärztlichen Klassifikationen konnten mit
automatisch-korrekt erstellten Klassifikationen im Nachhinein verglichen werden. 2)
Sprachauffälligkeiten, weil sie die häufigste aller vergebener Diagnosen darstellt.
In diesem Fall gab es kein Außenkriterium, deshalb konnten die Unterschiede nur innerhalb
der Gruppe von Untersuchern betrachtet werden.
Material und Methoden: Es wurden die Einschulungsdaten der Stadt Hannover aus den Jahren 1998-2001 verwendet.
Insgesamt waren 14 Ärztinnen und Ärzte beteiligt, die Daten von zweien mussten wegen
zu geringer Fallzahlen ausgeschlossen werden. Die Analysen basieren auf den Daten
von 18.303 Schülerinnen und Schülern. Im Fall Adipositas wurden für die Ermittlung
der Variabilität ärztlicher Diagnosen und der Klassifikation nach einem untersucherunabhängigen
Kriterium Sensitivität und Spezifität berechnet. Die Vergleiche zu den nach Untersuchern
unterschiedlichen Chancen einer Diagnose wurden mittels logistischer Regression durchgeführt.
Ergebnisse: Die Sensitivität für das korrekte Auffinden eines auffälligen Körpergewichts oberhalb
der 75. Gewichtsperzentile lag über alle beobachteten Jahre hinweg bei 0,64. Für den
Bereich oberhalb der 97. Perzentile lag die Sensitivität bei 0,70. Über die vier beobachteten
Jahre gab es deutliche Unterschiede. Für die logistische Regression wurden die Befunde
der Ärztin/des Arztes mit den geringsten Unterschieden zu einem untersucherunabhängigen
Kriterium als Vergleichsstandard verwendet. Das Odds Ratio des Untersuchers mit der
größten Abweichung lag bei OR=0,08, die Variabilität innerhalb der Untersucher war
sehr groß. Für Sprachauffälligkeiten waren die Unterschiede bei großer Variabilität
innerhalb der Gruppe der Untersucher geringer, jedoch ebenfalls groß. Die größte Abweichung
lag hier bei OR=0,40.
Schlussfolgerungen: Bei Diagnosen aus Einschulungsuntersuchungen gibt es große untersucherabhängige Variabilitäten,
sodass die Daten für epidemiologische Fragestellungen nicht verwendet werden sollten.
Zur Verbesserung der Datenqualität sollten die beteiligten Ärztinnen und Ärzte im
Gebrauch der Untersuchungsinstrumentarien geschult werden, die Instruktionen sollten
klarer formuliert sein, um ihre Anwendung zu erleichtern.
Abstract
Aim: Data from school entry examinations were used for studying the variability of judgementsbetween
physicians performing the examinations. Two diagnoses were subject to examination:
1) Obesity, because an external criterion was available for this one. The medical
classifications were compared with automated classifications using an external criterion.
2) Language anomalies, because these are the most frequent diagnoses. No external
criterion had been available, thus differences within the group of examining physicians
were considered.
Material and Methods: Data from all school entry examinations performed in the city of Hannover between
1998 and 2001 were used. Altogether 14 physicians were involved, but due to low case
numbers the data of two had to be omitted. The analyses are based on 18,303 datasets.
For obesity the agreement rates between physicians’ and automatically generated diagnoses
were ascertained by calculating sensitivity and specificity. Comparisons of differences
between physicians with respect to chances of getting a diagnosis were performed using
logistic regression.
Results: The sensitivity of classifying body weights above the 75th percentile correctly was 0.64 over all years of observation. The respective sensitivity
of classifying children with body weights above the 97th percentile was 0.70. Considerable differences over the four years of observation
occurred. For performing logistic regressions, the diagnoses of the physician with
the smallest difference from an external criterion were used as standard of comparison.
The diagnoses of the physician with the largest difference yielded an OR=0.08. The
overall variability within the group of examining physicians was large. With respect
to language anomalies, although considerable, the within-group differences were smaller.
The largest odds ratio in this case was OR=0.40.
Conclusion: Diagnoses from school entry examinations vary according to the physicians involved.
Thus the data should not be used for epidemiological studies. In order to improve
data quality, the involved physicians should be extensively trained in using the instruments,
and their instructions should be formulated more clearly in order to facilitate their
application.
Schlüsselwörter
Schuleingangsuntersuchungen - Adipositas - Sprachstörungen - Beurteilervariabilität
Key words
school entry examinations - obesity - language anomalies - variability of judgements
