Klinisch-praktische Prüfungen in der orthopädischen Lehre: Wer ist der „ideale“ Prüfer?

Zusammenfassung

Hintergrund Die ärztliche Ausbildung fordert in zunehmendem Maße einen hohen Anteil an Praxis im Studium. An vielen medizinischen Fakultäten in Deutschland wird mittlerweile die OSCE-Prüfung (OSCE: objective structured clinical examination) eingesetzt, um praktische Fertigkeiten sowie Lernziele der Arzt-Patienten-Kommunikation zu überprüfen. Die Vermittlung praktischer Fertigkeiten wird zunehmend unterstützt durch Einsatz von Simulatoren- und Simulationspatiententraining unter Einsatz des sog. „Peer-Teaching“-Verfahrens durch geschulte studentische Tutoren. In dieser Arbeit wird erstmalig der Einsatz von studentischen Tutoren als Prüfer in der OSCE-Prüfung Orthopädie dahingehend überprüft, ob unterschiedliche Bewertungen der Leistung durch einen Hochschullehrer oder studentischen Tutor erfolgen.

Material und Methoden Prospektiv wurden die Daten von n = 94 aus n = 324 Studierenden des 5. Fachsemesters erhoben, die im März/April 2016 der OSCE-Station „Untersuchung der Wirbelsäule“ zurandomisiert wurden. Eine strukturierte Checkliste wurde hierzu entworfen und die beiden Prüfer (ein Hochschullehrer des Fachbereichs Orthopädie, ein studentischer Tutor) entsprechend geschult. Die Checkliste wurde von beiden Prüfern unabhängig voneinander ausgefüllt und anschließend einer statistischen Auswertung zugeführt. Die Auswertung nach Gesamtpunkten, Bewertungsblöcken und Prüfungstagen erfolgte mittels SPSS.

Ergebnisse Die durchschnittlich erreichte Punktzahl in der Gesamtbewertung lag bei 19,5 Punkten (maximal zu erreichende Punktzahl: 25), wobei der studentische Prüfer im Mittel 19,1 Punkte (SD ± 3,2), der Hochschullehrer 19,9 Punkte (SD ± 3,4) vergab. Signifikante Unterschiede in der Bewertung zeigten sich an Prüfungstag 1 (p < 0,001) und in der Gesamtauswertung (p < 0,001), während an den Prüfungstagen 2 und 3 einzeln betrachtet keine signifikanten Unterschiede zu vermerken waren.

Schlussfolgerung Die Untersuchung zeigt lediglich an Tag 1 der Prüfung eine signifikant strengere Bewertung durch den studentischen Tutor. Bei einer Punktedifferenz von 0,8 aus 25 Punkten im Mittel und einer Interrater-Reliabilität von 0,95 kann aus Sicht der Autoren eine OSCE-Prüfungsstation zur Bewertung von Untersuchungstechniken und Arzt-Patienten-Kommunikation in der Orthopädie nach entsprechender Schulung durch einen studentischen Tutor erfolgen. Grundvoraussetzung hierfür ist eine fundierte Schulung des studentischen Prüfers sowie die Entwicklung einer gut strukturierten und validierten Checkliste. Ebenso sollte eine stetige Plausibilitätsprüfung der Prüfungsergebnisse erfolgen.

Abstract

Background Medical curricula require an increasing amount of integrated clinical practical skills education. German medical faculties are increasingly implementing the OSCE (objective structured clinical examination) to test studentsʼ practical as well as communication skills. Teaching and assessment tools for practical skills include simulators and simulated patient scenarios, where peer-assisted teaching (PAT) is applied. Trained student tutors support this process. This study examines for the first time the use of PAT student tutors as examiners in an orthopaedic OSCE unit and the existence of possible differences in rating between faculty and PAT student tutors.

Material and Methods N = 94 students (out of n = 324) in their first clinical year were randomly assigned to the OSCE unit “spine and pelvis examination” in March/April 2016 and data were collected over the three-day OSCE period. A structured checklist was developed and the two examiners (one university professor from the Department of Orthopaedics, one PAT student tutor) received identical preparatory training. The checklist was completed by both examiners independently and data were collected for statistical analysis. The analysis focused on the overall evaluation in points, as well as separate checklist sections focusing on different competences and comparison of the three consecutive examination days. Analysis was conducted by SPSS.

Results The average number of points in the overall evaluation was 19.5 (out of 25) points. The student tutor evaluated the students with an average of 19.1 points, the professor with 19.9 points. A significant difference was observed between the two examiner evaluations of day one (p < 0.001) and in the overall analysis (p < 0.001). On OSCE examination days 2 and 3, no significant differences in evaluation were observed.

Conclusion The analysis shows only one significant evaluation difference between the two assessors, with the PAT student tutorʼs evaluation being stricter. The authors conclude that a point difference of 0.8 out of 25 in the average overall evaluation and an interrater reliability of 0.95 in an orthopaedic OSCE station examining practical skills as well as communication skills justifies employing PAT student tutors as assessors in this context. The obligatory requirements for this are a detailed PAT student tutor training, the development of a well-structured and valid checklist, as well as continuous quality assurance of the overall OSCE.

Schlüsselwörter

Lehre - Objective structured clinical Examination (OSCE) - Checkliste - studentische Tutoren - Peer-Prüfer

Key words

medical education - objective structured clinical examination (OSCE) - checklists - peer-assisted teaching (PAT) - PAT student tutors

• Literatur

• 1 Schwarzkopf S, Morfeld M, Gülich M. et al. Aktuelle Lehr-, Lern- und Prüfungsmethoden in der medizinischen Ausbildung und ihre Anwendungsmöglichkeiten für die Rehabilitation. Rehabilitation 2007; 46: 64-73
• 2 Beschluss des Bundesrates Bonn. Approbationsordnung für Ärzte. ÄApprO 2002. Im Internet: https://www.gesetze-im-internet.de/_appro_2002/BJNR240500002.html Stand: 16.04.2016
• 3 Kalbitz M, Liener U, Kornmann M. et al. Studentische Evaluation einer objektiven, strukturierten klinischen Prüfungsmethode (OSCE) im Fach Chirurgie und Orthopädie. Unfallchirurg 2010; 113: 726-733
• 4 Hofer M, Jansen M, Soboll S. Verbesserungspotenzial des Medizinstudiums aus retrospektiver Sicht von Facharztprüflingen. Dtsch Med Wochenschr 2006; 131: 373-378
• 5 Harden RM, Stevenson M, Downie W. et al. Assessment of clinical competence using objective structured examination. Br Med J 1975; 1: 447-451
• 6 Nikendei C, Jünger J. OSCE – praktische Tipps zur Implementierung einer klinisch-praktischen Prüfung. GMS Z Med Ausbild 2006; 23: Doc47
• 7 Chenot JF, Ehrhardt M. Objective structured clinical examination (OSCE) in der medizinischen Ausbildung: Eine Alternative zur Klausur. Z Allg Med 2003; 79: 437-442
• 8 Miller GE. The assessment of clinical skills competence performance. Acad Med 1990; 65 (9 Suppl.): S63-S67
• 9 Davis MH. OSCE: the Dundee experience. Med Teach 2009; 25: 255-261
• 10 Fischbeck S, Mauch M, Leschnik E. et al. Überprüfung ärztlicher kommunikativer Kompetenz mittels einer OSCE bei Studierenden der Medizin im ersten Studienjahr. Psychother Psych Med 2011; 61: 465-471
• 11 Scheffer S. Validierung des „Berliner Global Rating“ (BGR) – ein Instrument zur Prüfung kommunikativer Kompetenzen Medizinstudierender im Rahmen klinisch-praktischer Prüfungen (OSCE) [Dissertation]. Berlin: Charité; 2009
• 12 Pierre MSt., Breuer G. Hrsg. Simulation in der Medizin. Grundlegende Konzepte – Klinische Anwendung. Berlin: Springer; 2013
• 13 Burgess A, McGregor D, Mellis C. Medical students as peer tutors: a systematic review. BMC Med Educ 2014; 14: 115
• 14 Sächsisches Hochschulfreiheitsgesetz 2013 (SächsHSFG 2013). Sächs GVBl. 2013 Nr. 1, S. 3.
• 15 Möltner A, Nikendei C, Schultz JH. et al. Einfluss der Prüfer auf die Bewertungen in einem OSCE. GMS Z Med Ausbild 2008; 25: Doc10
• 16 Schultz J, Nikendei C, Weyrich P. et al. Qualitätssicherung von Prüfungen am Beispiel des OSCE-Prüfungsformats: Erfahrungen der Medizinischen Fakultät der Universität Heidelberg. Z Evid Fortbild Qual Gesundhwes 2008; 102: 668-672
• 17 Kemper M, Linke J, Zahnert T. et al. Peer Teaching und Peer Assessment sind effektive Lehrinstrumente in der HNO-Heilkunde. Laryngorhinootologie 2014; 93: 392-397
• 18 Chenot J-F, Simmenroth-Nayda A, Koch A. et al. Can student tutors act as examiners in an objective structured clinical examination?. Med Educ 2007; 41: 1032-1038
• 19 Koch A. Studentische Tutoren als Prüfer in einer „objective structured clinical examination“ (OSCE): Evaluation ihrer Bewertungsleistungen [Dissertation]. Göttingen: Georg-August-Universität zu Göttingen; 2008
• 20 Wood T. Assessment not only drives learning, it may also help learning. Med Educ 2009; 43: 5-6
• 21 Melcher P, Zajonz D, Roth A. et al. Peer-assisted teaching student tutors as examiners in an orthopedic surgery OSCE station – pros and cons. GMS Interdiscip Plast Reconstr Surg DGPW 2016; 5: Doc17
• 22 Karnberger A, Mileder LP, Wetzel J. et al. Gibt es eine Übereinstimmung zwischen den Bewertungen von Studierenden und ausgebildeten studentischen Lehrkräften im Rahmen von objektiv strukturiert durchgeführten Fertigkeitenüberprüfungen? Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ). 2015
• 23 Lankes E-M. Hrsg. Pädagogische Professionalität als Gegenstand empirischer Forschung. Münster: Waxmann; 2008
• 24 Burgess A, Clark T, Chapman R. et al. Senior medical students as peer examiners in an OSCE. Med Teach 2013; 35: 58-62
• 25 Furmedge DS, Iwata K, Gill D. Peer-assisted learning – beyond teaching: How can medical students contribute to the undergraduate curriculum?. Med Teach 2014; 36: 812-817
• 26 Fellmer-Drüg E, Drude N, Sator M. et al. Einführung eines Curriculums zur medizindidaktischen Qualifizierung von studentischen TutorInnen mit Abschlusszertifikat. GMS Z Med Ausbild 2014; 31: Doc19
• 27 Rushforth HE. Objective structured clinical examination (OSCE): Review of literature and implications for nursing education. Nurse Educ Today 2007; 27: 481-490