Medizinische Prüfung zwischen Wunsch und Wirklichkeit – Analyse der Übereinstimmung zwischen dem 2. Abschnitt der ärztlichen Prüfung und dem Nationalen Kompetenzbasierten Lernzielkatalog Chirurgie

Zusammenfassung

Hintergrund Die Chirurgische Arbeitsgemeinschaft Lehre der Deutschen Gesellschaft für Chirurgie (CAL) hat den Nationalen Kompetenzbasierten Lernzielkatalog Chirurgie (NKLC) entwickelt. Der NKLC definiert für jedes der 230 Lernziele eine Kompetenzebene (KE) von „KE 1: Faktenwissen“ bis zu „KE 3: selbstständige Handlung“. Die vorliegende Studie untersucht, inwiefern sich die Prüfungsfragen des 2.Staatsexamens mit den Lernzielen des NKLC decken und welche thematische Gewichtung dabei vom Institut für Medizinische und Pharmazeutische Prüfungsfragen (IMPP) vorgenommen wurde.

Material und Methoden Zunächst wurden ein Leitfaden und ein Auswertungsbogen entwickelt, um die standardisierte Zuordnung und Dokumentation einzelner Prüfungsfragen des 2. Staatexamens zu Lernzielen des NKLC zu ermöglichen. In einer retrospektiven Analyse wurden dann 11 Staatsexamina (Herbst 2009 bis Herbst 2014) von mindestens 3 Reviewern unabhängig voneinander analysiert. Die Chirurgie-Fragen wurden identifiziert und einem Lernziel des NKLC zugeordnet. In die Analyse gingen die Anzahl der chirurgischen Lernziele sowie die Anzahl der chirurgischen Fragen pro Examen, pro Lernziel und pro festgelegte KE ein.

Ergebnisse Es analysierten 13 Reviewer aus 6 chirurgischen Disziplinen. Durchschnittlich wurden 79,1% aller 3480 Fragen aus 11 Examina übereinstimmend als chirurgisch oder nicht chirurgisch gewertet. Pro Examen (aus je max. 320 Fragen) wurden 98,8 ± 22,6 Fragen (Min.: 69, Max.: 150) als chirurgisch eingestuft. Pro Lernziel wurden 2,2 ± 0,3 Fragen (Min.: 1, Max.: 16) gestellt. Pro Examen wurden 23,5 ± 6,3 Fragen (Min.: 11; Max.: 31) zu Lernzielen mit der KE 3 (selbstständige Durchführung), 52,5 ± 16,7 (Min.: 34; Max.: 94) zu Lernzielen mit KE 2 (Anwendungs- und Entscheidungswissen) und 22,8 ± 7,7 Fragen (Min.: 9; Max.: 34) zu Lernzielen mit KE 1 (reines Faktenwissen) pro Examen gestellt. 64 Lernziele (27,8% der insgesamt 230 Lernziele des NKLC) wurden gar nicht geprüft. Das am häufigste geprüfte chirurgische Lernziel stammte mit 70 Fragen aus dem Bereich „Erkrankungen des rheumatischen Formenkreises“.

Schlussfolgerung Die Anzahl der Fragen im 2. Staatsexamen aus dem Fach Chirurgie erscheint ausreichend, jedoch thematisch ungleichmäßig verteilt. Um eine inhaltlich homogenere Repräsentation relevanter chirurgischer Lernziele zu gewährleisten, ist eine bessere Abstimmung der Staatsprüfungen mit den existierenden Lernzielkatalogen durch das IMPP zu wünschen.

Abstract

Background The working party of the German Society for Surgery (DGCH) on undergraduate surgical education has developed a national expertise-based catalogue of learning goals in surgery (NKLC). This study analyses the extent to which the questions of the German second medical licensing examination compiled by the IMPP are congruent with the NKLC and which thematic focus is emphasised.

Materials and Methods Firstly, a guideline and evaluation sheet were developed in order to achieve documentation of the individual examination questions of the second licensing examination with respect to the learning goals of the NKLC. In a retrospective analysis from autumn 2009 to autumn 2014, eleven licensing examinations in human medicine were screened independently by three different reviewers. In accordance with the guideline, the surgical questions were identified and subsequently matched to the learning goals of the NKLC. The analysis included the number of surgical learning goals as well as the number of surgical questions for each examination, learning goal, and different levels of expertise (LE).

Results Thirteen reviewers from six surgical disciplines participated in the analysis. On average, reviewers agreed on the differentiation between surgical and non-surgical questions in 79.1% of all 3480 questions from 11 licensing examinations. For each examination (n = 320 questions), 98.8 ± 22.6 questions (min.: 69, max.: 150) were rated as surgical. For each surgical learning goal addressed, 2.2 ± 0.3 questions (min.: 1, max.: 16) were asked. For each examination, 23.5 ± 6.3 questions (min.: 11; max.: 31) referred to learning goals of LE 3, 52.5 ± 16.7 questions (min.: 34; max.: 94) addressed learning goals of LE 2 and 22.8 ± 7.7 questions (min.: 9; max.: 34) were related to learning goals of LE 1. 64 learning goals (27.8% of all learning goals of the NKLC) were not reflected in the examinations. With a total of 70 questions, the most frequently examined surgical topic was “disorders of the rheumatic spectrum”.

Conclusion The number of surgical examination questions in the German second medical licensing examination seems to be sufficient. However, the questions seem to be unevenly distributed between different surgical areas of undergraduate education. In order to achieve a more homogenous representation of relevant surgical topics, improved alignment is needed between the state examination with existing catalogues of learning goals by the IMPP.

Schlüsselwörter

Ausbildungsforschung - IMPP - NKLC - Staatsexamen

Key words

NKLC - IMPP - medical licensing examination - educational research

^* shared first

• Literatur

• 1 Frenk J, Chen L, Bhutta ZA. et al. Health professionals for a new century: transforming education to strengthen health systems in an interdependent world. Lancet 2010; 376: 1923-1958 doi:10.1016/S0140-6736(10)61854-5
• 2 Frank JR, Snell LS, Cate OT. et al. Competency-based medical education: theory to practice. Med Teach 2010; 32: 638-645 doi:10.3109/0142159X.2010.501190
• 3 Frank JR, Danoff D. The CanMEDS initiative: implementing an outcomes-based framework of physician competencies. Med Teach 2007; 29: 642-647 doi:10.1080/01421590701746983
• 4 Harris P, Snell L, Talbot M. et al. Competency-based medical education: implications for undergraduate programs. Med Teach 2010; 32: 646-650 doi:10.3109/0142159X.2010.500703
• 5 Eraut M. Feedback. Learn Health Social Care 2006; 5: 111-118 doi:10.1111/j.1473-6861.2006.00129.x
• 6 Hahn EG, Fischer MR. Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM) für Deutschland: Zusammenarbeit der Gesellschaft für Medizinische Ausbildung (GMA) und des medizinischen Fakultätentages (MFT). GMS Z Med Ausbild 2009; 26: Doc35
• 7 Nationaler Kompetenzbasierter Lernzielkatalog Medizin (4. Juni 2015). Im Internet: http://www.nklm.de Stand: 03.04.2017
• 8 Richter-Kuhlmann E. Lernzielkatalog Medizin – Mehr als Faktenwissen. Dtsch Ärzteblatt 2015; 112: A1366-1367
• 9 Fischer M, Bauer D, Mohn K. et al. Finally finished! National Competence Based Catalogues of Learning Objectives for Undergraduate Medical Education (NKLM) and Dental Education (NKLZ) ready for trial. GMS Z Med Ausbild 2015; 32: Doc35
• 10 Stellungnahme der Deutschen Gesellschaft für Innere Medizin und der Schwerpunktgesellschaften der Inneren Medizin in der Bundesrepublik Deutschland zum vorgelegten sog. Nationalen Kompetenzbasierten Lernzielkatalog Medizin (NKLM) der Gesellschaft für Medizinische Ausbildung (GMA). 2013 Im Internet: https://www.dgim.de/fileadmin/user_upload/PDF/Publikationen/Archiv/Positionspapiere_und_Stellungnahmen/201310_Stellungnahme.pdf Stand: 22.10.2017
• 11 Stellungnahme der Deutschen Gesellschaft für Kinder- und Jugendmedizin e. V. zum Entwurf des NKLM. 2013 Im Internet: http://www.dgkj.de/service/meldung/meldungsdetail/-94cfbe47cd/ Stand: 22.10.2017
• 12 Kadmon M, Bender M, Adili F. et al. Nationaler Kompetenzbasierter Lernzielkatalog Chirurgie (NKLC) – Eine Chance zur Verbesserung der studentischen Ausbildung. Zentralbl Chir 2016; 141: 355-357 doi:10.1055/s-0042-110016
• 13 Kadmon M, Bender MJ, Adili F. et al. [Competency-based medical education: National Catalogue of Learning Objectives in surgery]. Chirurg 2013; 84: 277-285 doi:10.1007/s00104-012-2449-9
• 14 Approbationsordnung für Ärzte vom 27. Juni 2002 (BGBI. I S. 2405), die zuletzt durch Artikel 2 der Verordnung vom 2. August 2013 (BGBI. I S. 3005) geändert worden ist.
• 15 van der Vleuten CP, Schuwirth LW, Scheele F. et al. The assessment of professional competence: building blocks for theory development. Best Pract Res Clin Obstet Gynaecol 2010; 24: 703-719 doi:10.1016/j.bpobgyn.2010.04.001
• 16 Wood T. Assessment not only drives learning, it may also help learning. Med Educ 2009; 43: 5-6 doi:10.1111/j.1365-2923.2008.03237.x
• 17 van der Vleuten CP, Schuwirth LW. Assessing professional competence: from methods to programmes. Med Educ 2005; 39: 309-317 doi:10.1111/j.1365-2929.2005.02094.x
• 18 Newble DI, Jaeger K. The effect of assessments and examinations on the learning of medical students. Med Educ 1983; 17: 165-171
• 19 Institut für Medizinische und Pharmazeutische Prüfungsfragen (IMPP). . IMM-Gegenstandskatalog (IMPP-GK 2) für den schriftlichen Teil des zweiten Abschnitts der ärztlichen Prüfung und IMPP-Gegenstandskatalog (IMPP-GK 2) für den zweiten Abschnitt der ärztlichen Prüfung. Mainz: 2013
• 20 Gibbs G, Simpson C. Does your assessment support your studentsʼ learning. J Teach Learn Higher Educ 2004; 1: 1-30
• 21 Elsenhans I. Uni-Ranking: Welche Uni ist die beste? (24.06.15). Im Internet: https://www.thieme.de/viamedici/vor-dem-studium-infos-zum-medizinstudium-1493/a/uni-ranking-welche-uni-ist-die-beste-26686.htm?p=all Stand: 01.07.2016
• 22 Case SM, Swanson DB. Constructing written Test Questions for the basic and clinical Sciences. Philadelphia, PA: National Board of Medical Examiners; 1998
• 23 Haladyna TM, Downing SM, Rodriguez MC. A review of multiple-choice item-writing guidelines for classroom assessment. Appl Measure Educ 2002; 15: 309-333
• 24 Krebs R. Anleitung zur Herstellung von MC-Fragen und MC-Prüfungen für die ärztliche Ausbildung. Bern: Institut für Medizinische Lehre IML, Abteilung für Ausbildungs-und Examensforschung AAE; 2004
• 25 Smolle J. Medizinische MC-Fragen: Ein Praxisleitfaden für Lehrende. Berlin, Boston: Walter de Gruyter; 2010
• 26 Biggs J. Enhancing teaching through constructive alignment. Higher Education 1996; 32: 347-364 doi:10.1007/BF00138871
• 27 Möltner A, Schellberg D, Jünger J. Grundlegende quantitative Analysen medizinischer Prüfungen. GMS Z Med Ausbild 2006; 23: 2006-2023