Training in GI Endoscopy: Can We Objectively Predict the Performance of Trainees? A Prospective Correlation Study

Zusammenfassung

Hintergrund: Objektive Kriterien zur Beurteilung von Auszubildenden in der Endoskopie existieren derzeit nicht. Ziel unserer Studie war daher, die Wechselbeziehung verschiedener psychologischer, psychomotorischer und kognitiver Tests (Psy-Tests) und der subjektiven Einschätzung des Trainers am Anfang des Trainings mit der objektiven Leistung (Lernfortschritt) am Ende eines einwöchigen Trainings in der Ösophagogastroduodenoskopie zu untersuchen. Methodik: In einer prospektiven Studie an 12 Endoskopiezentren wurden insgesamt 58 Teilnehmer ohne vorherige endoskopische Erfahrung evaluiert. Die Teilnehmer absolvierten eine praktische Ausbildungswoche in dem jeweiligen Zentrum mit dem „Erlanger Endo-Trainer”. Vor Beginn des Trainings wurden verschiedene Psy-Tests (Charakterstruktur-Test, Belastungtest, Test des räumlichen Denkens und zwei Tests zur sensomotorischen Koordination) absolviert. Eine Einschätzung des Trainers zur Prognose wurde ebenfalls abgegeben. Diese Parameter wurden verglichen mit einer verblindeten Analyse der Leistung am Ende des Trainings (Evaluation mittels standardisierter „Score Card”). Ergebnisse: Während des Ausbildungskurses verbesserten sich die Teilnehmer signifikant. Eine multiple logistische Regressionsanalyse ergab, dass ein Test zur sensomotorischen Koordination signifikant mit einer Verbesserung während des Kurses verbunden war (Odds Ratio: 11,46, p = 0,035). Ebenfalls signifikant mit einer Verbesserung der Teilnehmer war das Expertenurteil zur Prognose assoziiert (OR = 41,46; p = 0,018). Die Selbstbewertung der einzelnen Teilnehmer hatte keinen Einfluss. Schlussfolgerung: Sensomotorische Tests und das Urteil eines erfahrenen Endoskopikers können eine zuverlässige Vorhersage des Lernfortschritts von Endoskopieanfängern leisten.

Abstract

Background: No objective criteria have hitherto been available for assessing the individual talents and skills of trainees involved in GI endoscopy. The aim of our study was to compare the correlation of various psychological, psychomotor and cognitive tests (psy-tests) and of the subjective assessment of the trainer (expert assessment) at the beginning of the training with the objective performance of the trainees at the end of a one-week training period in upper GI endoscopy. Methods: In a prospective study including 12 endoscopic centers, a total of 58 participants without any prior endoscopic experience were analyzed. During a practical training week in each center with the “Erlangen Endo-Trainer,” an assessment using a “score card” protocol was used as reference method. Prior to the start of the training, various psy-tests (personality test, vigilance endurance test, test of spatial thinking and two tests of sensorimotor coordination) as well as assessment of the trainer were obtained. These parameters were compared with a blinded analysis of the performance at the end of the training. Results: There was significant overall improvement during the training course. Multiple logistic regression analysis revealed that testing sensorimotoric coordination was significantly associated with defined improvement margins (odds ratio 11.46, p = 0.035). An expert’s judgment on the prognosis correlated also significantly with the trainee’s improvement (OR = 41.46; p = 0.018). Self-assessments were not significantly associated with performance or progress. Conclusions: Sensorimotoric tests may provide a reliable prediction of the trainee’s learning progress. In contrast to self-assessment, the judgement of an experienced endoscopist provides the best guidance for the young candidate endoscopists prior to the start of his/her endoscopic training program.

Schlüsselwörter

Endoskopie - Fortbildung - Simulator

Key words

Endoscopy - training - simulators

References

• 1 Neumann M, Mayer G, Ell C. et al . The Erlangen Endo-Trainer: life-like simulation for diagnostic and interventional endoscopic retrograde cholangiography.  Endoscopy. 2000;  32 906-910
• 2 Neumann M, Hahn C, Horbach T. et al . Score card endoscopy: a multicenter study to evaluate learning curves in 1-week courses using the Erlangen Endo-Trainer.  Endoscopy. 2003;  3 515-520
• 3 Hochberger J, Maiss J, Hahn E G. The use of simulators for training in GI endoscopy.  Endoscopy. 2002;  34 727-729
• 4 Lange V, Grund K E. Education in intraluminal endoscopy - experiences up to now.  Chirurg. 2001;  72 (suppl) 164-165
• 5 Bar-Meir S. A new endoscopic simulator.  Endoscopy. 2000;  32 898-900
• 6 Gerson L B, Van Dam J. A prospective randomized trial comparing a virtual reality simulator to bedside teaching for training in sigmoidoscopy.  Endoscopy. 2003;  35 569-575
• 7 Neumann M, Friedl S, Meining A. et al . A score card for upper GI endoscopy: Evaluation of interobserver variability in examiners with various levels of experience.  Z Gastroenterol. 2002;  40 857-862
• 8 Sedlack R E, Kolars J C. Validation of computer-based endoscopy simulators in training.  Gastrointest Endosc. 2002;  55 AB 77
• 9 Maiss J, Matthes K, Pröschel A. et al . Effects of a one-day intensive hands-on training in endoscopic haemostasis using the Compacteasie simulator.  Gastrointest Endosc. 2002;  55 AB 77
• 10 Hochberger J, Cohen J, Matthes K. et al . Randomized prospective comparison of Compacteasie simulator haemostasis training with standard endoscopy education.  Gastrointest Endosc. 2002;  55 AB 78
• 11 Wong J LH, Dalton H, Samuel S. et al . Prospective use of cumulative sum (Cusum) in colonoscopy training.  Gastrointest Endosc. 2002;  55 AB 79
• 12 Fregonese D, Casetti T, Cestari R. et al . Basic endoscopy training: Usefulness of a computer-based simulator.  Gastrointest Endosc. 2001;  53 AB 81
• 13 Maschke P, Hormann H J. The validity of a psychological selection procedure for aerospace operators.  Z Flugwiss Weltraumforsch. 1988;  12 181-186
• 14 Santy P A, Jones D R. An overview of international issues in astronaut psychological selection.  Aviat Space Environ Med. 1994;  65 900-903
• 15 Manzey D, Hormann H J, Fassbender C. et al . Implementing human factors training for space crews.  Earth Space Rev. 1995;  4 24-27
• 16 Butler R E. LOFT. Full mission simulation as crew resource management training. Wiener E, Kanki B, Helmreich R Cockpit resource management San Diego, CA; Academic Press 1993: 231-259
• 17 Kirasic K C. Spatial cognition and behavior in young and elderly adults: implications for learning new environments.  Psychol Aging. 1991;  6 10-18
• 18 Neumann M, Hochberger J, Felzmann T. et al . The Erlangen Endo-Trainer.  Endoscopy. 2001;  33 887-890
• 19 Endoscopy Section of the German Gastroenterology Society (DGVS) . Guideline-Assisted Suggestions for Training Courses in Gastrointestinal Endoscopy.  Z Gastroenterol. 2003;  41 175-176
• 20 Borkenau P. Implicit personality theory and the five-factor model.  J Pers. 1992;  60 295-327
• 21 Stumpf H, Fay E. “Tube-Shape-Test”, a test to assesses the capacity for spatial thinking. testinstructions. Göttingen; Hogrefe 1983; http://www.testzentrale.de/tests/t0108101.htm
• 22 Brickenkamp R. “D2-Concentration-Test”, a test to assesses the concentration in visual perception. test instructions. Göttingen (Germany); Hogrefe 1994; http://www.testzentrale.de/tests/t0101301.htm
• 23 Puhr U, Schuhfried G. Bimanual coordination test version 23.00, test form S4 (Vienna Test System),. Mödling (Austria); 2002; http://www.schufried.co.at/deu/wts/2hand.htm
• 24 Bonnardel R, Schuhfried G. Double-labyrinth test version 22.00, (Vienna Test System). Mödling (Austria); 2002; http://www.schufried.co.at/deu/wts/b19.htm