Ultraschall in Med
DOI: 10.1055/s-0043-119354
Original Article
© Georg Thieme Verlag KG Stuttgart · New York

Cost-Effectiveness of Mobile App-Guided Training in Extended Focused Assessment with Sonography for Trauma (eFAST): A Randomized Trial

Kosteneffizienz des App-basierten Selbststudiums im „Extended Focused Assessment with Sonography for Trauma“ (eFAST): Eine randomisierte StudiePhilip Mørkeberg Nilsson1, Tobias Todsen1, 2, Yousif Subhi3, Ole Graumann4, 5, 6, Christian Pallson Nolsøe1, 7, Martin Grønnebæk Tolsgaard1, 8
  • 1Simulationscenter Rigshospitalet, Copenhagen Academy for Medical Education and Simulation, Copenhagen, Denmark
  • 2Department of Otorhinolaryngology and Maxillofacial Surgery, Zealand University Hospital, Køge, Denmark
  • 3Department of Ophthalmology, Zealand University Hospital, Roskilde, Denmark
  • 4Dep. of Radiology, Odense University Hospital, Denmark
  • 5Institute of Clinical Research, University of Southern Denmark, Odense, Denmark
  • 6Institute of Clinical Research, Aarhus University, Aarhus, Denmark
  • 7Ultrasound Section, Division of Surgery, Dep of Gastroenterology, Herlev Hospital, Herlev, Denmark
  • 8Department of Obstetrics and Gynecology, Nordsjællands Hospital, Hillerød, Denmark
Further Information

Publication History

02 March 2017

20 August 2017

Publication Date:
26 September 2017 (eFirst)

Abstract

Purpose Ultrasound training is associated with a long learning curve and use of substantial faculty resources. Self-directed ultrasound training may decrease the need for faculty-led teaching. Mobile apps seem promising for use in self-directed ultrasound training, but no studies have examined the cost-effectiveness of mobile app-guided training versus traditional formats such as textbook-guided training. This study evaluated the cost-effectiveness of mobile app-guided versus textbook-guided ultrasound training.

Material and methods First-year residents (n = 38) with no previous ultrasound experience were randomized into mobile app-guided versus textbook-guided self-directed ultrasound training groups. Participants completed a transfer test involving four patient cases and a theoretical test on diagnostic accuracy. Two ultrasound experts assessed the residents’ performance using the Objective Structured Assessment of Ultrasound Skills (OSAUS) scale. The costs of developing mobile app and textbook material were calculated and used for the analysis of cost-effectiveness.

Results 34 participants completed the transfer test. There was no statistically significant difference in test performance or diagnostic accuracy between the mobile app-guided (mean-OSAUS 42.3 % [95 %CI38.5 – 46.0 %]) and textbook-guided groups (mean-OSAUS 45.3 % [95 %CI39.3 – 51.3 %]) (d.f. [1.33] = 0.45, p = 0.41). However, development costs differed greatly for each instructional format. Textbook-guided training was significantly more cost-effective than mobile app-guided training (Incremental Cost Effectiveness Ratio -861 967 [95 %CI-1071.7 to-3.2] USD/pct. point change in OSAUS score).

Conclusion Mobile app-guided ultrasound training is less cost-effective than textbook-guided self-directed training. This study underlines the need for careful evaluation of cost-effectiveness when introducing technological innovations for clinical skills training.

Zusammenfassung

Ziel Das Erlernen der Sonografie ist in der Regel ein langwieriger, mit erheblichen institutionellen Kosten verbundener Prozess. Individuelles Selbststudium vermag das Bedürfnis nach institutionellem Unterricht möglichweise verringern. Apps sind in diesem Zusammenhang eine vielversprechende Alternative, jedoch wurde bisher in keiner Studie die Kosteneffizienz von Apps, mit der Kosteneffizienz traditioneller Medien, sowie beispielsweise der von Lehrbüchern, untersucht. Das Ziel dieser Studie war die Auswertung, sowie das Vergleichen der Kosteneffizienz von App-basiertem und lehrbuchbasiertem Erlernen der Sonografie.

Material, Methoden Ärzte im Praktikum (n = 38) ohne vorherige sonografische Erfahrung wurden durch Randomisierung in eine App- und eine Lehrbuchgruppe eingeteilt. Die Teilnehmer absolvierten jeweils eine praktische und eine theoretische Prüfung. Der praktische Teil bestand aus vier patientenbasierten Fällen, während durch den theoretischen Teil die diagnostische Genauigkeit der Teilnehmer bewertet wurde. Zwei Sonografie-Experten beurteilten die Leistung der Teilnehmer durch Anwendung der "Objective Structured Assessment of Ultrasound Skills" (OASUS) Messskala. Kosten für die Entwicklung der App, sowie der Ausarbeitung des Lehrbuches wurden berechnet und die beiden Lernmedien wurden jeweils auf ihre Kosteneffizienz untersucht.

Ergebnisse 34 Teilnehmer absolvierten den Test. In Hinblick auf die diagnostische Genauigkeit, konnte kein statistisch signifikanter Unterschied zwischen der App-Gruppe (durchschnittliche OSAUS-Bewertung 42.3 % [95 %CI38.5 – 46.0 %]) und der Lehrbuch-Gruppe (durchschnittliche OSAUS-Bewertung 45.3 % [95 %CI39.3 – 51.3 %]) ausgemacht werden (d.f. [1, 33] = 0.45, p = 0.41). Bei den Entwicklungskosten der beiden Lernmedien wurden jedoch erhebliche Abweichungen aufgedeckt. Somit erwies sich das lehrbuchbasierte Erlernen der sonografischen Diagnostik, im Vergleich zum App-basierten Erlernen, als wesentlich kosteneffizienter.

Schlussfolgerung Die Anwendung der Sonografie lässt sich kosteneffizienter durch lehrbuchbasiertes, als durch App-basiertes Selbststudium erlernen. Bevor neue technologische Innovationen für das Erlernen praktischer Fähigkeiten implementiert werden, sollten diese sorgfältig auf ihre jeweilige Kosteneffizienz untersucht werden, welches durch die Ergebnisse dieser Studie verdeutlicht wird.