Abstract
Background The artificial intelligence (AI)-based platform ChatGPT (Chat Generative Pre-Trained
Transformer, OpenAI LP, San Francisco, CA, USA) has gained impressive popularity in
recent months. Its performance on case vignettes of general medical (non-ophthalmological)
emergencies has been assessed – with very encouraging results. The purpose of this
study was to assess the performance of ChatGPT on ophthalmological emergency case
vignettes in terms of the main outcome measures triage accuracy, appropriateness of
recommended prehospital measures, and overall potential to inflict harm to the user/patient.
Methods We wrote ten short, fictional case vignettes describing different acute ophthalmological
symptoms. Each vignette was entered into ChatGPT five times with the same wording
and following a standardized interaction pathway. The answers were analyzed following
a systematic approach.
Results We observed a triage accuracy of 93.6%. Most answers contained only appropriate recommendations
for prehospital measures. However, an overall potential to inflict harm to users/patients
was present in 32% of answers.
Conclusion ChatGPT should presently not be used as a stand-alone primary source of information
about acute ophthalmological symptoms. As AI continues to evolve, its safety and efficacy
in the prehospital management of ophthalmological emergencies has to be reassessed
regularly.
Zusammenfassung
Hintergrund Die auf künstlicher Intelligenz (KI) basierende Plattform ChatGPT (Chat Generative
Pre-Trained Transformer, OpenAI LP, San Francisco, CA, USA) hat in den vergangenen
Monaten rasant an Popularität gewonnen. Vorangegange Studien zeigen ein vielversprechendes
Abschneiden von ChatGPT in der Beantwortung allgemeinmedizinischer Notfallvignetten.
Ziel dieser Studie war es, die Antworten von ChatGPT auf ophthalmologische Fallvignetten
hinsichtlich Triagegenauigkeit, Angemessenheit empfohlener präklinischer Maßnahmen
sowie Schadenspotenzial zu beurteilen.
Methoden Wir erstellten 10 kurze, fiktive Fallvignetten aus dem Bereich augenheilkundlicher
Akutsymptomatik. Jede Vignette wurde entsprechend einem standardisierten Interaktionspfad
5-mal in ChatGPT eingegeben. Die Antworten wurden anhand eines strukturierten Evaluationsmanuals
ausgewertet.
Ergebnisse Wir beobachteten eine Triagegenauigkeit von 93,6%. Die meisten Antworten enthielten
nur angemessene Empfehlungen bezüglich präklinischer Maßnahmen. Insgesamt zeigte sich
jedoch in 32% der Antworten ein Schadenspotenzial für den Nutzer/Patienten.
Schlussfolgerung ChatGPT sollte derzeit nicht als einzige Informationsquelle zur Beurteilung akuter
ophthalmologischer Symptome herangezogen werden. Neuentwicklungen auf dem Bereich
der KI sollten regelmäßig im Hinblick auf Chancen und Risiken im Bereich der augenärztlichen
Notfallversorgung evaluiert werden.
Key words
ChatGPT - artificial intelligence - AI - language model - emergencies - triage
Schlüsselwörter
ChatGPT - künstliche Intelligenz - KI - Sprachmodell - Notfälle - Triage
