Large Language Modelle zur schnellen Vereinfachung der Eingabe von Qualitätssicherungsdaten: Performance-Test mit Echtdaten am Beispiel der Tumordokumentation in der Urologie

Zusammenfassung

Einleitung Large Language Modelle (LLMs) wie ChatGPT haben innerhalb kürzester Zeit die Anwendung von künstlicher Intelligenz in die breite Anwendung gebracht. Neben vielen verschiedenen Use-Cases der Textgenerierung und Verarbeitung ist eine Anwendung die Extraktion von Daten aus vorhandenen Dokumenten und Gesprächen zur vereinfachten und automatisierten Befüllung von Formularen.

Zielsetzung Gerade im Bereich der Qualitätssicherung und Dokumentation von Tumorerkrankungen fällt aktuell ein hoher Arbeitsaufwand an, Daten unter verschiedenen Aspekten in leicht variierenden Formaten und unter Anwendung von Interpretationen wie z.B. der TNM-Klassifikation von Tumoren zu übertragen. Zur Beurteilung der Anwendbarkeit von LLMs unterstützen Prozessen in diesem Bereich fehlen jedoch Feldversuche mit Echtdaten, die eine Beurteilung der Effizienz und Praktikabilität ermöglichen. Diese Arbeit soll einen Performance-Test dazu umsetzen und beurteilen.

Methodik Es wurde ein Performance-Test mit N=153 datenschutztechnisch und durch eine Ethikkommission zu dem Zweck freigegebenen Arztbriefen von 25 Patienten vorgenommen. Mit der öffentlich verfügbaren Version von ChatGPT 4.0 wurden dazu mit einem automatisierten Programmskript die Aufgaben der Extraktion eines Erstdiagnosedatums sowie gängiger Tumorklassifikationen vorgenommen. Die Ergebnisse wurden dann einzeln auf Richtigkeit geprüft. Daran wurde dann der Nutzen eines Systems zum geführten Support bei Aufgaben im Kontext der Tumordokumentation indikativ beurteilt. Weiterhin wurde das Vorgehen auch im Kontext von Betriebskosten sowie potenzieller Hürden bis zur Anwendbarkeit beurteilt.

Ergebnisse In Summe kommt die Arbeit zum Schluss, dass der Einsatz generativer KI in diesem Feld vielversprechend ist und bereits im untrainierten Zustand als Hilfe tauglich ist. In einer simplifizierten Kalkulation stehen Kosten von 35 Cent einer Wertschöpfung von 61,54 Euro gegenüber. Es wird jedoch auch klar, dass die KI nur unterstützend tätig sein kann und die richtige Einbettung mit vorgefertigten spezifischen natürlichsprachigen Abfragen (=Prompts) und Werkzeugen in den Arbeitsablauf entscheidend für die Performance ist.

Schlussfolgerung Der Einsatz von generativer KI im Kontext von Such-, Übertragungs- und Interpretationsarbeiten bei der Erstellung einer Tumordokumentation ist ein vielversprechender Ansatz. Die Umsetzung muss jedoch in praktischer Anwendung eng begleitet werden und das beste Zusammenspiel zwischen Mensch und Maschine weiter evaluiert und mit spezifischen Werkzeugen begleitet werden.

Abstract

Introduction Large Language Models (LLMs) such as ChatGPT have rapidly brought the application of artificial intelligence into widespread use. Among many different use cases for text generation and processing, one application is the extraction of data from existing documents and conversations for simplified and automated form-filling.

Objective In the field of quality assurance and documentation of cancer diseases, there is currently a significant workload involved in transferring data under various aspects into slightly varying formats and applying interpretations such as the TNM classification of tumours. However, there is a lack of trials with real data to assess the applicability of LLM-supported processes in this area, which would enable an evaluation of efficiency and practicality. This study aims to implement and assess such a trial.

Methodology A trial was conducted with N=153 privacy-compliant and ethics committee-cleared medical reports from 25 patients. Using the publicly available version of ChatGPT 4.0, an automated script was used to extract the date of initial diagnosis and common tumor classifications. The results were then individually checked for accuracy. Based on this, the utility of a simple system for guided support in tasks related to tumour documentation was assessed. Additionally, the approach was evaluated in terms of operational costs for the model and its applicability.

Results In summary, the study concludes that the use of generative AI in this field is promising and suitable as a tool even in an untrained state. In a simplified calculation, costs of 35 cents are offset by a value creation of 61,54 euros. However, it also becomes clear that AI can only act in a supportive role, and the correct integration with pre-made specific prompts and tools into the workflow is crucial for a relevant performance.

Conclusion The use of generative AI in the context of search, transfer, and interpretation tasks in the creation of tumor documentation is a promising approach. However, its implementation in practical applications must be closely monitored, and the optimal interaction between man and machine should continue to be evaluated and must be accompanied by tools and task-specific prompts.

Schlüsselwörter

Tumor Dokumentation - künstliche Intelligenz - KI - ChatGPT - Ökonomie

Keywords

ChatGPT - artificial intelligence - AI - economics - oncology documentation

Publication History

Received: 24 January 2024

Accepted after revision: 29 February 2024

Article published online:
10 April 2024

• Literatur

• 1 LLMs: How They Work and Their Applications | ML6. Accessed February 22, 2024 at: https://www.ml6.eu/resources/large-language-models
• 2 Javaid M, Haleem A, Singh RP. ChatGPT for healthcare services: An emerging stage for an innovative perspective. BenchCouncil Trans Benchmarks Stand Eval 2023; 3: 100105 DOI: 10.1016/j.tbench.2023.100105.
• 3 Hadi MU, Al-Tashi Q, Qureshi R. et al. Large Language Models: A Comprehensive Survey of its Applications, Challenges, Limitations, and Future Prospects. 2023
• 4 Kung TH, Cheatham M, Medenilla A. et al. Performance of ChatGPT on USMLE: Potential for AI-assisted medical education using large language models. PLOS Digit Health 2023; 2: e0000198 DOI: 10.1371/journal.pdig.0000198. (PMID: 36812645)
• 5 Ali SR, Dobbs TD, Hutchings HA. et al. Using ChatGPT to write patient clinic letters. Lancet Digit Health 2023; 5: e179-e181 DOI: 10.1016/S2589-7500(23)00048-1. (PMID: 36894409)
• 6 Johnson D, Goodman R, Patrinely J. et al. Assessing the Accuracy and Reliability of AI-Generated Medical Responses: An Evaluation of the Chat-GPT Model. Res Sq 2023; DOI: 10.21203/rs.3.rs-2566942/v1.
• 7 Rumbold JMM, Pierscionek B. The Effect of the General Data Protection Regulation on Medical Research. J Med Internet Res 2017; 19: e47 DOI: 10.2196/jmir.7108. (PMID: 28235748)
• 8 Walonoski J, Hall D, Bates K. et al. The “Coherent Data Set“: Combining Patient Data and Imaging in a Comprehensive, Synthetic Health Record. Electronics 2022; 11: 1199 DOI: 10.3390/electronics11081199.
• 9 Hernandez M, Epelde G, Alberdi A. et al. Synthetic data generation for tabular health records: A systematic review. Neurocomputing 2022; 493: 28-45 DOI: 10.1016/j.neucom.2022.04.053.
• 10 Topol EJ. High-performance medicine: the convergence of human and artificial intelligence. Nat Med 2019; 25: 44-56 DOI: 10.1038/s41591-018-0300-7. (PMID: 30617339)
• 11 Meskó B. Prompt Engineering as an Important Emerging Skill for Medical Professionals: Tutorial. J Med Internet Res 2023; 25: e50638 DOI: 10.2196/50638. (PMID: 37792434)
• 12 The Ultimate Guide to LLM Fine Tuning: Best Practices & Tools | Lakera – Protecting AI teams that disrupt the world. Accessed February 22, 2024 at: https://www.lakera.ai/blog/llm-fine-tuning-guide
• 13 Prognos_Endbericht_Deutsche_Krebshilfe.pdf
• 14 140206_Abschlussbericht_Projekt_Mammakarzinom.pdf
• 15 Saenz AD, Harned Z, Banerjee O. et al. Autonomous AI systems in the face of liability, regulations and costs. Npj Digit Med 2023; 6: 1-3 DOI: 10.1038/s41746-023-00929-1. (PMID: 37803209)
• 16 Price WN, Gerke S, Cohen IG. Potential Liability for Physicians Using Artificial Intelligence. JAMA 2019; 322: 1765-1766 DOI: 10.1001/jama.2019.15064. (PMID: 31584609)
• 17 Tobia K, Nielsen A, Stremitzer A. When Does Physician Use of AI Increase Liability?. J Nucl Med Off Publ Soc Nucl Med 2021; 62: 17-21 DOI: 10.2967/jnumed.120.256032.
• 18 Tang L, Li J, Fantus S. Medical artificial intelligence ethics: A systematic review of empirical studies. Digit Health 2023; 9 20552076231186064 DOI: 10.1177/20552076231186064. (PMID: 37434728)
• 19 Zarifhonarvar A. Economics of ChatGPT: A Labor Market View on the Occupational Impact of Artificial Intelligence. 2023
• 20 Ehrgeiziger Plan: UKSH geht in die Cloud von Telekom und Google. kma Online. 2024 Accessed February 22, 2024 at: https://www.kma-online.de/aktuelles/it-digital-health/detail/uksh-geht-in-die-cloud-von-telekom-und-google-51383
• 21 Hughes A. The power of prompting. Microsoft Res 2023. Accessed February 22, 2024 at: https://www.microsoft.com/en-us/research/blog/the-power-of-prompting/