Zusammenfassung
Einleitung Large Language Modelle (LLMs) wie ChatGPT haben innerhalb kürzester Zeit die Anwendung
von künstlicher Intelligenz in die breite Anwendung gebracht. Neben vielen verschiedenen
Use-Cases der Textgenerierung und Verarbeitung ist eine Anwendung die Extraktion von
Daten aus vorhandenen Dokumenten und Gesprächen zur vereinfachten und automatisierten
Befüllung von Formularen.
Zielsetzung Gerade im Bereich der Qualitätssicherung und Dokumentation von Tumorerkrankungen
fällt aktuell ein hoher Arbeitsaufwand an, Daten unter verschiedenen Aspekten in leicht
variierenden Formaten und unter Anwendung von Interpretationen wie z.B. der TNM-Klassifikation
von Tumoren zu übertragen. Zur Beurteilung der Anwendbarkeit von LLMs unterstützen
Prozessen in diesem Bereich fehlen jedoch Feldversuche mit Echtdaten, die eine Beurteilung
der Effizienz und Praktikabilität ermöglichen. Diese Arbeit soll einen Performance-Test
dazu umsetzen und beurteilen.
Methodik Es wurde ein Performance-Test mit N=153 datenschutztechnisch und durch eine Ethikkommission
zu dem Zweck freigegebenen Arztbriefen von 25 Patienten vorgenommen. Mit der öffentlich
verfügbaren Version von ChatGPT 4.0 wurden dazu mit einem automatisierten Programmskript
die Aufgaben der Extraktion eines Erstdiagnosedatums sowie gängiger Tumorklassifikationen
vorgenommen. Die Ergebnisse wurden dann einzeln auf Richtigkeit geprüft. Daran wurde
dann der Nutzen eines Systems zum geführten Support bei Aufgaben im Kontext der Tumordokumentation
indikativ beurteilt. Weiterhin wurde das Vorgehen auch im Kontext von Betriebskosten
sowie potenzieller Hürden bis zur Anwendbarkeit beurteilt.
Ergebnisse In Summe kommt die Arbeit zum Schluss, dass der Einsatz generativer KI in diesem
Feld vielversprechend ist und bereits im untrainierten Zustand als Hilfe tauglich
ist. In einer simplifizierten Kalkulation stehen Kosten von 35 Cent einer Wertschöpfung
von 61,54 Euro gegenüber. Es wird jedoch auch klar, dass die KI nur unterstützend
tätig sein kann und die richtige Einbettung mit vorgefertigten spezifischen natürlichsprachigen
Abfragen (=Prompts) und Werkzeugen in den Arbeitsablauf entscheidend für die Performance
ist.
Schlussfolgerung Der Einsatz von generativer KI im Kontext von Such-, Übertragungs- und Interpretationsarbeiten
bei der Erstellung einer Tumordokumentation ist ein vielversprechender Ansatz. Die
Umsetzung muss jedoch in praktischer Anwendung eng begleitet werden und das beste
Zusammenspiel zwischen Mensch und Maschine weiter evaluiert und mit spezifischen Werkzeugen
begleitet werden.
Abstract
Introduction Large Language Models (LLMs) such as ChatGPT have rapidly brought the application
of artificial intelligence into widespread use. Among many different use cases for
text generation and processing, one application is the extraction of data from existing
documents and conversations for simplified and automated form-filling.
Objective In the field of quality assurance and documentation of
cancer diseases, there is currently a significant workload involved in transferring
data under
various aspects into slightly varying formats and applying interpretations such as
the TNM
classification of tumours. However, there is a lack of trials with real data to assess
the
applicability of LLM-supported processes in this area, which would enable an evaluation
of
efficiency and practicality. This study aims to implement and assess such a trial.
Methodology A trial was conducted with N=153 privacy-compliant and
ethics committee-cleared medical reports from 25 patients. Using the publicly available
version of ChatGPT 4.0, an automated script was used to extract the date of initial
diagnosis
and common tumor classifications. The results were then individually checked for accuracy.
Based on this, the utility of a simple system for guided support in tasks related
to tumour
documentation was assessed. Additionally, the approach was evaluated in terms of operational
costs for the model and its applicability.
Results In summary, the study concludes that the use of generative AI
in this field is promising and suitable as a tool even in an untrained state. In a
simplified
calculation, costs of 35 cents are offset by a value creation of 61,54 euros. However,
it also
becomes clear that AI can only act in a supportive role, and the correct integration
with
pre-made specific prompts and tools into the workflow is crucial for a relevant performance.
Conclusion The use of generative AI in the context of search,
transfer, and interpretation tasks in the creation of tumor documentation is a promising
approach. However, its implementation in practical applications must be closely monitored,
and
the optimal interaction between man and machine should continue to be evaluated and
must be
accompanied by tools and task-specific prompts.
Schlüsselwörter Tumor Dokumentation - künstliche Intelligenz - KI - ChatGPT - Ökonomie
Keywords ChatGPT - artificial intelligence - AI - economics - oncology documentation