Bewertung von ChatGPT als Hilfsmittel für die Entscheidungsfindung des multidisziplinären Tumorboards bei primärem Mammakarzinom

Einleitung und Methoden

Da die verfügbaren Informationen über Brustkrebs jeden Tag zunehmen, wird der Entscheidungsprozess für die bestmögliche Behandlung immer komplexer. In zertifizierten Brustkrebszentren wird in einer MDT-Sitzung (MDT = multidisziplinäres Tumorboard) die empfohlene Behandlung für jede Patientin besprochen. Zu den Behandlungsmodalitäten gehören Chirurgie, Strahlentherapie sowie die systemische Therapie mit Chemotherapie, Antikörperbehandlung oder endokriner Therapie, die individuell kombiniert werden. Die Behandlungsempfehlungen und ihre Reihenfolge können je nach Alter und Begleiterkrankungen der Patientin, Krebs-Subtyp und Krankheitsstadium grundsätzlich variieren. ChatGPT als transformatorbasiertes Sprachmodell verfügt über die Fähigkeiten, wissenschaftliche Artikel zu schreiben und medizinische Prüfungen zu bestehen [1]. Aber ist es auch in der Lage, das MDT bei der Planung der Therapie von Patientinnen mit Brustkrebs zu unterstützen?

Wir haben eine Pilotstudie an 10 aufeinanderfolgenden Fällen von Brustkrebspatientinnen durchgeführt, die im Januar 2023 in unserer Abteilung im MDT besprochen wurden. Einschlusskriterien waren: gesicherte Diagnose des invasiven Mammakarzinoms, keine Anzeichen einer Fernmetastasierung und erste Therapieplanung. Die Rezidivsituation und ausschließlich duktale Karzinome in situ wurden ausgeschlossen. Wir extrahierten die Tumormerkmale und das Alter der 10 konsekutiven Vorbehandlungsfälle aus den MDTs. Die Daten wurden den Prüfärztinnen und Prüfärzten anonymisiert zur Verfügung gestellt, sodass diese die Patientinnen nicht identifizieren konnten.

Wir verwendeten für jede Patientinnen-Eingabe in ChatGPT ein Format in deutscher Sprache, welches der Patientinnen-Vorstellung im MDT in seiner Form ähnelte. Beispiel: „Wie sollte eine 84-jährige Patientin mit cT4b cN0 Brustkrebs, 100% Östrogenrezeptor-Expression, 80% Progesteronrezeptor-Expression, Her2-Status 1+, einem Ki67 von 20% und Grading 2 behandelt werden?“. Nach der Antwort wurde kein weiterer Dialog eingeleitet. Um den Einfluss früherer Antworten auf die Modellausgabe zu vermeiden, wurde für jede Aufforderung eine neue ChatGPT-Sitzung gestartet und zusätzlich jede Eingabe 2-mal an verschiedenen Tagen getestet. Zwei Bewertende berechneten unabhängig voneinander eine individuelle Punktzahl für jeden Output, um den Konsens zwischen MDT und Antworten von ChatGPT zu beurteilen. Die ChatGPT-Punkte wurden addiert und durch die Summe der maximal möglichen Punkte geteilt. Der Prozentsatz ergab also einen Konsenswert zwischen ChatGPT und den MDT-Empfehlungen.

Das verwendete GPT-Modell war 3,5, mit ChatGPT Feb 13 Version. Vor der Studie wurde kein explizites senologisches/onkologisches Training durchgeführt. Die MDT-Empfehlungen wurden als Grundlage für den Vergleich mit den ChatGPT-Antworten verwendet. Der Konsens wurde in die Kategorien „definitiver“, „möglicher“ und „angemessener“ Konsens eingeteilt.

Publikationsverlauf

Artikel online veröffentlicht:
08. Dezember 2023

• Literatur

• 1 Gao CA, Howard FM, Markov NS. et al. Comparing scientific abstracts generated by ChatGPT to original abstracts using an artificial intelligence output detector, plagiarism detector, and blinded human reviewers. bioRxiv 2022;
• 2 Kim MS, Park HY, Kho BG. et al. Artificial intelligence and lung cancer treatment decision: agreement with recommendation of multidisciplinary tumor board. Transl Lung Cancer Res 2020; 9: 507-514
• 3 Hamamoto R, Koyama T, Kouno N. et al. Introducing AI to the molecular tumor board: one direction toward the establishment of precision medicine using large-scale cancer clinical and biological information. Exp Hematol Oncol 2022; 11: 82