Nutzung von GPT-4o mit kontextbasierten Ansätzen für eine verbesserte Abfrage von ACR RADS-Richtlinien

Zielsetzung Ziel dieser explorativen Studie war es, die Leistung nicht-kontext- und kontextbasierter Large Language Modell Ansätze von GPT-4o bei verschiedenen Abfragen zu ACR RADS Richtlinien (American College of Radiology Reporting and Data Systems) zu untersuchen.

Material und Methoden Insgesamt wurden 200 unterschiedliche Fragen zu ACR RADS-Richtlinien erstellt: CAD-RADS, BI-RADS, LI-RADS, PI-RADS und Lung-RADS (jeweils 40 Prompts pro Richtlinie). 10% der Fragen (4 pro RADS-Leitlinie) waren so konzipiert, dass sie Informationen abfragten, die nicht explizit von den entsprechenden Leitlinien abgedeckt wurden. Die Prompts wurden GPT-4o mittels drei verschiedener Methoden präsentiert: (1) ohne benutzerdefinierten Kontext auf ChatGPT Plus, (2) mit den entsprechenden RADS-Richtlinien als PDF auf ChatGPT Plus und (3) unter Verwendung eines RAG kontextbasierten Ansatzes auf Perplexity Pro. Die Performance wurde insgesamt und nach spezifischem RADS-Thema berechnet. Der McNemar-Test wurde verwendet. Zur Bewertung von Unterschieden in der Antwortzeit der LLMs wurden gepaarte t-Tests verwendet.

Ergebnisse Das kontextbasierte Modell GPT-4o mit PDF-Datei beantwortete 180 von 200 Fragen (90%, CI 95%: 86, 94) richtig, das RAG-Modell 166 von 200 (83%, CI 95%: 77, 88) und das nicht-kontextbasierte Modell 140 von 200 (70%, CI 95%: 64, 76); P<0.001 für GPT4o PDF vs. nicht-kontextbasiertes GPT4o bzw. P<0.001 für GPT4o RAG vs. nicht-kontextbasiertes GPT4o. Die durchschnittliche Beantwortungszeit für die Antwort war zwischen den Modellen ähnlich lang (GPT-4o mit PDF: 13,6s, GPT-4o mit RAG: 13,5s, GPT4o ohne Kontext: 13,6s; alle P>0,05).

Schlussfolgerungen Die kontextbasierte Nutzung von GPT-4o mit spezifischen Richtliniendokumenten übertrifft signifikant nicht-kontextbasierte Ansätze bei Abfragen zu ACR RADS-Richtlinien. LLMs können in Zukunft eine wesentliche Unterstützung bei der klinischen Entscheidungsfindung werden.

Publikationsverlauf

Artikel online veröffentlicht:
25. März 2025