Sprach-Interface für die semi-automatische Erzeugung annotierter OP-Berichte von Nasennebenhöhlen-Operationen

Hintergrund Ziel unseres Projektes ist die Entwicklung eines Annotations-Tools, das mit Hilfe von Spracherkennung während einer NNH-Operation einen OP-Bericht erstellt. Somit soll neben einer Zeitersparnis in der Dokumentation auch deren Qualität verbessert werden. Wir sehen in diesem Sprachinterface die Ausgangstechnologie für die Entwicklung künftiger kollaborativer Assistenzfunktionen.

Methoden Im ersten Schritt wurde ein Annotations-Tool für Operationsschritte aus aufgezeichneten NNH-Operationen entwickelt. Dieses nutzt ein trainiertes Sprachmodell, welches Spracheingaben in ein Berichtsdokument überführt. Dieses wird durch Videoframes der Aufzeichnung vervollständigt, welche anhand definierter Schlagworte erkannt werden und eine Relevanz für den OP-Ablauf besitzen. Mithilfe des entwickelten Tools wurden drei vorliegende Videoaufnahmen von NNH-Operationen sprachannotiert und somit OP-Berichte generiert. Anhand eines ordinal-skalierten Fragebogens wurden sowohl die retrospektiven als auch die sprachannotierten OP-Berichte bewertet.

Ergebnisse Die Bewertung der retrospektiv verfassten OP-Berichte betrug durchschnittlich „2,5“, die der sprachannotierten OP-Berichte im Mittel „1,61“. Prinzipiell wird durch die Sprachannotation ein Mehrwert im Detailgrad der generierten Berichte erwartet. Die tägliche Zeitersparnis wird auf 0-30 Minuten geschätzt. Die natürlichen Spracheingaben stellen außerdem eine detaillierte Beschreibung des aufgezeichneten Videomaterials dar.

Schlussfolgerung Die Nutzung eines Sprachinterface für Annotations-Aufgaben bietet das Potential einer qualitativ hochwertigen und zeitsparenden OP-Dokumentation. Weiterhin sehen wir in der Spracherkennung von OP-Abläufen ein hohes Potenzial für die Entwicklung von neuen integrierten Assistenzsystemen.

Poster-PDF A-1559.pdf

Teile der Arbeit entstanden mithilfe der Förderung des Bundesministeriums für Bildung und Forschung im Projekt „COMPAS“ unter dem Förderkennzeichen 16SV8017.

Publikationsverlauf

Artikel online veröffentlicht:
13. Mai 2021