Hintergrund
Ziel unseres Projektes ist die Entwicklung eines Annotations-Tools, das mit Hilfe
von Spracherkennung während einer NNH-Operation einen OP-Bericht erstellt. Somit soll
neben einer Zeitersparnis in der Dokumentation auch deren Qualität verbessert werden.
Wir sehen in diesem Sprachinterface die Ausgangstechnologie für die Entwicklung künftiger
kollaborativer Assistenzfunktionen.
Methoden
Im ersten Schritt wurde ein Annotations-Tool für Operationsschritte aus aufgezeichneten
NNH-Operationen entwickelt. Dieses nutzt ein trainiertes Sprachmodell, welches Spracheingaben
in ein Berichtsdokument überführt. Dieses wird durch Videoframes der Aufzeichnung
vervollständigt, welche anhand definierter Schlagworte erkannt werden und eine Relevanz
für den OP-Ablauf besitzen. Mithilfe des entwickelten Tools wurden drei vorliegende
Videoaufnahmen von NNH-Operationen sprachannotiert und somit OP-Berichte generiert.
Anhand eines ordinal-skalierten Fragebogens wurden sowohl die retrospektiven als auch
die sprachannotierten OP-Berichte bewertet.
Ergebnisse
Die Bewertung der retrospektiv verfassten OP-Berichte betrug durchschnittlich „2,5“,
die der sprachannotierten OP-Berichte im Mittel „1,61“. Prinzipiell wird durch die
Sprachannotation ein Mehrwert im Detailgrad der generierten Berichte erwartet. Die
tägliche Zeitersparnis wird auf 0-30 Minuten geschätzt. Die natürlichen Spracheingaben
stellen außerdem eine detaillierte Beschreibung des aufgezeichneten Videomaterials
dar.
Schlussfolgerung
Die Nutzung eines Sprachinterface für Annotations-Aufgaben bietet das Potential einer
qualitativ hochwertigen und zeitsparenden OP-Dokumentation. Weiterhin sehen wir in
der Spracherkennung von OP-Abläufen ein hohes Potenzial für die Entwicklung von neuen
integrierten Assistenzsystemen.
Poster-PDF
A-1559.pdf
Teile der Arbeit entstanden mithilfe der Förderung des Bundesministeriums für Bildung
und Forschung im Projekt „COMPAS“ unter dem Förderkennzeichen 16SV8017.
