Automatisierte Lokalisation von Armnerven im Ultraschall durch Künstliche Intelligenz mit tiefen neuronalen Netzwerken

Zusammenfassung

Die Nervensonografie ist eine etablierte diagnostische Methode bei der Detektion pathologischer Nervenveränderungen. Der Einsatz von künstlicher Intelligenz (KI) in der Ultraschalldiagnostik hat in den letzten Jahren erhebliche Fortschritte erzielt, insbesondere durch Verwendung tiefer neuronaler Netzwerke. Die Studie sollte aus etablierten tiefen neuronalen Netzwerken zur Objekterkennung das geeignetste Netzwerk identifizieren, um Armnerven in ihrem Verlauf im Ultraschallvideo zu detektieren. Eine eigens entwickelte Web-App sollte Nerven automatisiert erkennen sowie dem Auswerter die Annotation von durch die KI falsch oder nicht erkannten Nerven erleichtern. Aus Ultraschallvideos des Nervus medianus bzw. ulnaris 30 gesunder Probanden wurden Einzelbilder extrahiert, und die Nerven von einem Experten für Nervensonografie mithilfe einer dafür entwickelten Web-Applikation annotiert. Die Annotationen wurden in das You-Only-Look-Once-Label-Format (YOLO) umgewandelt, und zunächst ein Faster Region Convolutional Neural Network (Faster-R-CNN) trainiert. Die Leistung des Faster-R-CNN wurde durch Transfer Learning und die Anpassung der Hyperparameter für den Anwendungsfall optimiert. Basierend auf den Ergebnissen durch den Einsatz des Faster-R-CNN-Netzwerks wurden weitere künstliche neuronale Netze zur Objekterkennung trainiert: YOLO-, DINO-Resnet50- (DINO: self-distillation with no labels, Resnet: residual neural network), DINO-SwinL-Netzwerk (SwinL: Swin transformer mit Größe L). Entsprechende Performance Parameter wurden bei den einzelnen neuronalen Netzen bestimmt und zur Identifikation des geeignetsten neuronalen Netzes verglichen. Durch Anwendung der Faster-R-CNN-Modells konnte eine Erkennungsrate von 70% bei den 30 besten Bildern mit einem IoU (Intersection over Union)-Threshold von 0,5 und bei einem IoU-Threshold von 0,7 eine Erkennungsrate von 46,7% erreicht werden. Durch den Einsatz von YOLOv8-Modellen konnte die Erkennungspräzision erheblich gesteigert werden. Im Vergleich mit dem Faster-R-CNN-Modell (mAP50 0,223) zeigte das YOLOv8-Modell (mAP50 YOLOv8s und YOLOv8m 0,9283) eine deutlich bessere Erkennungsgenauigkeit. Die Nervenerkennung und die Annotationen des Bildmaterials konnten mithilfe einer Web-App komfortabel vorgenommen werden. Mithilfe von YOLOv8-Deep-Learning-Modellen können Armnerven automatisiert in aus Ultraschallvideos extrahierten Einzelbildern zuverlässig und schnell detektiert werden. Durch Entwicklung einer benutzerfreundlichen Web-Anwendung kann das weitere Anlernen des neuronalen Netzes verbessert und für den medizinischen Praktiker erleichtert werden. Bei weiterer Optimierung hat die Methode ein vielversprechendes Potenzial für den zukünftigen Einsatz von Deep Learning im Nervenultraschall zur automatisierten Diagnostik von Erkrankungen des peripheren Nervensystems.

Abstract

Nerve ultrasound is a well-established diagnostic method for detecting pathologic nerve changes. The use of artificial intelligence (AI) has advanced in recent years, especially utilizing deep neural networks. The aim of the current study was to identify the most suitable deep neural network for object detection to automatically detect arm nerves in ultrasound videos. A web app developed by us was to be tested if it automatically detects nerves and facilitate annotation of nerves that were incorrectly or not detected by the AI for the evaluator. Images were extracted from ultrasound videos of the median and ulnar nerves of 30 subjects. Nerves were annotated by a nerve sonography expert using a web application developed for this purpose. Annotations were converted into the You-Only-Look-Once (YOLO) label format, and a Faster Region Convolutional Neural Network (Faster-R-CNN) was initially trained. The performance of the Faster-R-CNN was optimized through transfer learning and the adaptation of hyperparameters. Based on the results of the Faster-R-CNN network, further artificial neural networks were trained: YOLO, DINO-Resnet50, and DINO-SwinL. Corresponding performance parameters were determined for the neural networks and compared to identify the most suitable neural network. The Faster-R-CNN model achieved a detection rate of 70% for the 30 best images with an Intersection over Union (IoU) threshold of 0.5 and a detection rate of 46.7% with an IoU threshold of 0.7. Compared to the Faster-R-CNN model (mAP50 0.223), the YOLOv8 model (mAP50 YOLOv8s and YOLOv8m 0.9283) showed significantly better detection accuracy. Nerve detection and annotations of the image material could be conveniently performed using a web app. Using YOLOv8 deep learning models, arm nerves can be detected reliably and fast in images extracted from ultrasound videos. By developing a user-friendly web application, further training of the neural network can be improved and facilitated for the physician. With further optimization, this method could significantly advance the use of deep learning in automated nerve ultrasound diagnosis.

Schlüsselwörter

Nervensonografie - Künstliche Intelligenz - Tiefes Neuronales Netzwerk

Keywords

Nerve Ultrasound - Artifical Intelligence - Deep Neural Network

Publication History

Article published online:
04 June 2025

• Literatur

• 1 Pitarokoili K, Gold R, Fisse AL. Nerve ultrasound for the diagnosis and follow-up of peripheral neuropathies. Curr Opin Neurol 2023; 36: 373-381
• 2 Herraets IJT, Goedee HS, Telleman JA. et al. Nerve ultrasound for diagnosing chronic inflammatory neuropathy: A multicenter validation study. Neurology 2020; 94: e1470-e1479
• 3 Choi SJ, Ahn JH, Ryu DS. et al. Ultrasonography for nerve compression syndromes of the upper extremity. Ultrasonography 2015; 34: 275-291
• 4 Telleman JA, Grimm A, Goedee S. et al. Nerve ultrasound in polyneuropathies. Muscle Nerve 2018; 57: 716-728
• 5 Grimm A, Rattay TW, Winter N. et. al Peripheral nerve ultrasound scoring systems: benchmarking and comparative analysis. J Neurol 2017; 264: 243-253
• 6 Reig B, Heacock L, Geras KJ. et al. Machine learning in breast MRI. J Magn Reson Imaging 2020; 52: 998-1018
• 7 Mecheter I, Alic L, Abbod M. et al. MR Image-Based Attenuation Correction of Brain PET Imaging: Review of Literature on Machine Learning Approaches for Segmentation. J Digit Imaging 2020; 33: 1224-1241
• 8 Makino M, Yoshimoto R, Ono M. et al. Artificial intelligence predicts the progression of diabetic kidney disease using big data machine learning. Sci Rep 2019; 9: 11862
• 9 Huang Q, Zhang F, Li X. Machine Learning in Ultrasound Computer-Aided Diagnostic Systems: A Survey. Biomed Res Int 2018; 2018: 5137904
• 10 Sihotang RC, Agustino C, Huang F. et al. Accuracy of machine learning models using ultrasound images in prostate cancer diagnosis: a systematic review. Med J Indones 2023; 32: 112-121
• 11 Wang J, Yang X, Zhou B. et al. Review of Machine Learning in Lung Ultrasound in COVID-19 Pandemic. J Imaging 2022; 8: 65
• 12 Zhang M, Tong E, Hamrick F. et al. Machine-Learning Approach to Differentiation of Benign and Malignant Peripheral Nerve Sheath Tumors: A Multicenter Study. Neurosurgery 2021; 89: 509-517
• 13 Paaß G, Hecker D. Bilderkennung mit tiefen neuronalen Netzen. In: Paaß G, Hecker D. Künstliche Intelligenz. Was steckt hinter der Technologie der Zukunft. Wiesbaden: Springer; 2021: 119-166
• 14 Micucci M, Iula A. Recent Advances in Machine Learning Applied to Ultrasound Imaging. Electronics 2022; 11: 1800
• 15 van Sloun RJG, Cohen R, Eldar YC. Deep learning in Ultrasound Imaging. Proceedings of the IEEE 2020; 108: 11-29
• 16 Ren S, He K, Girshick R. et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. IEEE Trans Pattern Anal Mach Intell 2017; 39: 1137-1149
• 17 Hussain M. YOLO-v1 to YOLO-v8, the Rise of YOLO and Its Complementary Nature toward Digital Manufacturing and Industrial Defect Detection. Machines 2023; 11: 677
• 18 YOLOv8: YOLOv8 Label Format: Step-by-Step Guide (15.020163.2024) Im Internet https://yolov8.org/yolov8-label-format/ Stand: 03.09.2024
• 19 Yu J, Jiang Y, Wang Z. et al. UnitBox: An Advanced Object Detection Network. In: Proceedings of the 24th ACM international conference on Multimedia. New York: Association for Computing Machinery, New York, NY, United States; 2016: 516-520
• 20 Hosang J, Benenson R, Dollár P. et al. What Makes for Effective Detection Proposals?. IEEE Trans Pattern Anal Mach Intell 2016; 38: 814-830
• 21 Henderson P, Ferrari V. End-to-End Training of Object Class Detectors for Mean Average Precision. In: Lai SH, Lepetit V, Nishino K et al. (Hrsg.). Computer Vision – ACCV 2016. Cham: Springer International Publishing; 2017: 198-213
• 22 Padilla R, Passos WL, Dias TLB. et al A Comparative Analysis of Object Detection Metrics with a Companion Open-Source Toolkit. Electronics 2021; 10: 279 [Zugegriffen: 23. Dezember 2024]
• 23 Montoya A. Ultrasound Nerve Segmentation – Identify nerve structures in ultrasound images of the neck (19.08.2016). Im Internet https://kaggle.com/competitions/ultra- sound-nerve-segmentation Stand: 06.08.2024
• 24 Varghese R, Sambath M. YOLOv8: A Novel Object Detection Algorithm with Enhanced Performance and Robustness. In: 2024 International Conference on Advances in Data Engineering and Intelligent Computing Systems (ADICS). 2024: 1-6
• 25 Bowness JS, El-Boghdadly K, Woodworth G. et al. Exploring the utility of assistive artificial intelligence for ultrasound scanning in regional anesthesia. Reg Anesth Pain Med 2022; 47: 375-379
• 26 Hadjerci O, Hafiane A, Conte D. et al. Computer-aided detection system for nerve identification using ultrasound images: A comparative study. Informatics in Medicine Unlocked 2016; 3: 29-43
• 27 Di Cosmo M, Fiorentino MC, Villani FP. et al. A deep learning approach to median nerve evaluation in ultrasound images of carpal tunnel inlet. Med Biol Eng Comput 2022; 60: 3255-3264
• 28 Horng MH, Yang CW, Sun YN. et al. DeepNerve: A New Convolutional Neural Network for the Localization and Segmentation of the Median Nerve in Ultrasound Image Sequences. Ultrasound Med Biol 2020; 46: 2439-2452
• 29 Alkhatib M, Hafiane A, Vieyres P. et al. Deep visual nerve tracking in ultrasound images. Comput Med Imaging Graph 2019; 76: 101639
• 30 Yang XY, Wang LT, Li GD. et al. Artificial intelligence using deep neural network learning for automatic location of the interscalene brachial plexus in ultrasound images. Eur J of Anaesthesiol 2022; 39: 758-765
• 31 Huang C, Zhou Y, Tan W. et al. Applying deep learning in recognizing the femoral nerve block region on ultrasound images. Ann Transl Med 2019; 453
• 32 Pandey S, Chen KF, Dam EB. Comprehensive Multimodal Segmentation in Medical Imaging: Combining YOLOv8 with SAM and HQ-SAM Models. In: 2023 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW). Paris, France: IEEE; 2023: 2584-2590