Künstliche Intelligenz in der Radiologie – jenseits der Black-Box

Zusammenfassung

Hintergrund Die Bedeutung von Künstlicher Intelligenz nimmt in der Radiologie stetig zu. Doch gerade bei neuen und leistungsfähigen Verfahren, vor allem aus dem Bereich des Deep Learnings, ist das Nachvollziehen von Entscheidungen oft nicht mehr möglich. Die resultierenden Modelle erfüllen ihre Funktion, ohne dass die Nutzer die internen Abläufe nachvollziehen können und werden als sogenannte Black-Box eingesetzt. Gerade in sensiblen Bereichen wie der Medizin ist die Erklärbarkeit von Ergebnissen von herausragender Bedeutung, um deren Korrektheit zu verifizieren und Alternativen abwägen zu können. Aus diesem Grund wird aktiv an der Durchleuchtung dieser Black-Boxen gearbeitet.

Methode Dieser Übersichtsartikel stellt unterschiedliche Ansätze für erklärbare Künstliche Intelligenz mit ihren Vor- und Nachteilen vor. Anhand von Beispielen werden die vorgestellten Verfahren veranschaulicht. Die Arbeit soll es dem Leser erlauben, die Grenzen der entsprechenden Erklärungen in der Praxis besser abzuschätzen und die Einbindung solcher Lösungen in neue Forschungsvorhaben stärken.

Ergebnisse und Schlussfolgerung Neben Methoden, Black-Box-Modelle auf Erklärbarkeit zu untersuchen, bieten interpretierbare Modelle eine interessante Alternative. Die Erklärbarkeit ist hier Teil des Verfahrens und das erlernte Modellwissen kann mit Fachwissen überprüft werden.

Kernaussagen:

• Der Einsatz von Künstlicher Intelligenz in der Radiologie bietet viele Möglichkeiten, etwa zur Unterstützung während der Bildaufnahme und -verarbeitung oder zur Diagnosestellung.

• Komplexe Modelle können eine hohe Genauigkeit erreichen, erschweren allerdings die Nachvollziehbarkeit der Datenverarbeitung.

• Wird die Erklärbarkeit bereits bei der Planung des Modells berücksichtigt, können leistungsfähige und zugleich interpretierbare Verfahren entwickelt werden.

Zitierweise

• Gallée L, Kniesel H, Ropinski T et al. Artificial intelligence in radiology – beyond the black box. Fortschr Röntgenstr 2023; 195: 797 – 803

Key words

Artificial Intelligence - Explainable AI - Machine Learning - Black Box - Deep Learning - Medical Image Processing

Publication History

Received: 22 December 2022

Accepted: 22 March 2023

Article published online:
09 May 2023

• References

• 1 Hricak H. 2016 new horizons lecture: beyond imaging – radiology of tomorrow. Radiology 2018; 286 (03) 764-775
• 2 Bundesamt für Strahlenschutz, Hrsg. Röntgendiagnostik: Häufigkeit und Strahlenexposition für die deutsche Bevölkerung“. 14. April 2022. Zugegriffen: 24. Oktober 2022. [Online]. Verfügbar unter:. https://www.bfs.de/DE/themen/ion/anwendung-medizin/diagnostik/roentgen/haeufigkeit-exposition.html
• 3 Attenberger U, Reiser MF. Future Perspectives: Wie beeinflusst künstliche Intelligenz die Entwicklung unseres Berufsfeldes?. Radiol 2022; 62 (03) 267-270
• 4 Chen Y. et al. AI-Based Reconstruction for Fast MRI – A Systematic Review and Meta-Analysis. Proc. IEEE 2022; 110 (02) 224-245 DOI: 10.1109/JPROC.2022.3141367.
• 5 Reader AJ, Corda G, Mehranian A. et al. Deep Learning for PET Image Reconstruction. IEEE Trans. Radiat. Plasma Med. Sci 2021; 5 (01) 1-25 DOI: 10.1109/TRPMS.2020.3014786.
• 6 Willemink MJ, Noël PB. The evolution of image reconstruction for CT – from filtered back projection to artificial intelligence. Eur. Radiol 2019; 29 (05) 2185-2195 DOI: 10.1007/s00330-018-5810-7.
• 7 Rodriguez-Ruiz A. et al. Can we reduce the workload of mammographic screening by automatic identification of normal exams with artificial intelligence? A feasibility study. Eur. Radiol 2019; 29: 4825-4832
• 8 McKinney SM. et al. International evaluation of an AI system for breast cancer screening. Nature 2020; 577: 89-94 DOI: 10.1038/s41586-019-1799-6.
• 9 Kooi T. et al. Large scale deep learning for computer aided detection of mammographic lesions. Med. Image Anal 2017; 35: 303-312 DOI: 10.1016/j.media.2016.07.007.
• 10 Gu Z. et al. CE-Net: Context Encoder Network for 2D Medical Image Segmentation. IEEE Trans. Med. Imaging 2019; 38 (10) 2281-2292 DOI: 10.1109/TMI.2019.2903562.
• 11 Huang H. et al. UNet 3+: A Full-Scale Connected UNet for Medical Image Segmentation. in ICASSP 2020–2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Barcelona, Spain 2020; DOI: 10.1109/ICASSP40776.2020.9053405.
• 12 Zhou Z, Siddiquee MMR, Tajbakhsh N. et al. UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation. IEEE Trans. Med. Imaging 2020; 39 (06) 1856-1867 DOI: 10.1109/TMI.2019.2959609.
• 13 Bera K, Braman N, Gupta A. et al. Predicting cancer outcomes with radiomics and artificial intelligence in radiology. Nat. Rev. Clin. Oncol 2022; 19 (02) 132-146
• 14 Shin J. et al. MRI radiomics model predicts pathologic complete response of rectal cancer following chemoradiotherapy. Radiology 2022; 303 (02) 351-358
• 15 Lisson CS. et al. Deep Neural Networks and Machine Learning Radiomics Modelling for Prediction of Relapse in Mantle Cell Lymphoma. Cancers 2022; 14 (08) 2008 DOI: 10.3390/cancers14082008.
• 16 Guo Y, Liu Y, Oerlemans A. et al. Deep learning for visual understanding: A review. Neurocomputing 2016; 187: 27-48 DOI: 10.1016/j.neucom.2015.09.116.
• 17 Feng X, Jiang Y, Yang X. et al. Computer vision algorithms and hardware implementations: A survey. Integration 2019; 69: 309-320 DOI: 10.1016/j.vlsi.2019.07.005.
• 18 Kiryati N, Landau Y. Dataset Growth in Medical Image Analysis Research. J. Imaging 2021; 7 (08) 155 DOI: 10.3390/jimaging7080155.
• 19 Thompson NC, Greenewald K, Lee K. et al. The Computational Limits of Deep Learning, MIT INITIATIVE ON THE DIGITAL ECONOMY RESEARCH BRIEF Vol. 4, Sep. 2020.
• 20 He J, Baxter SL, Xu J. et al. The practical implementation of artificial intelligence technologies in medicine. Nat. Med 2019; 25 (01) 30-36 DOI: 10.1038/s41591-018-0307-0.
• 21 Topol EJ. High-performance medicine: the convergence of human and artificial intelligence. Nat. Med 2019; 25 (01) 44-56 DOI: 10.1038/s41591-018-0300-7.
• 22 Tonekaboni S, Joshi S, McCradden MD. et al. What Clinicians Want: Contextualizing Explainable Machine Learning for Clinical End Use. Proceedings of the 4th Machine Learning for Healthcare Conference 2019; 106: 359-380
• 23 Götz M, Maier-Hein KH. Optimal Statistical Incorporation of Independent Feature Stability Information into Radiomics Studies. Sci. Rep 2020; 10 (01) 737 DOI: 10.1038/s41598-020-57739-8.
• 24 Zwanenburg A. et al. The Image Biomarker Standardization Initiative: Standardized Quantitative Radiomics for High-Throughput Image-based Phenotyping. Radiology 2020; 295 (02) 328-338 DOI: 10.1148/radiol.2020191145.
• 25 Zech JR, Badgeley MA, Liu M. et al. Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: A cross-sectional study. PLOS Med 2018; 15 (11) e1002683 DOI: 10.1371/journal.pmed.1002683.
• 26 Nasief H. et al. A machine learning based delta-radiomics process for early prediction of treatment response of pancreatic cancer. Npj Precis. Oncol 2019; 3 (01) 25 DOI: 10.1038/s41698-019-0096-z.
• 27 Wood A, Shpilrain V, Najarian K. et al. Private naive bayes classification of personal biomedical data: Application in cancer data analysis. Comput. Biol. Med 2019; 105: 144-150 DOI: 10.1016/j.compbiomed.2018.11.018.
• 28 Masoud Rezaeijo S, Ghorvei M, Alaei M. A machine learning method based on lesion segmentation for quantitative analysis of CT radiomics to detect COVID-19. 6th Iranian Conference on Signal Processing and Intelligent Systems (ICSPIS) 2020; 1-5 DOI: 10.1109/ICSPIS51611.2020.9349605.
• 29 Chaddad A, Zinn PO, Colen RR. Radiomics texture feature extraction for characterizing GBM phenotypes using GLCM. IEEE 12th International Symposium on Biomedical Imaging (ISBI) 2015; 84-87 DOI: 10.1109/ISBI.2015.7163822.
• 30 Haniff NSM, Karim MKBA, Ali NS. et al. Magnetic Resonance Imaging Radiomics Analysis for Predicting Hepatocellular Carcinoma. International Congress of Advanced Technology and Engineering (ICOTEN), Taiz, Yemen 2021; 1-5 DOI: 10.1109/ICOTEN52080.2021.9493533.
• 31 Wu Q. et al. Radiomics analysis of magnetic resonance imaging improves diagnostic performance of lymph node metastasis in patients with cervical cancer. Radiother. Oncol 2019; 138: 141-148 DOI: 10.1016/j.radonc.2019.04.035.
• 32 Loyola-Gonzalez O. Black-Box vs. White-Box: Understanding Their Advantages and Weaknesses From a Practical Point of View. IEEE Access 2019; 7: 154096-154113 DOI: 10.1109/ACCESS.2019.2949286.
• 33 Leong MC, Prasad DK, Lee YT. et al. Semi-CNN Architecture for Effective Spatio-Temporal Learning in Action Recognition. Appl. Sci 2020; 10 (02) 557 DOI: 10.3390/app10020557.
• 34 Nguyen A, Dosovitskiy A, Yosinski J. et al. Synthesizing the preferred inputs for neurons in neural networks via deep generator networks. Adv. Neural Inf. Process. Syst 2016; 29 DOI: 10.48550/arXiv.1605.09304.
• 35 Dosovitskiy A, Brox T. Inverting visual representations with convolutional networks. Proceedings of the IEEE conference on computer vision and pattern recognition 2016; 4829-4837
• 36 Zeiler MD, Fergus R. Visualizing and Understanding Convolutional Networks. Computer Vision – ECCV 2014 D. Fleet, T. Pajdla, B. Schiele, und T. Tuytelaars, Hrsg. Cham: Springer International Publishing, 2014; 8689: 818-833 DOI: 10.1007/978-3-319-10590-1_53.
• 37 Park SJ, An KH, Lee M. Saliency map model with adaptive masking based on independent component analysis. Neurocomputing 2002; 49 (01/04) 417-422 DOI: 10.1016/S0925-2312(02)00637-9.
• 38 Simonyan K, Vedaldi A, Zisserman A. Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps, in 2^nd International Conference on Learning Representations, ICLR 2014, Banff, AB, Canada, April 14-16, 2014, Workshop Track Proceedings, 2014.
• 39 Adebayo J, Gilmer J, Muelly M. et al. Sanity checks for saliency maps. Adv. Neural Inf. Process. Syst 2018; 31 DOI: 10.48550/arXiv.1810.03292.
• 40 DeGrave AJ, Janizek JD, Lee SI. AI for radiographic COVID-19 detection selects shortcuts over signal. Nat. Mach. Intell 2021; 3 (07) 610-619 DOI: 10.1038/s42256-021-00338-7.
• 41 Kim B. et al. Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV). Proceedings of the 35th International Conference on Machine Learning 2018; 80: 2668-2677
• 42 Chen C, Li O, Tao D. et al. This looks like that: deep learning for interpretable image recognition. Adv. Neural Inf. Process. Syst 2019; 32 DOI: 10.48550/arXiv.1806.10574.
• 43 Li O, Liu H, Chen C. et al. Deep learning for case-based reasoning through prototypes: A neural network that explains its predictions. Proceedings of the AAAI Conference on Artificial Intelligence 2018; 32 (01) DOI: 10.48550/arXiv.1710.04806.
• 44 Adler TJ. et al. Uncertainty-aware performance assessment of optical imaging modalities with invertible neural networks. Int. J. Comput. Assist. Radiol. Surg 2019; 14 (06) 997-1007 DOI: 10.1007/s11548-019-01939-9.