Ethische Aspekte bei der Entwicklung, Zulassung und Implementierung von Anwendungen in der Augenheilkunde, die auf künstlicher Intelligenz basieren^[*]

Einleitung

Die digitale Entwicklung der letzten Jahre hat in vielen Bereichen der Medizin zu Neuerungen und Veränderungen geführt. Vor allem im Bereich der Auswertung von medizinischer Bildgebung wurden große Fortschritte gemacht. Neben der Radiologie und der Pathologie ist die Augenheilkunde ein Fach mit einem hohen Anteil an digitaler Bildgebung. Die Auswertung dieser Bilder im Zusammenhang mit weiteren medizinischen Informationen nach dem Stand der Medizin ist die Grundlage für die Diagnosestellung und die Planung der Therapie.

Die Einführung und regelmäßige Nutzung der neuen digitalen Möglichkeiten hat damit das Potenzial, die Ärzte bei ihrer täglichen Arbeit zu unterstützen und die Versorgung zu verbessern.

Gleichzeitig gibt es kaum Erfahrungswerte, auf die wir uns stützen können – weder bei Nutzung der Anwendungen noch bei den möglichen Auswirkungen auf Patienten und Ärzte. Es ist daher sinnvoll, vor der Einführung solcher Anwendungen Leitlinien zu entwerfen, die das Potenzial nicht unnötig einschränken und gleichzeitig den hohen Standard der derzeitigen augenärztlichen Versorgung wahren.

Durch den zu erwartenden Einfluss auf das Arzt-Patienten-Verhältnis gilt es, bei diesen Anwendungen neben den technischen und juristischen Kriterien auch die ethischen Auswirkungen zu berücksichtigen.

Es erscheint sinnvoll, je nach Stadium von auf künstlicher Intelligenz (KI) basierten Anwendungen unterschiedliche ethische Schwerpunkte zu setzen. Im Folgenden soll daher auf die ethischen Aspekte zunächst bei der Entwicklung, dann bei der Zulassung und zuletzt bei der Implementierung KI-basierter Anwendungen eingegangen werden.

Diese Überlegungen basieren auf dem jetzigen Stand der Wissenschaft und sind regelmäßig zu überprüfen und anzupassen.

^* Das Redaktionskomitee dieser Stellungnahme wird am Beitragsende gelistet.
Aus Gründen der leichteren Lesbarkeit wird in dem vorliegenden Artikel überwiegend die gewohnte männliche Sprachform verwendet. Dies impliziert jedoch keine Benachteiligung eines anderen Geschlechts, sondern soll im Sinne der sprachlichen Vereinfachung als geschlechtsneutral zu verstehen sein.
Für diesen Beitrag wurden von den Autorinnen/Autoren keine Studien an Menschen oder Tieren durchgeführt. Für die aufgeführten Studien gelten die jeweils dort angegebenen ethischen Richtlinien.

Publikationsverlauf

Artikel online veröffentlicht:
21. Mai 2025

• Literatur

• 1 American Medical Association. Board of trustees policy summary (2019). Augmented intelligence in healthcare. https://www.ama-assn.org/system/files/2019-08/ai-policy-summary.pdf
• 2 High-Level Expert Group on AI. Ethics guidelines for trustworthy AI (2019). https://ec.europa.eu/digital-strategy/sites/digital-strategy/files/ethics-guidelines-for-trustworthy-ai.pdf
• 3 Abràmoff MD, Lavin PT, Birch M. et al. Pivotal trial of an autonomous AI-based diagnostic system for detection of diabetic retinopathy in primary care offices. NPJ Digit Med 2018; 1: 39
• 4 Bundesärztekammer. Stellungnahme der Zentralen Kommission zur Wahrung ethischer Grundsätze in der Medizin und ihren Grenzgebieten (Zentrale Ethikkommission) bei der Bundesärztekammer „Entscheidungsunterstützung ärztlicher Tätigkeit durch Künstliche Intelligenz“. Dtsch Arztebl Online 2021. https://doi.org/10.3238/arztebl.zeko_sn_cdss_2021
• 5 Barredo Arrieta A, Díaz-Rodríguez N, Del Ser J. et al. Explainable artificial intelligence (XAI): concepts, taxonomies, opportunities and challenges toward responsible AI. Inf Fusion 2020; 58: 82-115
• 6 Barton MC, Pöppelbuß J. Prinzipien für die ethische Nutzung künstlicher Intelligenz. HMD 2022; 59: 468-481
• 7 Beauchamp TL, Childress JF. Principles of biomedical Ethics. 8th ed. Oxford: Oxford University Press; 2019
• 8 Brown JM, Campbell JP, Beers A. et al. Automated diagnosis of plus disease in retinopathy of prematurity using deep convolutional neural networks. JAMA Ophthalmol 2018; 136: 803
• 9 Bundesärztekammer. Medizinische Indikationsstellung und Ökonomisierung. Dtsch Ärztebl 2015; 112: A836
• 10 Burlina P, Joshi N, Paul W. et al. Addressing artificial intelligence bias in retinal diagnostics. Trans Vis Sci Tech 2021; 10: 13
• 11 Berufsverband der Augenärzte Deutschlands e.V. (BVA), Deutsche Ophthalmologische Gesellschaft (DOG). Kodex der Augenärztinnen und Augenärzte in Deutschland (2022). http://Kodex-der-Augenaerztinnen-und-Augenaerzte-in-Deutschland_DOG_BVA_final%20(1).pdf
• 12 Cabitza F, Rasoini R, Gensini GF. Unintended consequences of machine learning in medicine. JAMA 2017; 318: 517-518
• 13 Challen R, Denny J, Pitt M. et al. Artificial intelligence, bias and clinical safety. BMJ Qual Saf 2019; 28: 231-237
• 14 Char DS, Abràmoff MD, Feudtner C. Identifying ethical considerations for machine learning healthcare applications. Am J Bioeth 2020; 20: 7-17
• 15 Cheung CY, Ikram MK, Chen C. et al. Imaging retina to study dementia and stroke. Prog Retin Eye Res 2017; 57: 89-107
• 16 Rivera SC, Liu X, Chan AW. et al. Guidelines for clinical trial protocols for interventions involving artificial intelligence: the SPIRIT-AI extension. Nat Med 2020; 26: 1351-1363
• 17 Datenethikkommission des Bundesministeriums des Innern. Gutachten der Datenethikkommission (2019). https://www.bmi.bund.de/SharedDocs/downloads/DE/publikationen/themen/it-digitalpolitik/gutachten-datenethikkommission.pdf?__blob=publicationFile&v=6 Stand: 27.02.2025
• 18 Deutsche Ophthalmologische Gesellschaft e.V., Berufsverband der Augenärzte Deutschlands e.V.. Kodex der Augenärztinnen und Augenärzte in Deutschland. Ophthalmologie 2022; 119: 798-800
• 19 Deutsche Ophthalmologische Gesellschaft, Retinologische Gesellschaft, Berufsverband der Augenärzte Deutschlands. Ergänzende Stellungnahme zur Therapie der proliferativen diabetischen Retinopathie. Stand November 2019. https://www.augeninfo.de/cms/fileadmin/stellungnahmen/Ergaenzende_Stellungnahme_zur_Therapie_der_proliferativen_diabetischen_Retinopathie_19_11.pdf Stand: 27.02.2025
• 20 Deutsche Ophthalmologische Gesellschaft, Retinologische Gesellschaft, Berufsverband der Augenärzte Deutschlands. Therapie des diabetischen Makulaödems. Stand August 2019. https://www.augeninfo.de/cms/fileadmin/stellungnahmen/Stellungnahme_DMOE_2019_08..pdf Stand: 27.02.2025
• 21 Diaz-Pinto A, Ravikumar N, Attar R. et al. Predicting myocardial infarction through retinal scans and minimal personal information. Nat Mach Intell 2022; 4: 55-61
• 22 Deutscher Ethikrat. Mensch und Maschine – Herausforderungen durch Künstliche Intelligenz. Veröffentlicht: 20. März 2023. https://www.ethikrat.org/publikationen/stellungnahmen/mensch-und-maschine/ Stand: 27.02.2025
• 23 Deutscher Ethikrat. Big Data und Gesundheit – Datensouveränität als informationelle Freiheitsgestaltung. Stellungnahme, 30. November 2017. https://www.ethikrat.org/fileadmin/Publikationen/Stellungnahmen/deutsch/stellungnahme-big-data-und-gesundheit.pdf Stand: 27.02.2025
• 24 Europäische Kommission. Vorschlag für eine Verordnung des europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union (2021). https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?ur=CELEX:52021PC0206 Stand: 27.02.2025
• 25 Frangoul A. Alphabetʼs DeepMind uses A.I. to detect signs of eye disease. 2018. https://www.cnbc.com/2018/08/14/deepmind-uses-ai-to-detect-signs-of-eye-disease.html Stand: 27.02.2025
• 26 Geiger RS, Cope D, Ip J. et al. “Garbage in, garbage out” revisited: what do machine learning application papers report about human-labeled training data?. Quant Sci Stud 2021; 2: 795-827
• 27 Ipp E, Shah VN, Bode BW. et al. Diabetic retinopathy (DR) screening performance of general ophthalmologists, retina specialists, and artificial intelligence (AI): analysis from a pivotal multicenter prospective clinical trial. Diabetes 2019; 68 (Suppl. 1) 599-P
• 28 Jie Z, Zhiying Z, Li L. A meta-analysis of Watson for oncology in clinical application. Sci Rep 2021; 11: 5792
• 29 Keskinbora K, Guven F. Artificial intelligence and ophthalmology. Turk J Ophthalmol 2020; 50: 37-43
• 30 Lecun Y, Bengio Y, Hinton G. Deep learning. Nature 2015; 521: 436-444
• 31 Liu X, Rivera SC, Moher D. et al. Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: the CONSORT-AI extension. Nat Med 2020; 26: 1364-1374
• 32 Lu C, Hanif A, Singh P. et al. Federated learning for multicenter collaboration in ophthalmology: improving classification performance in retinopathy of prematurity. Ophthalmol Retina 2022; 6: 647-649
• 33 Mauschitz MM, Lohner V, Koch A. et al. Retinal layer assessments as potential biomarkers for brain atrophy in the Rhineland study. Sci Rep 2022; 12: 2757
• 34 McDougall RJ. Computer knows best? The need for value-flexibility in medical AI. J Med Ethics 2019; 45: 156-160
• 35 Mehrabi N, Morstatter F, Saxena N. et al. A survey on bias and fairness in machine learning. ACM Comput Surv 2021; 54: 1-35
• 36 Mühlböck L. Haftung für Schäden durch KI in der Medizin. Arch Civilistische Prax 2021; 221: 179-218
• 37 Naik N, Hameed BMZ, Shetty DK. et al. Legal and ethical consideration in artificial intelligence in healthcare: who takes responsibility?. Front Surg 2022; 9: 862322
• 38 Obermeyer Z, Powers B, Vogeli C. et al. Dissecting racial bias in an algorithm used to manage the health of populations. Science 2019; 366: 447-453
• 39 Parasuraman R, Manzey DH. Complacency and bias in human use of automation: an attentional integration. Hum Factors 2010; 52: 381-410
• 40 Pfau M, Walther G, von der Emde L. et al. [Artificial intelligence in ophthalmology: guidelines for physicians for the critical evaluation of studies]. Ophthalmologe 2020; 117: 973-988
• 41 Poplin R, Varadarajan AV, Blumer K. et al. Prediction of cardiovascular risk factors from retinal fundus photographs via deep learning. Nat Biomed Eng 2018; 2: 158-164
• 42 Raab CD. Information privacy, impact assessment, and the place of ethics. Comput Law Secur Rev 2020; 37: 105404
• 43 Saint-Mont U. Die Macht der Daten: Wie Information unser Leben bestimmt. Berlin, Heidelberg: Springer Spektrum; 2014
• 44 Shetty DK, Talasila A, Shanbhag S. et al. Current state of artificial intelligence applications in ophthalmology and their potential to influence clinical practice. Cogent Eng 2021; 8: 1920707
• 45 Taupitz J. Medizinische Informationstechnologie, leitliniengerechte Medizin und Haftung des Arztes. Arch Civilistische Prax 2011; 211: 352-394
• 46 Thielscher C, Selke M, Kleebaum M. et al. Nutzung von Krankenhausdaten zur ophthalmologischen Forschung. Ophthalmologe 2015; 112: 585-588
• 47 Ting DSW, Pasquale LR, Peng L. et al. Artificial intelligence and deep learning in ophthalmology. Br J Ophthalmol 2019; 103: 167-175
• 48 Ting DSW, Peng L, Varadarajan AV. et al. Deep learning in ophthalmology: the technical and clinical considerations. Prog Retin Eye Res 2019; 72: 100759
• 49 van der Heijden AA, Abramoff MD, Verbraak F. et al. Validation of automated screening for referable diabetic retinopathy with the Idx-DR device in the Hoorn diabetes care system. Acta Ophthalmol 2018; 96: 63-68
• 50 Watson DS, Krutzinna J, Bruce IN. et al. Clinical applications of machine learning algorithms: beyond the black box. BMJ 2019; 364: l886
• 51 Wilkinson MD, Dumontier M, Aalbersberg IJ. et al. The FAIR guiding principles for scientific data management and stewardship. Sci Data 2016; 3: 160018
• 52 Wintergerst MWM, Bejan V, Hartmann V. et al. Telemedical diabetic retinopathy screening in a primary care setting: quality of retinal photographs and accuracy of automated image analysis. Ophthalmic Epidemiol 2022; 29: 286-295
• 53 Wintergerst MWM, Mishra DK, Hartmann L. et al. Diabetic retinopathy screening using smartphone-based fundus imaging in India. Ophthalmology 2020; 127: 1529-1538