Artificial Intelligence: What Is It and How Can It Expand the Ultrasound Potential in the Future?

During the past century, our ability to perform complex calculations massively increased, due to the availability of powerful processors, and diffuse, ubiquitious presence of personal computers for home and professional applications. Many physicians are worried by the application of Artificial Intelligence (AI) in medicine, envisioning an Asimov science-fiction scenario. But is this real? What the AI use in medicine and, particularly, ultrasonography actually entails?

AI refers to systems with the ability to “reason”, discover meaning, generalize, or learn from past experience, thus able to perform tasks normally requiring human interaction. Well-known examples of AI applications are self-driving automobiles or speech-recognition softwares (that we all have embedded in our smartphones).

According to a U.S. Food and Drug Administration statement, AI-based technologies have the potential to transform healthcare by deriving new and important insights from the vast amount of data generated during the delivery of healthcare every day. It is clear that one fundamental prerequisite is the availability of the so-called “big data” [1]: they may be derived from clinical knowledge (e. g., electronic health records), laboratory results, molecular data (e. g., OMICS data, such as genomics, trascriptomics, proteomics), imaging (PACS-derived data from different modalities), and their integration.

In medical field, AI has already been used in drug discovery and design [2], drug interaction checks [3], molecular diagnostics, clinical decision support [4], and imaging [5]. The main novelty is the ability of AI applications of discerning patterns by scrutinizing and analyzing massive amounts of stored digital information. These patterns may remain unrecognized by the human reasoning and classical statistical analysis because may involve variables not yet considered to be of interest, and not usually considered in clinical reasoning or in statistical planning. While humans have abstract-thinking ability, they are not able to find and visualize patterns embedded into large quantities of multidimensional, apparently unrelated data. Even when humans do not apply personal experience, but knowledge gained by the use of conventional statistical test, they remain able to predict only outcomes that are well described by conventional mathematical formulas. In real life many events that happen do not follow mathematical rules, but are nonetheless not completely unpredictable. Rather, they cannot be predicted by pre-ordered formulas, but nonetheless sometimes can be anticipated by exceptionally intelligent persons or on other occasions by a “gut feeling”. However, also “gut feeling” is somehow primed by previous experiences and is thus in a way a modality of extended intelligence. Therefore, also some “gut feelings” can be potentially provided by tools able to consider previous massive amounts of data and to interconnect them at incredible speed. Potentially we will have no more the opinion of the “gut feelings” in the future, but thanks to the AI we could express the opinion of the “gut brain”.

AI algorithms may, in fact, learn directly from the exposure to numerous examples of data, similarly to the way children learn from examples and experiences. These algorithms create their own rules of behavior and can even improve and correct these rules by incorporating more data after the application of the first rules. Machine learning is a subset of AI in which computers extract knowledge from the available data: it is a combination of statistical analysis and computer science in which the algorithms are able to “statistically learn.”

The most data-driven models are the deep learning algorithms [6]: they are particularly complex networks of artificial neurons able to create models directly from raw data, very useful for image analysis.

These algorithms are able to use images and integrate them with other data: for example, photographs to detect diabetic retinopathy [7], cytopathology specimens [8] and ultrasound images to discern thyroid nodules [9]. While humans may derive generalized concepts on the basis of a few examples and got education from parents and teachers, training a deep learning algorithm requires enormous amount of data to capture the complexity and variability of real-world images or presentations. As an advantage, they require little to no human input, except than an annotation of each image (or case) with the correct final diagnosis. This method does not require preliminary image feature identification and extraction, because features are identified as part of the learning process. The quality of source data is crucial: the old “garbage in, garbage out” concept is still valid. Patient records, medical registries, and ultrasound images are not always collated in accurate and complete datasets, and so data quality is far from optimal [10].

Once an adequate number of examples to be presented to the computer has been collected, and the “training” has been performed, a “test” dataset (without the final diagnosis) is then presented to the algorithm to assess its accuracy in classification of new data, never seen before.

These approaches may produce new knowledge (e. g. identifying new patterns and features to be applied in a more traditional way) and generate computer-assisted diagnosis (CAD) systems, like software that aid clinicians and provide a “second opinion”. For example, AI-based thyroid and breast CADs may further improve diagnostic performance and reliability, reaching an accuracy similar to that obtained by an expert radiologist [11], with potential implication in training of less experienced operators [12] [13] and reduction of intra- and inter-observer variability [14].

What can we therefore expect from connection of AI with ultrasound?. Ultrasonography is by far the most largely utilized imaging modality. Thanks to its ease, bedside portability and safety it is incorporated in the assessment of almost every health state of human life, starting from the investigation of fetuses, when still in mothers’ womb. Moreover, ultrasound can be complemented with additional diagnostic modalities, like Doppler ultrasound in its various forms, contrast agents [15], elastography [16] and used for guiding interventional procedures [17] [18] just to mention the most important. Therefore, an interconnection of ultrasound findings with clinical data would be an ideal field to produce advancements in diagnostic capabilities based on AI. In fact, at present we are able to use ultrasound only for specific and well established purposes, based on pre-determined clinical questions. Expectedly, when using ultrasound we are already collecting many additional informations that we are currently unable to recognize and of which we remain unaware, but that AI could elaborate in the future. However, to allow AI to elaborate on this topic, as we already anticipated above, all ultrasound operators should start thinking in a modern or rather futuristic way. Images must be collected and organized and adequately labeled and linked to clinical and laboratory information: all of these must be made available in big data repositories.

Otherwise, to now, we cannot expect AI to deliver a superb innovative meal, as we would expect from the best chefs, if we do not adequately prepare the ingredients. It is time therefore for physicians, together with law-makers, politicians and managers, to start thinking about how to maximize correct big data collection, to which ultrasound could be among the greatest contributors, for future AI applications. The big-data revolution required by AI call many actors on the stage. It is not just the responsibility of physicians, including ultrasound operators, but also of all citizens and their representative politicians, who should balance the benefits of gathering more information, including those about health status, and the risks of misuse of this information. In the authors opinion, the fear of information misuse should not block the progress of science, but rather laws and their applications should be made in the proper way to promptly recognize and punish any misuse, even when committed by the biggest and richest international companies. Only if this will happen acting as effective deterrent we will use AI at its maximal potential for health care.

Künstliche Intelligenz: Was ist das und welche zukünftige Möglichkeiten bieten sich dadurch?

Unsere Fähigkeit komplexe Berechnungen durchzuführen hat im Laufe des letzten Jahrhunderts massiv zugenommen, was auf die Verfügbarkeit leistungsfähiger Prozessoren und der verbreiteten Omnipräsenz von PCs für private und professionelle Anwendungen zurückzuführen ist. Viele Ärzte sind beunruhigt in Bezug auf die Anwendung künstlicher Intelligenz (KI) in der Medizin und haben ein Szenario wie das des Science-Fiction-Autors Asimov vor Augen. Aber ist das wirklich so? Welche Auswirkungen hat der Einsatz der KI in der Medizin und insbesondere in der Sonografie?

KI bezieht sich auf Systeme, die in der Lage sind, zu „logisch zu denken“, eine Bedeutung zu entdecken, zu verallgemeinern oder aus früheren Erfahrungen zu lernen und somit Aufgaben zu erfüllen, die normalerweise menschliche Interaktion erfordern. Bekannte Beispiele für KI-Anwendungen sind selbstfahrende Automobile oder Spracherkennungssoftware (die bereits in unseren Smartphones integriert ist).

Laut einer Erklärung der U.S. Food and Drug Administration können KI-basierte Technologien das Gesundheitswesen verändern, indem sie neue und wichtige Erkenntnisse aus der riesigen Datenmenge ableiten, die bei der täglichen medizinischen Versorgung generiert wird. Es ist klar, dass die Grundvoraussetzung die Verfügbarkeit der so genannten „Big-Data“ [1] ist: Sie können aus klinischem Wissen (z. B. elektronische Gesundheitsakten), Laborergebnissen, molekularbiologischen Daten (z. B. OMICS-Daten, wie Genomik, Transkriptomik, Proteomik), Bildgebung (PACS-abgeleitete Daten aus verschiedenen Modalitäten) und deren Integration abgeleitet werden.

Im medizinischen Bereich wurde KI bereits für die Entdeckung und Entwicklung von Arzneimitteln [2], bei der Prüfung von Medikamenteninteraktionen [3], in der molekularbiologischen Diagnostik, in der klinischen Entscheidungshilfe [4] und in der Bildgebung [5] eingesetzt. Die wichtigste Neuerung besteht in der Fähigkeit der KI, Muster zu erkennen, indem riesige Mengen gespeicherter digitaler Informationen untersucht und analysiert werden. Diese Muster werden möglicherweise vom menschlichen Denkvermögen und der klassischen statistischen Analyse nicht erkannt, weil sie Variablen beinhalten können, die noch als uninteressant gelten und die normalerweise weder im klinischen Denken noch in der statistischen Planung berücksichtigt werden. Während Menschen abstrakt denken können, sind sie nicht in der Lage, Muster zu finden und zu visualisieren, die in große Mengen mehrdimensionaler, scheinbar nicht zusammenhängender Daten eingebettet sind. Selbst wenn Menschen keine persönlichen Erfahrungen anwenden, sondern Kenntnisse, die durch die Anwendung üblicher statistischer Tests gewonnen wurden, können sie nur Ergebnisse vorhersagen, die durch konventionelle mathematische Formeln gut beschrieben werden. Viele Ereignisse des wirklichen Lebens folgen nicht mathematischen Regeln, sind aber dennoch nicht völlig unvorhersehbar. Denn obwohl diese Ereignisse nicht durch vorgegebene Formeln vorhergesagt werden können, können sie durch Menschen mit außergewöhnlicher Intelligenz oder in bestimmten Fällen durch ein „Bauchgefühl“ vorausgeahnt werden. Das „Bauchgefühl“ wird aber auch in gewisser Weise durch Vorerfahrungen ausgelöst und stellt somit eine Form von erweiterter Intelligenz dar. Daher ist es möglich, dass bestimmte „Bauchgefühle“ durch Hilfsmittel erzeugt werden, die in der Lage sind, riesige bereits vorhandene Datenmengen zu berücksichtigen und sie mit unglaublicher Geschwindigkeit miteinander zu verbinden. Möglicherweise werden wir in Zukunft nicht mehr mit dem „Bauchgefühl“, sondern dank der KI mit dem „Bauchgehirn“ Stellung beziehen.

KI-Algorithmen können in der Tat direkt durch die Exposition mit zahlreichen Datenbeispielen lernen, ähnlich wie Kinder aus Vorbildern und Erfahrungen lernen. Diese Algorithmen erstellen ihre eigenen Verhaltensregeln und können diese Regeln sogar verbessern und korrigieren, indem sie nach der Anwendung der ersten Regeln weitere Daten einbeziehen. Maschinelles Lernen ist ein Teilgebiet der KI, bei der Computer aus den verfügbaren Daten Wissen extrahieren: Es ist eine Kombination aus statistischer Analyse und Informatik, bei der die Algorithmen in der Lage sind, „statistisch zu lernen“.

Die am meisten datengesteuerten Modelle sind die Deep-Learning-Algorithmen [6]: Es handelt sich dabei um besonders komplexe Netzwerke künstlicher Neuronen, die in der Lage sind, direkt aus Rohdaten Modelle zu erstellen, was für die Bildanalyse von großem Nutzen ist.

Diese Algorithmen können Bilder verwenden und in andere Daten integrieren: beispielsweise Fotografien zur Erkennung der diabetischen Retinopathie [7], zytopathologische Proben [8] und Ultraschallbilder zur Erkennung von Schilddrüsenknoten [9]. Während Menschen vielleicht anhand einiger weniger Beispiele allgemeine Konzepte ableiten und ihre Erziehung von Eltern und Lehrern erhielten, erfordert das Training eines Deep-Learning-Algorithmus eine enorme Datenmenge, um die Komplexität und Variabilität realer Bilder oder Darstellungen zu erfassen. Der Vorteil ist, dass nur wenig bis gar kein menschlicher Input erforderlich ist, außer eine Annotation zu jedem Bild (oder Fall) mit der korrekten Enddiagnose. Bei dieser Methode ist keine vorläufige Identifizierung oder Extraktion der Bildmerkmale erforderlich, da die Merkmale als Bestandteil des Lernprozesses identifiziert werden. Die Qualität der Quelldaten ist entscheidend: Das alte GIGO-Konzept (garbage in, garbage out) ist weiterhin gültig. Patientenakten, medizinische Register und Ultraschallbilder werden nicht immer in genauen und vollständigen Datensätzen zusammengefasst, so dass die Datenqualität bei weitem nicht optimal ist [10].

Nachdem eine ausreichende Zahl an Beispielen gesammelt wurde, die dem Computer präsentiert werden sollen, und das „Training“ durchgeführt wurde, wird dem Algorithmus ein „Test“-Datensatz (ohne Enddiagnose) präsentiert, um dessen Genauigkeit bei der Klassifizierung neuer, noch nie vorher erhaltender Daten zu beurteilen.

Diese Ansätze können neues Wissen hervorbringen (z. B. die Identifizierung neuer Muster und Merkmale, die auf bisherige Weise angewendet werden) und computergestützte Diagnosesysteme (CAD-Systeme) erzeugen, wie z. B. Software, die Klinikern hilft und eine „Zweitmeinung“ abgibt. Zum Beispiel können AI-basierte Schilddrüsen- und Brust-CADs die diagnostische Leistung und Zuverlässigkeit weiter verbessern und eine Genauigkeit erreichen, die der eines erfahrenen Radiologen ähnelt [11], mit möglichen Auswirkungen auf die Ausbildung weniger erfahrener Bediener [12] [13] und auf eine Verringerung der Intra- und Interobserver-Variabilität [14].

Was können wir also von der Verbindung von KI und Sonografie erwarten? Die Ultraschalluntersuchung ist die bei weitem häufigste angewandte bildgebende Methode. Dank ihrer einfachen Bedienung, dem mobilen Einsatz am Krankenbett und ihrer Sicherheit wird sie, angefangen mit der Untersuchung des Feten im Mutterleib, bei der Beurteilung nahezu aller Gesundheitszustände im Laufe eines Menschenlebens eingesetzt. Darüber hinaus kann der Ultraschall durch zusätzliche diagnostische Modalitäten ergänzt werden, wie z. B. Doppler-Ultraschall in seinen verschiedenen Formen, kontrastverstärkte Sonografie [15], Elastografie [16] und bei der Steuerung interventioneller Verfahren [17] [18], um nur die wichtigsten zu nennen. Daher wäre eine Verknüpfung von Ultraschallbefunden mit klinischen Daten ein ideales Feld, um Fortschritte bei den diagnostischen Möglichkeiten auf der Grundlage der KI zu erzielen. Tatsächlich können wir Ultraschall derzeit nur für spezifische und gut etablierte Ziele auf der Grundlage vorher festgelegter klinischer Fragestellungen einsetzen. Es ist zu erwarten, dass wir bei der Anwendung von Ultraschall bereits viele zusätzliche Informationen sammeln, die wir gegenwärtig nicht erkennen können und die uns nicht bewusst sind, aber die uns die KI in Zukunft genau darlegen könnte. Damit KI jedoch, wie zuvor beschrieben, diesen Aspekt ausarbeiten kann, sollten sich alle Ultraschallanwender eine moderne, eher futuristischen Denkweise aneignen. Bilder müssen gesammelt und organisiert sowie angemessen gekennzeichnet werden und mit klinischen und labordiagnostischen Befunden verknüpft werden: All dies muss in Big-Data-Speichern zur Verfügung stehen.

Andernfalls können wir nicht erwarten, dass uns KI ein vorzügliches innovatives Gericht zubereitet, wie wir dies von den besten Köchen erwarten, solange die Zutaten von uns nicht entsprechend zubereitet werden. Es ist daher an der Zeit, dass Ärzte gemeinsam mit Gesetzgebern, Politikern und Managern darüber nachdenken, wie die korrekte Sammlung von Big-Data, zu denen Ultraschall vermutlich am meisten beiträgt, für zukünftige KI-Anwendungen maximiert werden kann. Die für die KI erforderliche Big-Data-Revolution ruft viele Akteure auf die Bühne. Es liegt nicht nur in der Verantwortung der Ärzte, einschließlich der Ultraschallanwender, sondern auch in der aller Bürger und den sie repräsentierenden Politikern, dass Vorteile einer erweiterten Sammlung von Daten, einschließlich der des Gesundheitszustandes, gegen die Risiken eines Datenmissbrauchs abwägt werden. Nach Ansicht der Autoren sollte die Angst vor Datenmissbrauch nicht den Fortschritt der Wissenschaft blockieren, sondern es sollten Gesetze und ihre Anwendung derart gestaltet werden, dass jeder Missbrauch rechtzeitig erkannt und bestraft wird, selbst wenn dieser von den größten und reichsten internationalen Unternehmen begangen wird. Nur wenn wir diese wirksame Abschreckung einsetzen, können wir KI mit maximalem Leistungspotenzial in der medizinischen Versorgung nutzen.

Vito Cantisani

Giorgio Grani

Francesco Tovoli

Fabio Piscaglia

Carlo Catalano

Conflict of Interest

Fabio Piscaglia: Esaote: Research Contract with the Department. Personal honoraria for speaker bureau/advisory board/consultancies from: Alkermes, Astrazeneca, Bayer, Bracco, BMS, La Force Guerbet, EISAI, GE, IPSEN, MDS Roche Tiziana Life Siemens Healthcare: support for accommodation at advisory board.

Vito Cantisani lectured for Bracco, Samsung, Canon.

• References

• 1 Beam AL, Kohane IS. Big Data and Machine Learning in Health Care. JAMA 2018; 319: 1317-1318
• 2 Cheirdaris DG. Artificial Neural Networks in Computer-Aided Drug Design: An Overview of Recent Advances. Adv Exp Med Biol 2020; 1194: 115-125
• 3 Deng Y, Xu X, Qiu Y. et al. A multimodal deep learning framework for predicting drug-drug interaction events. Bioinformatics 2020; DOI: 10.1093/bioinformatics/btaa501.
• 4 Gutierrez G. Artificial Intelligence in the Intensive Care Unit. Crit Care 2020; 24: 101
• 5 Akkus Z, Cai J, Boonrod A. et al. A Survey of Deep-Learning Applications in Ultrasound: Artificial Intelligence-Powered Ultrasound for Improving Clinical Workflow. J Am Coll Radiol 2019; 16: 1318-1328
• 6 Hinton G. Deep Learning-A Technology With the Potential to Transform Health Care. JAMA 2018; 320: 1101-1102
• 7 Ting DSW, Cheung CY, Lim G. et al. Development and Validation of a Deep Learning System for Diabetic Retinopathy and Related Eye Diseases Using Retinal Images From Multiethnic Populations With Diabetes. JAMA 2017; 318: 2211-2223
• 8 Elliott Range DD, Dov D, Kovalsky SZ. et al. Application of a machine learning algorithm to predict malignancy in thyroid cytopathology. Cancer Cytopathol 2020; 128: 287-295
• 9 Tumino D, Grani G, Di Stefano M. et al. Nodular Thyroid Disease in the Era of Precision Medicine. Front Endocrinol (Lausanne) 2019; 10: 907
• 10 Cabitza F, Rasoini R, Gensini GF. Unintended Consequences of Machine Learning in Medicine. JAMA 2017; 318: 517-518
• 11 Ko SY, Lee JH, Yoon JH. et al. Deep convolutional neural network for the diagnosis of thyroid nodules on ultrasound. Head Neck 2019; 41: 885-891
• 12 Fresilli D, Grani G, De Pascali ML. et al. Computer-aided diagnostic system for thyroid nodule sonographic evaluation outperforms the specificity of less experienced examiners. J Ultrasound 2020; 23: 169-174
• 13 Di Segni M, de Soccio V, Cantisani V. et al. Automated Classification of Focal Breast Lesions According to S-detect: Validation and Role as a Clinical and Teaching Tool. J Ultrasound 2018; 21: 105-118
• 14 Jeong EY, Kim HL, Ha EJ. et al. Computer-aided diagnosis system for thyroid nodules on ultrasonography: diagnostic performance and reproducibility based on the experience level of operators. Eur Radiol 2019; 29: 1978-1985
• 15 Săftoiu A, Gilja OH, Sidhu PS. et al. The EFSUMB Guidelines and Recommendations for the Clinical Practice of Elastography in Non-Hepatic Applications: Update 2018. Ultraschall in Med 2019; 40: 425-453
• 16 Sidhu PS, Cantisani V, Dietrich CF. et al. The EFSUMB Guidelines and Recommendations for the Clinical Practice of Contrast-Enhanced Ultrasound (CEUS) in Non-Hepatic Applications: Update 2017 (Short Version). Ultraschall in Med 2018; 39: 154-180
• 17 Dietrich CF, Lorentzen T, Appelbaum L. et al. EFSUMB Guidelines on Interventional Ultrasound (INVUS), Part III – Abdominal Treatment Procedures (Short Version). Ultraschall in Med 2016; 37: 27-45
• 18 Dietrich CF, Lorentzen T, Appelbaum L. et al. EFSUMB Guidelines on Interventional Ultrasound (INVUS), Part III – Abdominal Treatment Procedures (Long Version). Ultraschall in Med 2016; 37: E1-E32

Publication History

Article published online:
04 August 2020