Differentiation Between Anteroposterior and Posteroanterior Chest X-Ray View Position With Convolutional Neural Networks

Abstract

Purpose Detection and validation of the chest X-ray view position with use of convolutional neural networks to improve meta-information for data cleaning within a hospital data infrastructure.

Material and Methods Within this paper we developed a convolutional neural network which automatically detects the anteroposterior and posteroanterior view position of a chest radiograph. We trained two different network architectures (VGG variant and ResNet-34) with data published by the RSNA (26 684 radiographs, class distribution 46 % AP, 54 % PA) and validated these on a self-compiled dataset with data from the University Hospital Essen (4507, radiographs, class distribution 55 % PA, 45 % AP) labeled by a human reader. For visualization and better understanding of the network predictions, a Grad-CAM was generated for each network decision. The network results were evaluated based on the accuracy, the area under the curve (AUC), and the F1-score against the human reader labels. Also a final performance comparison between model predictions and DICOM labels was performed.

Results The ensemble models reached accuracy and F1-scores greater than 95 %. The AUC reaches more than 0.99 for the ensemble models. The Grad-CAMs provide insight as to which anatomical structures contributed to a decision by the networks which are comparable with the ones a radiologist would use. Furthermore, the trained models were able to generalize over mislabeled examples, which was found by comparing the human reader labels to the predicted labels as well as the DICOM labels.

Conclusion The results show that certain incorrectly entered meta-information of radiological images can be effectively corrected by deep learning in order to increase data quality in clinical application as well as in research.

Key Points: 

• The predictions for both view positions are accurate with respect to external validation data.

• The networks based their decisions on anatomical structures and key points that were in-line with prior knowledge and human understanding.

• Final models were able to detect labeling errors within the test dataset.

Citation Format

• Hosch R, Kroll L, Nensa F et al. Differentiation Between Anteroposterior and Posteroanterior Chest X-Ray View Position With Convolutional Neural Networks. Fortschr Röntgenstr 2021; 193: 168 – 176

Zusammenfassung

Ziel Detektion der Röntgen-Thorax-Aufnahmeposition anhand von Convolutional Neural Networks zur Verbesserung und Bereinigung von Metainformationen innerhalb der Dateninfrastruktur eines Krankenhauses.

Material und Methoden Innerhalb dieser Studie wurde ein Convolutional Neural Network entwickelt, das automatisch die verwendete Anterior-posterior- bzw. Posterior-anterior-Aufnahmeprojektion einer Röntgen-Thoraxaufnahme erkennt. Es wurden 2 unterschiedliche Netzwerkarchitekturen (VGG Variante und ResNet-34) auf Basis von Daten der RSNA (26 684 Röntgenaufnahmen, Klassenverteilung: 46 % AP, 54 % PA) trainiert und anschließend auf einem zusammengestellten hauseigenen Datensatz (Verwendung von manuellen Labeln) aus dem Datenbestand des Universitätsklinikums Essen (4507 Röntgenaufnahmen, Klassenverteilung: 55 % PA, 45 % AP) getestet. Für eine bessere Nachvollziehbarkeit der getätigten Vorhersagen der Modelle wurde zudem für jede Vorhersage eine Grad-CAM generiert. Die Resultate der Modelle wurden anhand der Accuracy, der Area under the Curve (AUC) und dem F1-Score berechnet auf Basis des Abgleichs der manuellen Label. Abschließend wurde zudem die Genauigkeit der Modellvorhersagen und der DICOM-Label anhand des Vergleichs mit den manuellen Labeln berechnet.

Ergebnisse Die zusammengefassten Modelle erreichten Accuracy- und F1-Score-Werte von mehr als 95 %. Alle Modelle erreichten eine AUC von über 0,99. Die generierten Grad-CAMSs zeigen, dass die Modelle relevante anatomische Referenzpunkte für ihre Vorhersage nutzen, die auch ein Radiologe für eine Unterscheidung heranziehen würde. Zudem zeigen die antrainierten Modelle die Fähigkeit zur Generalisierung, da diese auch falsch gekennzeichnete Röntgenbilder richtig einordnen können, was durch den Vergleich der manuellen Label mit den jeweiligen Modellvorhersagen und den DICOM-Labeln ersichtlich wurde.

Schlussfolgerung Die Resultate zeigen, dass falsch eingetragene Metainformationen innerhalb der radiologischen Bildgebung effektiv durch den Einsatz von Deep Learning korrigiert und somit die Datenqualität sowohl für die klinische Anwendung als auch für die Forschung erhöht werden können.

Kernaussagen: 

• Die trainierten Modelle erzielen akkurate Vorhersagen auf externen Validierungsdaten.

• Die Netzwerke treffen ihre Vorhersagen basierend auf anatomischen Strukturen und Referenzpunkten, die mit dem menschlichen Fachwissen übereinstimmen.

• Die finalen Modelle konnten Label-Fehler in dem Testdatensatz finden.

Key words

radiography - deep learning - anteroposterior - posteroanterior - error correction - X-ray

Publication History

Received: 02 February 2020

Accepted: 11 May 2020

Article published online:
02 July 2020

• References

• 1 Rajpurkar P, Irvin J, Zhu K. et al CheXNet: Radiologist-Level Pneumonia Detection on Chest X-Rays with Deep Learning.. CoRR 2017; abs/1711.05225. https://stanfordmlgroup.github.io/projects/chexnet/
• 2 Liu C, Cao Y, Alcantara M. et al TX-CNN: Detecting tuberculosis in chest X-ray images using convolutional neural network. In: 2017 IEEE International Conference on Image Processing (ICIP) 2017: 2314-2318
• 3 Irvin J, Rajpurkar P, Ko M. et al Chexpert: A large chest radiograph dataset with uncertainty labels and expert comparison. In: Proceedings of the AAAI Conference on Artificial Intelligence 2019: 590-597
• 4 Liu X, Faes L, Kale AU. et al. A comparison of deep learning performance against health-care professionals in detecting diseases from medical imaging: a systematic review and meta-analysis. Lancet Digit Health 2019; 1: e271-e297
• 5 Raoof S, Feigin D, Sung A. et al. Interpretation of plain chest roentgenogram. Chest 2012; 141: 545-558
• 6 Bruno MA, Walker EA, Abujudeh HH. Understanding and confronting our mistakes: the epidemiology of error in radiology and strategies for error reduction. Radiographics 2015; 35: 1668-1676
• 7 Wang X, Peng Y, Lu L. et al Chestx-ray8: Hospital-scale chest x-ray database and benchmarks on weakly-supervised classification and localization of common thorax diseases. In: Proceedings of the IEEE conference on computer vision and pattern recognition 2017: 2097-2106
• 8 He K, Zhang X, Ren S. et al Deep residual learning for image recognition. In: Proceedings of the IEEE conference on computer vision and pattern recognition 2016: 770-778
• 9 Simonyan K, Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition. In: Bengio Y, LeCun Y. (Hrsg.) 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015. Conference Track Proceedings; 2015
• 10 Ulyanov D, Vedaldi A, Lempitsky V. Improved Texture Networks: Maximizing Quality and Diversity in Feed-Forward Stylization and Texture Synthesis. In: 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2017: 4105-4113
• 11 He K, Zhang X, Ren S. et al Delving deep into rectifiers: Surpassing human-level performance on imagenet classification. In: Proceedings of the IEEE international conference on computer vision 2015: 1026-1034
• 12 Li K, Wu Z, Peng KC. et al Tell me where to look: Guided attention inference network. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2018: 9215-9223
• 13 Selvaraju RR, Cogswell M, Das A. et al Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization. In: 2017 IEEE International Conference on Computer Vision (ICCV) 2017: 618-626
• 14 Mikolajczyk A, Grochowski M. Data augmentation for improving deep learning in image classification problem. In: 2018 international interdisciplinary PhD workshop (IIPhDW) IEEE; 2018: 117-122
• 15 Kingma DP, Ba J. Adam: A Method for Stochastic Optimization. In: Bengio Y, LeCun Y. (Hrsg.) 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7–9, 2015. Conference Track Proceedings; 2015
• 16 Zhang Z, Sabuncu M. Generalized cross entropy loss for training deep neural networks with noisy labels. In: Advances in neural information processing systems 2018: 8778-8788
• 17 Powers D. Ailab. Evaluation: From precision, recall and F-measure to ROC, informedness, markedness & correlation. J Mach Learn Technol 2011; 2: 2229-3981
• 18 Rubin J, Sanghavi D, Zhao C. et al Lage Scale Automated Reading of Frontal and Lateral Chest X-Rays using Dual Convolutional Neural Networks. In: Conference on Machine Intelligence in Medical Imaging (CMIMI) San Francisco, California: 2018
• 19 Kim TK, Paul HY, Wei J. et al. Deep Learning Method for Automated Classification of Anteroposterior and Posteroanterior Chest Radiographs. J Digit Imaging 2019; 1-6