Intra- and Interobserver Study Investigating the Adapted EFSUMB Bosniak Cyst Categorization Proposed for Contrast-Enhanced Ultrasound (CEUS) in 2020

Abstract

Background To investigate the inter- and intraobserver variability in comparison to an expert gold standard of the new and modified renal cyst Bosniak classification proposed for contrast-enhanced ultrasound findings (CEUS) by the European Federation of Societies for Ultrasound in Medicine and Biology (EFSUMB) in 2020.

Materials and Methods 84 CEUS examinations for the evaluation of renal cysts were evaluated retrospectively by six readers with different levels of ultrasound expertise using the modified Bosniak classification proposed for CEUS. All cases were anonymized, and each case was rated twice in randomized order. The consensus reading of two experts served as the gold standard, to which all other readers were compared. Statistical analysis was performed using Cohen’s weighted kappa tests, where appropriate.

Results Intraobserver variability showed substantial to almost perfect agreement (lowest kappa κ=0.74; highest kappa κ=0.94), with expert level observers achieving the best results. Comparison to the gold standard was almost perfect for experts (highest kappa κ=0.95) and lower for beginner and intermediate level readers still achieving mostly substantial agreement (lowest kappa κ=0.59). Confidence of rating was highest for Bosniak classes I and IV and lowest for classes IIF and III.

Conclusion Categorization of cystic renal lesions based on the Bosniak classification proposed by the EFSUMB in 2020 showed very good reproducibility. While even less experienced observers achieved mostly substantial agreement, training remains a major factor for better diagnostic performance.

Zusammenfassung

Ziel Untersuchung der Inter- und Intraobserver-Variabilität im Vergleich zu einem Experten-Goldstandard der neuen und modifizierten Bosniak-Klassifikation von Nierenzysten, die von der European Federation of Societies for Ultrasound in Medicine and Biology (EFSUMB) im Jahr 2020 für Befunde im kontrastverstärkten Ultraschall (CEUS) vorgeschlagen wurde.

Material und Methoden 84 CEUS-Untersuchungen zur Beurteilung von Nierenzysten wurden retrospektiv von 6 Beobachtern mit unterschiedlicher Ultraschallexpertise anhand der für CEUS vorgeschlagenen modifizierten Bosniak-Klassifikation ausgewertet. Alle Fälle wurden anonymisiert, und jeder Fall wurde in randomisierter Reihenfolge 2-mal bewertet. Als Goldstandard diente der Konsens der Auswertung von 2 Experten, mit dem alle anderen Beobachter verglichen wurden. Die statistische Analyse erfolgte, sofern anwendbar, mittels Cohens Kappa.

Ergebnisse Die Intraobserver-Variabilität zeigte eine erhebliche bis nahezu perfekte Übereinstimmung (niedrigstes Kappa κ=0,74; höchstes Kappa κ=0,94), wobei die Beobachter auf Expertenebene die besten Ergebnisse erzielten. Der Vergleich mit dem Goldstandard war für Experten nahezu perfekt (höchstes Kappa κ=0,95) und für Anfänger und Fortgeschrittene geringer, wobei dennoch meist eine erhebliche Übereinstimmung erzielt wurde (niedrigstes Kappa κ=0,59). Das Konfidenzniveau war für die Bosniak-Klassen I und IV am höchsten und für die Klassen IIF und III am niedrigsten.

Schlussfolgerung Die Kategorisierung der zystischen Nierenläsionen nach der von der EFSUMB im Jahr 2020 vorgeschlagenen Bosniak-Klassifikation zeigte eine sehr gute Reproduzierbarkeit. Auch wenn selbst weniger erfahrene Beobachter meist eine erhebliche Übereinstimmung erzielten, ist die Ausbildung weiterhin ein wichtiger Faktor für eine bessere diagnostische Leistung.

Keywords

CEUS - Bosniak cyst classification - renal cyst - interobserver variability - intraobserver variability

Publication History

Received: 07 November 2022

Accepted after revision: 20 February 2023

Article published online:
18 April 2023

• References

• 1 Bosniak MA. The current radiological approach to renal cysts. Radiology 1986; 158: 1-10 DOI: 10.1148/radiology.158.1.3510019. (PMID: 3510019)
• 2 Silverman S, Pedrosa I, Ellis J. et al. Bosniak Classification of Cystic Renal Masses, Version 2019: An Update Proposal and Needs Assessment. Radiology 2019; 294: 475-488 DOI: 10.1148/radiol.2019182646. (PMID: 31210616)
• 3 Chang EH, Chong WK, Kasoji SK. et al. Diagnostic accuracy of contrast-enhanced ultrasound for characterization of kidney lesions in patients with and without chronic kidney disease. BMC Nephrol BMC Nephrology; 2017; 18: 1-13 DOI: 10.1186/s12882-017-0681-8. (PMID: 28793871)
• 4 Israel GM, Bosniak MA. An update of the Bosniak renal cyst classification system. Urology 2005; 66: 484-488 DOI: 10.1016/j.urology.2005.04.003. (PMID: 16140062)
• 5 Ascenti G, Mazziotti S, Zimbaro G. et al. Complex cystic renal masses: Characterization with contrast-enhanced US. Radiology 2007; 243: 158-165
• 6 Lerchbaumer MH, Putz FJ, Rubenthaler J. et al. Contrast-enhanced ultrasound (CEUS) of cystic renal lesions in comparison to CT and MRI in a multicenter setting. Clin Hemorheol Microcirc 2020; 75: 419-429 DOI: 10.3233/CH-190764. (PMID: 32039837)
• 7 Cantisani V, Bertolotto M, Clevert DA. et al. EFSUMB 2020 Proposal for a Contrast-Enhanced Ultrasound-Adapted Bosniak Cyst Categorization – Position Statement. Ultraschall in Med 2021; 42: 154-166 DOI: 10.1055/a-1300-1727. (PMID: 33307594)
• 8 Landis JR, Koch GG. Landis amd Koch1977_agreement of categorical data. Biometrics 1977; 33: 159-174
• 9 Graumann O, Osther SS, Karstoft J. et al. Bosniak classification system: Inter-observer and intra-observer agreement among experienced uroradiologists. Acta radiol 2015; 56: 374-383
• 10 Valentin L. Minimum training recommendations for the practice of medical ultrasound. Ultraschall in Med 2006; 27: 79-105
• 11 Shampain KL, Shankar PR, Troost JP. et al. Interrater Agreement of Bosniak Classification Version 2019 and Version 2005 for Cystic Renal Masses at CT and MRI. Radiology 2022; 302: 357-366 DOI: 10.1148/radiol.2021210853. (PMID: 34726535)
• 12 Lucocq J, Pillai S, Oparka R. et al. Complex renal cysts (Bosniak ≥IIF): interobserver agreement, progression and malignancy rates. Eur Radiol European Radiology; 2021; 31: 901-908 DOI: 10.1007/s00330-020-07186-w. (PMID: 32851449)
• 13 Schoots IG, Zaccai K, Hunink MG. et al. Bosniak Classification for Complex Renal Cysts Reevaluated: A Systematic ReviewJ Urol Elsevier Inc. J Urol Elsevier Inc 2017; 198: 12-21 DOI: 10.1016/j.juro.2016.09.160. (PMID: 28286071)
• 14 Sidhu PS, Cantisani V, Deganello A. et al. Role of Contrast-Enhanced Ultrasound (CEUS) in Paediatric Practice: An EFSUMB Position Statement. Ultraschall in Med 2017; 38: 33-43 DOI: 10.1055/s-0042-110394. (PMID: 27414980)
• 15 Spiesecke P, Reinhold T, Wehrenberg Y. et al. Cost-effectiveness analysis of multiple imaging modalities in diagnosis and follow-up of intermediate complex cystic renal lesions. BJU Int 2021; 128: 575-585 DOI: 10.1111/bju.15353. (PMID: 33528886)
• 16 Lee CH, Liu JJK, Zheng Y. et al. Bosniak classification of cystic renal masses: Utility of contrastenhanced ultrasound using version 2019. Med Ultrason 2020; 22: 279-286 DOI: 10.11152/mu-2517. (PMID: 32898202)
• 17 Lerchbaumer MH, Lauryn JH, Bachmann U. et al. Point-of-care lung ultrasound in COVID-19 patients: inter- and intra-observer agreement in a prospective observational study. Sci Rep Nature Publishing Group UK; 2021; 11: 1-11 DOI: 10.1038/s41598-021-90153-2. (PMID: 34021219)