Rofo 2022; 194(08): 852-861
DOI: 10.1055/a-1752-1038
Urogenital Tract

Inter-Reader Variability Using PI-RADS v2 Versus PI-RADS v2.1: Most New Disagreement Stems from Scores 1 and 2

Vergleich der Interrater-Reliabilität von PI-RADS v2 und PI-RADS v2.1: Neue Differenzen entspringen meistens den Bewertungen 1 und 2
1   Department of Radiology, Charite University Hospital Berlin, Germany
,
Matthias Haas
1   Department of Radiology, Charite University Hospital Berlin, Germany
,
Alexander Baur
1   Department of Radiology, Charite University Hospital Berlin, Germany
,
Frank Konietschke
2   Department of Biometry and Clinical Epidemiology, Charite University Hospital Berlin, Germany
,
Akash Roy
3   Biostatistics and Bioinformatics, Duke University School of Medicine, DURHAM, United States
,
Charlie Alexander Hamm
1   Department of Radiology, Charite University Hospital Berlin, Germany
,
Madhuri Monique Rudolph
1   Department of Radiology, Charite University Hospital Berlin, Germany
,
1   Department of Radiology, Charite University Hospital Berlin, Germany
,
Bernd Hamm
1   Department of Radiology, Charite University Hospital Berlin, Germany
,
Hannes Cash
4   Department of Urology, Charite University Hospital Berlin, Germany
,
Patrick Asbach
1   Department of Radiology, Charite University Hospital Berlin, Germany
,
Tobias Penzkofer
1   Department of Radiology, Charite University Hospital Berlin, Germany
› Author Affiliations

Abstract

Purpose To analyze possible differences in the inter-reader variability between PI-RADS version 2 (v2) and version 2.1 (v2.1) for the classification of prostate lesions using multiparametric MRI (mpMRI) of the prostate.

Methods In this retrospective and randomized study, 239 annotated and histopathologically correlated prostate lesions (104 positive and 135 negative for prostate cancer) were rated twice by three experienced uroradiologists using PI-RADS v2 and v2.1 with an interval of at least two months between readings. Results were tabulated across readers and reading timepoints and inter-reader variability was determined using Fleiss’ kappa (κ). Thereafter, an additional analysis of the data was performed in which PI-RADS scores 1 and 2 were combined, as they have the same clinical consequences.

Results PI-PI-RADS v2.1 showed better inter-reader agreement in the peripheral zone (PZ), but poorer inter-reader agreement in the transition zone (TZ) (PZ: κ = 0.63 vs. κ = 0.58; TZ: κ = 0.47 vs. κ = 0.57). When PI-RADS scores 1 and 2 were combined, the use of PI-RADS v2.1 resulted in almost perfect inter-reader agreement in the PZ and substantial agreement in the TZ (PZ: κ = 0.81; TZ: κ = 0.80).

Conclusion PI-RADS v2.1 improves inter-reader agreement in the PZ. New differences in inter-reader agreement were mainly the result of the assignment of PI-RADS v2.1 scores 1 and 2 to lesions in the TZ. Combining scores 1 and 2 improved inter-reader agreement both in the TZ and in the PZ, indicating that refined definitions may be warranted for these PI-RADS scores.

Key Points:

  • PI-RADSv2.1 improves inter-reader agreement in the PZ but not in the TZ.

  • New differences derived from PI-RADSv2.1 scores 1 and 2 in the TZ.

  • Combined PI-RADSv2.1 scores of 1 and 2 yielded better inter-reader agreement.

  • PI-RADSv2.1 appears to provide more precise description of lesions in the PZ.

  • Improved inter-reader agreement in the PZ stresses the importance of appropriate lexicon description.

Citation Format

  • Beetz N, Haas M, Baur A et al. Inter-Reader Variability Using PI-RADS v2 Versus PI-RADS v2.1: Most New Disagreement Stems from Scores 1 and 2. Fortschr Röntgenstr 2022; 194: 852 – 861

Zusammenfassung

Ziel Analyse der möglichen Differenzen in der Interrater-Reliabilität zwischen PI-RADS Version 2 (v2) und Version 2.1 (v2.1) für die Klassifizierung von Prostata-Läsionen in der multiparametrischen MRT (mpMRT) der Prostata.

Methoden In dieser retrospektiven und randomisierten Studie wurden 239 bereits annotierte und histopathologisch korrelierte Läsionen der Prostata (104 positiv und 135 negativ für Prostatakrebs) zweimal von radiologisch-fachärztlichen Experten für uroradiologische Bildgebung bewertet: zuerst nach PI-RADS v2 und nach einem zeitlichen Intervall von mindestens 2 Monaten anhand der aktualisierten Version PI-RADS v2.1. Die Ergebnisse der Bewerter und Bewertungszeitpunkte wurden kreuztabelliert und die Interrater-Reliabilität wurde mittels Fleiss’ kappa (κ) berechnet. In einer weiteren Analyse wurden die beiden Wertungen mit derselben klinischen Konsequenz PI-RADS-Score 1 und 2 kombiniert und deren Interrater-Reliabilität erneut getestet.

Ergebnisse PI-RADS v2.1 zeigte eine bessere Interrater-Reliabilität in der peripheren Zone (PZ), aber eine schlechtere Interrater-Reliabilität in der Transitionszone (TZ) (PZ: κ = 0,63 vs. κ = 0,58; TZ: κ = 0,47 vs. κ = 0,57). Die Kombination der PI-RADS-Bewertungen 1 und 2 bei PI-RADS v2.1 resultierte in einer nahezu perfekten Interrater-Reliabilität in der PZ und in einer substantiellen Interrater-Reliabilität in der TZ (PZ: κ = 0,81; TZ: κ = 0,80).

Schlussfolgerung PI-RADS v2.1 verbessert die Interrater-Reliabilität in der PZ. Neue Differenzen in der Interrater-Reliabilität bei PI-RADS v2.1 entsprangen hauptsächlich den Läsionen in der TZ, die mit einem Score von 1 oder 2 bewertet wurden. Durch die Kombination der klinisch gleichwertigen PI-RADS-Bewertungen 1 und 2 wird die Interrater-Reliabilität sowohl in der TZ als auch PZ verbessert, sodass eine verbesserte Definition für diese Bewertungen angebracht sein könnte.

Kernaussagen:

  • PI-RADS v2.1 verbessert Interrater-Reliabilität in der PZ, aber nicht in der TZ.

  • Neue Unterschiede entspringen den PI-RADS v2.1-Bewertungen 1 und 2 in der TZ.

  • Die Kombination der PI-RADS v2.1-Bewertungen 1 und 2 verbessert die Interrater-Reliabilität.

  • PI-RADS v2.1 ermöglicht offenbar eine präzisere Deskription von Läsionen in der PZ.

  • Verbesserung der Interrater-Reliabilität in der PZ betont die Bedeutung von geeigneten Deskriptoren.



Publication History

Received: 24 November 2021

Accepted: 29 December 2021

Article published online:
11 May 2022

© 2022. Thieme. All rights reserved.

Georg Thieme Verlag KG
Rüdigerstraße 14, 70469 Stuttgart, Germany