The Prospective External Validation of International Ovarian Tumor Analysis (IOTA) Simple Rules in the Hands of Level I and II Examiners

Abstract

Objective: To externally validate the International Ovarian Tumor Analysis (IOTA) Simple Rules (SR) by examiners with different levels of sonographic experience defined by the European Federation of Societies for Ultrasound in Medicine and Biology (EFSUMB) and to assess the morphological ultrasound features of the adnexal tumors classified as inconclusive based on IOTA SR.

Materials and Methods: In the two-year prospective study adnexal tumors were assessed preoperatively with transvaginal ultrasound by examiners with different levels of experience (level 1- IOTA SR1, level 2-IOTA SR2). Additionally, an expert (level 3) evaluated all tumors by subjective assessment (SA). If the rules could not be applied, the tumors were considered inconclusive. The final diagnosis was based on the histopathological result of the removed mass. The diagnostic performance measures for the assessed model were sensitivity, specificity, negative (LR-) and positive(LR+) likelihood ratios, accuracy (ACC) and diagnostic odds ratio (DOR).

Results: 226 women with adnexal tumors scheduled for surgery were included in the stutdy. The prevalence of malignancy was 36.3 % in the group of all studied tumors and was 52.5 % in the inconclusive group (n = 40) (p = 0.215). Fewer tumors were classified as inconclusive by level 2 examiners compared to level 1 examiners [20 (8.8 %) vs. 40 (17.7 %); p = 0.008], resulting from the discrepancy in the evaluation of acoustic shadows and the vascularization within the tumor. For level 1 examiners a diagnostic strategy using IOTA SR1 +MA (assuming malignancy when SR inconclusive) achieved a sensitivity, specificity and DOR of 96.3 %, 81.9 %, 13.624 respectively. For level 2 examiners the diagnostic strategy for IOTA SR2 +MA achieved a sensitivity, specificity and DOR of 95.1 %, 89.6 %, 137,143, respectively. Adding SA by an expert (or level 3 examiner) when IOTA SR were not applicable improved the specificity of the test and achieved a DOR of 505.137 (SR1 +SA) and 293.627 (SR2 +SA). The SA by an expert proved to have the best diagnostic performance with a DOR of 5768.857, and a sensitivity and specificity of 97.6 % and 99.3 % respectively. Within the inconclusive group the most common tumors were unilocular-solid (n-13), solid (n-8) and multilocular-solid (n–10) ones. All multilocular tumors were classified as inconclusive because of their size (≥ 100 mm) and were found to be benign by pathology. Most of the inconclusive tumors with cystic content presented low-level (43.75 %) echogenicity, followed by ground-glass (34.37 %), mixed (12.5 %) and anechoic (9.4 %).

Conclusion: The study results show excellent diagnostic performance of IOTA Simple Rules followed by subjective expert assessment in inconclusive tumors irrespective of the level of experience, while subjective assessment by an expert still has the highest diagnostic odds ratio. The number of inconclusive cases seems to depend on the level of ultrasound expertise and less experienced examiners have a tendency to overestimate blood flow and a presence of acoustic shadows within the tumors. IOTA SR were not applicable either because no benign or malignant features were found or both were identified. Within inconclusive tumors the majority of cases comprise malignant masses that are either unilocular-solid, solid tumors or small multilocular-solid ones with a diameter of less than 100 mm.

Zusammenfassung

Ziel: Externe Validierung der „International Ovarian Tumor Analysis (IOTA) Simple Rules (SR)“ durch Untersucher mit unterschiedlichem Maß an Ultraschall-Erfahrung nach Definition der European Federation of Societies for Ultrasound in Medicine and Biology (EFSUMB) und die Bewertung der morphologischen Ultraschallmerkmale von Adnextumoren, die nach den IOTA SR als nicht-konklusiv definiert werden.

Material und Methoden: In der zweijährigen prospektiven Studie wurden Adnextumore präoperativ mit transvaginaler Sonografie durch Untersucher mit unterschiedlichem Maß an Erfahrung (Level-1- IOTA SR1, Level-2-IOTA SR2) beurteilt. Zusätzlich bewertete ein Experte (Level 3) alle Tumore durch subjektive Einschätzung (SA). Wenn die Regeln nicht angewandt werden konnten, wurden die Tumore als nicht-konklusiv betrachtet. Die Enddiagnose basierte auf den histopathologischen Erbebnissen in der entfernten Raumforderung. Die für das Modell beurteilten diagnostischen Leistungsparameter waren Sensitivität, Spezifität, negative (LR-) und positive (LR+) Likelihood-Ratio, Genauigkeit (ACC) and diagnostische Odds Ratio (DOR).

Ergebnisse: In die Studie wurden 226 Frauen mit Adnextumoren und geplanter Operation eingeschlossen. Die Prävalenz für Malignität in der Gruppe aller untersuchter Tumore betrug 36,3 % und innerhalb der nicht-konklusiven Gruppe (n = 40) 52,5 % (p = 0,215). Von den Untersuchern mit Level 2 wurden weniger Tumore als nicht-konklusiv beurteilt, im Vergleich zu Level-1-Untersuchern [20 (8,8 %) vs. 40 (17,7 %); p = 0,008], was durch die unterschiedlichen Bewertung der akustischen Schatten und der Vaskularisierung im Tumor bedingt war. Bei Level-1-Untersuchern erreichte die diagnostische Strategie mittels IOTA SR1 +MA (Malignität angenommen bei nicht-konklusiven SR) eine Sensitivität von 96,3 %, eine Spezifität von 81,9 % und eine DOR von 13,624. Bei Level-2-Untersuchern erreichte die diagnostische Strategie mit IOTA SR2 +MA eine Sensitivität von 95,1 %, eine Spezifität von 89,6 % und eine DOR von 137,143. Die zusätzliche SA eines Experten (oder Level 3-Untersuchers) bei nicht anwendbaren IOTA SR verbesserte die Testspezifität und erreichte eine DOR von 505,137 (SR1 +SA) bzw. 293,627 (SR2 +SA). Die SA eines Experten zeigte die beste diagnostische Leistung mit einer DOR von 5768,857, einer Sensitivität von 97,6 % und einer Spezifität von 99,3 %. Innerhalb der nicht-konklusiven Gruppe sind die häufigsten Tumore unilokulär-solide (n = 13), solide (n = 8) und multilokulär-solide (n = 10). Alle multilokulären Tumore wurden aufgrund ihrer Größe (≥ 100 mm) als nicht-konklusiv klassifiziert und stellten sich in der Pathologie als gutartig heraus. Die meisten der nicht-konklusiven Tumore mit zystischem Inhalt zeigten eine geringgradige Echogenität (43,75 %), gefolgt von milchglasartiger (34,37 %), gemischter (12,5 %) und echofreier (9,4 %) Echogenität.

Schlussfolgerung: Die Studienergebnisse zeigen eine exzellente diagnostische Leistung der IOTA Simple Rules mit nachfolgender subjektiver Beurteilung des Experten bei nicht-konklusiven Tumoren unabhängig von der Expertise. Dennoch hat die subjektiven Bewertung des Experten die höchste diagnostische Odds Ratio. Die Anzahl der nicht-konklusiven Fälle scheint von der Ultraschall-Qualifikation abzuhängen und weniger erfahrene Untersucher neigen zu einer Überbewertung des Blutflusses und des Auftretens von akustischen Schatten in den Tumoren. IOTA SR waren nicht anwendbar, wenn weder benigne oder maligne Merkmale gefunden wurden oder beides entdeckt wurde. Bei nicht-konklusiven Tumoren hatte die Mehrzahl der Fälle maligne Raumforderungen, die entweder unilokulär-solide oder solide Tumore oder kleine multilokuläre Tumore mit einem Durchmesser unter 100 mm waren.

Keywords

IOTA - simple rules - adnexal tumors - ultrasound - genital/reproductive - ovary - pelvic organs - ultrasound 2 D

• References

• 1 Sassone AM, Timor-Tritsch IE, Artner A et al. Transvaginal sonographic characterization of ovarian disease: evaluation of a new scoring system to predict ovarian malignancy. Obstet Gynecol 1991; 78: 70-76
• 2 DePriest PD, Varner E, Powell J et al. The efficacy of a sonographic morphology index in identifying ovarian cancer: a multi-institutional investigation. Gynecol Oncol 1994; 55: 174-178
• 3 Jacobs I, Oram D, Fairbanks J et al. A risk of malignancy index incorporating CA 125, ultrasound and menopausal status for the accurate preoperative diagnosis of ovarian cancer. Br J Obstet Gynaecol 1990; 97: 922-929
• 4 Ferrazzi E, Zanetta G, Dordoni D et al. Transvaginal ultrasonographic characterization of ovarian masses: comparison of five scoring systems in a multicenter study. Ultrasound Obstet Gynecol 1997; 10: 192-197
• 5 Timmerman D, Schwärzler P, Collins WP et al. Subjective assessment of adnexal masses with the use of ultrasonography: an analysis of interobserver variability and experience. Ultrasound Obstet Gynecol 1999; 13: 11-16
• 6 Valentin L. Prospective cross-validation of Doppler ultrasound examination and gray-scale ultrasound imaging for discrimination of benign and malignant pelvic masses. Ultrasound Obstet Gynecol 1999; 14: 273-283
• 7 Van Calster B, Timmerman D, Bourne T et al. Discrimination between benign and malignant adnexal masses by specialist ultrasound examination versus serum CA-125. J Natl Cancer Inst 2007; 99: 1706-1714
• 8 Timmerman D, Testa AC, Bourne T et al. Simple ultrasound-based rules for the diagnosis of ovarian cancer. Ultrasound Obstet Gynecol 2008; 31: 681-690
• 9 Timmerman D, Ameye L, Fischerova D et al. Simple ultrasound rules to distinguish between benign and malignant adnexal masses before surgery: prospective validation by IOTA group. BMJ 2010; 341: c6839
• 10 Kaijser J, Sayasneh A, Van Hoorde K et al. Presurgical diagnosis of adnexal tumours using mathematical models and scoring systems: a systematic review and meta-analysis. Hum Reprod Update 2014; 20: 449-462
• 11 Fathallah K, Huchon C, Bats AS et al. External validation of simple ultrasound rules of Timmerman on 122 ovarian tumors. Gynecol Obstet Fertil 2011; 39: 477-481
• 12 Sayasneh A, Wynants L, Preisler J et al. Multicentre external validation of IOTA prediction models and RMI by operators with varied training. Br J Cancer 2013; 108: 2448-2454
• 13 Sayasneh A, Kaijser J, Preisler J et al. A multicenter prospective external validation of the diagnostic performance of IOTA simple descriptors and rules to characterize ovarian masses. Gynecol Oncol 2013; 130: 140-146
• 14 Hartman CA, Juliato CR, Sarian LO et al. Ultrasound criteria and CA 125 as predictive variables of ovarian cancer in women with adnexal tumors. Ultrasound Obstet Gynecol 2012; 40: 360-366
• 15 European Federation of Societies for Ultrasound in Medicine and Biology (EFSUMB). Minimum training requirements for the practice of medical ultrasound in Europe. www.efsumb.org/guidelines/2009-04-14apx1.pdf
• 16 Timmerman D, Valentin L, Bourne TH. . International Ovarian Tumor Analysis (IOTA) Group. et al. Terms, definitions and measurements to describe the sonographic features of adnexal tumors: a consensus opinion from the International Ovarian Tumor Analysis (IOTA) Group. Ultrasound Obstet Gynecol 2000; 16: 500-517
• 17 Kurman RJ, Carcangiu ML, Herrington CS et al. WHO Classification of Tumours, IARC WHO Classification of Tumours. WHO Press; 2014 No 6. Edition 4.
• 18 Bossuyt PM, Reitsma JB, Bruns DE et al. The Standards for Reporting of Diagnostic Accuracy Group. Standards for Reporting of Diagnostic Accuracy Group. Croat Med J 2003; 44: 639-650
• 19 RCOG Green-top Guideline No. 62. RCOG/BSGE Joint Guideline 2011. Royal College of Obstetricians and Gynaecologists. Management of Suspected Ovarian Masses in Premenopausal Women.
• 20 Alcázar JL, Pascual MÁ, Olartecoechea B et al. IOTA simple rules for discriminating between benign and malignant adnexal masses: prospective external validation. Ultrasound Obstet Gynecol 2013; 42: 467-471
• 21 Timmerman D, Van Calster B, Testa AC et al. Ovarian cancer prediction in adnexal masses using ultrasound-based logistic regression models: a temporal and external validation study by the IOTA group. Ultrasound Obstet Gynecol 2010; 36: 226-234
• 22 Di Legge A, Testa AC, Ameye L et al. Lesion size affects diagnostic performance of IOTA logistic regression models, IOTA simple rules and risk of malignancy index in discriminating between benign and malignant adnexal masses. Ultrasound Obstet Gynecol 2012; 40: 345-354
• 23 Paladini D, Testa A, Van Holsbeke C et al. Imaging in gynecological disease (5): clinical and ultrasound characteristics in fibroma and fibrothecoma of the ovary. Ultrasound Obstet Gynecol 2009; 34: 188-195
• 24 Wang S, Johnson S. Predition of benignity of solid adnexal masses. Arch Gynecol Obstet 2012; 285: 721-726
• 25 Alcázar JL, Díaz L, Flórez P. Intensive training program for ultrasound diagnosis of adnexal masses: protocol and preliminary results. Ultrasound Obstet Gyneco 2013; 42: 218-223