Ultraschall in Med
DOI: 10.1055/s-0043-113819
Original Article
© Georg Thieme Verlag KG Stuttgart · New York

Simple Rules, Not So Simple: The Use of International Ovarian Tumor Analysis (IOTA) Terminology and Simple Rules in Inexperienced Hands in a Prospective Multicenter Cohort Study

„Simple Rules“ – nicht so einfach: Anwendung der „International Ovarian Tumor Analysis“ (IOTA)- Terminologie und der „Simple Rules“ in unerfahrenen Händen in einer prospektiven multizentrischen KohortenstudieEvelyne Meys1, Iris Rutten1, Roy Kruitwagen1, Brigitte Slangen1, Sandrina Lambrechts1, Helen Mertens2, Ernst Nolting3, Dieuwke Boskamp4, Toon Van Gorp1
  • 1GROW – School for Oncology and Developmental Biology, Maastricht University Medical Centre (MUMC+), Maastricht, Netherlands
  • 2Board of Directors, Maastricht University Medical Centre (MUMC+), Maastricht, Netherlands (Formerly: Zuyderland hospital, Sittard)
  • 3Obststrics & Gynaecology, Sint Jans Gasthuis Weert, Netherlands
  • 4Obststrics & Gynaecology, VieCuri Medisch Centrum, Venlo, Netherlands
Further Information

Publication History

13 October 2016

29 April 2017

Publication Date:
23 August 2017 (eFirst)

Abstract

Objectives To analyze how well untrained examiners – without experience in the use of International Ovarian Tumor Analysis (IOTA) terminology or simple ultrasound-based rules (simple rules) – are able to apply IOTA terminology and simple rules and to assess the level of agreement between non-experts and an expert.

Methods This prospective multicenter cohort study enrolled women with ovarian masses. Ultrasound was performed by non-expert examiners and an expert. Ultrasound features were recorded using IOTA nomenclature, and used for classifying the mass by simple rules. Interobserver agreement was evaluated with Fleiss’ kappa and percentage agreement between observers.

Results 50 consecutive women were included. We observed 46 discrepancies in the description of ovarian masses when non-experts utilized IOTA terminology. Tumor type was misclassified often (n = 22), resulting in poor interobserver agreement between the non-experts and the expert (kappa = 0.39, 95 %-CI 0.244 – 0.529, percentage of agreement = 52.0 %). Misinterpretation of simple rules by non-experts was observed 57 times, resulting in an erroneous diagnosis in 15 patients (30 %). The agreement for classifying the mass as benign, malignant or inconclusive by simple rules was only moderate between the non-experts and the expert (kappa = 0.50, 95 %-CI 0.300 – 0.704, percentage of agreement = 70.0 %). The level of agreement for all 10 simple rules features varied greatly (kappa index range: -0.08 – 0.74, percentage of agreement 66 – 94 %).

Conclusion Although simple rules are useful to distinguish benign from malignant adnexal masses, they are not that simple for untrained examiners. Training with both IOTA terminology and simple rules is necessary before simple rules can be introduced into guidelines and daily clinical practice.

Zusammenfassung

Ziel Analyse, ob ungeübte Anwender – ohne Erfahrung mit der „International Ovarian Tumor Analysis“ (IOTA)- Terminologie oder einfache ultraschallbasierten Regeln („Simple Rules“) – in der Lage sind, IOTA-Kriterien und „Simple Rules“ anzuwenden. Auch wird der Grad der Übereinstimmung zwischen Nichtexperten und Experten bewertet.

Methoden Diese prospektive multizentrische Kohortenstudie nahm Frauen mit ovarialen Raumforderungen auf. Die Sonografie wurde von Nichtexperten und einem Experten durchgeführt. Ultraschall-Kriterien wurden mittels IOTA-Nomenklatur dokumentiert und dann für die Klassifizierung der Raumforderung mittels „Simple Rules“ verwendet. Die Intraobserver-Übereinstimmung zwischen den Beobachtern wurde durch Fleiss-Kappa und prozentualer Übereinstimmung bewertet.

Ergebnisse Eingeschlossen wurden 50 aufeinander folgende Frauen. Wir beobachteten 46 Diskrepanzen bei der Beschreibung der ovarialen Raumforderungen, wenn Nichtexperten die IOTA-Terminologie benutzten. Der Tumortyp wurde häufig falsch klassifiziert (n = 22), was zu einer schlechten Interobserver-Übereinstimmung zwischen Nichtexperten und Experten führte (Kappa = 0,39; 95 %-CI 0,244 – 0,529; prozentuale Übereinstimmung = 52,0 %). Eine Falschinterpretation der „Simple Rules“ durch Nichtexperten wurde 57 Mal beobachtet und führte bei 15 Patienten (30 %) zu einer Falschdiagnose. Die Übereinstimmung bei der Klassifizierung einer Raumforderung als gutartig, maligne oder nicht eindeutig durch die „Simple Rules“ war zwischen Nichtexperten und Experten nur mittelmäßig (Kappa = 0,50; 95 %-CI 0,300 – 0,704; prozentuale Übereinstimmung = 70,0 %). Der Grad der Übereinstimmung bei allen 10 „Simple Rules“-Kriterien variierte enorm (Kappa-Index-Bereich: -0,08 – 0,74; prozentuale Übereinstimmung 66 – 94 %).

Schlussfolgerung Obwohl die „Simple Rules“ nützlich sind, um benigne und maligne adnexale Raumforderungen zu unterscheiden, sind diese für ungeübte Untersucher nicht so einfach zu handhaben. Schulungen die sowohl IOTA-Terminologie als auch „Simple Rules“, zum Inhalt haben sind notwendig, noch ehe „Simple Rules“ in Leitlinien und den Praxisalltag Eingang finden.