Intra- and interobserver variability of thyroid volume measurements in healthy adults by 2D versus 3D ultrasound

Summary

Thyroid volume measurement by ultrasonography (US) is essential in numerous clinical diagnostic and therapeutic fields. While known to be limited, the accuracy and precision of two-dimensional (2D) US thyroid volume measurement have not been thoroughly characterized. Objective: We sought to assess the intra- and interobserver variability, accuracy and precision of thyroid volume determination by conventional 2D US in healthy adults using reference volumes determined by three-dimensional (3D) US. Design, methods: In a prospective blinded trial, thyroid volumes of ten volunteers were determined repeatedly by nine experienced sonographers using conventional 2D US (ellipsoid model). The values obtained were statistically compared to the so-called true volumes determined by 3D US (multiplanar approximation), the so-called gold standard, to estimate systematic errors and relative deviations of individual observers. Results: The standard error of measurement (SEM) for one observer and successive measurements (intraobserver variability), was 14%, and for different observers and repeated measurements (interobserver variability), 17%. The minimum relative thyroid volume change significantly different at the 95% level was 39% for the same observer and 46% for different observers. Regarding accuracy, the mean value of the differences showed a significant thyroid volume overestimation (17%, p <0.01) by 2D relative to 3D US. Conclusion: 2D US is appropriate for routine thyroid volumetry. Nevertheless, the so-called human factor (random error) should be kept in mind and correction is needed for methodical bias (systematic error). Further efforts are required to improve the accuracy and precision of 2D US thyroid volumetry by optimizing the underlying geometrical modeling or by the application of 3D US.

Zusammenfassung

Die Volumenbestimmung der Schilddrüse (SD) durch Ultraschall (US) hat in zahlreichen diagnostischen und therapeutischen Anwendunen einen hohen Stellenwert. Obgleich SD-Volumenbestimmungen durch zweidimensionalen (2D) US fehleranfällig sind, sind Richtigkeit und Präzision dieser Methode noch nicht ausreichend charakterisiert worden. Ziel dieser Arbeit war es, Intra- und Interobserver- Variabilität, Richtigkeit und Präzision der SD-Volumenbestimmung durch den konventionellen 2D-US bei gesunden Erwachsenen anhand von dreidimensionalen (3D) Referenzvolumina zu ermitteln. Probanden, Methoden: Im Rahmen einer prospektiven, verblindeten Studie wurden die SD-Volumina von zehn Probanden mehrmals von neun erfahrenen US-Untersuchern mittels 2D-US (ellipsoides Modell) bestimmt. Die so erhaltenen Messwerte wurden statistisch mit den im 3D-US (multiplanare Approximation) als so genannten Goldstandard ermittelten (wahren) Volumina verglichen, um systematische Fehler und relative Abweichungen einzelner Untersucher abzuschätzen. Ergebnisse: Der Standardfehler (SEM) bezogen auf einen Untersucher und mehrere Messungen (Intraobserver-Variabilität) lag bei 14%, bezogen auf unterschiedliche Untersucher und mehrere Messungen (Interobserver-Variabilität) bei 17%. Die auf dem 95%-Signifikanzlevel unterscheidbare minimale relative SD-Volumenänderung betrug für denselben Untersucher 39%, für unterschiedliche Untersucher 46%. Der Mittelwert der Differenzen ergab hinsichtlich der Richtigkeit eine signifikante überschätzung des SD-Volumens (17%, p <0,01) durch den 2D- gegenüber dem 3D-US. Schlussfolgerung: Der 2D-US ist ein geeignetes Hilfsmittel für die SD-Volumetrie in der Routineanwendung. Allerdings sollte der zufällige Fehler (Faktor Mensch) nicht außer Acht gelassen und berücksichtigt werden, dass methodische Abweichung (systematische Fehler) eine Fehlerkorrektur erfordern. Es bedarf weiterer Bemühungen, um Richtigkeit und Präzision der SD-Volumetrie durch 2D-US zu verbessern, z. B. durch Optimierung der geometrischen Modellierung der SD oder 3D-US.

Keywords

Thyroid volumetry - two-dimensional ultrasound - three-dimensional ultrasound - intraobserver variability - interobserver variability - accuracy - precision - systematic observer error - random observer error

Schlüsselwörter

Schilddrüsenvolumetrie - zweidimensionaler Ultraschall - dreidimensionaler Ultraschall - Intraobserver-Variabilität - Interobserver-Variabilität - Richtigkeit - Präzision - systematischer Fehler - zufälliger Fehl

• References

• 1 Bland JM, Altman DG. Statistical methods for assessing agreement between two methods of clinical measurement. Lancet 1986; 8: 307-10.
• 2 Brander A, Viikinkoski P, Nickels J. et al. Thyroid gland: US screening in middle-aged women with no previous thyroid disease. Radiology 1989; 173: 507-10.
• 3 Brauer VF, Eder P, Miehle K. et al. Interobserver variation for ultrasound determination of thyroid nodule volumes. Thyroid 2005; 15: 1169-75.
• 4 Brunn J, Block U, Ruf G. et al. Volumetrie der Schilddrüsenlappen mittels Real-time-Sonogra- phie. Dtsch Med Wochenschr 1981; 106: 1338-40.
• 5 Eliasziw M, Young SL, Woodbury MG. et al. Statistical methodology for the concurrent assessment of interrater and intrarater reliability: using gonio- metric measurements as an example. Phys Ther 1994; 74: 777-88.
• 6 Fleiss JL, Shrout PE. Approximate interval estimation for a certain intraclass correlation coefficient. Psychometrika 1978; 43: 259-62.
• 7 Grussendorf M, Vaupel R, Reiners C. et al. Die LISA-Studie - eine randomisierte, doppelblinde, vierarmige, plazebokontrollierte, multizentrische Studie an 1000 Patienten über die medikamentöse Therapie der Struma in Deutschland. Med Klin (Munich) 2005; 100: 542-6.
• 8 Hegedüs L. Thyroid size determined by ultrasound. Influence of physiological factors andnon- thyroidal disease. Dan Med Bull 1990; 37: 249-63.
• 9 Hussy E, Voth E, Schicha H. Sonographische Bestimmung des Schilddrüsenvolumens-Vergleich mit operativen Daten. Nuklearmedizin 2000; 39: 102-7.
• 10 Igl W. Volumenbestimmung der Schilddrüse mit Hilfe der Sonographie undVergleichmit anderen Methoden. Verh Dtsch Ges Inn Med 1981; 87: 379-82.
• 11 Jarløv AE, Hegedüs L, Kristensen LO. et al. Is calculation of the dose in radioiodine therapy ofhy- perthyroidism worth while?. Clin Endocrinol (Oxf) 1995; 43: 325-9.
• 12 Jarløv AE, Nygaard B, Hegedüs L. et al. Observer variation in ultrasound assessment of the thyroid gland. Br J Radiol 1993; 66: 625-7.
• 13 Knudsen N, Bols B, Bülow I. et al. Validation of ultrasonography for the thyroid gland for epidemiological purposes. Thyroid 1999; 9: 1069-74.
• 14 Knudsen N, Bülow I, Jørgensen T. et al. Goitre prevalence and thyroid abnormalities at ultrasonography: acomparative epidemiological study in two regions with slightly different iodine status. Clin Endocrinol (Oxf) 2000; 53: 479-85.
• 15 Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33: 159-74.
• 16 Langer P. Normal thyroid size versus goiter-postmortem thyroid weight and ultrasonographic vol- umetry versus physical examination. Endocrinol Exp 1989; 23: 67-76.
• 17 Lucas KJ. Use of thyroid ultrasound volume in calculating radioactive iodine dose in hyperthy- roidism. Thyroid 2000; 10: 151-5.
• 18 Lyshchik A, Drozd V, Reiners C. Accuracy of three-dimensional ultrasound for thyroid volume measurement in children and adolescents. Thyroid 2004; 14: 113-20.
• 19 Miccoli P, Minuto MN, Orlandini C. et al. Ultrasonography estimated thyroid volume: a prospective study about its reliability. Thyroid 2006; 16: 37-9.
• 20 Nygaard B, Nygaard T, Court-Payen M. et al. Thyroid volume measured by ultrasonography and CT. Acta Radiol 2002; 43: 269-74.
• 21 özgen A, Erol C, Kaya A. et al. Interobserver and intraobserver variations in sonographic measurement of thyroid volume in children. Eur J Endocrinol 1999; 140: 328-31.
• 22 Peters H, Fischer C, Bogner U. et al. Radioiodine therapy of Graves' hyperthyroidism: standard vs. calculated 131iodine activity Results from apros- pective, randomized, multicentre study. Eur J Clin Invest 1995; 25: 186-93.
• 23 Rasmussen SN, Hjorth L. Determination of thyroid volume by ultrasonic scanning. J Clin Ultrasound 1974; 2: 143-7.
• 24 Reinartz P, Sabri O, Zimny M. et al. Thyroid volume measurement in patients prior to radioiodine therapy: comparison between three-dimensional magnetic resonance imaging and ultrasonography. Thyroid 2002; 12: 713-7.
• 25 Reiners C, Wegscheider K, Schicha H. et al. Prevalence of thyroid disorders in the working population of Germany: ultrasonography screening in 96,278 unselected employees. Thyroid 2004; 14: 926-32.
• 26 Riccabona M, Nelson TR, Pretorius DH. et al. Distance and volume measurement using three-dimensional ultrasonography. J Ultrasound Med 1995; 14: 881-6.
• 27 Schlögl S, Andermann P, Luster M. et al. A novel thyroid phantom for ultrasound volumetry: determination of intraobserver and interobserver variability. Thyroid 2006; 16: 41-6.
• 28 Schlögl S, Werner E, Lassmann M. et al. The use of three-dimensional ultrasound for thyroid vol- umetry. Thyroid 2001; 11: 569-74.
• 29 Szebeni A, Beleznay E. New simple method for thyroid volume determination by ultra- sonography. JClin Ultrasound 1992; 20: 329-37.
• 30 Tong S, Cardinal HN, McLoughlin RF. et al. Intra- and inter-observer variability and reliability of prostate volume measurement via two-dimensional and three-dimensional ultrasound imaging. Ultrasound Med Biol 1998; 24: 673-81.
• 31 Van Isselt JW, de Klerk JM, van Rijk PP. et al. Comparison of methods for thyroid volume estimation in patients with Graves' disease. Eur I Nucl Med Mol Imaging 2003; 30: 525-31.