Abstract
Purpose To assess the diagnostic value of automatic embolus detection software (AEDS) in
transcranial Doppler (TCD) monitoring for the detection of solid microemboli in patients
at risk for perioperative stroke during carotid endarterectomy (CEA).
Materials and Methods In 50 patients undergoing CEA, perioperative TCD registration was recorded. All recorded
events, identified and saved by the AEDS, were analyzed off-line doubly by two human
experts (HEs) within a time frame of > 4 months. The inter- and intraobserver variability
was assessed. The overall agreement with the HEs, the sensitivity, specificity, negative
and positive predictive values (NPV and PPV) of the AEDS were computed for different
cut-offs (patient displaying perioperative 5, 10, 20, 25, or 50 microemboli).
Results 77 233 events were analyzed. The inter- and intraobserver variability was good (min
κ = 0.72, max κ = 0.79). AEDS and the HEs identified 760 and 470 solid emboli, respectively.
The agreement between AEDS and the HEs for solid emboli detection was poor (κ = 0.24,
SE = 0.016). The specificity and NPV were high (99.2 % and 99.6 %) but the sensitivity
and PPV were low (30.6 % and 19.8 %). Applying a threshold of > 20 microemboli resulted
in the best sensitivity (100.0 %), specificity (84.4 %), PPV (42.7 %), NPV (100.0 %)
and area under the curve (0.898). However, 58.3 % of the patients were false positive
as classified by AEDS.
Conclusion In this validation cohort, AEDS has insufficient agreement with HEs in the identification
of solid emboli. AEDS and HEs disagree with respect to the identification of specific
patients at risk. Therefore, AEDS cannot be used as a standalone system to identify
patients at risk for perioperative stroke during CEA.
Zusammenfassung
Ziel Untersuchung des diagnostischen Werts der automatischen Emboli-Detektionssoftware
(AEDS) in der transkraniellen Dopplersonografie (TCD) für den Nachweis von soliden
Mikroemboli bei Patienten mit Risiko für perioperative Schlaganfälle bei Carotis-Endarteriektomie
(CEA).
Material und Methoden Bei 50 Patienten mit CEA wurde eine perioperative TCA-Registrierung dokumentiert.
Alle mittels AEDS aufgenommenen und gesicherten Ereignisse wurden innerhalb von > 4
Monaten doppelt off-line durch zwei Experten (HEs) ausgewertet und die Inter- und
Intraobserver-Variabilität wurde bestimmt. Die Gesamtübereinstimmung der beiden HEs
und die Sensitivität, Spezifität, negative und positive Vorhersagewerte (NPV und PPV)
der AEDS wurden für verschiedene Cut-offs (Patienten mit 5, 10, 20, 25 oder 50 Mikroemboli)
berechnet.
Ergebnisse 77 233 Ereignisse wurden ausgewertet. Die Inter- und Intraobserver-Variabilität war
gut (min κ = 0,72; max κ = 0,79). AEDS identifizierte 760 solide Emboli, die HEs fanden
470. Die Übereinstimmung von AEDS und HEs beim Nachweis solider Emboli war schlecht
(κ = 0,24; SE = 0,016). Spezifität und NPV waren hoch (99,2 % and 99,6 %), Sensitivität
und PPV hingegen niedrig (30,6 % und 19,8 %). Bei einem Grenzwert von > 20 Mikroemboli
wurden die höchsten Raten für Sensitivität (100,0 %), Spezifität (84,4 %), PPV (42,7 %),
NPV (100,0 %) und Area-under-the-curve (0,898) erzielt. Allerdings wurden 58,3 % der
Patienten durch AEDS als falsch-positiv klassifiziert.
Schlussfolgerung In dieser Kohorte zeigte AEDS eine unzureichende Übereinstimmung mit den HEs bei
der Identifizierung von Risikopatienten. Deshalb kann AEDS nicht als autonomes Verfahren
angewandt werden, um Patienten mit Risiko für einen perioperativen Schlaganfalls bei
CEA zu identifizieren.
Key words
carotid arteries - embolism/thrombosis - ultrasound Doppler
