This paper uses simple receiver operating characteristic (ROC) curves (i) to study
the effect of varying computer confidence of threshold levels and (ii) to evaluate
clinical performance in the diagnosis of acute appendicitis. Over 1300 patients presenting
to five centres with abdominal pain of short duration were studied in varying detail.
Clinical and computer-aided diagnostic predictions were compared with the »final«
diagnosis. From these studies it is concluded the simplistic setting of a 50/50 confidence
threshold for the computer program is as »good« as any other. The proximity of a computer-aided
system changed clinical behaviour patterns; a higher overall performance level was
achieved and clinicians performance levels became associated with the »mildly conservative«
end of the computers ROC curve. Prior forecasts of over-confidence or ultra-caution
amongst clinicians using the computer-aided system have not been fulfilled.
Die vorliegende Arbeit verwendet Annahme-Kennlinien (Receiver Operation Characteristic
Curves) um 1.) den Effekt veränderlicher Computer-Konfidenzschwellen und 2.) das klinische
Vorgehen bei der Diagnosestellung der akutön Appendizitis zu beurteilen. Mehr als
1300 Patienten aus fünf medizinischen Zentren mit kurzdauernden Bauchschmerzen wurden
mehr oder weniger eingehend untersucht. Klinische und computerunterstützte diagnostische
Voraussagen wurden mit der »endgültigen« Diagnose verglichen. Aus den Untersuchungen
wird geschlossen, daß eine vereinfachte 50/50 Konfidenz-Schwelle für das Computer-Programm
genau so »gut« ist wie jede andere Vorgabe. Bereits das Vorhandensein eines computerunterstützten
Systems änderte das klinische Verhaltensmuster; es wurde ein höheres Niveau des Gesamtverhaltens
erreicht und die Stufe des klinischen Vorgehens näherte sich dem »leicht konservativen«
Ende der Computer-Kennlinie. Voraussagen, daß die ein computerunterstütztes System
benutzenden Kliniker entweder allzu vertrauensselig oder übervorsichtig reagieren
würden, haben sich nicht bestätigt.
Key-words: Computer-aided Diagnosis - Appendicitis - ROC Curves
Schlüssel-Wörter: Compiiterunterstützte Diagnose - Appendizitis - ROC-Kurven (Amiahme-Kennlinien)
