Abstract
Purpose
To assess and compare the probabilities of AI-generated content within scientific
abstracts from selected Q1 journals in the fields of radiology, nuclear medicine,
and imaging, published between May and August 2022 and May and August 2023.
Materials and Methods
An extensive list of Q1 journals was acquired from Scopus in the fields of radiology,
nuclear medicine, and imaging. All articles in these journals were acquired from the
Medline databases, focusing on articles published between May and August in 2022 and
2023. The study specifically compared abstracts for limitations of the AI detection
tool in terms of word constraints. Extracted abstracts from the two different periods
were categorized into two groups, and each abstract was analyzed using the AI detection
tool, a system capable of distinguishing between human and AI-generated content with
a validated accuracy of 97.06 %. This tool assessed the probability of each abstract
being AI-generated, enabling an in-depth comparison between the two groups in terms
of the prevalence of AI-generated content probability.
Results
Group 1 and Group 2 exhibit significant variations in the characteristics of AI-generated
content probability. Group 1, consisting of 4,727 abstracts, has a median AI-generated
content probability of 3.8 % (IQR1.9–9.9 %) and peaks at 49.9 %, with the computation
times contained within a range of 2 to 10 seconds (IQR 3–8 s). In contrast, Group
2, which is composed of 3,917 abstracts, displays a significantly higher median AI-generated
content probability at 5.7 % (IQR2.8–12.9 %) surging to a maximum of 69.9 %, with
computation times spanning from 2 to 14 seconds (IQR 4–11 s). This comparison yields
a statistically significant difference in median AI-generated content probability
between the two groups (p = 0.005). No significant correlation was observed between
word count and AI probability, as well as between article type, primarily original
articles and reviews, and AI probability, indicating that AI probability is independent
of these factors.
Conclusion
The comprehensive analysis reveals significant differences and variations in AI-generated
content probabilities between 2022 and 2023, indicating a growing presence of AI-generated
content. However, it also illustrates that abstract length or article type does not
impact the likelihood of content being AI-generated.
Key Points
-
The study examines AI-generated content probability in scientific abstracts from Q1
journals between 2022 to 2023.
-
The AI detector tool indicates an increased median AI content probability from 3.8 %
to 5.7 %.
-
No correlation was found between abstract length or article type and AI probability.
Citation Format
Zusammenfassung
Zweck
Ziel ist es, die Wahrscheinlichkeiten von KI-generierten Inhalten in wissenschaftlichen
Abstracts aus ausgewählten Q1-Zeitschriften in den Bereichen Radiologie, Nuklearmedizin
und Bildgebung zu bewerten und zu vergleichen, die zwischen Mai und August 2022 sowie
Mai und August 2023 veröffentlicht wurden.
Materialien und Methoden
Eine umfangreiche Liste von Q1-Zeitschriften wurde von Scopus in den Bereichen Radiologie,
Nuklearmedizin und Bildgebung erworben. Alle Artikel aus diesen Zeitschriften wurden
aus den Medline-Datenbanken bezogen, wobei der Fokus auf Artikeln lag, die zwischen
Mai und August 2022 und 2023 veröffentlicht wurden. Die Studie verglich speziell Abstracts
hinsichtlich der Grenzen des verwendeten KI-Erkennungstools in Bezug auf Wortbeschränkungen.
Die aus den beiden Zeiträumen extrahierten Abstracts wurden in zwei Gruppen eingeteilt,
und jedes Abstract wurde mit dem KI-Erkennungstool analysiert, einem System, das zwischen
von Menschen und KI generierten Inhalten mit einer validierten Genauigkeit von 97,06 %
unterscheiden kann. Dieses Tool bewertete die Wahrscheinlichkeit, dass jedes Abstract
KI-generiert war, und ermöglichte so einen detaillierten Vergleich zwischen den beiden
Gruppen in Bezug auf die Verbreitung der Wahrscheinlichkeit von KI-generierten Inhalten.
Ergebnisse
Gruppe 1 und Gruppe 2 zeigen signifikante Unterschiede in den Merkmalen der Wahrscheinlichkeit
von KI-generierten Inhalten. Gruppe 1, bestehend aus 4.727 Abstracts, hat eine mediane
KI-generierte Inhalts-Wahrscheinlichkeit von 3,8 % (IQR 1,9 %–9,9 %) und erreicht
Spitzenwerte von 49,9 %, mit Berechnungszeiten von 2 bis 10 Sekunden (IQR 3s–8 s).
Im Gegensatz dazu zeigt Gruppe 2, die aus 3.917 Abstracts besteht, eine deutlich höhere
mediane KI-generierte Inhalts-Wahrscheinlichkeit von 5,7 % (IQR 2,8 %–12,9 %) und
erreicht ein Maximum von 69,9 %, mit Berechnungszeiten von 2 bis 14 Sekunden (IQR
4s–11 s). Dieser Vergleich ergibt einen statistisch signifikanten Unterschied in der
medianen Wahrscheinlichkeit von KI-generierten Inhalten zwischen den beiden Gruppen
(p = 0,005). Es wurde keine signifikante Korrelation zwischen der Wortanzahl und der
KI-Wahrscheinlichkeit beobachtet, ebenso wie zwischen dem Artikeltyp, hauptsächlich
Originalartikel und Übersichten, und der KI-Wahrscheinlichkeit, was darauf hinweist,
dass die KI-Wahrscheinlichkeit unabhängig von diesen Faktoren ist.
Schlussfolgerung
Die umfassende Analyse zeigt signifikante Unterschiede und Variationen in den Wahrscheinlichkeiten
von KI-generierten Inhalten zwischen 2022 und 2023, was auf eine zunehmende Präsenz
von KI-generierten Inhalten hinweist. Es zeigt jedoch auch, dass weder die Länge des
Abstracts noch der Artikeltyp die Wahrscheinlichkeit beeinflussen, dass der Inhalt
KI-generiert ist.
Kernaussagen
-
Die Studie untersucht die Wahrscheinlichkeit von KI-generierten Inhalten in wissenschaftlichen
Abstracts aus Q1-Zeitschriften zwischen 2022 und 2023.
-
Das KI-Erkennungstool zeigt eine erhöhte mediane Wahrscheinlichkeit für KI-Inhalte
von 3,8 % auf 5,7 %.
-
Es wurde keine Korrelation zwischen Abstract-Länge oder Artikeltypen und KI-Wahrscheinlichkeit
gefunden.
Keywords
abstract - artificial intelligence - quantitative analysis - radiology - research
