Impact Factors and Prediction of Popular Topics in a Journal

The impact factor (IF) for 2015 was recently released and this could be the time to once again reflect on its use as a metric of a journal. Problems and concerns regarding the IF have been addressed extensively elsewhere [1] [2]. The principle of the IF for a given year is that it represents the average number of citations of articles published in the journal in the two previous years.

While authors frequently cite the IF as a determining factor for submission, the IF does not predict how many times individual articles will be cited. In a study from a peer-reviewed cardiovascular journal, nearly half of all published articles were poorly cited, i. e., less than five citations in five years [3]. A similar percentage seems to apply to our journal. In nearly all journals we estimate that the majority of citations relate to a minority of the articles. Some articles are never cited. 13 % of the articles published in our journal from 2010 to 2013 have never been cited.

Even authors of poorly cited articles benefit from the IF since many institutions use the combined impact factors of their published papers to measure research activity and this may be reflected in their research budgets.

The competition for the printed pages in the six annual issues of Ultraschall in der Medizin/European Journal of Ultrasound (UiM/EJU) has resulted in high rejection rates (between 80 % and 90 %). One negative review with recommendation of major revision may therefore result in rejection. Peer-review fraud where the submitting author listed recommended reviewers with fake email addresses supplying fabricated peer reviews has recently been described in the New England Journal of Medicine [4]. Some of the editors of our journal believe they have experienced this as well. Fabricating reviews in order to get a high IF for an article is to be considered fraud and is inexcusable.

One aspect of using impact factors as a measure of the quality of a journal is that the IF only goes back two years. There may be differences between journals for different medical specialties since the citations in some areas seem to “burn out” within a few years while some articles continue to be cited even after several years. Therefore, a citation window that is longer than 2 years has been proposed [5].

For this editorial we took a look at the 60 articles published in UiM/EJU in 2010. Half of them were no longer being cited in 2015. However, 10 articles were cited more than 5 times in 2015, and 5 of these were cited more than 10 times [6] [7] [8] [9] [10]. It therefore seems that many of our articles have a long scientific life and generate more citations than indicated by the IF. Moreover, some articles have the highest number of citations after three years when they are no longer contributing to the impact factor. The most frequently cited articles from 2010 were multicenter studies, recommendations, and papers on hot topics like contrast-enhanced ultrasound (CEUS) and elastography, but it should be noted that there were also articles on the same topics that were poorly cited.

The same trending topics continued into 2013 now topped by European guidelines and recommendations [11] [12] [13]. 9 of the 10 most cited articles we published in 2014 were on CEUS or elastography [14] [15] [16] [17] [18] [19] [20] [21] [22], but the most cited article from that year so far has been on peripheral nerves [23]. Surprisingly many good scientific papers on obstetrics/fetal US and musculoskeletal US have low citation rates [24] [25] [26]. Our predictions for 2016 based on the topics of submitted articles in the last 12 months are that CEUS and elastography will continue to be popular topics.

It is also worth mentioning that there can be a discrepancy between which titles are cited and which are accessed online. In addition to international guidelines, our CME articles are usually popular according to online access. CME articles are well established educational papers but they are rarely cited for the IF. Looking at the most read full-text recent articles on our journal’s website shows that multicenter studies as well as recommendations backed by a national society or by the EFSUMB (European Federation of Societies for Ultrasound in Medicine and Biology) are still important [27] [28] [29] [30] [31] [32] [33]. Upcoming important topics appear to be pediatric use of CEUS, simulation training and the introduction of ultrasound to medical students [34] [35] [36] [37]. Some of these are also backed by EFSUMB.

A recent paper on the IF of radiology journals found that subspecialty radiology journals had a higher IF than general radiology journals [38]. This could prove a challenge to interdisciplinary journals like ours but we take pride in continuing to cover all aspects of ultrasound in more than 15 fields.

The distribution between reviews, original articles and case reports in a journal is worth addressing. An important aspect of a journal is the publication of original scientific research articles. CME articles, pictorials and letters are important for other reasons but are cited at a lower rate. The value of case reports with regard to the IF is low since they are rarely cited [39] and we have observed that some journals have abandoned the publication of case reports, thus leaving them to spin-off journals. The rationale is that keeping case reports in a journal will only increase the denominator, thereby decreasing the IF [39]. At our journal we have seen a decline in case report submissions but still want to publish them and even put one case on the front cover of every issue. Case reports still hold an educational value [40] and are important to our readers.

In conclusion, a healthy mix of original articles, CME articles, reviews and case reports combined with a few international guidelines and recommendations is important to UIM/EJU. Although we see popular topics like CEUS and elastography, it is not possible to predict which articles will be read or even cited based on the topic, with multicenter studies being the exception.

Kürzlich wurde der Impact Factor (IF) für das Jahr 2015 veröffentlicht, eine gute Gelegenheit, um über den IF und seine Auswirkung und Bedeutung als Maßstab für eine Zeitschrift zu reflektieren. Probleme und Vorbehalte in Bezug auf den IF wurden bereits an anderen Stellen geschildert [1] [2]. Im Prinzip repräsentiert der IF die durchschnittliche Anzahl an Zitaten von Artikeln, die in den vergangenen zwei Jahren in der Zeitschrift veröffentlicht wurden.

Während Autoren oftmals den IF als ausschlaggebenden Faktor für eine Einreichung angeben, sagt dieser nichts darüber aus, wie oft einzelne Artikel zitiert wurden. In einer kardiovaskulären Peer-Review-Zeitschrift wurde beispielsweise die Hälfte der veröffentlichten Artikel selten zitiert, genauer gesagt weniger als 5-mal in 5 Jahren [3]. Unsere Zeitschrift dürfte einen ähnlichen Prozentsatz aufweisen. Es ist bei beinahe allen Zeitschriften davon auszugehen, dass der Großteil der Zitate auf eine geringe Anzahl an Artikel zurückzuführen ist. Tatsächlich werden einige Artikel niemals zitiert. Für die Jahre 2010 – 2013 trifft dies bei unserer Zeitschrift auf 13 % der Artikel zu.

Auch Autoren selten zitierter Artikel profitieren vom IF, da viele Institutionen zur Messung der Forschungsaktivität den kombinierten IF zur Veröffentlichung ihrer Manuskripte verwenden – was sich in ihrem Forschungsbudget niederschlagen kann.

Der Wettbewerb um die gedruckten Seiten der 6 jährlichen Ausgaben der Ultraschall in der Medizin/European Journal of Ultrasound (UiM/EJU) führt zu einer hohen Ablehnungsquote (zwischen 80 – 90 %). Eine negativ bewertende Begutachtung mit Empfehlung einer größeren Überarbeitung kann deshalb bereits zu einer Ablehnung führen. Begutachtungsfälschungen durch falsche Email-Adressen, die der Liste der empfohlenen Begutachter zugefügt wurden, ist im New England Journal of Medicine kürzlich berichtet worden [4]. Dabei handelt es sich um falsche Email-Adressen, die bei der Liste von empfohlenen Begutachtern angeführt wurden und die zu gefälschten Gutachten führen. Einige Herausgeber von UiM/EJU glauben, dies ebenfalls beobachtet zu haben. Die Versuchung besteht für den Autor darin, damit einen hohen IF für seinen Artikel zu erhalten – die Fälschung von Gutachten ist jedoch Betrug und damit unentschuldbar.

Ein Aspekt des IF als Maßstab für die Qualität einer Zeitschrift ist, dass nur die vergangenen 2 Jahre berücksichtigt werden. Es mag Unterschiede zwischen den Zeitschriften unterschiedlicher medizinischer Felder geben, denn in einigen „verschwinden“ Zitate innerhalb weniger Jahre, während andere Artikel noch nach mehreren Jahren zitiert werden. Daher gibt es auch Stimmen, die für Zitate einen größeren Wirkungszeitraum als 2 Jahre fordern [5].

Für dieses Editorial haben wir die 60 Artikel betrachtet, die in 2010 in UIM/EJU veröffentlicht wurden, und dabei festgestellt, dass die Hälfte davon im Jahre 2015 nicht mehr zitiert wurden. 10 Artikel wurden jedoch mehr als 5 Mal in 2015 zitiert, 5 davon sogar mehr als 10 Mal [6] [7] [8] [9] [10]. Dies spricht dafür, dass viele unserer Artikel einen langen wissenschaftlichen Impact haben und mehr Zitate generieren, als vom IF ersichtlich ist. Einige Artikel erreichen sogar erst nach 3 Jahren die höchste Anzahl an Zitaten, wobei sie zu diesem Zeitpunkt nicht mehr zum IF beitragen. Die meistzitiertesten Artikel aus dem Jahre 2010 waren Multicenterstudien, Empfehlungen und Beiträge zu aktuellen Themen wie kontrastmittelverstärkter Ultraschall (CEUS) und Elastografie, wobei auch erwähnt werden muss, dass andere Artikel mit den gleichen Themen kaum zitiert worden sind.

Dieselben Themen waren bis 2013 am populärsten, sind inzwischen aber von den europäischen Leitlinien und Empfehlungen überholt worden [11] [12] [13]. 9 der 10 meistzitiertesten Artikel, die wir in 2014 veröffentlichten, behandelten die Themen CEUS oder Elastografie [14] [15] [16] [17] [18] [19] [20] [21] [22], der bislang meistzitierteste Artikel desselben Jahres behandelt jedoch das Thema periphäre Nerven [23]. Überraschenderweise werden viele gute wissenschaftliche Arbeiten über Geburtshilfe/fetaler US und muskuloskelettaler US kaum zitiert [24] [25] [26]. Nach den Einreichungen der letzten 12 Monate zu urteilen kann für 2016 vorhergesagt werden, dass CEUS und Elastografie auch weiterhin die populären Themen sind.

Es ist auch erwähnenswert, dass es eine gewisse Diskrepanz geben kann zwischen den Artikeln, die zitiert werden und jenen, auf die online zugegriffen wird. Neben den internationalen Leitlinien sind unsere CME-Artikel sehr beliebt, gemessen an den Online-Zugriffen. Diese weithin anerkannten Fortbildungsbeiträge sind trotzdem nur selten IF-relevant. Betrachtet man die meistgelesensten Volltext-Artikel der Online-Version unserer Zeitschrift, wird bestätigt, dass Multicenterstudien und jene Empfehlungen, die von nationalen Gesellschaften oder von der EFSUMB (European Federation of Societies for Ultrasound in Medicine and Biology) unterstützt werden [27] [28] [29] [30] [31] [32] [33], weiterhin von großer Bedeutung sind. Künftige relevante Themen dürften die pädiatrische Umsetzung von CEUS sowie Simulationstraining und US-Training für Medizinstudenten sein [34] [35] [36] [37]. Einige dieser Aktivitäten werden auch von der EFSUMB unterstützt.

Ein kürzlich erschienener Artikel über den IF von Radiologie-Zeitschriften stellte fest, dass auf Teilgebiete der Radiologie ausgerichtete Zeitschriften einen höheren IF aufweisen, als allgemeinradiologische Zeitschriften [38]. Für eine interdisziplinäre Zeitschrift wie die unsere mag sich dies als große Herausforderung für die Zukunft erweisen, aber wir werden selbstverständlich weiterhin die ganze Breite des US in mehr als 15 Gebieten abdecken.

Auch auf die Verteilung von Fallberichten, Übersichts- und Originalarbeiten in einer Zeitschrift sollte eingegangen werden. Ein wichtiger Aspekt einer Fachzeitschrift ist es, wissenschaftliche Originalarbeiten zu veröffentlichen. CME-Artikel, Bildessays und Leserbriefe sind zwar auch wichtig, werden aber seltener zitiert. Auch Fallberichte sind für den IF von geringem Wert, da sie kaum zitiert werden [39]. Zusätzlich haben wir beobachtet, dass einige Zeitschriften keine Fallberichte mehr veröffentlichen und diese Beiträge „spin-off“ Zeitschriften überlassen. Dies wird damit begründet, dass Fallberichte den Nenner einer Zeitschrift erhöhen und damit den IF senken [39]. In unserer Zeitschrift werden tendenziell ebenfalls weniger Fallberichte eingereicht, jedoch wollen wir diese auch weiterhin veröffentlichen – wir werben sogar in jeder Ausgabe mit einem Fallbericht auf dem Deckblatt der Zeitschrift. Fallberichte haben einen pädagogischen Wert [40] und werden von unseren Lesern wertgeschätzt.

Zusammengefasst kann gesagt werden, dass eine gesunde Mischung aus Originalarbeiten, CME-Artikeln, Übersichtsarbeiten und Fallberichten in Verbindung mit einigen internationalen Leitlinien und Empfehlungen für die UiM/EJU sehr wichtig sind. Obwohl CEUS und Elastografie erkennbar populäre Themen sind, ist es nicht möglich – Multicenterstudien ausgenommen – anhand der Themen vorherzusagen, welche Artikel künftig häufig gelesen oder gar zitiert werden.

• References

• 1 Kiesslich T, Weineck SB, Koelblinger D. Reasons for Journal Impact Factor Changes: Influence of Changing Source Items. PLoS One 2016; 11: e0154199
• 2 Liu XL, Gai SS, Zhou J. Journal Impact Factor: Do the Numerator and Denominator Need Correction?. PLoS One 2016; 11: e0151414
• 3 Ranasinghe I, Shojaee A, Bikdeli B et al. Poorly cited articles in peer-reviewed cardiovascular journals from 1997 to 2007: analysis of 5-year citation rates. Circulation 2015; 131: 1755-1762
• 4 Haug CJ. Peer-Review Fraud — Hacking the Scientific Publication Process. N Engl J Med 2015; 373: 2393-2395
• 5 Liu XL, Gai SS, Zhang SL et al. An Analysis of Peer-Reviewed Scores and Impact Factors with Different Citation Time Windows: A Case Study of 28 Ophthalmologic Journals. PLoS One 2015; 10: e0135583
• 6 Goertz RS, Zopf Y, Jugl V et al. Measurement of liver elasticity with acoustic radiation force impulse (ARFI) technology: an alternative noninvasive method for staging liver fibrosis in viral hepatitis. Ultraschall in Med 2010; 31: 151-155
• 7 De Zordo T, Chhem R, Smekal V et al. Real-time sonoelastography: findings in patients with symptomatic achilles tendons and comparison to healthy volunteers. Ultraschall in Med 2010; 31: 394-400
• 8 Seitz K, Bernatik T, Strobel D et al. Contrast-enhanced ultrasound (CEUS) for the characterization of focal liver lesions in clinical practice (DEGUM Multicenter Trial): CEUS vs. MRI – a prospective comparison in 269 patients. Ultraschall in Med 2010; 31: 492-499
• 9 Wojcinski S, Farrokh A, Weber S et al. Multicenter study of ultrasound real-time tissue elastography in 779 cases for the assessment of breast lesions: improved diagnostic performance by combining the BI-RADS®-US classification system with sonoelastography. Ultraschall in Med 2010; 31: 484-491
• 10 Arning C, Widder B, von Reutern GM et al. Revision of DEGUM ultrasound criteria for grading internal carotid artery stenoses and transfer to NASCET measurement. Ultraschall in Med 2010; 31: 251-257
• 11 Bamber J, Cosgrove D, Dietrich CF et al. EFSUMB guidelines and recommendations on the clinical use of ultrasound elastography. Part 1: Basic principles and technology. Ultraschall in Med 2013; 34: 169-184
• 12 Cosgrove D, Piscaglia F, Bamber J et al. EFSUMB guidelines and recommendations on the clinical use of ultrasound elastography. Part 2: Clinical applications. Ultraschall in Med 2013; 34: 238-253
• 13 Claudon M, Dietrich CF, Choi BI et al. Guidelines and good clinical practice recommendations for contrast enhanced ultrasound (CEUS) in the liver--update 2012: a WFUMB-EFSUMB initiative in cooperation with representatives of AFSUMB, AIUM, ASUM, FLAUS and ICUS. Ultraschall in Med 2013; 34: 11-29
• 14 Sporea I, Badea R, Popescu A et al. Contrast-enhanced ultrasound (CEUS) for the evaluation of focal liver lesions – a prospective multicenter study of its usefulness in clinical practice. Ultraschall in Med 2014; 35: 259-266
• 15 Pfeifer L, Strobel D, Neurath MF et al. Liver stiffness assessed by acoustic radiation force impulse (ARFI) technology is considerably increased in patients with cholestasis. Ultraschall in Med 2014; 35: 364-367
• 16 Salzl P, Reiberger T, Ferlitsch M et al. Evaluation of portal hypertension and varices by acoustic radiation force impulse imaging of the liver compared to transient elastography and AST to platelet ratio index. Ultraschall in Med 2014; 35: 528-533
• 17 Janssen J, Papavassiliou I. Effect of aging and diffuse chronic pancreatitis on pancreas elasticity evaluated using semiquantitative EUS elastography. Ultraschall in Med 2014; 35: 253-258
• 18 Garrard JW, Ramnarine K. Shear-wave elastography in carotid plaques: comparison with grayscale median and histological assessment in an interesting case. Ultraschall in Med 2014; 35: 1-3
• 19 Dietrich CF, Ignee A, Greis C et al. Artifacts and pitfalls in contrast-enhanced ultrasound of the liver. Ultraschall in Med 2014; 35: 108-125
• 20 Havre RF, Leh S, Gilja OH et al. Strain assessment in surgically resected inflammatory and neoplastic bowel lesions. Ultraschall in Med 2014; 35: 149-158
• 21 D'Onofrio M, Biagioli E, Gerardi C et al. Diagnostic performance of contrast-enhanced ultrasound (CEUS) and contrast-enhanced endoscopic ultrasound (ECEUS) for the differentiation of pancreatic lesions: a systematic review and meta-analysis. Ultraschall in Med 2014; 35: 515-521
• 22 Lock G, Schröder C, Schmidt C et al. Contrast-enhanced ultrasound and real-time elastography for the diagnosis of benign Leydig cell tumors of the testis – a single center report on 13 cases. Ultraschall in Med 2014; 35: 534-539
• 23 Boehm J, Scheidl E, Bereczki D et al. High-resolution ultrasonography of peripheral nerves: measurements on 14 nerve segments in 56 healthy subjects and reliability assessments. Ultraschall in Med 2014; 35: 459-467
• 24 Enzensberger C, Pulvermacher C, Degenhardt J et al. Outcome after second-trimester amniocentesis and first-trimester chorionic villus sampling for prenatal diagnosis in multiple gestations. Ultraschall in Med 2014; 35: 166-172
• 25 Ellegaard K, Bliddal H, Møller DøhnU et al. Validity and reliability of 3D US for the detection of erosions in patients with rheumatoid arthritis using MRI as the gold standard. Ultraschall in Med 2014; 35: 137-141
• 26 Gruber H, Peer S, Gruber L et al. Ultrasound imaging of the axillary nerve and its role in the diagnosis of traumatic impairment. Ultraschall in Med 2014; 35: 332-338
• 27 Strobel D, Bernatik T, Blank W et al. Incidence of bleeding in 8172 percutaneous ultrasound-guided intraabdominal diagnostic and therapeutic interventions – results of the prospective multicenter DEGUM interventional ultrasound study (PIUS study). Ultraschall in Med 2015; 36: 122-131
• 28 Schmid M, Klaritsch P, Arzt W et al. Cell-Free DNA Testing for Fetal Chromosomal Anomalies in clinical practice: Austrian-German-Swiss Recommendations for non-invasive prenatal tests (NIPT). Ultraschall in Med 2015; 36: 507-510
• 29 Lorentzen T, Nolsøe CP, Ewertsen C et al. EFSUMB guidelines on Interventional ultrasound (INVUS) part 1: General aspects (Long version). Ultraschall in Med 2015; 36: E1-E14
• 30 Chen FC, Gerhardt J, Entezami M et al. Detection of Spina Bifida by First Trimester Screening – Results of the Prospective Multicenter Berlin IT-Study. Ultraschall in Med 2015; Apr 14. [Epub ahead of print]
• 31 Sidhu PS, Brabrand K, Cantisani V et al. EFSUMB Guidelines on Interventional Ultrasound (INVUS), Part II. Ultraschall in Med 2015; 36: E15-35
• 32 Wildner D, Bernatik T, Greis C et al. CEUS in hepatocellular carcinoma and intrahepatic cholangiocellular carcinoma in 320 patients – early or late washout matters: a subanalysis of the DEGUM multicenter trial. Ultraschall in Med 2015; 36: 132-139
• 33 Bernatik T, Schuler A, Kunze G et al. Benefit of Contrast-Enhanced Ultrasound (CEUS) in the Follow-Up Care of Patients with Colon Cancer: A Prospective Multicenter Study. Ultraschall in Med 2015; 36: 590-593
• 34 Knieling F, Strobel D, Rompel O et al. Spectrum, Applicability and Diagnostic Capacity of Contrast-Enhanced Ultrasound in Pediatric Patients and Young Adults after Intravenous Application – A Retrospective Trial. Ultraschall in Med 2016; Jun 14. [Epub ahead of print]
• 35 Cantisani V, Dietrich CF, Badea R et al. EFSUMB statement on medical student education in ultrasound. Short version. Ultraschall in Med 2016; 37: 100-102
• 36 Dyre L, Nørgaard LN, Tabor A et al. Collecting Validity Evidence for the Assessment of Mastery Learning in Simulation-Based Ultrasound Training. Ultraschall in Med 2016; Mar 1. [Epub ahead of print]
• 37 Østergaard ML, Ewertsen C, Konge L et al. Simulation based abdominal ultrasound training: a systematic review. Ultraschall in Med 2016; 37: 253-261
• 38 Rosenkrantz AB, Ayoola A. The Impact Factor of Radiological Journals: Associations with Journal Content and Other Characteristics Over a Recent 12-Year Period. Acad Radiol 2016; 23: 661-668
• 39 Nabil S, Samman N. The impact of case reports in oral and maxillofacial surgery. Int J Oral Maxillofac Surg 2012; 41: 789-796
• 40 Packer CD, Katz RB, Iacopetti CL et al. A Case Suspended in Time: The Educational Value of Case Reports. Acad Med 2016; Apr 19. [Epub ahead of print]