PDF herunterladen
Dtsch Med Wochenschr 2000; 125(38): 1133-1142
DOI: 10.1055/s-2000-7581
Originalien
© Georg Thieme Verlag Stuttgart · New York

Medizinisch-biowissenschaftliche Datenbanken und der Impact-Faktor

G. Winkmann, H. G. Schweim
  • Deutsches Institut für Medizinische Dokumentation und Information - DIMDI (Direktor: Prof. Dr. rer. nat. habil. H. G. Schweim), Köln
Weitere Informationen

Publikationsverlauf

Publikationsdatum:
31. Dezember 2000 (online)

Auch verfügbar auf
   Lizenzen und Reprints
Preview

Hintergrund: Der im Journal Citation Report (JCR) publizierte Impact-Faktor (IF) ist ein Maß für die Häufigkeit, mit der medizinische Fachzeitschriften zitiert werden. Die daraus gezogenen Rückschlüsse auf die Verbreitung einzelner Zeitschriftenartikel werden weltweit häufig für akademische Bewertungen verwendet. Auf Grund dieser Wichtigkeit ist der IF oft Gegenstand internationaler Diskussionen, auch vor dem Hintergrund, dass hauptsächlich ein begrenzter Pool von Datenbanken (Science Citation Index, SCI) für seine Berechnung herangezogen wird.

Fragestellung: Woraus besteht die Datenbasis des IF? Ist der IF für eine objektive Bewertung medizinischer Fachzeitschriften ausreichend?

Methodik: Vergleichende Recherche in 38 Einzeldatenbanken (SCI, MEDLINE [ME], EMBASE [EM)], BIOSIS Previews [BA] und andere) sowie Datenbank-Kombinationen.

Ergebnisse: 1. Zeitschriften mit hohem IF (≥ 1) wurden fast vollständig im SCI gefunden (98 %), in anderen Datenbanken nur in geringerem Anteil (ME, EM, BA je 60 %). 2. Umgekehrt waren bei drei Probemengen deutschsprachiger Zeitschriften 90 % der in SCI häufig indexierten Periodika auch im JCR vertreten, bei den in ME, EM und BA, aber nicht in SCI erfassten nur 23,5-57 %. 3. Die hochgerechnete mittlere Ergiebigkeit (Basis:18 Recherchen in Publikationstiteln) bei medizinisch-biowissenschaftlichen Fragestellungen liegt für die produktivsten Einzeldatenbanken bei: SCI = 34 %, ME = 27 %, EM = 33 %, BA = 25 %; bei Datenbankkombinationen: SCI + ME = 44 %, SCI + ME + EM = 55 %, SCI + ME + EM + BA = 65 %, jeweils bezogen auf die in einer 38-Datenbanken-Kombination auffindbaren Publikationshinweise. Die Nutzungskosten steigen in der Reihe ME < EM < SCI < BA < Derwent, CAS.

Folgerungen: 1. Die Zitationsanalyse des IF erscheint vor allem im Hinblick auf deutschsprachige Zeitschriften eingeschränkt. Bewertungen der Publikationsleistung auf dieser Basis sollten daher ergänzenden Korrekturverfahren unterworfen werden. 2. Recherchen in Einzeldatenbanken, auch SCI, führen nur zu orientierenden Ergebnissen. Bei Anspruch auf größtmögliche Vollständigkeit sollten Datenbank-Kombinationen verwendet werden.

Biomedical databases and the journal impact factor

Background: Citation frequencies of medical journals are measured by the Journal Impact Factors (IF) published annually in the Journal Citation Report (JCR). Conclusions drawn from IF concerning the distribution of single journal articles are used world-wide for academic evaluation purposes. Because of this importance, IF are widely and controversially discussed, also regarding their derivation from a limited pool of databases (Science Citation Index, SCI).

Objective: To determine the comprehensiveness of IF’s data basis by testing (i) SCI’s sources, (ii) SCI’s output. Are the IF sufficient for an objective evaluation of medical journals?

Methods: Comparative searches in 38 databases and their combinations (SCI; MEDLINE [ME]; EMBASE [EM]; BIOSIS Previews [BA] and other relevant systems).

Results: (i) Journals with higher IF (≥ 1) are almost completely retrievable in SCI (98 %), but only approx. 60 % in ME, EM, BA. (ii) Reverse: three samples of mainly German-language journals frequently indexed in SCI were represented in JCR by 90 %; but only 23,5-57 % of sample periodicals had an IF when indexed in ME, EM and BA, but not in SCI. (iii) Compiled average search results in the most productive databases in 18 biomedical queries, when titles were searched: SCI = 34 %, ME = 27 %, EM = 33 %, BA = 25 %; and, when combined: SCI + ME = 44 %, SCI + ME + EM = 55 %, SCI + ME + EM + BA = 65 %, compared to the results in a 38-databases cluster. Costs increase in the order ME < EM < SCI < BA < Derwent, CAS.

Conclusions: (i) The citation analyses presented in JCRs appear limited especially regarding German-language biomedical journals. Evaluation of publications based on IF therefore should be complemented by corrective measures. (ii) Single-database searches, including SCI, at best render orientating results; database combinations are recommended when higher completeness is required.

Literatur

  • 1 Anonym. Le facteur d’impact: »Audimat« valable des revues scientifiques? (Editorial).  Ann Franc Anesth Reanim. 1995;  14 247-248
    Suche in Google Scholar
  • 2 Anonym. Glued to the screen: An investigation into information addiction world-wide. Reuters Ltd, London 1997
    Suche in Google Scholar
  • 3 Antes G, Rüther A, Kleijnen J. Die Cochrane Collaboration. Erstellung, Aktualisierung und Verbreitung systematischer Übersichtsarbeiten.  Münch Med Wschr. 1996;  138 829-832
    Suche in Google Scholar
  • 4 Arbeitsgemeinschaft der wissenschaftlichen medizinischen Fachgesellschaften (AWMF) .Resolution Impact Faktor. AWMF Online. Internet URL http://www.uni-duesseldorf.de/WWW/AWMF/res/res-impf.htm
  • 5 Arbeitsgemeinschaft der wissenschaftlichen medizinischen Fachgesellschaften (AWMF) .AWMF-Kommission »Bibliometrie« zum Impact-Faktor: Fachgesellschaften sind zur Benennung wichtiger wissenschaftlicher Zeitschriften aufgefordert. AWMF Online. Internet URL http://www.uni-duesseldorf.de/WWW/AWMF/mb/mitt9710.htm
  • 6 Arbeitsgemeinschaft der wissenschaftlichen medizinischen Fachgesellschaften (AWMF) .Vorschlag zur Verwendung des »Impact Factor«. AWMF Online. Internet URL http://www.uni-duesseldorf.de/AWMF/bimet/impa-emp.htm
  • 7 Bador P, Petit O. Facteur d’impact et indexation dans les bases de donnees bibliographiques: comparaison des ces deux criteres de qualite pour l’evaluation des revues pharmaceutiques.  Journal de Pharmacie Belgique. 1998;  53 71-80
    Suche in Google Scholar
  • 8 Barillot M J, Sarrut B, Doreau C G. Evaluation of drug interaction document citation in nine on-line bibliographic databases.  Ann Pharmacother. 1997;  31 45-49
    Suche in Google Scholar
  • 9 Barnaby D P, Gallagher E J. Alternative to the Science Citation Index impact factor as an assessment of emergency medicine’s scientific contributions.  Ann Emergency Med. 1998;  31 78-82
    Suche in Google Scholar
  • 10 Behles C, Schweim H G. Informationsflut - wo ist die Arche?.  Dtsch Apothekerz. 1999;  6 623-627
    Suche in Google Scholar
  • 11 Benitez-Bribiesca L. The impact factor of medical journals: Its use and misuse (Editorial).  Archiv Med Res. 1999;  30 161-162
    Suche in Google Scholar
  • 12 Brody S. Impact factor as the best operational measure of medical journals (Letter; Comment).  Lancet. 1995;  346 1300-1301
    Suche in Google Scholar
  • 13 DIMDI Deutsches Institut für Medizinische Dokumentation und Information (DIMDI) .Internet-Einstieg Datenbank-Recherche (Datenbank-Kurzbeschreibungen. grips-Kommandos. Infomaterial). Internet URL http://www.dimdi.de/
  • 14 DIMDI (Kaiser D) .Online Bibliometrie mit grips. 1995
    Suche in Google Scholar
  • 15 Farriol M, Jorda-Olives M, Padro J B. Bibliographic information retrieval in the field of artificial nutrition.  Clinical Nutrition. 1998;  17 217-222
    Suche in Google Scholar
  • 16 Froemter E, Braehler E, Langenbeck U, Meenen N M, Usadel K H. Das AWMF-Modell zur Evaluierung publizierter Forschungsbeiträge in der Medizin.  Dtsch Med Wschr. 1999;  124 910-915
    Suche in Google Scholar
  • 17 Gallagher E J, Barnaby D B. Evidence of methodological bias in the derivation of the Science Citation Index impact factor.  Ann Emerg Med. 1998;  31 83-86
    Suche in Google Scholar
  • 18 Garfield E. The significant scientific literature appears in a small core of journals.  Scientist. 1996;  10 17
    Suche in Google Scholar
  • 19 Garfield E. How can impact factors be improved? BMJ (Clin. Res.  Ed.). 1997;  313 411-413
    Suche in Google Scholar
  • 20 Garfield E. Der Impact Faktor und seine richtige Anwendung (Editorial; Kommentar).  Unfallchirurg. 1998;  101 413-414
    Suche in Google Scholar
  • 21 Garfield E. Citation-based and descriptor-based search strategies. Internet URL http://www.isinet.com/hot/essays/3.html
  • 22 Garfield E. The Impact Factor. Internet URL http://www.isinet.com/hot/essays/7.html
  • 23 Garfield E. Using the impact factor. Internet URL http://www.isinet.com/hot/essays/8.html
  • 24 Golder W. Der Impact Faktor: eine kritische Analyse.  Fortschr Roentgenstr. 1998;  169 220-226
    Suche in Google Scholar
  • 25 Haynes R B, Wilscynski N, McKibbon K A, Walker C J, Sinclair J C. Developing optimal search strategies for detecting clinically sound studies in MEDLINE.  J Am Informatics Ass (JAMIA). 1994;  1 447-458
    Suche in Google Scholar
  • 26 Haller U, Hepp H, Reinold E. Tötet der »Impact Factor« die deutsche Sprache? (Editorial).  Gyn-geburtsh Rundsch. 1997;  37 117-118
    Suche in Google Scholar
  • 27 Hamilton D P. Publishing by - and for? - the numbers.  Science. 1990;  250 1331-1332
    Suche in Google Scholar
  • 28 Hecht F, Hecht B K, Sandberg A A. The journal »impact factor«: A misnamed, misleading, misused measure.  Cancer Gen and Cytogen. 1998;  104 77-81
    Suche in Google Scholar
  • 29 Herfarth C, Schuermann G. Deutsche klinische Zeitschriften und der Impact Faktor (Editorial).  Chirurg. 1996;  67 297-299
    Suche in Google Scholar
  • 30 ISI .Web of Science. ISI citation databases - a sitewide solution. Internet URL http://www.isinet.com/products/citation/wos.html
  • 31 ISI .Science Citation Index. Science Citation Index Expanded(TM). SciSearch. Internet URL http://www.isinet.com/products/citation/citsci.html
  • 32 Kämper U, Wolff C. Free MEDLINE und die Nebenwirkungen. grips-News (DIMDI Newsletter) 1998. Internet URL http://www.dimdi.de/germ/nesgerm/news983d.htm
  • 33 Kleijnen J, Knipschild P. The comprehensiveness of MEDLINE and EMBASE computer searches. Searches for controlled trials of homoeopathy, ascorbic acid acid for common cold and gingko biloba for cerebral insufficiency and intermittent claudication. Pharmac Weekbl.  Scientific Ed. 1992;  14 316-320
    Suche in Google Scholar
  • 34 Korevaar J C, Moed H F. Validation of bibliometric indicators in the field of mathematics.  Scientometrics. 1996;  37 117-130
    Suche in Google Scholar
  • 35 Korwitz U. Welchen »Rang« hat ein Wissenschaftler.  Nachr Dok. 1995;  46 267-272
    Suche in Google Scholar
  • 36 Linardi P M, Coelho P M, Costa H M. The »impact factor« as a criterion for the quality of scientific production is a relative, not absolute, measure.  Brazil J Med Biol Res. 1996;  29 555-561
    Suche in Google Scholar
  • 37 Lindner U K, Oehm V. Die Magie des Impact Faktors - Enttarnung eines Phänomens (Editorial).  HNO. 1997;  45 953-954
    Suche in Google Scholar
  • 38 Meenen N M. Der Impact-Faktor - ein zuverlässiger scientometrischer Parameter?.  Röntgenpraxis. 1998;  51 266-271
    Suche in Google Scholar
  • 39 Oestern H, Probst J. Zur Verwendung des Impact-Faktors als Maß wissenschaftlicher Leistungen. Beschluss des Präsidiums der Deutschen Gesellschaft für Unfallchirurgie vom 21.06.1997.  Unfallchirurg. 1997;  100 838
    Suche in Google Scholar
  • 40 Pendlebury D A. Science, citation, and funding (Letter).  Science. 1991;  251 1410-1411
    Suche in Google Scholar
  • 41 Porta M. The bibliographic »impact factor« of the Institute of Scientific Information: how relevant is it really for public health journals?.  J Epidemiol Commun Health. 1996;  50 606-610
    Suche in Google Scholar
  • 42 Rovers J P, Janosik J E, Souney P F. Crossover comparison of drug information online database vendors: Dialog and Medlars.  Ann Pharmacother. 1993;  27 634-639
    Suche in Google Scholar
  • 43 Schmieder R E, Martus P, Klingbeil A U. Reversal of left ventricular hypertrophy in essential hypertension: A meta-analysis of all randomised double-blind studies.  JAMA. 1996;  275 1507-1513
    Suche in Google Scholar
  • 44 Schoonbaert D, Roelants G. Citation analysis for measuring the value of scientific publications: quality assessment tool or comedy of errors?.  Trop Med Int Health. 1996;  1 739-752
    Suche in Google Scholar
  • 45 Schweim H G, Winkmann G. Qualitätssicherung wissenschaftlicher Informationen in Datenbanken.  Zeitschr ärztl Fortb Qualitätssich. 1998;  92 723-728
    Suche in Google Scholar
  • 46 Seglen P O. Causal relationship between article citedness and journal impact.  J Amer Soc Information Sci (JASIS). 1994;  45 1-11
    Suche in Google Scholar
  • 47 Seglen P O. Citations and journal impact factors: questionable indicators of research quality.  Allergy. 1997;  52 1050-1056
    Suche in Google Scholar
  • 48 Seglen P O. Why the impact factor of journals should not be used for evaluation research.  BMJ. 1997;  314 498-502
    Suche in Google Scholar
  • 49 Seglen P O. Citation rates and journal impact factors are not suitable for evaluation of research.  Acta Orthop Scand. 1998;  69 224-229
    Suche in Google Scholar
  • 50 Stegmann J. How to evaluate impact factors.  Nature. 1997;  390 550
    Suche in Google Scholar
  • 51 Stegmann J. Building a list of journals with constructed impact factors.  J Documentation. 1999;  55 310-324
    Suche in Google Scholar
  • 52 Stegmann J. Constructed Impact Factors (CIF) for journals not listed in the Journal Citation Report (JCR). 1999. Internet URL http://www.medizin.fu-berlin.de/medbib/CIF/cif.html
  • 53 Stegmann J. Why not use Journal Impact Factors? EAHIL Online Newsletter 1999; 47. Internet URL http://www.eahil.org/newsletter/47/impact.htm
  • 54 STN International .Cited References in CAPlus and CA. STNewsline 2000; No. 5 (European Edition, May 18). Internet URL http://www.fiz-karlsruhe.de/stn/stnewspd/archiv/newsl500.html
  • 55 Stock W O. Web of Science: Ein Netz wissenschaftlicher Informationen - gesponnen aus Fußnoten.  Password. 1999;  7 21-25
    Suche in Google Scholar
  • 56 Testa J. The ISI database: the journal selection process. Internet URL http://www.isinet.com/hot/essays/199701.html
  • 57 Topfer L A, Parada A, Menon D, Noorani H, Perras C, Serra-Prat M. Comparison of literature searches on quality and costs for health assessment using the MEDLINE and EMBASE databases.  Intern J Technolo Assess in Health Care. 1999;  15 297-303
    Suche in Google Scholar
  • 58 Winkmann G, Schweim H G. Medizinisch-biowissenschaftliche Datenbanken und der Impact Faktor. Langfassung, URL http://www.thieme-connect.com/BASScgi/4?Sprache=DE&FID=Start& NextFID=JournalTOC&JournalKey=18
  • 59 Woods D, Trewheellar K. MEDLINE and EMBASE complement each other in literature searches (Letter; Comment).  BMJ. 1998;  316 1166
    Suche in Google Scholar

Korrespondenz

Prof. Dr. rer. nat. habil. H. G. Schweim

Deutsches Institut für Medizinische Dokumentation und Information (DIMDI)

Weisshausstraße 27

50939 Köln

Telefon: 0221/ 4724-211

Fax: 0221/ 411429

eMail: schweim@dimdi.de