Traditionelle Peer-Review-Verfahren in der Kritik - iFQ-Institut beurteilt die Beurteiler

Table of Contents

Gegenwärtig wird viel und heftig über qualitative Bewertung und Auswahl wissenschaftlicher Studien zur Veröffentlichung und zur finanziellen Förderung diskutiert. Das seit einem Jahr aktive Bonner Institut für Forschungsinformation und Qualitätssicherung iFQ soll dabei helfen, empirisch fundierte Aussagen über Ergebnisse und Erfolge deutscher Forschung im nationalen und internationalen Vergleich zu treffen. Dazu wird es von der Deutschen Forschungsgemeinschaft (DFG) gefördert, deren eigene Programme zunächst den Schwerpunkt der Institutsarbeit bilden. Langfristig soll es sich auch mit der Qualität der Forschung in Deutschland insgesamt beschäftigen. Der Leiter des iFQ, der Sozialwissenschaftler Prof. Dr. Stefan Hornbostel, formuliert seine Aufgaben als allgemein zugängliche Bereitstellung von Daten der aktuellen Forschung sowie das Monitoring und eine damit verbundene Qualitätssicherung öffentlich geförderter Programme (www.forschungsinfo.de).

"Open Access" gegen intransparente Bewertung

Vor kurzem erschien das erste Arbeitspapier des iFG zum Thema "Wieviel (In)transparenz ist notwendig?", das sich auf die Rolle der Transparenz einer Peer-Review-basierten Begutachtungspraxis bezieht. Der Grund für die Thematik liegt sicherlich in der wachsenden Kritik an der traditionellen Intransparenz dieser weltweit verbreiteten Methode der Entscheidungsfindung über die Qualität wissenschaftlicher Studien. Schon seit einiger Zeit gibt es alternative Modelle, die sich in der Praxis bewähren, so z.B. das "Open Access"-Bewertungsmodell des Journals "Atmospheric Chemistry and Physics" (ACP). Das iFQ-Papier zeigt auf, dass auch Peer-Review-Verfahren mit einem hohen Grad an Transparenz erfolgreich praktiziert werden können, was daran gemessen wird, dass die Artikel des betreffenden Journals ebenso oft zitiert werden wie solche von vergleichbaren Organen. Bei der "Open Access"-Praxis wird der Beitrag nach einer zeitnahen Vorauswahl bereits nach wenigen Tagen ins online-Diskussionsforum des Journals gestellt. Dazu werden alle eingesandten Kommentare, darunter auch die Kommentare der bestellten Fachgutachter (Peers, die auf Wunsch anonym bleiben können) sowie die Antworten der Autoren öffentlich gemacht. In einer zweiten Stufe, die dem Vorgehen traditionell arbeitender Fachzeitschriften entspricht, entscheiden die Peers und der Editor über die endgültige Veröffentlichung in ACP. Der Vorteil dieser Methode liegt sicherlich in der zeitnahen Öffentlichmachung wissenschaftlicher Ergebnisse. Die Transparenz ist hier ebenfalls sehr hoch.

Transparenz per se schafft keine Validität

Wie das Beispiel des dänischen Forschungsförderungsprogrammes zeigt, kann die Übermittlung der Identität der Peers an die Autoren lt. des iFQ-Papiers dazu führen, dass viele Wissenschaftler sich weigern, Fachgutachten abzugeben und dadurch der Kreis möglicher Peers zu klein wird. Das wäre allerdings ein gravierender Nachteil dieser Methodik. Aus Sicht der Wissenschaftsphilosophie, deren Vertreter ebenfalls im iFQ-Papier zu Wort kommen, lässt sich nicht entscheiden, was der Weisheit letzter Schluss ist. Jedes Verfahren sei nach seiner Validität zu beurteilen, die am Erfolg der bewilligten Forschung anzulesen sei, der wiederum meistens nur relativ zu beurteilen ist. Die Autoren betonen, dass Transparenz nicht zwingend Validität bedinge und Intransparenz nicht zwingend zu Invalidität führe, wobei sie positive und negative Szenarien von mehr Transparenz in Beurteilungsverfahren entwickeln.

DFG findet eigene Wege der Bewertung

Die DFG als wichtigste Forschungsförderungsorganisation hierzulande hat ihren Beurteilungs- und Entscheidungsfindungsprozess bereits vor zwei Jahren reformiert. Das Ziel dabei war, die fachliche Begutachtung der Anträge, deren vergleichende Bewertung und die Entscheidung über die Vergabe von Fördermitteln stärker voneinander trennen. Das wesentliche neue Element sind Fachkollegien, die eine größere Transparenz innerhalb der Kreise der von der DFG bestellten Peers herstellen mit dem Ziel, die Qualität und Fairness der Gutachten sowie die Eignung der Gutachter sicherzustellen. Nach außen allerdings bleibt nach wie vor die traditionelle Intransparenz bestehen. Durch diese Reform will die DFG möglichst vergleichbare Beurteilungsmaßstäbe und Qualitätsstandards erreichen. Seit seiner Konstituierung befindet sich das innovative System zur Entscheidungsfindung in einem kontinuierlichen Entwicklungs- und Organisationsprozess, zu dem auch die Untersuchungen des iFQ beitragen.

Quelle: www.forschungsinfo.de