Zunehmende Kritik an Peer Review
Datum: 1. Oktober 2018
Autor: Erwin König
Kategorien: Studien

Das Peer-Review-Verfahren gilt heute als die wichtigste und bevorzugte Methode zur Prüfung wissenschaftlicher Arbeiten. Das Prüfungsverfahren soll dabei idealtypisch einen fairen und gerechten Prozess verkörpern, bei dem wissenschaftliche Arbeiten ausschließlich nach ihrem eigenen Wert beurteilt werden. Peer Review gilt in der Wissenschaft somit als eine Art Garantie für die wissenschaftliche Qualität einer Arbeit. Andererseits ist in den letzten Jahren vermehrt Kritik an diesem Begutachtungsverfahren aufgekommen. So hat eine aktuelle Untersuchung nachgewiesen, dass es bezogen auf sozioökonomische Merkmale, wie Geschlecht und Nationalität von Autoren, zu Unterrepräsentationen kommt. Aber es gibt noch weitere Probleme, die verdeutlichen, dass das bestehende System der wissenschaftlichen Publikation und ihr vorrangiges Begutachtungsverfahren dringend einer Überarbeitung bedürfen.

...

Um den Artikel in voller Länge lesen zu können, benötigen Sie ein Abo. Jetzt Abo abschließen oder mit bestehendem Konto anmelden!

Peer Review gilt im heutigen Wissenschaftsbetrieb als grundlegend, wenn es um die Entwicklung, Kontrolle und Verbreitung wissenschaftlicher Erkenntnisse und Resultate geht. Das Peer-Review-Verfahren steht allgemein für Qualitätssicherung in Wissenschaft und Forschung. Allerdings sind in den letzten Jahren vermehrt kritische Stimmen zu hören. Gefragt wird, ob eventuell gesellschaftlich verankerte Vorurteile – vor denen auch Wissenschaftler nicht gefeit sind –, sich auch auf die Ergebnisse des Peer Reviews durchschlagen können? Diese Herausforderung an die Integrität des Peer Reviews hat zu einer wachsenden Anzahl von Forschungsarbeiten geführt, die untersuchen, ob es bei der Begutachtung im Rahmen des Peer-Review-Verfahrens Unterschiede aufgrund bestimmter soziökonomischer Merkmale eines Autors gibt. Oder anders ausgedrückt: Haben Gutachter gewisse Vorurteile, die bei der Begutachtung von Arbeiten durchschlagen? In einer kürzlich in PLOS Biology publizierten Studie eines Forscherteams wurde untersucht, wie groß diese möglichen Verzerrungen durch das Peer-Review-Verfahren sind.

Konkret wird in dieser Arbeit untersucht, ob das Geschlecht und die Nationalität/Herkunft von Autoren und/oder Prüfern im Rahmen des gesamten Begutachtungsprozesses eine Rolle spielen. Es wird also nicht nur untersucht, welchen Einfluss diese soziökonomischen Merkmale auf die Rolle als Autor haben, sondern auch ob sich Benachteiligung bei der Rolle als Gutachter und Herausgeber bestehen. Um die Robustheit des wissenschaftlichen Peer Reviews in Bezug auf die zwei sozioökonomischen Merkmale Geschlecht und Nationalität eines Autors zu analysieren, wurden zuerst einige weitere Faktoren ausgeschlossen. Es ist daher notwendig, eine potenzielle allgemeine Unterrepräsentierung in der Bevölkerung zu berücksichtigen. So weiß man, dass unterdurchschnittlich viele Frauen als Wissenschaftlerinnen arbeiten. Geschätzt wird, dass der Anteil der Frauen am weltweiten wissenschaftlichen Output etwa ca. 30 % beträgt.

Als Untersuchungsstichprobe dienen die Peer-Review-Ergebnisse von 23.873 Erstprüfungen und 7.192 vollständig durchgeführten Gutachten, die zwischen 2012 und 2017 für die biowissenschaftlichen Zeitschrift eLife verfasst wurden. Zu den Resultaten:

  • Die Studienautoren fanden geringe, aber statistisch signifikante geschlechtsspezifische Ungleichheiten, die Männer begünstigten, und zwar in jeder Phase des Begutachtungsprozesses.

  • So sind Frauen nicht nur als Autorinnen unterrepräsentiert, sondern auch in ihrer Rolle als Gatekeeper (Redakteure und Begutachter). Zudem erscheinen sie anteilsmäßig auch zu selten als „Last Authors".

  • In Zahlen ausgedrückt sind gerade einmal 20,6 % Frauen als Gatekeeper/Prüfer tätig, d.h. als Gutachter und Redakteure. Im Vergleich dazu liegt der Anteil von Frauen als „Corresponding Authors" bei 26,4 %, bei den „First Authors" bei 33,6 % und bei den „Last Authors" bei 22,2 %.

  • Weiterhin finden sich bei der Aufgabe als Gutachter/Herausgeber zusätzlich noch Unterrepräsentierungen nach Ländern/Regionen. Knapp 60 % der Gatekeeper der Zeitschrift eLife stammen aus Nordamerika. Einen verhältnismäßig großen Anteil machen noch die europäischen Gatekeepern mit einem Anteil von 32,4 %. Der Anteil von Asiaten unter den Gatekeeper beträgt 5,7 %. Personen aus Südamerika, Afrika und Ozeanien machen zusammen nicht einmal 2 % aus. Bezogen auf die Anzahl der Autoren sind Nordamerikaner als Gatekeeper statistisch betrachtet über-, Europäer und Asiaten unterrepräsentiert.

  • Insgesamt beträgt der Anteil von Männern als „Last Authors" 76,8 %. Nur bei den „First Authors" von akzeptierten Arbeiten kann man von einer annähernden Gleichstellung der Geschlechter sprechen.

  • Bei der Akzeptanz von Arbeiten kann man allgemein sagen, dass von Frauen verfasste Arbeiten bei einem rein männlichen Prüfer-Team häufiger abgelehnt werden, als bei Arbeiten männlicher Autoren. Das gilt allerdings in den sehr seltenen Fällen, wo es rein weibliche Gutachter-Teams gibt, auch umgekehrt. Wobei aufgrund der wenigen Fällen keine statistische Signifikanz vorliegt. Am geringsten sind diese Verzerrungen bei der Akzeptanz von Arbeiten nach Geschlechtern, wenn es sich um gemischte Prüfer-Teams handelt.

  • Bei der Akzeptanzrate nach Regionen zeigen sich ebenfalls Ungleichheiten. So hatten Einreichungen aus führenden Industrieländern, die wissenschaftlich sehr aktiv sind, tendenziell eine höhere Akzeptanz als Arbeiten aus anderen Gebieten dieser Erde. Diese Ungleichgewichte lassen sich teilweise auf eine problematische Wechselwirkung zwischen Gatekeeper und Autor zurückführen. Kurz gesagt: Gutachter bevorzugen Arbeiten von Autoren, wenn sie aus dem gleichen Land stammen und auch gleichen Geschlechts sind.

Zusammengefasst haben demografische Faktoren einen nicht unerheblichen Einfluss auf das Peer-Review-Verfahren, und damit darauf, ob eine wissenschaftliche Arbeit akzeptiert wird oder nicht. Das Problem beginnt schon bei der demografischen Auswahl/Verteilung der Prüfer, wo es eine Verzerrung aufgrund von Unterrepräsentierungen nach Geschlecht und Herkunft gibt. Einschränkend muss bei den gefundenen Resultaten angemerkt werden, dass es sich hier nicht um eine repräsentative Untersuchung handelt, da nur eine einzige wissenschaftliche Zeitschrift in Bezug auf das Peer-Review-Verfahren analysiert wurde.

Zu ähnlichen Ergebnissen kommt auch die aktuell publizierte und weltweit größte je durchgeführte Untersuchung zum Thema Peer Review, der Global State of Peer Review 2018. Publiziert wurde die Untersuchung von dem seit letztem Jahr zu Clarivate Analytics gehörenden Unternehmen Publons, der führenden Peer-Review-Plattform für Forscher. Der Bericht beinhaltet die Auswertungsergebnisse einer weltweiten Umfrage unter mehr als 11.000 Wissenschaftlern sowie von Daten von Publons, ScholarOne und Web of Science. Mit dem Bericht soll der aktuelle Status Quo des Peer-Review-Verfahrens bestimmt werden.

Wichtige Ergebnisse des 2018 Global State of Peer Review sind u. a.:

  • Jedes Jahr verbringen Forscher auf der ganzen Welt rund 68,5 Mio. Stunden mit der Überprüfung wissenschaftlicher Zeitschriftenartikeln. Umgerechnet sind das 2,9 Mio. Tage oder 7.800 Forscherjahre, die alle Gutachter zusammen genommen jährlich für das Peer-Review-Verfahren aufwenden.

  • Durchschnittlich vergehen 19,1 Tage (Median: 16,4 Tage) bis ein Forscher eine Arbeit vollständig geprüft hat. Insgesamt wurden 2016 weltweit knapp 14 Mio. Fachartikel begutachtet.

  • Die zwei am häufigsten genannten Gründe, um eine Einladung für eine Prüfung abzulehnen sind: „der Artikel war außerhalb mein Fachgebiets" (70,6 %) sowie "zu beschäftigt mit meiner eigenen Forschung" (42 %).

  • Redakteure neigen dazu, Gutachter bevorzugt aus ihren eigenen geografischen Regionen einzuladen, viel mehr als wahrscheinlichkeitstheoretisch erklärbar. Da die meisten Redakteure aus etablierten Regionen kommen, bedeutet dies, dass es eine Verzerrung bei der Auswahl von Gutachtern aus etablierten Regionen gibt.

  • Ins Gewicht fällt offenbar auch, ob ein Gutachten für eine renommiertere Zeitschrift verfasst wird. Die Prüfer schreiben demnach – gemessen an der Wortanzahl – umso längere Gutachten, je höher der Journal Impact Factor (JIF) ist. Die Prüfer geben ihre Prüfberichte auch schneller für renommiertere Zeitschriften zurück, d. h. je höher der JIF, umso kürzer ist die Dauer der Gutachtenerstellung.

  • Redakteure versenden heute mehr Review-Einladungen als noch vor fünf Jahren. Trotzdem ist es schwierig ausreichend geeignete Gutachter zu finden.

  • Interessanterweise haben sich die Bearbeitungszeiten für die Prüfungen in einigen Fachgebieten, darunter Informatik, Geowissenschaften und Ingenieurwesen, in den letzten fünf Jahren durchschnittlich um mehr als zwei Tage verkürzt. Vermutet wird, dass die Herausgeber dieser Zeitschriften dies durch engere Fristen für die Gutachter erreicht haben.

  • Prüfer aus Schwellenländern, z. B. aus dem Iran, schreiben deutlich kürzere Gutachten als ihre Kollegen aus Industrieländern – mit einer Länge von 250 Wörtern gegenüber 528 Wörtern im Schnitt um mehr als die Hälfte kürzer.

  • Eine längere Überprüfung bedeutet zwar keine qualitativ hochwertigere Überprüfung, aber dieser Unterschied in der Wortanzahl könnte einige der Unterschiede in den Einladungsraten zwischen den einzelnen Regionen erklären.

  • Trotz dieser Unterschiede wächst der Umfang von Gutachten aus Schwellenländern, insbesondere China, viel schneller als aus Industrieländern. Es ist folglich zu erwarten, dass die regionalen Unterschiede zwischen Industrie- und Schwellenländer in absehbarer Zeit verschwinden werden. Dies lässt sich auch am wachsenden wissenschaftlichen Output Chinas ablesen. So zeigt eine Studie (siehe Xie, Q. und Freeman, R. (2018): „Bigger Than You Thought: China's Contribution to Scientific Publications“, http://www.nber.org/papers/w24829) dass China im Zeitraum von 2000 bis 2016 durch den Ausstoß an wissenschaftlichen Publikationen nach Ländern nun der größte Beitragende der weltweiten Wissenschaft geworden ist. 23 % aller in Scopus indexierten Zeitschriftenartikel kommen aus dem Reich der Mitte.

Auch diese Studie hat festgestellt, dass Wissenschaftler aus bestimmten Regionen als Gutachter unterrepräsentiert sind. Auch wenn sich diese Verzerrung langfristig von allein lösen dürfte, handelt es sich hier um ein Problem, das schon jetzt aktiv angegangen werden muss. Geographische Ungleichgewichte beim Peer-Review-Verfahren schaden nämlich vorwiegend der Entwicklung nicht-westlicher Forscher. Eine geringe Anzahl von Einladungen, als Gutachter tätig zu werden, bedeutet auch seltener die Möglichkeit, aktuelle Forschungstrends zu sehen. Außerdem fehlt es den dortigen Forschern dann an ausreichend Anschauungsmaterial, um die Fähigkeit zur kritischen Analyse zu entwickeln, was ein hervorragendes Manuskript für Wissenschaftsmagazine ausmacht. Auch die Möglichkeiten zum professionellen Erfahrungsaustausch werden für Wissenschaftler aus nicht-westlichen Ländern dadurch eingeschränkt.

In einem weiteren Beitrag (https://www.insidehighered.com/news/2018/08/16/major-higher-education-research-journal-suspending-submissions-clear-out-two-year)

wird ein anderes Problem im Zusammenhang mit dem Peer-Review-Verfahren thematisiert: überhaupt genügend Prüfer zu finden. Die steigende Anzahl an wissenschaftlichen Arbeiten sowie die geringere Bereitschaft von Forschern, sich an der Begutachtung zu beteiligen, führte z. B. bei einer der führenden Zeitschrift auf dem Gebiet der Hochschulbildung, The Review of Higher Education, zu einem Aufnahmestopp von neuen Beiträgen. Insgesamt beläuft sich bei der Review der Rückstand auf zwei Jahre. Verschärft wird dieses Problem dadurch, dass viele Wissenschaftler nur in Zeitschriften mit einem hohen Impact-Factor, also in einer verhältnismäßig kleinen Anzahl von Zeitschriften veröffentlichen möchten. Viele Experten betrachten aber das gesamte bestehende Begutachtungssystem als ursächlich für die aktuelle Situation. So basiert die gesamte akademische Verlagsbranche auf diesem Freiwilligendienst. Dass jetzt Engpässe auftreten, kann eigentlich nur als eine logische Entwicklung bezeichnet werden. Vermutlich werden sich diese Engpässe in Zukunft noch häufen.

Deshalb sollten besonders die kommerziellen Verlage überlegen, ihr bestehendes Modell basierend auf freiwilliger/kostenfreier Begutachtung zu überdenken. Ihre mit wissenschaftlichen Zeitschriften erzielten hohen Gewinnmargen würden das sicher erlauben. Zusätzlich hätte dies möglicherweise auch eine Qualitätsverbesserung zur Folge und es wäre außerdem ein Grund mehr, ihre hohen Abonnementpreise „plausibel" erscheinen zu lassen. Eine andere Möglichkeit wäre es, den Redaktionsteams bei der Überprüfung von Fachartikeln eine größere Rolle zuzusprechen. So könnten viele Arbeiten womöglich bereits im Vorfeld ausgesiebt werden. Wenn man bedenkt, dass nur ca. 40 % aller wissenschaftlichen Beiträge überhaupt jemals zitiert werden, könnte ein besseres Filtersystem die Arbeitsbelastung für die Gutachter ebenfalls signifikant reduzieren. Andererseits zeigen sich hier die Folgen des „Publish or Perish", das für eine wissenschaftliche Karriere wohl unabdingbar ist. Wichtiger wäre es das gesamt Wissenschaftssystem wieder mehr auf die Grundlagen der Qualität als der Quantität zu stellen. Ein überarbeitetes Peer-Review-Verfahren wäre aber nur ein Puzzleteil von vielen. Zieht man die vorliegenden drei Beiträge heran, wird deutlich, dass das klassische System mit Peer-Review-Verfahren dringend einer Überarbeitung bedarf.

Quellen:

Murray, Dakota et al.: Gender and International Diversity Improves Equity in Peer Review; in: PLOS Biology, Preprint, August 29, 2018, https://www.biorxiv.org/content/biorxiv/early/2018/08/29/400515.full.pdf

Publons (Hrsg.): 2018 Global State of Peer Review; August 2018, kann nach einer Registrierung auf der Seite https://publons.com/community/awards/peer-review-awards-2018/ kostenlos heruntergeladen werden

Schlagwörter:

Autoren, Gutachter, Geschlechter, Peer Review, Qualitätssicherung, sozioökonomische Merkmale, Verzerrungen, wissenschaftliche Zeitschriften

...

Um den Artikel in voller Länge lesen zu können, benötigen Sie ein Abo. Jetzt Abo abschließen oder mit bestehendem Konto anmelden!

Mehr zum Thema:

Gen Z und Millennials lieben digitale Medien UND Bibliotheken

Die Generation Z und Millennials, die für ihre tiefgreifende Verbindung zur digitalen Welt bekannt sind, zeigen überraschenderweise auch eine starke Affinität zu physischen Bibliotheken, wie neue Studien der American Library Association zeigen – die Ergebnisse sind...

Auskunfts- und Informationsdienste in Bibliotheken

Die Studie Reference service in libraries like mine: A comparison of current reference service in libraries serving medium, small, and very small institutions von Julie E. Sweeney (Ryan Library, Point Loma Nazarene University, USA)1 zielt darauf ab, die Lücke in der...

Die transparente Dokumentation von Cultural Heritage Datasets

Angesichts der Probleme in Bezug auf Datenqualität und unzureichende Dokumentation von Datensätzen hat die Machine Learning Community begonnen, standardisierte Verfahren zur Erstellung von Datenblättern für maschinelles Lernen zu entwickeln. Das Hauptziel besteht...