Peer Review – eine Entscheidungsfrage für kleine Zeitschriften

 Von Karsten Schuldt

Motivation (Einleitung)

Innerhalb der LIBREAS-Redaktion wird immer wieder einmal diskutiert, ob und wie wir ein härteres Peer Review Verfahren einführen sollten. Bislang arbeiten wir nach dem Prinzip des Editorial Review. Dass heisst, das wir innerhalb der Redaktion jeweils eine Person bestimmen, welche die Hauptentscheidungen zu einem Artikel trifft und insbesondere dann, wenn dies als notwendig angesehen wird, zuvor mit den Autorinnen und Autoren an einem Artikel arbeitet; nschliessend, wenn der Artikel fertig bearbeitet ist, der restlichen Redaktion eine grundsätzliche Entscheidung zur Publikation mitteilt und die anderen Mitglieder um eine Stellungnahme bittet. Mindestens zwei von uns sollten diese Rückmeldung geben (die wiederum alles sein kann: Annahme, Ablehnung, Vorschläge für Änderungen). Eine letzte Entscheidung über die Publikation oder Nicht-Publikation trifft dann die letzte Redaktionskonferenz vor der Publikation gemeinsam. Ein teilweise aufwendiges Verfahren, aber meines Erachtens ein gutes, da es eher zu besseren Texten führt.

Es gibt Gründe für dieses System. Gleichzeitig jedoch gibt es offenbar Gründe für ein anderes Peer Review Verfahren. Insbesondere werden alle Bibliothekarinnen, Bibliothekare und andere Personen, die sich mit dem wissenschaftlichen Publizieren auskennen, darauf verweisen, dass Peer Review als Qualitätsmerkmal wissenschaftlicher Zeitschriften gilt. Eine Zeitschrift würde nur ernst genommen werden, wenn sie ein möglichst strenges Peer Review durchführt. Dies hätte ebenso gute Gründe: Peer Review würde dazu führen, dass die publizierten Texte hochwertig wären, dass sie abgesichert wären, dass gleichzeitig die Qualität der eingereichten Texte hoch sein würde, weil Peer Review als Merker gilt, der anzeigt, dass nicht alles angenommen wird. Dies wird, teilweise wie ein Glaubensgrundsatz, immer wieder vorgetragen.

Diese Diskussion verschwindet nie wirklich. Mir scheint sie allerdings viel zu übertrieben. Für eine kleine Zeitschrift in einem kleinen Fach, dass zudem stark mit der untersuchten Praxis – also dem Bibliotheks- und Informationswesen – verbunden ist, wie es die LIBREAS darstellt, scheint mir dies nicht zuzutreffen. Peer Review setzt eine grössere Community voraus, gleichzeitig ein geteiltes Verständnis innerhalb dieser Community, dass Peer Review richtig wäre.

Aber: Die LIBREAS-Redaktion ist gewiss nicht die einzige Redaktion, welche sich mit dieser Frage befassen muss. Vielmehr existiert eine relativ breite Forschung zum Thema Peer Review, welche bei einer Argumentation für oder gegen dieses Verfahren – oder eines der vielen unter diesem Begriff gefassten Verfahren (Wheeler, 2011) – herangezogen werden kann. Erstaunlicherweise allerdings wird diese Forschung in der Bibliotheks- und Informationswissenschaft quasi nicht wahrgenommen. Dies war der Grund für eine Recherche, über die hier kurz berichtet werden soll: Was können wir eigentlich aus der Forschung über die Funktion und die Effekte von Peer Review wissen? Gibt es schlagende Argumente für oder gegen dieses Verfahren?

(Zusätzlich motiviert wurde die Recherche durch das Gefühl, dass mit der grundsätzlichen Argumentation etwas nicht stimmt. Immer wieder einmal, so auch letztens auf dem Deutschen Bibliothekstag in Hamburg, wird behauptet, dass Forschende dazu streben würden, ihre Texte in Peer Reviewed Zeitschriften zu veröffentlichen, um Reputation aufzubauen. Aber in meiner Zeit an Universität und Hochschule habe ich davon wenig mitbekommen. Es gab einige wenige karrierebewusste Forschende, die auf solche Prinzipien achteten und ewige Sitzungen darüber halten wollten, wer wo wann wie publiziert. Aber es gab auch genügend andere, die erst in Kurse geschickt werden mussten, um überhaupt von Peer Review zu erfahren – und es kurze Zeit später wieder zu ignorieren. Forschende, so geht eine gerne einmal wiederholte Behauptung, sind im Bezug auf Wissen Kommunisten und Kommunistinnen: Sie wollen teilen, so viel wie möglich. Wo ist ihnen relativ egal, wie die Auswahlprozesse von Artikeln et cetera sind, auch. Die Idee, Reputation zu sammeln, ist ihnen eher fremd – zumal im Ergebnis nicht sichtbar ist, ob die karrierebewussten Forschenden wirklich mehr Karriere machen oder nicht eher mit mehr persönlichem Stress – und offenbar ohne den Anspruch, die Welt besser zu machen – die gleichen Ergebnisse erreichen. Zwar gibt es immer wieder die Behauptung, Auswahlkommissionen würden nur auf Peer Reviewede Artikel achten, aber andererseits wird das so oft erzählt, dass die Personen in den Kommissionen langsam wissen müssten, dass solch ein Vorgehen mehr als schwierig ist.

Das kann selbstverständlich eine subjektive Verzerrung sein, weil ich einfach die falschen Forschenden getroffen habe. Allerdings bleibt das ungute Gefühl, dass die Argumentation nicht stimmt – und damit auch die Prozesse, die von ihr angestossen werden, nicht notwendig sein müssen.)

Peer Review – kritisiert und erforscht seit Jahrzehnten

There has been a steady growth in academic papers on peer review, with about 200 papers a year currently appearing in PudMed. The result of this interest is that there is now a sizeable evidence base covering many areas of peer review, although ironically this evidence base appears little known and often ignored by journal editors. (Ware, 2011, p. 24)

Eine der grossen Überraschungen, neben dem Fakt, dass es zahlreiche Literatur zur Praxis des Peer Review gibt, über die man in der Bibliotheks- und Informationswissenschaft quasi nie spricht, ist, dass Peer Review seit Jahrzehnten heftig kritisiert wird – und zwar auf unterschiedlichen Ebenen. Es gibt beispielsweise ein philosophisch motivierte Kritik, es gibt soziologische Untersuchungen zur Praxis des Peer Review und zahlreiche empirische Untersuchungen dazu, ob der Peer Review-Prozess die Ergebnisse zeitigt, die er zeitigen soll. Dabei ist diese Kritik keine kleine Strömung. Vielmehr gibt es mehrere Zeitschriften, die sich immer Gedanken darum machen, ob sie Peer Review abschaffen oder zumindest in seiner Bedeutung herunterfahren sollten. In quasi jedem relevanten längeren Text zum Thema und den Monographien zum Peer Review finden sich lange Abschnitte zur Kritik des Peer Review und Aussagen dazu, was es alles nicht kann. Selbst ein Buch mit dem Titel „Erfolg im Peer Review: Wissenschaftliche Begutachtung durchführen und überstehen“ (Wager, Godlee & Jefferson, 2007) redet vielmehr darüber, welche Grenzen Peer Review hat, als darüber, wie man wissenschaftliche Begutachtung übersteht.

Sicherlich gibt es immer wieder Forschende, die radikalere Schlüsse ziehen, als andere. Aber es gibt doch einige Fakten, die unumstritten – weil zumeist empirisch reproduzierbar nachgewiesen – sind.

1. Die Ergebnisse des Peer Review sind nicht reproduzierbar. (Vgl. u.a. Wager, Godlee & Jefferson, 2007) Wenn Peer Review Qualitätskontrolle bedeutet, so könnte man erwarten, dass Artikel, die von einer Zeitschrift zur Publikation akzeptiert wurden, von der gleichen (oder einer „qualitativ vergleichbaren“) Zeitschrift auch wieder zur Publikation angenommen werden müssten – zumindest solange nicht ein zu langer Zeitraum zwischen diesen Entscheidungen liegt, da das Wissen ja voranschreitet. Ebenso müsste es sich mit Ablehnungen verhalten, zumindest tendenziell. Dem ist aber nicht so. Ob ein Artikel zur Publikation angenommen wird oder nicht, lässt sich nicht daraus vorhersagen, ob er schon einmal publiziert wurde. (Hierzu ist ein Experiment aus den 1970ern bekannt, wo Artikel, die in wissenschaftlichen Zeitschriften veröffentlicht wurden, bei diesen leicht verändert neu eingereicht wurden. Nicht nur wurden die neu eingereichten fast durchgängig als qualitativ schlecht abgelehnt, sie wurden zudem nur von einer sehr kleinen Zahl der Redaktionen oder Reviewenden als Re-Publikationen erkannt, was noch erschreckender ist.) Es fragt sich aber, was das für ein Qualitätssicherungssystem sein kann, dass die eigenen Ergebnisse an den gleichen Objekten nicht reproduzieren kann.
2. Peer Review reproduziert – selbst in den verschärften Formen des Blind Review – mehrere Bias. (Vgl. u.a. Weller, 2001) Männer können mehr ihrer Texte publizieren als Frauen; Personen, die an Einrichtungen mit hohem Prestige angestellt sind publizieren weit mehr eingereichte Texte, als andere Personen; Personen aus den westlichen, englischsprachigen Staaten mehr als andere; je höher der akademische Titel, um so höher die Veröffentlichungschance. Wenn aber die gleichen Ergebnisse in einem Artikel einer wissenschaftlichen Mitarbeiterin von einer „No Name Hochschule“ aus Ungarn nicht die gleichen Veröffentlichungschancen haben, wie in einem Artikel eines Professors aus Harvard, dann geht es beim angeblichen Peer Review System nicht nur um die Qualität der Ergebnisse oder deren Präsentation, sondern auch darum, dass systemische Ungleichheit reproduziert werden. Dabei muss man bedenken, dass gerade Double Blind Review eingesetzt wird, um solche Bias zu vermeiden.
3. Double Blind Review – bei dem sowohl den Reviewenden die Autorinnen und Autoren der Artikel, die sie reviewen, nicht bekannt sind als auch den Autorinnen und Autoren nicht klar ist, wer sie reviewed hat – funktioniert quasi nicht. Praktisch raten alle Beteiligten, wer hinten den Texten oder Reviews steckt und ziehen daraus Schlüsse. Sie liegen zwar nur zu 20-40 % (das unterscheidet sich je nach Studie) richtig, aber auch wenn sie falsch liegen, sind sie oft der Meinung, zu wissen, wer hinter Text und Review steckt, was ausreicht, um die Sinnhaftigkeit des Double Blind Review-Verfahrens zu hinterfragen.
4. Reviews produzieren keine konsistenten Ergebnisse im Sinne einer Übereinstimmung der Reviewenden. (Z.B. Bornmann & Daniel, 2010) Oft funktionieren Reviews in dem Masse, dass ein Text von zwei Reviewenden überprüft wird. In Ausnahmefällen, wenn deren Meinungen strikt auseinander gehen, soll eine dritte Meinung eingeholt werden. Allerdings: Dieser Ausnahmefall tritt sehr oft ein. Bei 20%, 30%, manchmal 40% der Artikel, die bei einer Zeitschrift reviewed werden, passiert dies. Das ist schon erstaunlich, soll doch von den Reviewenden eigentlich die Qualität der Artikel – also, ob sie dem Stand der Wissenschaft im Fach entsprechen – überprüft werden, die ja eigentlich im Feld geteilt werden sollte. Es gibt Stimmen, die darauf hinweisen, dass Wissenschaft immer beweglich ist, und nicht-übereinstimmende Reviews auch ein Ausdruck einer aktiven wissenschaftlichen Diskussion sein können – zumal sich die Meinungen der Reviewenden selten vollständig widersprechen, also eine Review für Publizieren ohne alle Änderungen, eine Review für sofortiges Ablehnen. (Daniel, 1993) Dennoch widersprechen diese Ergebnisse dem Bild des Peer Review als praktisch unanfechtbarem Qualitätssystem.
5. Peer Review führt nicht dazu, dass wissenschaftlicher Betrug oder Fehler vermieden werden, zumindest nicht vollständig. (Smith, 2010) Viele Texte verweisen darauf, wie zahlreiche Skandale um wissenschaftlichen Betrug oder Fehler, die im Nachhinein offensichtlich sind, in den letzten Jahrzehnten nicht durch Peer Review der Artikel, welche die Skandale auslösten, verhindert wurden. Selbstverständlich: Wir wissen nicht, wie viele andere verhindert wurden, aber es ist doch offensichtlich, dass der Betrug des Systems weiterhin möglich ist. Warum, so fragen einige Kritikerinnen und Kritiker, sollten man dann ein ziemlich ausgebautes System als Qualitätssicherungssystem erhalten, wenn es gar nicht so viel Qualität sichert? Dabei verweisen sie oft darauf, dass gerade Forschende, die – warum auch immer – betrügen wollen, gerne das „Siegel“ Peer Reviewed erwerben, um ihre Texte als Teil der wissenschaftlichen Diskussion zu verkaufen. Eingewandt wird daraufhin, dass auch andere Systeme wissenschaftlichen Betrug nicht verhindert hätten, aber das Argument ist ziemlich hängig. (Immerhin besteht die Gefahr, dass Betrug einfacher zu begehen ist, wenn alle Publikationen genau einem System von Qualitätssicherung vertrauen, weil dann nur ein Weg zum Betrug gefunden werden muss, nicht unterschiedliche.)
6. Es gibt weitere absonderliche Eigenheiten, die der Erklärung bedürfen, weil sie nicht mit dem Bild des Peer Review übereinstimmen. Shalvi et al. (Sahlvi, 2010) zeigen zum Beispiel, dass die Jahreszeit der Einreichung eines Artikels einen Einfluss auf die Wahrscheinlichkeit hat, ob ein Artikel publiziert wird oder nicht. Das ist verständlich, wenn man den Publikationsprozess als Teil eines gesellschaftlichen Prozess versteht, bei dem selbstverständlich saisonale Strukturen (wann wird gemeinhin Urlaub gemacht, wann sind gemeinhin Prüfungen, wann alle im Stress, wann nicht et cetera) eine Rolle spielen. Aber dann wäre Peer Review kein unanfechtbares Qualitätssystem mehr.
7. An sich gehen auch diejenigen, welche Peer Review als sinnvoll verteidigen, davon aus, dass das Peer Review-System die meisten Versprechen, die es macht, nicht einhält. (Z.B. Newton, 2010) Sie argumentieren dann allerdings, dass wir erstens kein anderes System hätten, dass besser funktionieren würde und das zweitens die Redakteurinnen und Redakteure die Grenzen des Peer Review Systems im Hinterkopf behalten und in ihre Arbeit einbeziehen müssten. Denn, so sind sich wieder viele einig: Die reichhaltige Forschung zum Peer Review wird meistens gerade in Redaktionen selber gar nicht wahrgenommen.

Gerade der letzte Punkt führt aber zu weiteren Kritiken, die nicht allgemein geteilt, aber doch verbreitet sind.

1. Peer Review würde dazu führen, dass sich Redaktionen aus ihrer Funktion zurückziehen und nur noch den Empfehlungen der Reviewenden folgen würden. Die Redaktionen würde tendenziell zur Verwaltungsarbeit übergehen und keinen gestaltenden Einfluss mehr auf die Zeitschriften nehmen. Dann aber, so die Argumentation, bedürfe es keiner Redaktionen und keine Zeitschriften mit eigenen Schwerpunkten mehr. Hiergegen wird argumentiert, dass Peer Review die Entscheidungen der Redakteurinnen und Redakteure nicht ersetzen, sondern nur ergänzen soll. Es soll mehr Wissen zur Bewertung von Artikeln versammeln helfen und den Reaktionen eine Möglichkeit an die Hand geben, informierte Entscheidungen über Publikation, Änderungsnotwendigkeiten oder Nicht-Publikation an die Hand zu geben. Die Frage allerdings ist, wie dies tatsächlich umgesetzt wird. Es gibt differente Erzählungen aus den Redaktionen. (Gewendet auf die Darstellung von Peer Review in der Bibliotheks- und Informationswissenschaft muss man allerdings sagen, dass dort Peer Review tatsächlich so dargestellt wird, als würde es die Entscheidungen der Redaktion ersetzen. Dass die Redaktionen eine Verantwortung für die Zeitschriften et cetera tragen, wird kaum noch thematisiert, auch nicht, dass Peer Review eine Entscheidungshilfe unter mehreren Hilfsmitteln sein kann.) Weiterhin wird argumentiert, dass gerade Blind und Double Blind Review-Verfahren dazu führen können, dass sich Redaktionen hinter diesen Entscheidungen gleichsam verstecken und keine Kommunikation mehr mit den Schreibenden führen, sondern einfach auf negative Bewertungen der Forschenden verweisen.
2. Peer Review würde tendenziell dazu führen, dass die Möglichkeiten zu Betrug und unberechtigter Einflussnahme durch Forschende steigen. So würde gerade das Double Blind Review unfaire Bewertungen fördern – weil die Reviewenden, die unnötige Änderungsforderungen stellen, mit keinen Konsequenzen zu rechnen hätten – und die Arbeit des Peer Review in der Praxis von den angefragten Forschenden oft an Assistentinnen und Assistenten weitergeben und dann als eigen ausgegeben werden, so das die vorgebliche Qualität der Reviews gar nicht gesichert werden kann. Hierzu gibt es vor allem anekdotische Evidenz, diese aber offenbar zahlreich.
3. Peer Review würde tendenziell die Innovativität von Wissenschaft hemmen. Auch hierzu können die Kritikerinnen und Kritiker immer Artikel anführen, die bei Peer Review-Verfahren abgelehnt wurden, späterhin aber für die Wissenschaft wichtig wurden, teilweise zu Nobelpreisen – selbstverständlich niemals allein – für die Autorinnen und Autoren führten. Artikel, so die Kritik, welche dem Mainstream entsprechen, keine neuen Ideen enthalten, sondern vor allem sich auf schon bekannten Bahnen bewegen würden, hätten grössere Chancen, in einem Peer Review-Verfahren zur Publikation angenommen zu werden. Texte, die Lehrmeinungen widersprechen – und das tun viele der später wichtiger werdenden Artikel – würden gerade deswegen in solchen Verfahren abgelehnt werden. Allerdings wird dem entgegengehalten, dass Reviewende von den Redaktionen explizit danach gefragt werden, Artikel die Neues versprechen, hervorzuheben. Zudem würden letzten Endes nicht die Reviewenden, sondern die durch die Reviews besser informierten Redakteurinnen und Redakteure über die Publikation oder Nicht-Publikation von Artikeln entscheiden. So zumindest die Theorie, die allerdings nicht erklären kann, warum späterhin als innovativ erkannte Texte in Peer Review-Verfahren abgelehnt wurden.
4. Eine interessante Argumentation gegen Blind und Double Blind Review-Verfahren entfaltet Gordon Moran (Moran 1998, vgl. auch Souder, 2011): Er beharrt darauf, dass Peer Review nur dann sinnvoll ist, wenn es zur Verbesserung der wissenschaftlichen Kommunikation beiträgt. Wissenschaft aber ist für ihn ein Unternehmen zur Verbesserung der Welt. Sie soll nicht nur mehr Wissen, sondern auch mehr Freiheit hervorbringen. Freiheit, sich entscheiden zu können, Freiheit, Fakten und Argumente abzuwägen. Wissenschaft ist also für ihn radikal-demokratisch. Nun kann Wissenschaft aber nur diese radikal-demokratische Funktion haben, wenn sie selber demokratisch ist. Das aber ist sie gerade nicht, wenn wichtige Teile der Kommunikation geheimgehalten werden; wenn ich als Schreibender beispielsweise nicht auf die Argumentationen und Wünsche der Reviewenden an meinem Text eingehen kann und auch nicht weiss, mit wem ich da eigentlich kommuniziere. Blind Review wäre dieser Argumentation nach nicht nur ineffizient, sondern stünde auch ethisch gegen die Aufgabe von Wissenschaft.
5. Peer Review sei, selbst wenn es unter besten Umständen funktioniert – also wenn niemand versucht, dass System „zu überlisten“ – zu teuer für die Ergebnisse, die es zeitigt. Wir werden auf diese Frage noch zurückkommen.
6. Peer Review sei zudem Teil eines Systems, welches Reputation vor alle anderen Interessen, aus denen heraus Wissenschaft gemacht wird, stellt. Das ist nicht die Schuld des Peer Review, aber dennoch trüge es – als vermeintliches Qualitätssiegel – dazu bei, dass Wissenschaftlerinnen und Wissenschaftler immer mehr darauf trainiert würden, Reputation in Form von Peer Revieweden Publikationen aufzubauen und eben nicht danach zu fragen, was mit dem Wissen, das sie publizieren, eigentlich passiert oder ob sie die Welt verändern. Viel mehr noch: Es würde zu Publikationsstrategien führen, die teilweise dem Forschungsprozess entgegenstehen. Da drei Artikel in Zeitschriften mit Peer Review mehr zählen würden, als ein langer, alles darstellender Aufsatz in einer Zeitschrift ohne Peer Review, würden Ergebnisse „zerhakt“ und versucht, aus einer Forschung möglichst viele Publikationen zu generieren. Diese kurzen Artikel würden tendenziell immer weniger Inhalt enthalten. Sie würden nicht mehr versuchen, möglichst viel Inhalt zu vermitteln, sondern möglichst oft publiziert werden zu können. Auch würde weniger danach gefragt, ob nicht ein Text in einer halb- oder nicht-wissenschaftlichen Zeitschrift mehr zur Verbreitung der Ergebnisse einer Forschung beitragen könnte. Insoweit würde die Wissenschaft sich durch die Trennung in Zeitschriften mit und ohne Peer Review immer mehr zu einem Elitendiskurs transformieren, was zumindest einigen Auffassung von den Aufgaben der Wissenschaft entgegenstehen kann.

Zudem muss eines vermerkt werden: Auch wenn viele Texte den Beginn des Peer Review im 17. Jahrhundert verorten und historische Beispiele zitieren, hat sich doch erst seit den 1970er und 1980er Jahren diese Praxis in wissenschaftlichen Publikationen – und anderen wissenschaftlichen Bereichen, beispielsweise in Stiftungen bei der Vergabe von Forschungmitteln (Lamont, 2009) – wirklich durchgesetzt. Fast gleichzeitig setzte eine kritische Forschung zu diesem „Peer Review Regime“ ein. Zu beobachten ist, dass Peer Review einst als Unterstützung zu anderen Auswahl- und Qualitätssicherungssystemen in der Wissenschaftskommunikation begriffen wurde und den Status, den es jetzt hat, erst mit der Zeit erwarb. Wie bei jeder Entwicklung, die historisch nachgezeichnet werden kann, kann man also vermuten, dass es Gründe für diese Durchsetzung gab, dass aber diese Gründe sich auch verändern können und damit das System selber obsolet oder disfunktional werden kann. Zumindest historisch gesehen gibt es keine Grund anzunehmen, dass Peer Review immer als Qualitätsmerkmal begriffen wird.

Reaktionen auf die Kritik

Das Peer Review nicht so funktioniert, wie es funktionieren sollte, scheint bei denen, die sich mit dem Thema befassen, als Faktum akzeptiert zu sein. Während eine Anzahl von Kritikerinnen und Kritiker dafür plädieren, dass System gänzlich abzuschaffen, argumentieren die meisten Beteiligten dafür, es zu verbessern.

Dabei berufen sie sich oft auf zwei Gründe: Die Forschenden würden das System gut finden und es gäbe kein besseres. (Ware, 2011, Harris, 2010/2011, Newton, 2010, Schwartz & Hernon, 2010, Müller, 2009) Der erste Grund ist aber zu hinterfragen. Oft wird er nicht begründet, sondern der Schluss gezogen, dass ja genügend Forschende im Peer Review-System publizieren und als Reviewende tätig sein würden und es deshalb gut finden würden. Oder aber es werden gerade die Forschenden befragt, die im System verankert sind. (Mulligan & Raphael, 2010 Befragten zum Beispiel Forschende, die in einem bei Thomson/Reuters verlegten Peer Reviewed Journal publiziert hatten – also nicht mal Open Access –, ob diese Peer Review gut finden würden, was die Ergebnisse fast irrelevant werden lässt. Fänden sie das System schlecht, würden sie ja auch mit hoher Wahrscheinlichkeit nicht in ihm publizieren.) Nur stellt sich die Frage, ob hierbei nicht vom Ergebnis her die falschen Gründe für diese Ergebnisse konstruiert werden. In zahlreichen Fachgebieten besuchen junge Forschende zum Beispiel Kurse, in denen sie zu publizieren lernen sollen und wo ihnen erst der Peer Review-Prozess beigebracht wird. Spätestens wenn man anfängt, über eine Promotion nachzudenken, hört man immer wieder, dass nur diese Texte wirklich bei Bewerbungen in der Wissenschaft zählen würden, weil nur sie wissenschaftlich seien. Das Forschende im Laufe ihrer Karriere auf Nachfrage mitteilen, dass sie Peer Review prinzipiell gut finden, könnte auch damit zu tun haben, dass ihnen dieses System als notwendig gelehrt und zudem die Empirie über dieses nicht bekannt ist. Diese Argumentation für Peer Review scheint sich ein wenig im Kreis zu drehen: Das System ist an sich gut, weil die im System es okay finden.

Die zweite Argumentation ist eher herausfordernd, fast schon eine Wette: Gäbe es ein besseres System der Publikationssteuerung von wissenschaftlichen Artikeln, würde man dann auf dieses wechseln? (Und stimmt es überhaupt, dass es kein besseres gibt?)

Doch auch, wenn die Argumente für Peer Review wenig überzeugend sind, wird weiter versucht, das System zu verbessern.

• Zuvorderst wird immer wieder versucht, unethisches Verhalten oder gar direkten Betrug auszuschalten. Sicherlich: Jedes System kann betrogen werden und wird es auch. Daneben aber wird immer wieder versucht, unethisches oder schwieriges Verhalten bei Reviewenden auszuschalten, wobei immer davon ausgegangen wird, das der grosse Teil der Reviewenden daran interessiert ist, gut zu arbeiten, die Zeitschriftenredaktionen zu unterstützen und die zu begutachtenden Artikel zu verbessern. (Für das Peer Review bei der Vergabe von Forschungsmitteln betont dies auch Lamont, 2009, die aber zugleich darauf verweist, dass das System gegenüber dem guten Willen aller Beteiligten absonderliche Effekte zeitigen kann.) Als Mittel zur Unterstützung der Reviewenden werden (a) bessere Hinweise darauf, was von ihnen erwartet wird, (b) besser strukturierte Bewertungsbögen (Siehe als Beispiel Daniel, 1993, S. 12), (c) die Aufwertung der Arbeit der Reviewenden (Kumar, 2010), (d) teilweise eine regelrechte Weiterbildung zum guten Reviewen vorgeschlagen und teilweise umgesetzt. Zudem führen (e) Redaktionen offenbar fast immer Listen von potentiellen Reviewenden, die sie immer wieder einmal durchsortieren und Reviewende mit schlechten Reviews streichen. An sich kommt den Redaktionen eine wichtige Bedeutung zu, wird doch auch (f) ihrer Kommunikation mit den Reviewenden eine wichtige Bedeutung beigemessen.
• Blind Review (die Reviewenden sind den Autorinnen und Autoren der Texte nicht bekannt), Double Blind Review (auch den Reviewenden sind die Autorinnen und Autoren nicht bekannt), aber auch als Gegenteil das Open Review sind Versuche, das Peer Review gerechter zu gestalten. Blind und Double Blind-Review soll Bias ausschalten und zudem dazu führen, dass die Reviewenden ehrlich ihre Meinung äussern und nicht aus Angst vor möglichen negativen Konsequenzen für sich behalten. Open Peer Review – bei dem zumeist darauf verwiesen wird, dass auch Double Blind Review nicht dazu führt, Bias zu vermeiden – soll die Qualität des Review durch Transparenz erhöhen. Allerdings sind die meisten Experimente mit diesen Systemen bislang auch schief gegangen.
• Peer Review soll eigentlich nicht die Aufgaben der Redaktionen ersetzen. Immer wieder wird darauf verwiesen, dass es nur eine Möglichkeit ist, die Bewertungen der Redaktionen zu unterstützen. (Hames, 2007) Gleichzeitig sollen es die Redaktionen sein, welche die letzte Entscheidung treffen und beispielsweise einen Artikel doch publizieren können, obgleich er von den Reviewenden abgelehnt wird. So kann die Redaktion zum Beispiel weitere Kritierien heranziehen und versuchen, Bias entgegenzuwirken.
• Stellenweise wird vorgeschlagen, mehr als zwei Reviewende pro Artikel einzubeziehen. Umgesetzt wird dies – ausser bei extremen Bewertungen der zwei Reviewenden – offenbar selten. Öfter umgesetzt wird eher die Möglichkeit, dass Autorinnen und Autoren von vorne herein potentielle Reviewende wegen möglicher Befangenheit ausschliessen können.
• An sich wird sich durch eine bessere Information über den Peer Review-Prozess, seine Aufgaben und Schwierigkeiten versprochen, dass alle Beteiligten eine bessere Rolle in ihm einnehmen können. Die Frage ist natürlich immer wieder, wie das geschehen soll; da all die bislang veröffentlichen Artikel und Monographien zum Thema offenbar nicht ausgereicht haben.

Die Kosten des Peer Review

Eine kleine Anzahl von Texten verweist darauf, dass das Peer Review ein kostenträchtiges Unternehmen ist, sowohl monetär als auch vom Arbeits- und Kommunikationsaufwand her. (U.a. Harnad, 2010) Man sollte dies nicht unterbewerten.

• Peer Review bedeutet einen stark erhöhten Kommunikationsaufwand auf Seiten der Redaktionen. Sie müssen nicht nur Reviews verschicken und einsammeln, sondern überhaupt Reviewende finden, mit diesen immer wieder einmal kommunizieren, sie zum Erstellen der Review anhalten (wobei sie keine wirklichen Druckmittel haben), die Reviews lesen und in den eigenen Bewertungsprozess einbinden.
• Die Reviewenden müssen die Arbeit für die Reviews leisten, was einige Stunden pro Text dauern kann. Insbesondere dann, wenn den Autorinnen und Autoren Rückmeldungen erlaubt sind, kann sich diese Arbeit summieren, da auf diese Rückmeldungen zu den Reviews eingegangen werden muss.
• Peer Review verlängert tendenziell den Prozess der Publikation, aber auch der Nicht-Publikation. Die gesamte Kommunikation und der Review-Prozess fordern ihre Zeit, die allerdings bei der Verbreitung von wissenschaftlichen Erkenntnissen – ganz zu schweigen davon, dass bei den ständigen befristeten Stellen der meisten Forschenden eine schnelle Publikation für die Vita wichtig ist – nicht unbedingt gut ist. Angesichts dessen, dass Forschende immer überlastet sind (so scheint es zumindest), handelt es sich dabei oft um Monate, halbe Jahre.
• Peer Review kann dazu führen, dass Forschende tendenziell in schon bekannten Bahnen forschen, weil sich dies besser publizieren lässt. Eventuell, so zumindest eine Kritik, die teilweise vorgebracht wird, führt Peer Review nicht nur dazu, dass innovative Texte unpubliziert bleiben, sondern sogar dazu, dass schon bei der Forschung und dem Stellen von Anträgen zur Forschungsförderung innovativen Projekten eher ausgewichen wird. Wenn dies stimmt, könnte es die Möglichkeiten der Wissenschaft massiv einschränken (und damit auch der Gesellschaft, welche von der Wissenschaft profitieren soll).

Dieser Text wurde auch unter der Frage begonnen, ob eine Zeitschrift wie die LIBREAS Peer Review einführen sollte. Deshalb scheint mit ein weiterer Kostenfaktor wichtig: Peer Review führt tendenziell dazu, dass Menschen, die dieses System nicht kennen oder zu kompliziert finden, nicht publizieren wollen. Es bildet sich tendenziell eine Elite, die mit diesem System umgehen kann, aber es ist nicht klar, ob diese Differenzierung in Forschende, die mit dem System klarkommen, und Nicht-Forschenden immer gut ist. Gerade bei Zeitschriften, die sich nahe an der Praxis bewegen kann dies dazu führen, dass viele Texte nicht geschrieben werden und Kommunikation damit nicht stattfindet.

Warum doch Peer Review?

Eine interessante Frage ist, warum das Peer Review-System weiter existiert, wenn es doch laut Kritik so ineffizient ist. Sind es die Verlage, die mit dem Peer Review eine Qualitätssiegel für ihre Zeitschriften erhalten und es deshalb fördern? Sind so viele Forschende wirklich darauf ausgerichtet, Reputation über die Veröffentlichung von Peer Reviewed Artikeln aufzubauen? Stimmt die Kritik gar nicht?

Eine Vermutung, die viel näher liegt, ist die, dass das System, so schlecht es auch den eignen Ansprüchen genügt, andere Funktionen hat, die von den Beteiligten wahrgenommen werden. Es kann als System für etwas anderes funktionieren, als es auf den ersten Blick scheint.

Diese Vermutung wird nicht oft geäussert, dabei scheint sie mir doch naheliegend: Was das Peer Review System herstellt, ist Kommunikation. (Vgl. Hirschauer, 2005) Dies ist in den vorhergehenden Ausführungen schon aufgeschienen. Peer Review re-aktualisiert mit jedem Artikel, der zum Review gegeben wird, mit jeder Review, die geschrieben und weiter vermittelt wird, mit jeder Annahme und auch Ablehnung das jeweilige Feld der Wissenschaft. Die Redakteurinnen und Redakteure stellen ein Netzwerk her, dessen Teilnehmenden sich nicht einmal immer kennen können, die sich aber doch durch die Teilnahme an der Review – egal auf welcher Seite – als Teil dieses lebendigen Netzwerks verstehen können. In mehr als einem Fall gilt, dass Artikel fast nie gelesen werden, ausser von den Reviewenden. Die Review stellt sicher, dass sogar ein Text, der nirgends mehr zitiert wird (wie es vielen Texten passiert) doch mindestens zweimal gründlich gelesen und damit wahrgenommen wurde. Die Kommunikation im Netzwerk wird dadurch sichtbar. Solange nur genügend Forschende teilnehmen, existiert die Fachdiskussion.

Diese – ebenso nicht originelle – Herleitung ist nicht nur systemtheoretisch gemeint, sondern führt einen anderen Wert der Wissenschaftskommunikation ein. Es geht den Forschenden nicht (nur) darum, Reputation aufzubauen, sondern vielmehr darum, wahrgenommen zu werden und sich als Teil eines Forschungsnetzwerks verstehen zu können. Dies würde zumindest erklären, warum ein System wie das Peer Review weiter betrieben wird, obgleich es offenbar an den eigenen Ansprüchen scheitert (so den die Kritik stimmt).

Kleine Zeitschriften und Peer Review

Peer Review als System benötigt mehrere Beteiligte. Es muss Autorinnen und Autoren geben, die ihre Artikel in ein solches System eingeben und damit einverstanden sind, dass diese nicht nur redaktionell bearbeitet werden, sondern reviewed. Es muss Redaktionen geben, welche den Review-Prozess organisieren können. Und es muss genügend Peers geben, die in der Lage (finanziell und zeitlich) sind sowie sich bereit erklären, die Aufgabe des Peer Review zu übernehmen, zumeist „nebenher“. Letztlich benötigt das Peer Review-System eine genügend grosse Forschungscommunity zu einem Feld, in der zumindest genügend Mitglieder sich für dieses System einspannen lassen. Wie gross hierbei „genügend gross“ ist, müsste vielleicht noch einmal näher bestimmt werden.

Sicher ist eine solche Community in Feldern, die sich vorrangig als Wissenschaft verstehen, leichter herzustellen, als anderswo. Noch einmal muss betont werden, dass zum Peer Review in gewisser Weise erzogen werden muss. Unmittelbar einsichtig ist der ganze Stress, welcher damit verbunden ist, nicht allen.

Aber was ist mit praxisnahen Communities, die sich zu grossen Teilen aus Mitgliedern zusammensetzen, die sich nur in zweiter oder dritter Reihe als Wissenschaftlerinnen und Wissenschaftler verstehen? Was ist mit Zeitschriften, die in Felder agieren, in denen es nicht ausreichend viele Personen gibt, welche Aufgaben im Peer Review-Systems übernehmen? Hier sind wir thematisch wieder bei der LIBREAS gelandet. Die Bibliotheks- und Informationswissenschaft ist eng verbunden mit der Praxis im Bibliotheks- und Informationswesen. Viele dort tätige wollen gar nicht wissenschaftlich veröffentlichen, sondern müssen teilweise erst dazu gedrängt werden, überhaupt zu publizieren. Gleichzeitig gibt es gar nicht genügend viele Personen im Bibliotheks- und Informationswesen, welche die Artikel, die in der Redaktion eingereicht werden, reviewen wollten oder könnten. (Und die Idee des Double Blind Review können wir in der kleinen Szene gleich aufgeben. Selbstverständlich erkennt man bei den meisten Artikeln, wer sie geschrieben hat.) Vielmehr: Die Redaktion selber besteht aus Peers. Peer Review wird eigentlich so definiert, dass das Review ausserhalb der Redaktion stattfindet, also eine Ergänzung zum Redaktions-internen Entscheidungsprozess darstellt. Aber es erscheint kontra-intuitiv gerade die Mitglieder der Redaktion, die sowohl Peers als auch Engagiert sind, auszuschliessen, wo es schon so wenige Peers gibt, die man als Reviewende ansprechen könnte.

Mir scheint, dass ein weiterer blinder Punkt des Peer Review der ist, dass dieses System eigentlich nur in genügend grossen Felder mit genügend mit dem System einverstandenen Forschenden funktionieren kann. Ansonsten sind die Kosten, die für das System aufzubringen sind, viel zu gross für die eventuell auftretende Ergebnisse – die zudem vielleicht noch nicht einmal gewünscht sind.

Peer Review wurde in den 1970er und 1980er Jahren verstärkt eingeführt, weil es die Qualität des Wissenschaftskommunikation verbessern sollte. Es scheint einfach nicht so, dass diese Qualitätssteigerung immer eingetreten wäre. Zudem scheint die Frage vergessen worden zu sein, ob dieses System wirklich der Wissenschaftskommunikation dient und vor allem, unter welchen Voraussetzungen. Die Verteidigung, dass es kein perfektes System sei, aber doch das Beste, das bekannt ist, scheint äusserst schwach. Warum ist den ein redaktionsinternes Review schlechter? Warum ist die Veröffentlichung aller Texte, die bestimmten formellen Kritierien entsprechen, mit anschliessender transparenten Diskussions- und Löschmöglichkeit, ein schlechteres System? Ich will gar nicht sagen, dass es nicht auch Argumente für das Peer Review und gegen die anderen Möglichkeiten der Organisation der Auswahl von zu publizierenden und nicht zu publizierenden Artikeln geben könnte, aber sie werden nicht mehr ausgetauscht.

Für kleine Zeitschriften, insbesondere in praxisnahen Felder, würde ich vermuten, dass es wichtiger wird, über die Aufgaben der Redaktionen nachzudenken und bei der redaktionellen Arbeit das Ziel im Hinterkopf zu behalten, dass man Wissenschaftskommunikation herstellen muss, als ungeprüft ein Peer Review-System zu installieren, dem dann ja auch für eine lange Zeit gefolgt werden muss.

Peer Review als Thema für die Bibliotheks- und Informationswissenschaft

Eine Anmerkung noch: Die Bibliotheks- und Informationswissenschaft beschäftigt sich mit dem Peer Review in einer Weise, welche kaum auf die zahlreiche Kritik an diesem System eingeht. Genauer: Dass es diese Kritik gibt, wird kaum thematisiert. (Vgl. allerdings Müller, 2010, wo dies immerhin in einem Kapitel getan wird.) Das ist nicht nur erstaunlich, sondern auch gefährlich. Bislang scheint die Ansicht, Peer Review sei ein Gold-Standard und alle Forschenden wollten in diesem System publizieren, das Nachdenken über die Wissenschaftskommunikation zu prägen. Beispielsweise wurden mehrere Institutionelle Repositorien mit dem Argument begründet, dass Forschende ihre Texte aus Reputationszwecken sichtbar und qualitativ abgesichert anbieten wöllten. Dies scheint eine unzulässige Verkürzung der Gründe für das heutige System der Wissenschaftskommunikation zu sein. Weder scheint die Reputation als Wert (alleine) die Publikation von Texten durch Forschende zu erklären, noch kann das Peer Review-System einfach als Qualitätssicherungssystem verstanden werden. Wenn es stimmt, dass es vor allem Kommunikation herstellt, dann geht eine verkürzte Wahrnehmung als Qualitätssicherungssystem an der Realität vorbei.

Die Bibliotheks- und Informationswissenschaft, welche sich auch mit der Wissenschaftskommunikation beschäftigt, sollte deshalb die Kritik am Peer Review-System mit in ihren feldspezifischen Wissensschatz aufnehmen – zumindest das.

 

Literatur

Bornmann, L., und H.-D. Daniel. „Reliability of reviewers’ ratings when using public peer review: a case study“. Learned Publishing 23, Nr. 2 (2010): 124–131.

Bornmann, Lutz, und Hans-Dieter Daniel. „The manuscript reviewing process: Empirical research on review requests, review sequences, and decision rules in peer review“. Library & Information Science Research 32 (2010): 5–12.

Bornmann, Lutz. „Stiftungspropheten in der Wissenschaft: Eine wissenschaftssoziologische Studie über die Reliabilität, Fairness und Validität des Peer-Review-Verfahrens für ein Postgraduierten-Stipendien-Programm“. Dissertation zur Erlangung des akademischen Graxdes eines Doktors der Wirtschafts- und Sozialwissenschaften, Universität Kassel, 2002.

Daniel, Hans-Dieter. Guardians of Science Fairness and Reliability of Peer Review. Weinheim ; New York: VCH, 1993.

Greene, Sarah. „Experts give new slant on peer review“. Research Information (2011 2010): 42.

Hames, Irene. Peer Review and Manuscript Management in Scientific Journals: Guidelines for Good Practice. Malden ; Oxford ; Victoria: Blackwell Publishing, 2007.

Harnad, Stevan. „No-Fault Peer Review Charges: The Price of Selectivity Need Not Be Access Denied or Delayed“. D-Lib Magazine 16, Nr. 7/8 (2010).

Harris, Siân. „Weighing up the benefits of the peer-revoew system“. Research Information (2011 2010): 11.

Henderson, Mark. „End of the peer review show?“ BMJ, Nr. 340 (2010): 738–740.

Hirschauer, Stefan. „Publizierte Fachurteile: Lektüre und Bewertungspraxis im Peer Review“. Soziale Systeme 11, Nr. 1 (2005): 52–82.

Kumar, Malhar N. „The ‚peer reviewer as collaborator‘ model for publishing“. Learned Publishing 23, Nr. 1 (2010): 17–22.

Lamont, Michèle. How Professors Think: Inside the Curious World of Academic Judgment. Cambridge, Massachusetts; London, England: Havard University Press, 2009.

Moran, Gordon. Silencing scientists and scholars in other fields: power, paardigm controlsm peer review, and scholarly communication. Contenporary studies in information management, policy, and services. Greenwich: Ablex Publishing, 1998.

Mosley, Pixey Anne. „To Peer Review or Not To Peer Review“. Library Leadership & Management 25, Nr. 2 (2011): 1–3.

Müller, Uwe Thomas. Peer-Review-Verfahren zur Qualitätssicherung von Open-Access-Zeitschriften: Systematische Klassifikation und empirische Untersuchung. Q-Serie 6. Berlin: Humboldt-Universität zu Berlin, 2010.

Mulligan, Adrian, und Ellen Raphael. „Peer review in a changing world – preliminary findings of a global study“. Serial 23, Nr. 1 (2010): 25–34.

Newton, Douglas P. „Quality and Peer Review of Research: An Adjudicating role for Editors“. Accountability in Research 17 (2010): 130–134.

Nowotny, Helga. „The Audit and Accountability Culture in Research“. In Science Between Evaluation and Innovation: A Conference on Peer Review; Ringberg-Symposiium April 2002, herausgegeben von Anonym, 33–39. Max Planck Forum 6. München: Max Planck Gesellschaft, 2003.

Read, Malcolm. „Reviewing the review process“. Research Information (2011): 11.

Schwartz, Candy, und Peter Hernon. „Some thoughts on peer review“. Library & Information Science Research 32 (2010): 13–15.

Shalvi, Shaul, Matthijs Baas, Michel J.J. Handgraaf, und Carsten K.W. De Dreu. „Write when hot – submit when not: seasonal bias in peer review or acceptance?“ Learned Publishing 23, Nr. 2 (2010): 117–123.

Shatz, David. Peer review: a critical inquiry. Issues in academic ethics. Lanham: Rowman & Littlefield, 2004.

Smith, Richard. „Scrap peer review and beware of ‚top journals‘“. BMJ Groups blogs, Februar 22, 2010.

Souder, Lawrence. „The ethics opf scholary peer review: a review of the literature“. Learned Publishing 24, Nr. 1 (2011): 55–72.

Wager, Elizabeth, Fiona Godlee, und Tom Jefferson. Erfolg im Peer Review: Wissenschaftliche Begutachtung durchführen und überstehen. Bern: Verlag Hans Huber, 2007.

Ware, Mark. „Peer Review: Recent Experience and Future Directions“. New Review of Information Networking 16 (2011): 23–53.

Weller, Ann C. Editorial Peer Review: Its Strengths and Weaknesses. ASIST Monograph Series. Medford, New Jersey: Information Today, 2001.

Wheeler, Bonnie. „The Ontology of the Scholary Journal and the Place of Peer Review“. Journal of Scholary Publication (2011): 307–322.