LIBREAS.Library Ideas

Peer Review – eine Entscheidungsfrage für kleine Zeitschriften

Posted in LIBREAS.Debatte, LIBREAS.Referate by Karsten Schuldt on 6. Juni 2012

 Von Karsten Schuldt

Motivation (Einleitung)

Innerhalb der LIBREAS-Redaktion wird immer wieder einmal diskutiert, ob und wie wir ein härteres Peer Review Verfahren einführen sollten. Bislang arbeiten wir nach dem Prinzip des Editorial Review. Dass heisst, das wir innerhalb der Redaktion jeweils eine Person bestimmen, welche die Hauptentscheidungen zu einem Artikel trifft und insbesondere dann, wenn dies als notwendig angesehen wird, zuvor mit den Autorinnen und Autoren an einem Artikel arbeitet; nschliessend, wenn der Artikel fertig bearbeitet ist, der restlichen Redaktion eine grundsätzliche Entscheidung zur Publikation mitteilt und die anderen Mitglieder um eine Stellungnahme bittet. Mindestens zwei von uns sollten diese Rückmeldung geben (die wiederum alles sein kann: Annahme, Ablehnung, Vorschläge für Änderungen). Eine letzte Entscheidung über die Publikation oder Nicht-Publikation trifft dann die letzte Redaktionskonferenz vor der Publikation gemeinsam. Ein teilweise aufwendiges Verfahren, aber meines Erachtens ein gutes, da es eher zu besseren Texten führt.

Es gibt Gründe für dieses System. Gleichzeitig jedoch gibt es offenbar Gründe für ein anderes Peer Review Verfahren. Insbesondere werden alle Bibliothekarinnen, Bibliothekare und andere Personen, die sich mit dem wissenschaftlichen Publizieren auskennen, darauf verweisen, dass Peer Review als Qualitätsmerkmal wissenschaftlicher Zeitschriften gilt. Eine Zeitschrift würde nur ernst genommen werden, wenn sie ein möglichst strenges Peer Review durchführt. Dies hätte ebenso gute Gründe: Peer Review würde dazu führen, dass die publizierten Texte hochwertig wären, dass sie abgesichert wären, dass gleichzeitig die Qualität der eingereichten Texte hoch sein würde, weil Peer Review als Merker gilt, der anzeigt, dass nicht alles angenommen wird. Dies wird, teilweise wie ein Glaubensgrundsatz, immer wieder vorgetragen.

Diese Diskussion verschwindet nie wirklich. Mir scheint sie allerdings viel zu übertrieben. Für eine kleine Zeitschrift in einem kleinen Fach, dass zudem stark mit der untersuchten Praxis – also dem Bibliotheks- und Informationswesen – verbunden ist, wie es die LIBREAS darstellt, scheint mir dies nicht zuzutreffen. Peer Review setzt eine grössere Community voraus, gleichzeitig ein geteiltes Verständnis innerhalb dieser Community, dass Peer Review richtig wäre.

Aber: Die LIBREAS-Redaktion ist gewiss nicht die einzige Redaktion, welche sich mit dieser Frage befassen muss. Vielmehr existiert eine relativ breite Forschung zum Thema Peer Review, welche bei einer Argumentation für oder gegen dieses Verfahren – oder eines der vielen unter diesem Begriff gefassten Verfahren (Wheeler, 2011) – herangezogen werden kann. Erstaunlicherweise allerdings wird diese Forschung in der Bibliotheks- und Informationswissenschaft quasi nicht wahrgenommen. Dies war der Grund für eine Recherche, über die hier kurz berichtet werden soll: Was können wir eigentlich aus der Forschung über die Funktion und die Effekte von Peer Review wissen? Gibt es schlagende Argumente für oder gegen dieses Verfahren?

(Zusätzlich motiviert wurde die Recherche durch das Gefühl, dass mit der grundsätzlichen Argumentation etwas nicht stimmt. Immer wieder einmal, so auch letztens auf dem Deutschen Bibliothekstag in Hamburg, wird behauptet, dass Forschende dazu streben würden, ihre Texte in Peer Reviewed Zeitschriften zu veröffentlichen, um Reputation aufzubauen. Aber in meiner Zeit an Universität und Hochschule habe ich davon wenig mitbekommen. Es gab einige wenige karrierebewusste Forschende, die auf solche Prinzipien achteten und ewige Sitzungen darüber halten wollten, wer wo wann wie publiziert. Aber es gab auch genügend andere, die erst in Kurse geschickt werden mussten, um überhaupt von Peer Review zu erfahren – und es kurze Zeit später wieder zu ignorieren. Forschende, so geht eine gerne einmal wiederholte Behauptung, sind im Bezug auf Wissen Kommunisten und Kommunistinnen: Sie wollen teilen, so viel wie möglich. Wo ist ihnen relativ egal, wie die Auswahlprozesse von Artikeln et cetera sind, auch. Die Idee, Reputation zu sammeln, ist ihnen eher fremd – zumal im Ergebnis nicht sichtbar ist, ob die karrierebewussten Forschenden wirklich mehr Karriere machen oder nicht eher mit mehr persönlichem Stress – und offenbar ohne den Anspruch, die Welt besser zu machen – die gleichen Ergebnisse erreichen. Zwar gibt es immer wieder die Behauptung, Auswahlkommissionen würden nur auf Peer Reviewede Artikel achten, aber andererseits wird das so oft erzählt, dass die Personen in den Kommissionen langsam wissen müssten, dass solch ein Vorgehen mehr als schwierig ist.

Das kann selbstverständlich eine subjektive Verzerrung sein, weil ich einfach die falschen Forschenden getroffen habe. Allerdings bleibt das ungute Gefühl, dass die Argumentation nicht stimmt – und damit auch die Prozesse, die von ihr angestossen werden, nicht notwendig sein müssen.)

Peer Review – kritisiert und erforscht seit Jahrzehnten

There has been a steady growth in academic papers on peer review, with about 200 papers a year currently appearing in PudMed. The result of this interest is that there is now a sizeable evidence base covering many areas of peer review, although ironically this evidence base appears little known and often ignored by journal editors. (Ware, 2011, p. 24)

Eine der grossen Überraschungen, neben dem Fakt, dass es zahlreiche Literatur zur Praxis des Peer Review gibt, über die man in der Bibliotheks- und Informationswissenschaft quasi nie spricht, ist, dass Peer Review seit Jahrzehnten heftig kritisiert wird – und zwar auf unterschiedlichen Ebenen. Es gibt beispielsweise ein philosophisch motivierte Kritik, es gibt soziologische Untersuchungen zur Praxis des Peer Review und zahlreiche empirische Untersuchungen dazu, ob der Peer Review-Prozess die Ergebnisse zeitigt, die er zeitigen soll. Dabei ist diese Kritik keine kleine Strömung. Vielmehr gibt es mehrere Zeitschriften, die sich immer Gedanken darum machen, ob sie Peer Review abschaffen oder zumindest in seiner Bedeutung herunterfahren sollten. In quasi jedem relevanten längeren Text zum Thema und den Monographien zum Peer Review finden sich lange Abschnitte zur Kritik des Peer Review und Aussagen dazu, was es alles nicht kann. Selbst ein Buch mit dem Titel „Erfolg im Peer Review: Wissenschaftliche Begutachtung durchführen und überstehen“ (Wager, Godlee & Jefferson, 2007) redet vielmehr darüber, welche Grenzen Peer Review hat, als darüber, wie man wissenschaftliche Begutachtung übersteht.

Sicherlich gibt es immer wieder Forschende, die radikalere Schlüsse ziehen, als andere. Aber es gibt doch einige Fakten, die unumstritten – weil zumeist empirisch reproduzierbar nachgewiesen – sind.

  1. Die Ergebnisse des Peer Review sind nicht reproduzierbar. (Vgl. u.a. Wager, Godlee & Jefferson, 2007) Wenn Peer Review Qualitätskontrolle bedeutet, so könnte man erwarten, dass Artikel, die von einer Zeitschrift zur Publikation akzeptiert wurden, von der gleichen (oder einer „qualitativ vergleichbaren“) Zeitschrift auch wieder zur Publikation angenommen werden müssten – zumindest solange nicht ein zu langer Zeitraum zwischen diesen Entscheidungen liegt, da das Wissen ja voranschreitet. Ebenso müsste es sich mit Ablehnungen verhalten, zumindest tendenziell. Dem ist aber nicht so. Ob ein Artikel zur Publikation angenommen wird oder nicht, lässt sich nicht daraus vorhersagen, ob er schon einmal publiziert wurde. (Hierzu ist ein Experiment aus den 1970ern bekannt, wo Artikel, die in wissenschaftlichen Zeitschriften veröffentlicht wurden, bei diesen leicht verändert neu eingereicht wurden. Nicht nur wurden die neu eingereichten fast durchgängig als qualitativ schlecht abgelehnt, sie wurden zudem nur von einer sehr kleinen Zahl der Redaktionen oder Reviewenden als Re-Publikationen erkannt, was noch erschreckender ist.) Es fragt sich aber, was das für ein Qualitätssicherungssystem sein kann, dass die eigenen Ergebnisse an den gleichen Objekten nicht reproduzieren kann.
  2. Peer Review reproduziert – selbst in den verschärften Formen des Blind Review – mehrere Bias. (Vgl. u.a. Weller, 2001) Männer können mehr ihrer Texte publizieren als Frauen; Personen, die an Einrichtungen mit hohem Prestige angestellt sind publizieren weit mehr eingereichte Texte, als andere Personen; Personen aus den westlichen, englischsprachigen Staaten mehr als andere; je höher der akademische Titel, um so höher die Veröffentlichungschance. Wenn aber die gleichen Ergebnisse in einem Artikel einer wissenschaftlichen Mitarbeiterin von einer „No Name Hochschule“ aus Ungarn nicht die gleichen Veröffentlichungschancen haben, wie in einem Artikel eines Professors aus Harvard, dann geht es beim angeblichen Peer Review System nicht nur um die Qualität der Ergebnisse oder deren Präsentation, sondern auch darum, dass systemische Ungleichheit reproduziert werden. Dabei muss man bedenken, dass gerade Double Blind Review eingesetzt wird, um solche Bias zu vermeiden.
  3. Double Blind Review – bei dem sowohl den Reviewenden die Autorinnen und Autoren der Artikel, die sie reviewen, nicht bekannt sind als auch den Autorinnen und Autoren nicht klar ist, wer sie reviewed hat – funktioniert quasi nicht. Praktisch raten alle Beteiligten, wer hinten den Texten oder Reviews steckt und ziehen daraus Schlüsse. Sie liegen zwar nur zu 20-40 % (das unterscheidet sich je nach Studie) richtig, aber auch wenn sie falsch liegen, sind sie oft der Meinung, zu wissen, wer hinter Text und Review steckt, was ausreicht, um die Sinnhaftigkeit des Double Blind Review-Verfahrens zu hinterfragen.
  4. Reviews produzieren keine konsistenten Ergebnisse im Sinne einer Übereinstimmung der Reviewenden. (Z.B. Bornmann & Daniel, 2010) Oft funktionieren Reviews in dem Masse, dass ein Text von zwei Reviewenden überprüft wird. In Ausnahmefällen, wenn deren Meinungen strikt auseinander gehen, soll eine dritte Meinung eingeholt werden. Allerdings: Dieser Ausnahmefall tritt sehr oft ein. Bei 20%, 30%, manchmal 40% der Artikel, die bei einer Zeitschrift reviewed werden, passiert dies. Das ist schon erstaunlich, soll doch von den Reviewenden eigentlich die Qualität der Artikel – also, ob sie dem Stand der Wissenschaft im Fach entsprechen – überprüft werden, die ja eigentlich im Feld geteilt werden sollte. Es gibt Stimmen, die darauf hinweisen, dass Wissenschaft immer beweglich ist, und nicht-übereinstimmende Reviews auch ein Ausdruck einer aktiven wissenschaftlichen Diskussion sein können – zumal sich die Meinungen der Reviewenden selten vollständig widersprechen, also eine Review für Publizieren ohne alle Änderungen, eine Review für sofortiges Ablehnen. (Daniel, 1993) Dennoch widersprechen diese Ergebnisse dem Bild des Peer Review als praktisch unanfechtbarem Qualitätssystem.
  5. Peer Review führt nicht dazu, dass wissenschaftlicher Betrug oder Fehler vermieden werden, zumindest nicht vollständig. (Smith, 2010) Viele Texte verweisen darauf, wie zahlreiche Skandale um wissenschaftlichen Betrug oder Fehler, die im Nachhinein offensichtlich sind, in den letzten Jahrzehnten nicht durch Peer Review der Artikel, welche die Skandale auslösten, verhindert wurden. Selbstverständlich: Wir wissen nicht, wie viele andere verhindert wurden, aber es ist doch offensichtlich, dass der Betrug des Systems weiterhin möglich ist. Warum, so fragen einige Kritikerinnen und Kritiker, sollten man dann ein ziemlich ausgebautes System als Qualitätssicherungssystem erhalten, wenn es gar nicht so viel Qualität sichert? Dabei verweisen sie oft darauf, dass gerade Forschende, die – warum auch immer – betrügen wollen, gerne das „Siegel“ Peer Reviewed erwerben, um ihre Texte als Teil der wissenschaftlichen Diskussion zu verkaufen. Eingewandt wird daraufhin, dass auch andere Systeme wissenschaftlichen Betrug nicht verhindert hätten, aber das Argument ist ziemlich hängig. (Immerhin besteht die Gefahr, dass Betrug einfacher zu begehen ist, wenn alle Publikationen genau einem System von Qualitätssicherung vertrauen, weil dann nur ein Weg zum Betrug gefunden werden muss, nicht unterschiedliche.)
  6. Es gibt weitere absonderliche Eigenheiten, die der Erklärung bedürfen, weil sie nicht mit dem Bild des Peer Review übereinstimmen. Shalvi et al. (Sahlvi, 2010) zeigen zum Beispiel, dass die Jahreszeit der Einreichung eines Artikels einen Einfluss auf die Wahrscheinlichkeit hat, ob ein Artikel publiziert wird oder nicht. Das ist verständlich, wenn man den Publikationsprozess als Teil eines gesellschaftlichen Prozess versteht, bei dem selbstverständlich saisonale Strukturen (wann wird gemeinhin Urlaub gemacht, wann sind gemeinhin Prüfungen, wann alle im Stress, wann nicht et cetera) eine Rolle spielen. Aber dann wäre Peer Review kein unanfechtbares Qualitätssystem mehr.
  7. An sich gehen auch diejenigen, welche Peer Review als sinnvoll verteidigen, davon aus, dass das Peer Review-System die meisten Versprechen, die es macht, nicht einhält. (Z.B. Newton, 2010) Sie argumentieren dann allerdings, dass wir erstens kein anderes System hätten, dass besser funktionieren würde und das zweitens die Redakteurinnen und Redakteure die Grenzen des Peer Review Systems im Hinterkopf behalten und in ihre Arbeit einbeziehen müssten. Denn, so sind sich wieder viele einig: Die reichhaltige Forschung zum Peer Review wird meistens gerade in Redaktionen selber gar nicht wahrgenommen.

Gerade der letzte Punkt führt aber zu weiteren Kritiken, die nicht allgemein geteilt, aber doch verbreitet sind.

  1. Peer Review würde dazu führen, dass sich Redaktionen aus ihrer Funktion zurückziehen und nur noch den Empfehlungen der Reviewenden folgen würden. Die Redaktionen würde tendenziell zur Verwaltungsarbeit übergehen und keinen gestaltenden Einfluss mehr auf die Zeitschriften nehmen. Dann aber, so die Argumentation, bedürfe es keiner Redaktionen und keine Zeitschriften mit eigenen Schwerpunkten mehr. Hiergegen wird argumentiert, dass Peer Review die Entscheidungen der Redakteurinnen und Redakteure nicht ersetzen, sondern nur ergänzen soll. Es soll mehr Wissen zur Bewertung von Artikeln versammeln helfen und den Reaktionen eine Möglichkeit an die Hand geben, informierte Entscheidungen über Publikation, Änderungsnotwendigkeiten oder Nicht-Publikation an die Hand zu geben. Die Frage allerdings ist, wie dies tatsächlich umgesetzt wird. Es gibt differente Erzählungen aus den Redaktionen. (Gewendet auf die Darstellung von Peer Review in der Bibliotheks- und Informationswissenschaft muss man allerdings sagen, dass dort Peer Review tatsächlich so dargestellt wird, als würde es die Entscheidungen der Redaktion ersetzen. Dass die Redaktionen eine Verantwortung für die Zeitschriften et cetera tragen, wird kaum noch thematisiert, auch nicht, dass Peer Review eine Entscheidungshilfe unter mehreren Hilfsmitteln sein kann.) Weiterhin wird argumentiert, dass gerade Blind und Double Blind Review-Verfahren dazu führen können, dass sich Redaktionen hinter diesen Entscheidungen gleichsam verstecken und keine Kommunikation mehr mit den Schreibenden führen, sondern einfach auf negative Bewertungen der Forschenden verweisen.
  2. Peer Review würde tendenziell dazu führen, dass die Möglichkeiten zu Betrug und unberechtigter Einflussnahme durch Forschende steigen. So würde gerade das Double Blind Review unfaire Bewertungen fördern – weil die Reviewenden, die unnötige Änderungsforderungen stellen, mit keinen Konsequenzen zu rechnen hätten – und die Arbeit des Peer Review in der Praxis von den angefragten Forschenden oft an Assistentinnen und Assistenten weitergeben und dann als eigen ausgegeben werden, so das die vorgebliche Qualität der Reviews gar nicht gesichert werden kann. Hierzu gibt es vor allem anekdotische Evidenz, diese aber offenbar zahlreich.
  3. Peer Review würde tendenziell die Innovativität von Wissenschaft hemmen. Auch hierzu können die Kritikerinnen und Kritiker immer Artikel anführen, die bei Peer Review-Verfahren abgelehnt wurden, späterhin aber für die Wissenschaft wichtig wurden, teilweise zu Nobelpreisen – selbstverständlich niemals allein – für die Autorinnen und Autoren führten. Artikel, so die Kritik, welche dem Mainstream entsprechen, keine neuen Ideen enthalten, sondern vor allem sich auf schon bekannten Bahnen bewegen würden, hätten grössere Chancen, in einem Peer Review-Verfahren zur Publikation angenommen zu werden. Texte, die Lehrmeinungen widersprechen – und das tun viele der später wichtiger werdenden Artikel – würden gerade deswegen in solchen Verfahren abgelehnt werden. Allerdings wird dem entgegengehalten, dass Reviewende von den Redaktionen explizit danach gefragt werden, Artikel die Neues versprechen, hervorzuheben. Zudem würden letzten Endes nicht die Reviewenden, sondern die durch die Reviews besser informierten Redakteurinnen und Redakteure über die Publikation oder Nicht-Publikation von Artikeln entscheiden. So zumindest die Theorie, die allerdings nicht erklären kann, warum späterhin als innovativ erkannte Texte in Peer Review-Verfahren abgelehnt wurden.
  4. Eine interessante Argumentation gegen Blind und Double Blind Review-Verfahren entfaltet Gordon Moran (Moran 1998, vgl. auch Souder, 2011): Er beharrt darauf, dass Peer Review nur dann sinnvoll ist, wenn es zur Verbesserung der wissenschaftlichen Kommunikation beiträgt. Wissenschaft aber ist für ihn ein Unternehmen zur Verbesserung der Welt. Sie soll nicht nur mehr Wissen, sondern auch mehr Freiheit hervorbringen. Freiheit, sich entscheiden zu können, Freiheit, Fakten und Argumente abzuwägen. Wissenschaft ist also für ihn radikal-demokratisch. Nun kann Wissenschaft aber nur diese radikal-demokratische Funktion haben, wenn sie selber demokratisch ist. Das aber ist sie gerade nicht, wenn wichtige Teile der Kommunikation geheimgehalten werden; wenn ich als Schreibender beispielsweise nicht auf die Argumentationen und Wünsche der Reviewenden an meinem Text eingehen kann und auch nicht weiss, mit wem ich da eigentlich kommuniziere. Blind Review wäre dieser Argumentation nach nicht nur ineffizient, sondern stünde auch ethisch gegen die Aufgabe von Wissenschaft.
  5. Peer Review sei, selbst wenn es unter besten Umständen funktioniert – also wenn niemand versucht, dass System „zu überlisten“ – zu teuer für die Ergebnisse, die es zeitigt. Wir werden auf diese Frage noch zurückkommen.
  6. Peer Review sei zudem Teil eines Systems, welches Reputation vor alle anderen Interessen, aus denen heraus Wissenschaft gemacht wird, stellt. Das ist nicht die Schuld des Peer Review, aber dennoch trüge es – als vermeintliches Qualitätssiegel – dazu bei, dass Wissenschaftlerinnen und Wissenschaftler immer mehr darauf trainiert würden, Reputation in Form von Peer Revieweden Publikationen aufzubauen und eben nicht danach zu fragen, was mit dem Wissen, das sie publizieren, eigentlich passiert oder ob sie die Welt verändern. Viel mehr noch: Es würde zu Publikationsstrategien führen, die teilweise dem Forschungsprozess entgegenstehen. Da drei Artikel in Zeitschriften mit Peer Review mehr zählen würden, als ein langer, alles darstellender Aufsatz in einer Zeitschrift ohne Peer Review, würden Ergebnisse „zerhakt“ und versucht, aus einer Forschung möglichst viele Publikationen zu generieren. Diese kurzen Artikel würden tendenziell immer weniger Inhalt enthalten. Sie würden nicht mehr versuchen, möglichst viel Inhalt zu vermitteln, sondern möglichst oft publiziert werden zu können. Auch würde weniger danach gefragt, ob nicht ein Text in einer halb- oder nicht-wissenschaftlichen Zeitschrift mehr zur Verbreitung der Ergebnisse einer Forschung beitragen könnte. Insoweit würde die Wissenschaft sich durch die Trennung in Zeitschriften mit und ohne Peer Review immer mehr zu einem Elitendiskurs transformieren, was zumindest einigen Auffassung von den Aufgaben der Wissenschaft entgegenstehen kann.

Zudem muss eines vermerkt werden: Auch wenn viele Texte den Beginn des Peer Review im 17. Jahrhundert verorten und historische Beispiele zitieren, hat sich doch erst seit den 1970er und 1980er Jahren diese Praxis in wissenschaftlichen Publikationen – und anderen wissenschaftlichen Bereichen, beispielsweise in Stiftungen bei der Vergabe von Forschungmitteln (Lamont, 2009) – wirklich durchgesetzt. Fast gleichzeitig setzte eine kritische Forschung zu diesem „Peer Review Regime“ ein. Zu beobachten ist, dass Peer Review einst als Unterstützung zu anderen Auswahl- und Qualitätssicherungssystemen in der Wissenschaftskommunikation begriffen wurde und den Status, den es jetzt hat, erst mit der Zeit erwarb. Wie bei jeder Entwicklung, die historisch nachgezeichnet werden kann, kann man also vermuten, dass es Gründe für diese Durchsetzung gab, dass aber diese Gründe sich auch verändern können und damit das System selber obsolet oder disfunktional werden kann. Zumindest historisch gesehen gibt es keine Grund anzunehmen, dass Peer Review immer als Qualitätsmerkmal begriffen wird.

Reaktionen auf die Kritik

Das Peer Review nicht so funktioniert, wie es funktionieren sollte, scheint bei denen, die sich mit dem Thema befassen, als Faktum akzeptiert zu sein. Während eine Anzahl von Kritikerinnen und Kritiker dafür plädieren, dass System gänzlich abzuschaffen, argumentieren die meisten Beteiligten dafür, es zu verbessern.

Dabei berufen sie sich oft auf zwei Gründe: Die Forschenden würden das System gut finden und es gäbe kein besseres. (Ware, 2011, Harris, 2010/2011, Newton, 2010, Schwartz & Hernon, 2010, Müller, 2009) Der erste Grund ist aber zu hinterfragen. Oft wird er nicht begründet, sondern der Schluss gezogen, dass ja genügend Forschende im Peer Review-System publizieren und als Reviewende tätig sein würden und es deshalb gut finden würden. Oder aber es werden gerade die Forschenden befragt, die im System verankert sind. (Mulligan & Raphael, 2010 Befragten zum Beispiel Forschende, die in einem bei Thomson/Reuters verlegten Peer Reviewed Journal publiziert hatten – also nicht mal Open Access –, ob diese Peer Review gut finden würden, was die Ergebnisse fast irrelevant werden lässt. Fänden sie das System schlecht, würden sie ja auch mit hoher Wahrscheinlichkeit nicht in ihm publizieren.) Nur stellt sich die Frage, ob hierbei nicht vom Ergebnis her die falschen Gründe für diese Ergebnisse konstruiert werden. In zahlreichen Fachgebieten besuchen junge Forschende zum Beispiel Kurse, in denen sie zu publizieren lernen sollen und wo ihnen erst der Peer Review-Prozess beigebracht wird. Spätestens wenn man anfängt, über eine Promotion nachzudenken, hört man immer wieder, dass nur diese Texte wirklich bei Bewerbungen in der Wissenschaft zählen würden, weil nur sie wissenschaftlich seien. Das Forschende im Laufe ihrer Karriere auf Nachfrage mitteilen, dass sie Peer Review prinzipiell gut finden, könnte auch damit zu tun haben, dass ihnen dieses System als notwendig gelehrt und zudem die Empirie über dieses nicht bekannt ist. Diese Argumentation für Peer Review scheint sich ein wenig im Kreis zu drehen: Das System ist an sich gut, weil die im System es okay finden.

Die zweite Argumentation ist eher herausfordernd, fast schon eine Wette: Gäbe es ein besseres System der Publikationssteuerung von wissenschaftlichen Artikeln, würde man dann auf dieses wechseln? (Und stimmt es überhaupt, dass es kein besseres gibt?)

Doch auch, wenn die Argumente für Peer Review wenig überzeugend sind, wird weiter versucht, das System zu verbessern.

  • Zuvorderst wird immer wieder versucht, unethisches Verhalten oder gar direkten Betrug auszuschalten. Sicherlich: Jedes System kann betrogen werden und wird es auch. Daneben aber wird immer wieder versucht, unethisches oder schwieriges Verhalten bei Reviewenden auszuschalten, wobei immer davon ausgegangen wird, das der grosse Teil der Reviewenden daran interessiert ist, gut zu arbeiten, die Zeitschriftenredaktionen zu unterstützen und die zu begutachtenden Artikel zu verbessern. (Für das Peer Review bei der Vergabe von Forschungsmitteln betont dies auch Lamont, 2009, die aber zugleich darauf verweist, dass das System gegenüber dem guten Willen aller Beteiligten absonderliche Effekte zeitigen kann.) Als Mittel zur Unterstützung der Reviewenden werden (a) bessere Hinweise darauf, was von ihnen erwartet wird, (b) besser strukturierte Bewertungsbögen (Siehe als Beispiel Daniel, 1993, S. 12), (c) die Aufwertung der Arbeit der Reviewenden (Kumar, 2010), (d) teilweise eine regelrechte Weiterbildung zum guten Reviewen vorgeschlagen und teilweise umgesetzt. Zudem führen (e) Redaktionen offenbar fast immer Listen von potentiellen Reviewenden, die sie immer wieder einmal durchsortieren und Reviewende mit schlechten Reviews streichen. An sich kommt den Redaktionen eine wichtige Bedeutung zu, wird doch auch (f) ihrer Kommunikation mit den Reviewenden eine wichtige Bedeutung beigemessen.
  • Blind Review (die Reviewenden sind den Autorinnen und Autoren der Texte nicht bekannt), Double Blind Review (auch den Reviewenden sind die Autorinnen und Autoren nicht bekannt), aber auch als Gegenteil das Open Review sind Versuche, das Peer Review gerechter zu gestalten. Blind und Double Blind-Review soll Bias ausschalten und zudem dazu führen, dass die Reviewenden ehrlich ihre Meinung äussern und nicht aus Angst vor möglichen negativen Konsequenzen für sich behalten. Open Peer Review – bei dem zumeist darauf verwiesen wird, dass auch Double Blind Review nicht dazu führt, Bias zu vermeiden – soll die Qualität des Review durch Transparenz erhöhen. Allerdings sind die meisten Experimente mit diesen Systemen bislang auch schief gegangen.
  • Peer Review soll eigentlich nicht die Aufgaben der Redaktionen ersetzen. Immer wieder wird darauf verwiesen, dass es nur eine Möglichkeit ist, die Bewertungen der Redaktionen zu unterstützen. (Hames, 2007) Gleichzeitig sollen es die Redaktionen sein, welche die letzte Entscheidung treffen und beispielsweise einen Artikel doch publizieren können, obgleich er von den Reviewenden abgelehnt wird. So kann die Redaktion zum Beispiel weitere Kritierien heranziehen und versuchen, Bias entgegenzuwirken.
  • Stellenweise wird vorgeschlagen, mehr als zwei Reviewende pro Artikel einzubeziehen. Umgesetzt wird dies – ausser bei extremen Bewertungen der zwei Reviewenden – offenbar selten. Öfter umgesetzt wird eher die Möglichkeit, dass Autorinnen und Autoren von vorne herein potentielle Reviewende wegen möglicher Befangenheit ausschliessen können.
  • An sich wird sich durch eine bessere Information über den Peer Review-Prozess, seine Aufgaben und Schwierigkeiten versprochen, dass alle Beteiligten eine bessere Rolle in ihm einnehmen können. Die Frage ist natürlich immer wieder, wie das geschehen soll; da all die bislang veröffentlichen Artikel und Monographien zum Thema offenbar nicht ausgereicht haben.

Die Kosten des Peer Review

Eine kleine Anzahl von Texten verweist darauf, dass das Peer Review ein kostenträchtiges Unternehmen ist, sowohl monetär als auch vom Arbeits- und Kommunikationsaufwand her. (U.a. Harnad, 2010) Man sollte dies nicht unterbewerten.

  • Peer Review bedeutet einen stark erhöhten Kommunikationsaufwand auf Seiten der Redaktionen. Sie müssen nicht nur Reviews verschicken und einsammeln, sondern überhaupt Reviewende finden, mit diesen immer wieder einmal kommunizieren, sie zum Erstellen der Review anhalten (wobei sie keine wirklichen Druckmittel haben), die Reviews lesen und in den eigenen Bewertungsprozess einbinden.
  • Die Reviewenden müssen die Arbeit für die Reviews leisten, was einige Stunden pro Text dauern kann. Insbesondere dann, wenn den Autorinnen und Autoren Rückmeldungen erlaubt sind, kann sich diese Arbeit summieren, da auf diese Rückmeldungen zu den Reviews eingegangen werden muss.
  • Peer Review verlängert tendenziell den Prozess der Publikation, aber auch der Nicht-Publikation. Die gesamte Kommunikation und der Review-Prozess fordern ihre Zeit, die allerdings bei der Verbreitung von wissenschaftlichen Erkenntnissen – ganz zu schweigen davon, dass bei den ständigen befristeten Stellen der meisten Forschenden eine schnelle Publikation für die Vita wichtig ist – nicht unbedingt gut ist. Angesichts dessen, dass Forschende immer überlastet sind (so scheint es zumindest), handelt es sich dabei oft um Monate, halbe Jahre.
  • Peer Review kann dazu führen, dass Forschende tendenziell in schon bekannten Bahnen forschen, weil sich dies besser publizieren lässt. Eventuell, so zumindest eine Kritik, die teilweise vorgebracht wird, führt Peer Review nicht nur dazu, dass innovative Texte unpubliziert bleiben, sondern sogar dazu, dass schon bei der Forschung und dem Stellen von Anträgen zur Forschungsförderung innovativen Projekten eher ausgewichen wird. Wenn dies stimmt, könnte es die Möglichkeiten der Wissenschaft massiv einschränken (und damit auch der Gesellschaft, welche von der Wissenschaft profitieren soll).

Dieser Text wurde auch unter der Frage begonnen, ob eine Zeitschrift wie die LIBREAS Peer Review einführen sollte. Deshalb scheint mit ein weiterer Kostenfaktor wichtig: Peer Review führt tendenziell dazu, dass Menschen, die dieses System nicht kennen oder zu kompliziert finden, nicht publizieren wollen. Es bildet sich tendenziell eine Elite, die mit diesem System umgehen kann, aber es ist nicht klar, ob diese Differenzierung in Forschende, die mit dem System klarkommen, und Nicht-Forschenden immer gut ist. Gerade bei Zeitschriften, die sich nahe an der Praxis bewegen kann dies dazu führen, dass viele Texte nicht geschrieben werden und Kommunikation damit nicht stattfindet.

Warum doch Peer Review?

Eine interessante Frage ist, warum das Peer Review-System weiter existiert, wenn es doch laut Kritik so ineffizient ist. Sind es die Verlage, die mit dem Peer Review eine Qualitätssiegel für ihre Zeitschriften erhalten und es deshalb fördern? Sind so viele Forschende wirklich darauf ausgerichtet, Reputation über die Veröffentlichung von Peer Reviewed Artikeln aufzubauen? Stimmt die Kritik gar nicht?

Eine Vermutung, die viel näher liegt, ist die, dass das System, so schlecht es auch den eignen Ansprüchen genügt, andere Funktionen hat, die von den Beteiligten wahrgenommen werden. Es kann als System für etwas anderes funktionieren, als es auf den ersten Blick scheint.

Diese Vermutung wird nicht oft geäussert, dabei scheint sie mir doch naheliegend: Was das Peer Review System herstellt, ist Kommunikation. (Vgl. Hirschauer, 2005) Dies ist in den vorhergehenden Ausführungen schon aufgeschienen. Peer Review re-aktualisiert mit jedem Artikel, der zum Review gegeben wird, mit jeder Review, die geschrieben und weiter vermittelt wird, mit jeder Annahme und auch Ablehnung das jeweilige Feld der Wissenschaft. Die Redakteurinnen und Redakteure stellen ein Netzwerk her, dessen Teilnehmenden sich nicht einmal immer kennen können, die sich aber doch durch die Teilnahme an der Review – egal auf welcher Seite – als Teil dieses lebendigen Netzwerks verstehen können. In mehr als einem Fall gilt, dass Artikel fast nie gelesen werden, ausser von den Reviewenden. Die Review stellt sicher, dass sogar ein Text, der nirgends mehr zitiert wird (wie es vielen Texten passiert) doch mindestens zweimal gründlich gelesen und damit wahrgenommen wurde. Die Kommunikation im Netzwerk wird dadurch sichtbar. Solange nur genügend Forschende teilnehmen, existiert die Fachdiskussion.

Diese – ebenso nicht originelle – Herleitung ist nicht nur systemtheoretisch gemeint, sondern führt einen anderen Wert der Wissenschaftskommunikation ein. Es geht den Forschenden nicht (nur) darum, Reputation aufzubauen, sondern vielmehr darum, wahrgenommen zu werden und sich als Teil eines Forschungsnetzwerks verstehen zu können. Dies würde zumindest erklären, warum ein System wie das Peer Review weiter betrieben wird, obgleich es offenbar an den eigenen Ansprüchen scheitert (so den die Kritik stimmt).

Kleine Zeitschriften und Peer Review

Peer Review als System benötigt mehrere Beteiligte. Es muss Autorinnen und Autoren geben, die ihre Artikel in ein solches System eingeben und damit einverstanden sind, dass diese nicht nur redaktionell bearbeitet werden, sondern reviewed. Es muss Redaktionen geben, welche den Review-Prozess organisieren können. Und es muss genügend Peers geben, die in der Lage (finanziell und zeitlich) sind sowie sich bereit erklären, die Aufgabe des Peer Review zu übernehmen, zumeist „nebenher“. Letztlich benötigt das Peer Review-System eine genügend grosse Forschungscommunity zu einem Feld, in der zumindest genügend Mitglieder sich für dieses System einspannen lassen. Wie gross hierbei „genügend gross“ ist, müsste vielleicht noch einmal näher bestimmt werden.

Sicher ist eine solche Community in Feldern, die sich vorrangig als Wissenschaft verstehen, leichter herzustellen, als anderswo. Noch einmal muss betont werden, dass zum Peer Review in gewisser Weise erzogen werden muss. Unmittelbar einsichtig ist der ganze Stress, welcher damit verbunden ist, nicht allen.

Aber was ist mit praxisnahen Communities, die sich zu grossen Teilen aus Mitgliedern zusammensetzen, die sich nur in zweiter oder dritter Reihe als Wissenschaftlerinnen und Wissenschaftler verstehen? Was ist mit Zeitschriften, die in Felder agieren, in denen es nicht ausreichend viele Personen gibt, welche Aufgaben im Peer Review-Systems übernehmen? Hier sind wir thematisch wieder bei der LIBREAS gelandet. Die Bibliotheks- und Informationswissenschaft ist eng verbunden mit der Praxis im Bibliotheks- und Informationswesen. Viele dort tätige wollen gar nicht wissenschaftlich veröffentlichen, sondern müssen teilweise erst dazu gedrängt werden, überhaupt zu publizieren. Gleichzeitig gibt es gar nicht genügend viele Personen im Bibliotheks- und Informationswesen, welche die Artikel, die in der Redaktion eingereicht werden, reviewen wollten oder könnten. (Und die Idee des Double Blind Review können wir in der kleinen Szene gleich aufgeben. Selbstverständlich erkennt man bei den meisten Artikeln, wer sie geschrieben hat.) Vielmehr: Die Redaktion selber besteht aus Peers. Peer Review wird eigentlich so definiert, dass das Review ausserhalb der Redaktion stattfindet, also eine Ergänzung zum Redaktions-internen Entscheidungsprozess darstellt. Aber es erscheint kontra-intuitiv gerade die Mitglieder der Redaktion, die sowohl Peers als auch Engagiert sind, auszuschliessen, wo es schon so wenige Peers gibt, die man als Reviewende ansprechen könnte.

Mir scheint, dass ein weiterer blinder Punkt des Peer Review der ist, dass dieses System eigentlich nur in genügend grossen Felder mit genügend mit dem System einverstandenen Forschenden funktionieren kann. Ansonsten sind die Kosten, die für das System aufzubringen sind, viel zu gross für die eventuell auftretende Ergebnisse – die zudem vielleicht noch nicht einmal gewünscht sind.

Peer Review wurde in den 1970er und 1980er Jahren verstärkt eingeführt, weil es die Qualität des Wissenschaftskommunikation verbessern sollte. Es scheint einfach nicht so, dass diese Qualitätssteigerung immer eingetreten wäre. Zudem scheint die Frage vergessen worden zu sein, ob dieses System wirklich der Wissenschaftskommunikation dient und vor allem, unter welchen Voraussetzungen. Die Verteidigung, dass es kein perfektes System sei, aber doch das Beste, das bekannt ist, scheint äusserst schwach. Warum ist den ein redaktionsinternes Review schlechter? Warum ist die Veröffentlichung aller Texte, die bestimmten formellen Kritierien entsprechen, mit anschliessender transparenten Diskussions- und Löschmöglichkeit, ein schlechteres System? Ich will gar nicht sagen, dass es nicht auch Argumente für das Peer Review und gegen die anderen Möglichkeiten der Organisation der Auswahl von zu publizierenden und nicht zu publizierenden Artikeln geben könnte, aber sie werden nicht mehr ausgetauscht.

Für kleine Zeitschriften, insbesondere in praxisnahen Felder, würde ich vermuten, dass es wichtiger wird, über die Aufgaben der Redaktionen nachzudenken und bei der redaktionellen Arbeit das Ziel im Hinterkopf zu behalten, dass man Wissenschaftskommunikation herstellen muss, als ungeprüft ein Peer Review-System zu installieren, dem dann ja auch für eine lange Zeit gefolgt werden muss.

Peer Review als Thema für die Bibliotheks- und Informationswissenschaft

Eine Anmerkung noch: Die Bibliotheks- und Informationswissenschaft beschäftigt sich mit dem Peer Review in einer Weise, welche kaum auf die zahlreiche Kritik an diesem System eingeht. Genauer: Dass es diese Kritik gibt, wird kaum thematisiert. (Vgl. allerdings Müller, 2010, wo dies immerhin in einem Kapitel getan wird.) Das ist nicht nur erstaunlich, sondern auch gefährlich. Bislang scheint die Ansicht, Peer Review sei ein Gold-Standard und alle Forschenden wollten in diesem System publizieren, das Nachdenken über die Wissenschaftskommunikation zu prägen. Beispielsweise wurden mehrere Institutionelle Repositorien mit dem Argument begründet, dass Forschende ihre Texte aus Reputationszwecken sichtbar und qualitativ abgesichert anbieten wöllten. Dies scheint eine unzulässige Verkürzung der Gründe für das heutige System der Wissenschaftskommunikation zu sein. Weder scheint die Reputation als Wert (alleine) die Publikation von Texten durch Forschende zu erklären, noch kann das Peer Review-System einfach als Qualitätssicherungssystem verstanden werden. Wenn es stimmt, dass es vor allem Kommunikation herstellt, dann geht eine verkürzte Wahrnehmung als Qualitätssicherungssystem an der Realität vorbei.

Die Bibliotheks- und Informationswissenschaft, welche sich auch mit der Wissenschaftskommunikation beschäftigt, sollte deshalb die Kritik am Peer Review-System mit in ihren feldspezifischen Wissensschatz aufnehmen – zumindest das.

 

Literatur

Bornmann, L., und H.-D. Daniel. „Reliability of reviewers’ ratings when using public peer review: a case study“. Learned Publishing 23, Nr. 2 (2010): 124–131.

Bornmann, Lutz, und Hans-Dieter Daniel. „The manuscript reviewing process: Empirical research on review requests, review sequences, and decision rules in peer review“. Library & Information Science Research 32 (2010): 5–12.

Bornmann, Lutz. „Stiftungspropheten in der Wissenschaft: Eine wissenschaftssoziologische Studie über die Reliabilität, Fairness und Validität des Peer-Review-Verfahrens für ein Postgraduierten-Stipendien-Programm“. Dissertation zur Erlangung des akademischen Graxdes eines Doktors der Wirtschafts- und Sozialwissenschaften, Universität Kassel, 2002.

Daniel, Hans-Dieter. Guardians of Science Fairness and Reliability of Peer Review. Weinheim ; New York: VCH, 1993.

Greene, Sarah. „Experts give new slant on peer review“. Research Information (2011 2010): 42.

Hames, Irene. Peer Review and Manuscript Management in Scientific Journals: Guidelines for Good Practice. Malden ; Oxford ; Victoria: Blackwell Publishing, 2007.

Harnad, Stevan. „No-Fault Peer Review Charges: The Price of Selectivity Need Not Be Access Denied or Delayed“. D-Lib Magazine 16, Nr. 7/8 (2010).

Harris, Siân. „Weighing up the benefits of the peer-revoew system“. Research Information (2011 2010): 11.

Henderson, Mark. „End of the peer review show?“ BMJ, Nr. 340 (2010): 738–740.

Hirschauer, Stefan. „Publizierte Fachurteile: Lektüre und Bewertungspraxis im Peer Review“. Soziale Systeme 11, Nr. 1 (2005): 52–82.

Kumar, Malhar N. „The ‚peer reviewer as collaborator‘ model for publishing“. Learned Publishing 23, Nr. 1 (2010): 17–22.

Lamont, Michèle. How Professors Think: Inside the Curious World of Academic Judgment. Cambridge, Massachusetts; London, England: Havard University Press, 2009.

Moran, Gordon. Silencing scientists and scholars in other fields: power, paardigm controlsm peer review, and scholarly communication. Contenporary studies in information management, policy, and services. Greenwich: Ablex Publishing, 1998.

Mosley, Pixey Anne. „To Peer Review or Not To Peer Review“. Library Leadership & Management 25, Nr. 2 (2011): 1–3.

Müller, Uwe Thomas. Peer-Review-Verfahren zur Qualitätssicherung von Open-Access-Zeitschriften: Systematische Klassifikation und empirische Untersuchung. Q-Serie 6. Berlin: Humboldt-Universität zu Berlin, 2010.

Mulligan, Adrian, und Ellen Raphael. „Peer review in a changing world – preliminary findings of a global study“. Serial 23, Nr. 1 (2010): 25–34.

Newton, Douglas P. „Quality and Peer Review of Research: An Adjudicating role for Editors“. Accountability in Research 17 (2010): 130–134.

Nowotny, Helga. „The Audit and Accountability Culture in Research“. In Science Between Evaluation and Innovation: A Conference on Peer Review; Ringberg-Symposiium April 2002, herausgegeben von Anonym, 33–39. Max Planck Forum 6. München: Max Planck Gesellschaft, 2003.

Read, Malcolm. „Reviewing the review process“. Research Information (2011): 11.

Schwartz, Candy, und Peter Hernon. „Some thoughts on peer review“. Library & Information Science Research 32 (2010): 13–15.

Shalvi, Shaul, Matthijs Baas, Michel J.J. Handgraaf, und Carsten K.W. De Dreu. „Write when hot – submit when not: seasonal bias in peer review or acceptance?“ Learned Publishing 23, Nr. 2 (2010): 117–123.

Shatz, David. Peer review: a critical inquiry. Issues in academic ethics. Lanham: Rowman & Littlefield, 2004.

Smith, Richard. „Scrap peer review and beware of ‚top journals‘“. BMJ Groups blogs, Februar 22, 2010.

Souder, Lawrence. „The ethics opf scholary peer review: a review of the literature“. Learned Publishing 24, Nr. 1 (2011): 55–72.

Wager, Elizabeth, Fiona Godlee, und Tom Jefferson. Erfolg im Peer Review: Wissenschaftliche Begutachtung durchführen und überstehen. Bern: Verlag Hans Huber, 2007.

Ware, Mark. „Peer Review: Recent Experience and Future Directions“. New Review of Information Networking 16 (2011): 23–53.

Weller, Ann C. Editorial Peer Review: Its Strengths and Weaknesses. ASIST Monograph Series. Medford, New Jersey: Information Today, 2001.

Wheeler, Bonnie. „The Ontology of the Scholary Journal and the Place of Peer Review“. Journal of Scholary Publication (2011): 307–322.

14 Antworten

Subscribe to comments with RSS.

  1. W. Umstaetter said, on 7. Juni 2012 at 12:11

    Die Frage ist sehr berechtigt: „warum das Peer Review-System weiter existiert, wenn es doch laut Kritik so ineffizient ist.“

    Zunächst muss man dazu anmerken, das Peer Reviewing hat seine Bedeutung für den Charakter und die Thematik einer Zeitschrift. Es versucht dafür zu sorgen, dass seine Leserschaft zielorientiert mit Information versorgt wird. Dass es die Qualität erhöht, ist lediglich ein wichtiger Teil der Promotion Kampagne für die jeweilige Zeitschrift, auf den inzwischen viel zu viel Wissenschaftler, die aber meist Laien der Informationskompetenz sind, immer noch hereinfallen. Das bestätigt die Aussage:

    „Eine Zeitschrift würde nur ernst genommen werden, wenn sie ein möglichst strenges Peer Review durchführt.“

    Vor langer Zeit entsinne ich mich an eine Berufung, in der es in etwa hieß, wir wollen ja nicht nur zählen, aber der Kandidat hat dreißig Publikationen in renommierten Zeitschriften und eine sogar in Nature. Dies als Ersatz dafür, diese Publikationen genauer zu lesen, hat dazu geführt, dass sich später herausstellte, dass er die meisten der Publikationen bei Auslandsaufenthalten nur abgeschrieben und selbst gar nicht verstanden hatte. So erschien er eines späten Abends in meinem Labor und fragte mich nach einigen Problemen der Osmolalität, von denen sich später herausstellte, dass er darüber selbst publiziert hatte, ihm aber aufgefallen war, dass er den Inhalt seiner Aussage selbst nicht verstand.

    Das Problem ist, dass die „Vergabe von Forschungsmitteln und Stellen“, und damit bares Geld, in der heutigen Wissenschaft indirekt an das Peer Reviewing gebunden ist.

    Der Grund ist, dass bei der Einschätzung der Qualität einer Wissenschaftlichen Arbeit die meisten Wissenschaftler, bis auf eine sehr kleine Gruppe von Spezialisten, völlig überfordert sind, weshalb sie z.B. bei Berufungen, Projekten, Einstellungen die Verantwortung auf die nicht näher identifizierbaren Reviewer abschieben.

    Schon allein in der Thematik des Peer Reviewings gibt es unzählige Autoren die sich dazu äußern (auch Aussagen anderer wiederholen), aber nur sehr wenige, die dazu fundierte Untersuchungen publilziert haben. Wobei man die Zahl derer nicht unterschätzen darf, die sich schon allein aus Reklamegründen geäußert haben.

    Ein besonders interessanter Fall ist auch hier E. Garfield, der mit Hilfe seines SCI äußerst fundierte Untersuchungen zur Qualität von Zeitschriften machte, aber gleichzeitig immer darauf achtete, seine Publikationen lukrativ zu vermarkten.

    Man muss es an dieser Stelle mit aller Deutlichkeit sagen: Die Qualität einer wissenschaftlichen Arbeit kann nur durch genaues Studium, von den entsprechenden Spezialisten eingeschätzt werden und nicht durch szientometrische surrogate. Das Peer Reviewer dabei viel zu oft überfordert sind, zeigen die Ausführungen von Schuldt, wenn er schreibt, dass das „Peer Review-System die meisten Versprechen, die es macht, nicht einhält.“ (Z.B. Newton, 2010) Sie argumentieren dann allerdings, dass wir erstens kein anderes System hätten, dass besser funktionieren würde“, was allerdings falsch ist.

    Vor dem zweiten Weltkrieg, als noch die meist deutschen Referatenorgane die Selbstreinigende Funktion der Wissenschaft unterstützten, hat man zuerst publiziert, um dann die Ergebnisse öffentlich in den Referatenorganen zu bewerten. Dieses System wurde angesichts der Verdopplungsrate der Literatur von zwanzig Jahren (und dem Mangel an Computern) zu aufwendig, so dass man mit den Peer Reviewern, die Zahl der Referenten stark reduzierte und gleichzeitig die Publikationen limitierte. Da dieses Prinzip sich insbesondere in den USA ausbreitete, und dann nach dem zweiten Weltkrieg von der Online Dokumentation (Datenbanken wie BIOSIS, Chem Abs, ERIC, MEDLARS etc. und insbesondere den Science Citations Index mit seinen Impact Factors) unterstützt wurde, gewann die amerikanische Wissenschaft immer mehr an internationalem Gewicht. In Wirklichkeit gibt es für viele wissenschaftliche Themen in der Welt nur wenige Spezialisten die diese beurteilen können, so dass die meisten Peer Reviewer weit überfordert sind, fundierte Einschätzungen zu liefern, was K. Schuldt mit seinem Review sehr schön belegt.

    A. Einstein, der das deutsche System kannte, war sehr verstimmt über die amerikanische Innovation und schrieb 1936:
    „Dear Sir,
    We (Mr. Rosen and I) had sent you our manuscript for publication and had not authorized you to show it to specialists before it is printed. I see no reason to address the in any case erroneous comments of your anonymous expert. On the basis of this incident I prefer to publish the paper elsewhere.”

    Mit Hilfe des heutigen Internets ist es kein Problem mehr weltweit die besten Spezialisten bei neu erscheinenden Publikationen nach ihren Kommentaren zu fragen, so dass sie auch öffentlich dazu zu stehen können. LIBREAS hatte ja von Anfang an solche Ansätze und sollte sie nur konsequenter verfolgen. Dass immer mehr elektronische Zeitschriften die Möglichkeit bieten zu ihren Publikationen Kommentare zu verfassen ist ein eindeutiger Trend. Es wäre nur gut, wenn sich solche Zeitschriften verstärkt um eine qualitativ hochstehende Diskussionskultur kümmern würden, in dem sie einerseits gezielt Spezialisten auffordern zu bestimmten Publikationen Stellung zu beziehen und andererseits durch gezielte Fragen das Diskussionsniveau so hoch wie möglich treiben.

    Zeitschriften dienen dazu die Invisible Colleges weltweit mit der jeweils wichtigen Information zu versorgen. Das sollten sie weniger dadurch tun, dass sie Erkenntnisse unterdrücken, als viel mehr dadurch, dass sie den Falsifikationsprozess Poppers durch niveauvolle Diskussionen unterstützen. Das würde auch der Bibliotheks- und Informationswissenschaft gut tun.

    Walther Umstätter

  2. Klaus Graf said, on 7. Juni 2012 at 13:53

    Ein sehr interessanter Beitrag, der leider unübersehbare sprachliche Schwächen hat (das/dass u.a.m.). Völlig übersehen wird, dass nach meiner Erfahrung in den deutschsprachigen Geisteswissenschaften Peer Review erst in allerjüngster Zeit überhaupt eine (nach wie vor eher geringe) Rolle spielt. Siehe zur Geschichtswissenschaft: http://archiv.twoday.net/stories/64972556/
    Ich selbst habe bei weit über 200 wissenschaftlichen Veröffentlichungen (zugegebenermaßen nur ein kleiner Teil in Zeitschriften) noch keinerlei Erfahrungen als Autor mit Peer Review (und ich war nur einmal als Peer Reviewer tätig).
    Ich würde auch vermuten, dass es bei den deutschsprachigen juristischen Zeitschriften nach wie vor kaum Peer Review gibt.
    Vor vielleicht 10 Jahren erzählte mir ein in den NL tätiger dt. Theologiehistoriker, dass an den nl. Universitäten die Lehrenden aufgrund universitärer Vorgaben gezwungen seien, in obskuren englischsprachigen Zeitschriften zu publizieren statt in den traditionellen angesehenen Organen, da nur erstere Peer Review boten.
    Auch wenn die redaktionelle Qualitätssicherung in historischen (insbesondere landesgeschichtlichen) Zeitschriften aus meiner Sicht gelegentlich versagt, kann man doch nicht behaupten, dass die geisteswissenschaftlichen Zeitschriftenpublikationen im deutschsprachigen Raum unwissenschaftlich sind. Das ist also ein klares disziplinäres Argument gegen Peer Review.

    • W. Umstaetter said, on 7. Juni 2012 at 19:47

      Um die Feststellung, „Das ist also ein klares disziplinäres Argument gegen Peer Review.“ noch zu untermauern, entsinne ich mich vor längerer Zeit gelesen zu haben, dass Geisteswissenschaften vergleichsweise hohe Ablehnungsquoten hatten, während z.B. mathematische und physikalische Arbeiten öfter akzeptiert wurden. Der Grund dafür war insofern einleuchtend, weil es sehr viel schwieriger ist, die sprachliche Qualität in narrativen Wissenschaften zu beurteilen (wenn man nicht gerade anfängt Tippfehler zu zählen), als die in einer klar festgelegten logischen Mathematik. Beliebter Ablehnungsgrund ist ja auch oft „too poor english“. Insofern war die erhöhte Ablehnungsquote in den Geisteswissenschaften meines Erachtens noch kein Zeichen dafür, dass die Qualität dortiger Publikationen höher war, als die in Mathematik und Physik. Das war damals wohl eher ein Zeichen dafür, dass die geisteswissenschaftlichen Journals mehr Einsendungen hatten, als sie auf Papier verkraften konnten. So ist ja auch bekannt, dass Nature oder Science sehr viele Manuskripte erhalten, die sie ablehnen müssen, unabhängig davon wie hoch ihre Qualität einzuschätzen ist. Gerade dort erfolgen viele Ablehnungen zwangsläufig so rasch, dass man sich fragt, wie es da zu einem ordentlichen Peer Reviewing gekommen sein soll. Wenn man dann noch sieht, wie kurz die meisten Beiträge sind, weil der Druck vieler Autoren auf Nature und Science unglaublich hoch ist, (manche Autoren klagen sich juristisch ein) dann fragt man sich, wie solche quasi Abstracts gute wissenschaftlich abgesicherte Beiträge sein sollen.

      Da nun Uwe Thomas Müller in seiner Dissertation „Peer-Review-Verfahren zur Qualitätssicherung von Open-Access-Zeitschriften – Systematische Klassifikation und empirische Untersuchung“ 2008 feststellte, dass die Ablehnungsquote in den Mathematics and Statistics bei 65% und bei History and Archeology bei nur 40% liegt, vermute ich keinen Qualitätsverslust in den Geisteswissenschaften, sondern drei Hauptgründe: Die Ergebnisse solcher Untersuchungen schwanken erheblich je nach Untersuchungsbereich, –zeitraum und Sprache (bzw. Land). Was sich auch dadurch erkennen lässt, dass im SCI-erfasste Zeitschriften bezüglich der Ablehnungsrate nicht identisch sind, mit denen Außerhalb (U.T. Müller). Sie ist im allgemeinen höher (außer bei den Earth- and Environmental Sciences), da die im SCI erfassten Zeitschriften meist bekannter und damit auch attraktiver für Manuskripteinsender sind.

      Kurz gesagt, dass Peer Reviewing schützte bislang Print-Zeitschriften davor zu viele Publikationen aufnehmen zu müssen, die von den Abbonenten nicht bezahlt wurden. Das hatte mit der Qualität von Natur-, Sozial- oder Geisteswissenschaften wenig zu tun. So war es auch bekannt, das abgelehnte Aufsätze meist bei einer „weniger renommierten“ Zeitschrift erschienen. So hatte schon C. Nägeli die Ergebnisse von J.G. Mendel abgelehnt, die dieser dann in den „Verhandlungen des naturforschenden Vereines in Brünn“ publizierte.

      Im Internet gibt es genug Platz zum publizieren, diskutieren und zur Fließbandproduktion von Wissen. Insbesondere den Geisteswissenschaften eröffnen sich da Möglichkeiten der Computermodellierung, wie sie noch nie existierten.

      Walther Umstätter

      • Karsten Schuldt said, on 7. Juni 2012 at 21:39

        Das Vorgehen, abgelehnte Artikel bei statusniedrigen Zeitschriften neu einzureichen addiert tatsächlich zum gesamten Publikationssystem sowohl Komplexität als auch Kosten. Man brauch ja auch dort immer wieder neue Reviewende.
        Ich war aber auch überrascht zu erfahren, dass es bei einigen Peer Review-Verfahren möglich und teilweise erwünscht ist, die Reviews, die man bei einer Ablehnung bei anderen Zeitschriften erhalten hat, mit beizulegen. Ein Argument dafür war, dass einige Texte als an sich gut, aber nicht für eine bestimmte Zeitschrift geeignet sein könnten (z.B. zu speziell oder zu sehr einem anderen Fachgebiet zuzuordnen) und damit das Reviewaufwand reduziert werden könnte, wenn der Artikel bei einer passenderen Zeitschrift eingereicht wird. Aber wirklich überzeugt hat mich das nicht. (So etwas funktioniert auch eher in Felder, in denen Ablehnungen von Artikel gang und gäbe sind, so dass sie als normal gelten und man sich ihrer nicht schämen muss beziehungsweise Angst um seinen Ruf haben muss.)
        Ich habe den Teil aber aus dem Text herausgelassen, da es mir hauptsächlich um die Frage ging, was meine persönliche Meinung dazu sein kann, ob die LIBREAS (oder ähnliche Zeitschriften, z.B. die RESSI) ein Peer Review System einführen sollte oder nicht.

  3. Heinz said, on 7. Juni 2012 at 14:57

    „Oder aber es werden gerade die Forschenden befragt, die im System verankert sind. (Mulligan & Raphael, 2010 Befragten zum Beispiel Forschende, die in einem bei Thomson/Reuters verlegten Peer Reviewed Journal publiziert hatten – also nicht mal Open Access –, ob diese Peer Review gut finden würden, was die Ergebnisse fast irrelevant werden lässt.“

    In der von Dir zitierten Studie wurden keine Autoren, „die in einem bei Thomson/Reuters verlegten Peer Reviewed Journal publiziert hatten“ befragt. Es wurden Autoren befragt, die in der „Thomson/Reuters author database“ erfasst sind. Die Autoren können also sehr wohl in einer Open-Access-Zeitschrift publiziert haben.

    Etwas unglücklich finde ich, dass Du das Review von Artikel und von Förderanträgen nicht stärker trennst.

    • Karsten Schuldt said, on 7. Juni 2012 at 21:31

      Okay, es stimmt, dass die Autorinnen und Autoren auch anderswo verlegt haben können. Dennoch sind es alle solche, die in Peer Reviewed Magazinen und zu überwiegenden Teilen nicht OA publiziert haben, da die Autorinnen und Autoren aus der Database aus den Zeitschriften stammen, die in den Datenbanken von Thomson/Reuters enthalten sind. Was dennoch darauf hinausläuft, dass gerade die dazu befragt wurden, ob sie Peer Review gut finden, die im Peer Review veröffentlicht haben.

      Zum zweiten Punkt: Ich habe zwar im Literaturverzeichnis Werke, die anderes Peer Review als das für Artikel behandeln (die das dann auch oft als ein System beschreiben), aber im Text habe ich eigentlich nur Peer Review für Artikel behandelt. So zumindest meine Einschätzung (wo nicht, habe ich darauf hingewiesen).
      Allerdings wäre mir neu, dass das Peer Review für Förderanträge bessere Ergebnisse erzielen würde.

      • Heinz said, on 8. Juni 2012 at 09:39

        Mir ist unklar warum Du das Thema Open Access da in das Spiel bringst. „Thomson/Reuters“ ist kein Verlag. Mulligan & Raphael haben, in dem von Dir zitierten Werk, Autoren angeschrieben, die der “Thomson/Reuters author database” erfasst sind. Vermutlich ist das die Datenbank die Thomson für das Web of Science und deren Module nutzt. Da im Arts & Humanities Citation Index, Science Citation Index Expanded und Social Sciences Citation Index auch Open-Access-Zeitschriften gelistet sind, wurden wohl auch Autoren befragt die in Open-Access-Zeitschriften publiziert haben.

        Da die Anwendung eines Peer-Review-Verfahren in den STM-Diziplinen Standard ist, ist dort keine Befragung von Autoren möglich, die nicht in peer reviewed Zeitschriften publizieren haben.

        Das Science and Technology Committee des britischen Parlaments hat 2011 eine lesenswerte Studie zum Thema veröffentlicht. Diese empfielt die Weiterentwicklung von innovativen Peer-Review-Verfahren. Siehe: http://wisspub.net/2011/07/30/britisches-parlament-empfiehlt-innovative-peer-review-verfahren/

        Zur Diskusson des Themas in der LIS-Welt:

        Ich habe schon das Gefühl das Thema in der LIS-Welt diskutiert wird. Ulrich Herb schreibt z.B. immer wieder über das Thema. Z.B. hier:

        http://www.scinoptica.com/pages/topics/peer-review-showroom-bei-repec.php

        Weiter gibt es auch auf http://wisspub.net eine Kategorie zum Thema:

        Auch im Rahmen des APARSEN-Projekts haben wir jüngst einen Report veröffentlicht, der sich mit der Qualitätssicherung von Forschungsdaten befasst (und damit die Empfehlungen des britischen Parlaments aufgreift). Siehe: http://epic.awi.de/30353

        Wenn den Artikel ein Plädoyer für eine vertiefte Ausseinandersetzung der Bibliotheks- und Informationswissenschaft mit dem wissenschaftlichen Publizieren ist, dann freue ich mich.

  4. Peer Review | ZAFUL said, on 7. Juni 2012 at 16:16

    […] sehr ausführliche Erörterung zum Peer-Review-Verfahren für Zeitschriften hat Karsten Schuldt für (und von) Libreas geschrieben. Im Verlauf der Abwägung verschiedener […]

  5. […] Karsten Schuld fast nun gut lesbar und kompakt viele wichtige (nicht alle) Kritikpunkte am Peer Review zusammen. Weiter geht’s im Libreas-Blog. […]

  6. W. Umstaetter said, on 13. Juni 2012 at 09:57

    Noch ein Nachtrag: Es war sicher nicht zielführend, dass bisher Beiträge die in einer Zeitschrift abgelehnt wurden, dann in einer weniger passenden Zeitschrift erschienen, weil jede Zeitschrift sozusagen das Diskussionsforum eines invisible coleges bildet.

    Außerdem spricht es sicher nicht für ein funktionsfähiges und qualitätssicherndes Peer Reviewing, wenn mit zunehmendem Impact Factor die Wahrscheinlichkeit steigt, dass publizierte Aufsätze wieder zurückgezogen werden müssen (http://haicontroversies.blogspot.de/2012/04/new-post-why-nejm-has-high-retraction.html ). Es spricht eher dafür, dass bei hohen Ablehnungsraten die Qualität immer weniger genau geprüft werden kann.

    Es ist wahrscheinlich auch richtig, wie R. Kunz bemerkt: „Journals all want to have spectacular results,“ und „Increasingly, they’re willing to publish more risky papers.“ http://online.wsj.com/article/SB10001424052702303627104576411850666582080.html
    Das gilt insbesondere für Zeitschriften, die nach hohen Zitationsraten streben.

    Das bestätigt auch die Erfahrung, dass viel zitierte Arbeiten eher umstritten, als qualitativ hochwertig sind. Nobelpreisträchtig werden davon nur die wenigen, die zwar umstritten sind, sich aber dann, bei mehrfacher Überprüfung, als richtig erweisen.

    Im Prinzip ist natürlich die steigende Zahl an retracted papers nur ein Zeichen dafür, dass die Falsifikationstheorie von K. Popper richtig ist. Das heißt, dass die Wissenschaft sich dadurch reinigt, dass Publikationen durch später erscheinende Publikationen falsifiziert werden und nicht durch die Peer Reviewer. Wissenschaftliche Erkenntnisse müssen, soweit das geht, genau überprüft und nicht nur von „Peer Reviewern“ eingeschätzt werden.

    Voraussetzung dafür ist aber, dass Erkenntnisse erst einmal erscheinen, um überprüft werden zu können, und nicht von Peer Reviewern schon unterdrückt werden

    Die Zeit, in der man noch die Zahl von Publikationen zählen konnte, um die Leistung eines Wissenschaftlers einzuschätzen sind vorbei, seit dem das Papieraufkommen für wissenschaftliche Publikationen nicht mehr der limitierende Faktor ist.

    Die heutige Leistungsfähigkeit von Wissenschaftlern muss sich an der Qualität und damit an der Überprüfbarkeit ihrer Publikationen messen lassen. Die ist durch Peer Reviewer meist nicht gegeben, so lange die Reviewer nicht in der Lage sind, die zu bewertenden Arbeiten auch durch eigene Analysen zu überprüfen. Das vermag nur die wissenschaftliche Gemeinschaft als Ganzes.

    Wir sind heute in der Lage, mit Hilfe des Internets, zu relevanten Themen Diskussionsforen (früher Zeitschriften) zu bilden, in denen gemeinsam Erkenntnisse erarbeitet werden, deren Ergebnisse nach ausreichender Klärung in Lehrbücher einfließen können.

    Walther Umstätter

  7. […] das genuin naturwissenschaftliche Peer Review gibt es viele Einwände: Die Anonymität ist nicht selten unwirksam, wenn man den Verfasser leicht errät. Gutachter neigen […]

  8. […] Karsten Schuldt (2012) Peer Review – eine Entscheidungsfrage für kleine Zeitschriften. In: LIBREAS.Weblog, 06. Juni 2012, https://libreas.wordpress.com/2012/06/06/peer-review-eine-entscheidungsfrage-fur-kleine-zeitschriften… […]

  9. […] nachdenken müssten, die der Wissenschaft schaden? Nicht nur über das Peer Review, das ja auch in der Kritik steht. Ich vertrete nur ein Recht auf Kenntnisnahme, auf die Chance, rezipiert zu werden. Ein […]

  10. […] nachdenken müssten, die der Wissenschaft schaden? Nicht nur über das Peer Review, das ja auch in der Kritik steht. Ich vertrete nur ein Recht auf Kenntnisnahme, auf die Chance, rezipiert zu werden. Ein […]


Schreibe einen Kommentar

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s

%d Bloggern gefällt das: