Der Fehler im Zitat. Zu einem Kernproblem der Wissenschaftskommunikation.

Referat zu: Mertens Stefan, Baethge Christopher (2011): The virtues of correct citation—careful referencing is important but often neglected even in peer reviewed articles. In: Deutsches Ärzteblatt International 2011; 108(33): 550–2. DOI: 10.3238/arztebl.2011.0550

von Ben Kaden

I Vier Fehlergruppen

Kennt man (Samuel C.) Bradfords Gesetz zur Verteilung von wissenschaftlichen Aufsätzen über die Bandbreite der Periodika, dann überrascht es wenig, wenn man in der Ausgabe des Deutschen Ärzteblatts vom 19.8.2011 einen Aufsatz zur Zitationsanalyse entdeckt. Zudem ist das Thema des Zitierens natürlich in jeder Form der  Wissenschaft hoch relevant und die Autoren Stephan Mertens und Christopher Baethge– zugleich Mitglieder der Redaktion der Zeitschrift – benennen den Grund dieser wissenschaftskommunikativen Konvention zum Einstieg ihres Textes:

„Sie [die Referenz] sollte eine Behauptung [in einem wissenschaftlichen Aufsatz] präzise untermauern und den aktuellen Forschungsstand repräsentieren oder aber im Falle einer Außenseitermeinung als solche kenntlich gemacht werden.“ (Mertens, Baetghe, 2011)

Die Referenzen verorten folglich einen Text im Fachgebiet und sorgendarüberhinaus dafür, dass eine Aussage glaubwürdiger erscheint, denn:

„Ein Großteil der Leser dürfte einer referenzierten Aussage mehr Vertrauen entgegenbringen als einer ohne Literaturverweis […]“(ebd.)

Der Akt des Zitierens entspricht damit auch einer Selbstautorisierung. Geht nun die Begründung per Referenz der Korrektheit einer Aussage voraus und plausibilisiert sie, so sind Referenzierungsfehler Störfälle in diesem Prozess, die die Glaubwürdigkeit des gesamten Verfahrens unterhöhlen können. Die Autoren des Ärzteblatts setzen sich mit diesen Fehlern auseinander und versuchen, Konsequenzen einzuschätzen. Vier Fehlergruppen lassen sich bestimmen:

1. „Die Quelle untermauert nicht oder nur teilweise die Aussage.“
2. „Der Verweis ist so platziert, dass nicht deutlich wird, auf welche Aussage er sich bezieht.“
3. „Die bibliografischen Angaben […] sind unvollständig oder falsch.“
4. „ […] die Informationsquelle [wird] bewusst verschwiegen und fälschlich als eigene intellektuelle Leistung präsentiert.“ (ebd.)

Die Gruppe vier, die sich zwischen Uncitedness I-IV (Garfield, 1973) und Plagiat bewegt, wird im Text ausgeklammert und ist natürlich hoch komplex. Denn neben der plagiierenden Übernahme stellt sich diese Variante vor dem Hintergrund des oben zitierten Zwecks der Referenzierung auch als Exklusionswerkzeug dar: Missliebige Erkenntnisse werden schlicht nicht berücksichtigt (bewusst verschwiegen) und damit überhaupt nicht als für den Diskurs relevant intellektuelle Leistung anerkannt. In der vorliegenden Publikation wird diese Gruppe ausgeklammert und auch der Fehlertyp 2 wird nicht gezielt untersucht.

II Die Wager-Middelton-Studie zum Technical Editing

Die Autoren der zentralen Bezugsstudie von Mertens und Baethge, E. Wagerund P. Middleton (2008), untersuchten die so genannte Reference Accuracy im Rahmen einer Art Meta-Studie zum Einfluss redaktioneller Maßnahmen auf die Qualität von wissenschaftlichen Aufsätzen in der Biochemie (neben Abstract Quality und Readability). Sie differenzierten die Zitiergenauigkeit weiter in Quotation Accuracy, das man vielleicht als Zitatgenauigkeit übersetzen könnte, sowie Citation Accuracy, also in etwa der Zitationsgenauigkeit. Die Zitatgenauigkeit entspricht dem Fehlertyp 1, die Zitationsgenauigkeit dem Fehlertyp 3:

„A major quotation error was generally defined as a seriously misleading change to the original quotation and a major citation error was generally defined as one that prevented or seriously obstructed the identification or retrieval of the reference, e.g. incorrect volume number.” (Wager, Middleton, 2008)

Für die Zitationsgenauigkeit ermittelten Wager und Middleton einen Fehlerwert von 38 %, wobei bei den einzelnen Zeitschriften große Schwankungen feststellbar waren (4%-67%).  Für die Zitatgenauigkeit ermittelten sie eine Fehlerquote von 20 %, ebenfalls mit einer großen Verteilungsbreite (0%-50%).

Die Zitationsgenauigkeit ist dort besonders hoch, wo ein Redakteur die Referenzen an einen „House Style“ anpasst, also sämtliche Referenzangaben noch einmal nachkorrigiert. Die redaktionelle Ausstattung der Zeitschriften scheint dabei eine Rolle zu spielen:

”There was some indication that major journals and journals with higher impact factors had a lower error rate than ‚minor‘ journals […] and this may be attributable to major journals have more access to editing resources. This is consistent with the observation in Oermann 2002b RA that journal librarian checks of references helped to improve the accuracy of references.” (Wager, Middleton, 2008)

Wager und Middleton vermuten zudem eine Steigerung der Zitationsgenauigkeit durch Softwarelösungen und die Anbindung an Literaturdatenbanken mit einer automatischen Verifikation der Zitation. Diese Vermutung wird durch die Beispielerhebung von Mertens und Baethge gestützt, die für die Literatur nach 2008 eine weitaus geringere durchschnittliche Fehlerquote ermittelten (16,4 %). Auch sie vermuten eine Ursache in der stärkeren Verwendung von Literaturverwaltungssoftware. Für die Verifizierbarkeit einer Referenz sind die meisten Fehler ohnehin ohne Belang: „Große Fehler, durch die die Originalquelle nicht identifiziert werden konnte, waren selten.“ (Mertens, Baethge, 2011) Die meisten Lapsus scheinen tatsächlich Schreib- und Tippfehler zu sein.

III Methoden zur Erkenntnis von Zitierfehlern

Die inhaltlichen Fehler des Typs 1 (Zitatgenauigkeit) sind dagegen kaum automatisierbar zu erkennen und auch in der intellektuellen Prüfung sehr aufwendig, da die Aussagen der zitierenden und der zitierten Quelle verglichen werden müssen.

Hier könnte eine auf dieses Prüfziel hin verengte diskursanalytische Methode möglicherweise einen Zugriff bieten. Bei Wager und Middleton finden sich leider kaum Angaben zur Ermittlung der Quotation error rates. Sie berichten zudem, dass sich bei keiner der ausgewerteten Quellen Hinweise fanden, wie man diesen Wert verbessern könnte. Sie selbst verweisen auf das Regulativ kompetenter Peer Reviewer:

„One might imagine that one criterion for selecting peer-reviewers would be their knowledge (or even authorship) of the relevant literature, so it would be interesting to measure the accuracy of quotations before and after peer review, to see if it is improved by reviewers‘ comments.” (Wager, Middelton, 2008)

Methodologisch aussagekräftiger ist dagegen die Beschreibung des Untersuchungsverfahrens von Mertens und Baethge für die Quotation Accuracy im Deutschen Ärzteblatt: Eine Stichprobe von 50 Zitaten wurde von zwei Prüfern, die in gewisser Weise besonders aufmerksame Peer Reviewer simulierten, qualitativ analysiert und jeweils als (a) richtig oder (b) falsch (kleiner Fehler) oder (c) falsch (substanzieller Fehler) eingestuft. Die Quote substanzieller Fehler lag für das Sample bei immerhin 18 %, kleinere Fehler traten bei 14 % der untersuchten Aussagen auf. Allerdings weisen die Autoren selbst auf das Ausbaupotential solcher Untersuchungsverfahren hin:

„Interessanter aber auch ungleich aufwendiger wäre es zu prüfen, ob die gewählte Zitierung wissenschaftlich korrekt und für den Stand der Forschung repräsentativ ist und nicht eher vom hypothesen- oder interessengeleiteten Wissenschaftsbild des Autors beeinflusst wird.“ (Mertens, Baethge, 2011)

Dafür müsste man zunächst einmal Kriterien zur Bestimmung dieses Wissenschaftsbilds entwickeln und, wenn man besonders präzise vorgehen möchte, diese vermutlich immer implizit wirkende Größe auch für die zitierten Autoren ermitteln. Ich würde hier von einer kontextorientierten Zitieranalyse sprechen und zweifellos verdient dieser Ansatz eine verstärkte Elaboration.

IV Transparenz des Recherchewegs als Lösung?

Zitierfehler können neben dem Vorsatz, der bei den Fehlertypen 1 und 4 teilweise angenommen werden kann, und allgemeiner Nachlässigkeit auch eine systemimmanente Wurzel haben, auf die Mertens und Baethge hinweisen. Der Anteil fehlerhafter Zitate und Zitationen

„[…] könnte auch bedeuten, dass die Forderung nach Belegen für jede Behauptung vielfach eine Überforderung für Wissenschaftler darstellt. Schließlich haben die Verfasser wissenschaftlicher Arbeiten vor allem die Darstellung ihrer Ergebnisse […] im Sinn.“ (Mertens, Baethge, 2011)

Je mehr wissenschaftliche Ergebnisse zu einem Thema irgendwie irgendwo zugänglich sind, so könnte man nicht zuletzt mit Bradfords Gesetz vor Augen meinen, desto schwieriger wird es, den Anspruch einer lückenlosen Ausleuchtung des Forschungsstandes zu erfüllen. Je mehr Wissenschaft betrieben wird, desto komplexer erweist sich die Aufgabe, auch auf vergleichsweise eng eingezirkelten Themengebieten die Forschung komplett im Blick zu behalten. Das Primat der Vollständigkeit dürfte in der Tat nicht nur überfordernd wirken, sondern – auch angesichts der hohen Redundanz und Irrelevanz, die es dennoch zu filtern gilt –in der Wissenschaftspraxis zwangsläufig durch eine Selektivität gebrochen werden. Daher ist der Vorschlag von Mertens und Baethge den Prozess der Quellenauswahl vielleicht analog zur Methode zu explizieren ein akzeptabler Lösungsansatz:

„Um mehr Transparenz bei der Auswahl der Quellen zu schaffen, wäre es hilfreich […] zu beschreiben, wie die Autoren die verwendete Literatur ausgewählt haben: Gibt es Ein- und Ausschlusskriterien für die herangezogenen Publikationen? In welchen Datenbanken und in welchem Zeitraum wurde recherchiert? Basieren die Zitierungen nur auf Originalarbeiten oder auch auf Übersichtsartikeln?“ (Mertens, Baethge, 2011)

Die Auswirkungen für die Wissenschaft sind unter anderem dann problematisch, wenn bestimmte Bewertungskriterien wie der Impact Factor verzerrt werden, ohne dass diese Verzerrung irgendwo berücksichtigt wird. Mertens und Baethge weisen darauf hin, dass Zitierfehler vermutlich nicht so systematisch auftreten, dass sich dies im gleichen Verhältnis im Impact Factor spiegelt:

„So ist vorstellbar, dass populäre Arbeiten überproportional häufig falsch zitiert werden, alleine schon deshalb, weil sie vielen Wissenschaftlern bekannt sind. Dies könnte zu einer Verzerrung des Impact-Faktors zugunsten viel zitierter Arbeiten führen.“ (Mertens, Baethge, 2011)

Auch an dieser Stelle wäre es sicher gerade unter dem Kriterium der Popularität interessant, Effekte der Uncitedness mit einzurechnen. Der besprochene Beitrag aus dem Deutschen Ärzteblatt macht deutlich, wie das Problem der Zitiergenauigkeit zunächst im disziplinären Publikationswesen aber auch generell in der Wissenschaftskommunikation als ein neben der Originalität der vermeldeten Erkenntnis wichtiger Faktor wissenschaftlicher Qualität wahrgenommen wird.

Während ein bestimmter Typus der Zitierfehler (der bibliografische Nachweis) mittlerweile sehr gut automatisiert erkennbar und korrigierbar sein dürfte, stellen die inhaltliche Zitatgenauigkeit (Typ 1) sowie auch die formale Platzierung im Textkorpus (Typ 2) deutliche Herausforderungen an die Qualitätskontrolle dar. Sowohl eine gewissenhafte redaktionelle Betreuung und ein akkurates Peer Review können hier schon vor der Publikation korrigierend eingreifen. In den Zusammenhang der Nachbereitung zählen sicher die Analysenverfahren der Bibliotheks- und Informationswissenschaft, die maßgeblich dazu beitragen können, bestimmte Fehlermuster, -häufigkeiten und –gründe zu erkennen. Neben der Bibliometrie sind dies auch Methoden, die die inhaltliche Dimension der Diskursverläufe fokussieren.

Die Bibliotheken selbst können noch an einer anderen Stelle aktiv werden: Ist nämlich die Explikation des Recherchewegs ein Standard, so dürfte diese Reflektion des eigenen Arbeitsprozesses bei den Wissenschaftlern nicht zuletzt dazu führen, dass sie diesen Prozess ihren Arbeitsbedingungen gemäß optimieren möchten. Zur Erhöhung dieser Form der wissenschaftlichen Handlungskompetenz sollten die Informationsversorgungsdienstleister der Wissenschaft entsprechende Dienstleistungen bereitstellen. Solche zu entwickeln ist freilich eine Kooperationsaufgabe von Wissenschaftspraxis, Bibliothekswissenschaft und Bibliothekspraxis.

Literatur:

Garfield, Eugene (1973): Uncitedness III – The importance of not being cited. In: Current Contents 8, Februar 1973, S. 5-6

Mertens Stefan, Baethge Christopher (2011): The virtues of correct citation—careful referencing is important but often neglected even in peer reviewed articles. In: DeutschesÄrzteblatt International 2011; 108(33): 550–2. DOI: 10.3238/arztebl.2011.0550

Wager E, Middleton P. (2008):Technical editing of research reports in biomedical journals. In: Cochrane Database of Systematic Reviews 2008, Issue 4. Art. No.: MR000002. DOI: 10.1002/14651858.MR000002.pub3