LIBREAS.Library Ideas

Der Fehler im Zitat. Zu einem Kernproblem der Wissenschaftskommunikation.

Posted in LIBREAS.Referate by Ben on 25. August 2011

Referat zu: Mertens Stefan, Baethge Christopher (2011): The virtues of correct citation—careful referencing is important but often neglected even in peer reviewed articles. In: Deutsches Ärzteblatt International 2011; 108(33): 550–2. DOI: 10.3238/arztebl.2011.0550

von Ben Kaden

I Vier Fehlergruppen

Kennt man (Samuel C.) Bradfords Gesetz zur Verteilung von wissenschaftlichen Aufsätzen über die Bandbreite der Periodika, dann überrascht es wenig, wenn man in der Ausgabe des Deutschen Ärzteblatts vom 19.8.2011 einen Aufsatz zur Zitationsanalyse entdeckt. Zudem ist das Thema des Zitierens natürlich in jeder Form der  Wissenschaft hoch relevant und die Autoren Stephan Mertens und Christopher Baethge– zugleich Mitglieder der Redaktion der Zeitschrift – benennen den Grund dieser wissenschaftskommunikativen Konvention zum Einstieg ihres Textes:

„Sie [die Referenz] sollte eine Behauptung [in einem wissenschaftlichen Aufsatz] präzise untermauern und den aktuellen Forschungsstand repräsentieren oder aber im Falle einer Außenseitermeinung als solche kenntlich gemacht werden.“ (Mertens, Baetghe, 2011)

Die Referenzen verorten folglich einen Text im Fachgebiet und sorgendarüberhinaus dafür, dass eine Aussage glaubwürdiger erscheint, denn:

„Ein Großteil der Leser dürfte einer referenzierten Aussage mehr Vertrauen entgegenbringen als einer ohne Literaturverweis […]“(ebd.)

Der Akt des Zitierens entspricht damit auch einer Selbstautorisierung. Geht nun die Begründung per Referenz der Korrektheit einer Aussage voraus und plausibilisiert sie, so sind Referenzierungsfehler Störfälle in diesem Prozess, die die Glaubwürdigkeit des gesamten Verfahrens unterhöhlen können. Die Autoren des Ärzteblatts setzen sich mit diesen Fehlern auseinander und versuchen, Konsequenzen einzuschätzen. Vier Fehlergruppen lassen sich bestimmen:

  1. „Die Quelle untermauert nicht oder nur teilweise die Aussage.“
  2. „Der Verweis ist so platziert, dass nicht deutlich wird, auf welche Aussage er sich bezieht.“
  3. „Die bibliografischen Angaben […] sind unvollständig oder falsch.“
  4. „ […] die Informationsquelle [wird] bewusst verschwiegen und fälschlich als eigene intellektuelle Leistung präsentiert.“ (ebd.)

Die Gruppe vier, die sich zwischen Uncitedness I-IV (Garfield, 1973) und Plagiat bewegt, wird im Text ausgeklammert und ist natürlich hoch komplex. Denn neben der plagiierenden Übernahme stellt sich diese Variante vor dem Hintergrund des oben zitierten Zwecks der Referenzierung auch als Exklusionswerkzeug dar: Missliebige Erkenntnisse werden schlicht nicht berücksichtigt (bewusst verschwiegen) und damit überhaupt nicht als für den Diskurs relevant intellektuelle Leistung anerkannt. In der vorliegenden Publikation wird diese Gruppe ausgeklammert und auch der Fehlertyp 2 wird nicht gezielt untersucht.

II Die Wager-Middelton-Studie zum Technical Editing

Die Autoren der zentralen Bezugsstudie von Mertens und Baethge, E. Wagerund P. Middleton (2008), untersuchten die so genannte Reference Accuracy im Rahmen einer Art Meta-Studie zum Einfluss redaktioneller Maßnahmen auf die Qualität von wissenschaftlichen Aufsätzen in der Biochemie (neben Abstract Quality und Readability). Sie differenzierten die Zitiergenauigkeit weiter in Quotation Accuracy, das man vielleicht als Zitatgenauigkeit übersetzen könnte, sowie Citation Accuracy, also in etwa der Zitationsgenauigkeit. Die Zitatgenauigkeit entspricht dem Fehlertyp 1, die Zitationsgenauigkeit dem Fehlertyp 3:

„A major quotation error was generally defined as a seriously misleading change to the original quotation and a major citation error was generally defined as one that prevented or seriously obstructed the identification or retrieval of the reference, e.g. incorrect volume number.” (Wager, Middleton, 2008)

Für die Zitationsgenauigkeit ermittelten Wager und Middleton einen Fehlerwert von 38 %, wobei bei den einzelnen Zeitschriften große Schwankungen feststellbar waren (4%-67%).  Für die Zitatgenauigkeit ermittelten sie eine Fehlerquote von 20 %, ebenfalls mit einer großen Verteilungsbreite (0%-50%).

Die Zitationsgenauigkeit ist dort besonders hoch, wo ein Redakteur die Referenzen an einen „House Style“ anpasst, also sämtliche Referenzangaben noch einmal nachkorrigiert. Die redaktionelle Ausstattung der Zeitschriften scheint dabei eine Rolle zu spielen:

”There was some indication that major journals and journals with higher impact factors had a lower error rate than ‚minor‘ journals […] and this may be attributable to major journals have more access to editing resources. This is consistent with the observation in Oermann 2002b RA that journal librarian checks of references helped to improve the accuracy of references.” (Wager, Middleton, 2008)

Wager und Middleton vermuten zudem eine Steigerung der Zitationsgenauigkeit durch Softwarelösungen und die Anbindung an Literaturdatenbanken mit einer automatischen Verifikation der Zitation. Diese Vermutung wird durch die Beispielerhebung von Mertens und Baethge gestützt, die für die Literatur nach 2008 eine weitaus geringere durchschnittliche Fehlerquote ermittelten (16,4 %). Auch sie vermuten eine Ursache in der stärkeren Verwendung von Literaturverwaltungssoftware. Für die Verifizierbarkeit einer Referenz sind die meisten Fehler ohnehin ohne Belang: „Große Fehler, durch die die Originalquelle nicht identifiziert werden konnte, waren selten.“ (Mertens, Baethge, 2011) Die meisten Lapsus scheinen tatsächlich Schreib- und Tippfehler zu sein.

III Methoden zur Erkenntnis von Zitierfehlern

Die inhaltlichen Fehler des Typs 1 (Zitatgenauigkeit) sind dagegen kaum automatisierbar zu erkennen und auch in der intellektuellen Prüfung sehr aufwendig, da die Aussagen der zitierenden und der zitierten Quelle verglichen werden müssen.

Hier könnte eine auf dieses Prüfziel hin verengte diskursanalytische Methode möglicherweise einen Zugriff bieten. Bei Wager und Middleton finden sich leider kaum Angaben zur Ermittlung der Quotation error rates. Sie berichten zudem, dass sich bei keiner der ausgewerteten Quellen Hinweise fanden, wie man diesen Wert verbessern könnte. Sie selbst verweisen auf das Regulativ kompetenter Peer Reviewer:

„One might imagine that one criterion for selecting peer-reviewers would be their knowledge (or even authorship) of the relevant literature, so it would be interesting to measure the accuracy of quotations before and after peer review, to see if it is improved by reviewers‘ comments.” (Wager, Middelton, 2008)

Methodologisch aussagekräftiger ist dagegen die Beschreibung des Untersuchungsverfahrens von Mertens und Baethge für die Quotation Accuracy im Deutschen Ärzteblatt: Eine Stichprobe von 50 Zitaten wurde von zwei Prüfern, die in gewisser Weise besonders aufmerksame Peer Reviewer simulierten, qualitativ analysiert und jeweils als (a) richtig oder (b) falsch (kleiner Fehler) oder (c) falsch (substanzieller Fehler) eingestuft. Die Quote substanzieller Fehler lag für das Sample bei immerhin 18 %, kleinere Fehler traten bei 14 % der untersuchten Aussagen auf. Allerdings weisen die Autoren selbst auf das Ausbaupotential solcher Untersuchungsverfahren hin:

„Interessanter aber auch ungleich aufwendiger wäre es zu prüfen, ob die gewählte Zitierung wissenschaftlich korrekt und für den Stand der Forschung repräsentativ ist und nicht eher vom hypothesen- oder interessengeleiteten Wissenschaftsbild des Autors beeinflusst wird.“ (Mertens, Baethge, 2011)

Dafür müsste man zunächst einmal Kriterien zur Bestimmung dieses Wissenschaftsbilds entwickeln und, wenn man besonders präzise vorgehen möchte, diese vermutlich immer implizit wirkende Größe auch für die zitierten Autoren ermitteln. Ich würde hier von einer kontextorientierten Zitieranalyse sprechen und zweifellos verdient dieser Ansatz eine verstärkte Elaboration.

IV Transparenz des Recherchewegs als Lösung?

Zitierfehler können neben dem Vorsatz, der bei den Fehlertypen 1 und 4 teilweise angenommen werden kann, und allgemeiner Nachlässigkeit auch eine systemimmanente Wurzel haben, auf die Mertens und Baethge hinweisen. Der Anteil fehlerhafter Zitate und Zitationen

„[…] könnte auch bedeuten, dass die Forderung nach Belegen für jede Behauptung vielfach eine Überforderung für Wissenschaftler darstellt. Schließlich haben die Verfasser wissenschaftlicher Arbeiten vor allem die Darstellung ihrer Ergebnisse […] im Sinn.“ (Mertens, Baethge, 2011)

Je mehr wissenschaftliche Ergebnisse zu einem Thema irgendwie irgendwo zugänglich sind, so könnte man nicht zuletzt mit Bradfords Gesetz vor Augen meinen, desto schwieriger wird es, den Anspruch einer lückenlosen Ausleuchtung des Forschungsstandes zu erfüllen. Je mehr Wissenschaft betrieben wird, desto komplexer erweist sich die Aufgabe, auch auf vergleichsweise eng eingezirkelten Themengebieten die Forschung komplett im Blick zu behalten. Das Primat der Vollständigkeit dürfte in der Tat nicht nur überfordernd wirken, sondern – auch angesichts der hohen Redundanz und Irrelevanz, die es dennoch zu filtern gilt –in der Wissenschaftspraxis zwangsläufig durch eine Selektivität gebrochen werden. Daher ist der Vorschlag von Mertens und Baethge den Prozess der Quellenauswahl vielleicht analog zur Methode zu explizieren ein akzeptabler Lösungsansatz:

„Um mehr Transparenz bei der Auswahl der Quellen zu schaffen, wäre es hilfreich […] zu beschreiben, wie die Autoren die verwendete Literatur ausgewählt haben: Gibt es Ein- und Ausschlusskriterien für die herangezogenen Publikationen? In welchen Datenbanken und in welchem Zeitraum wurde recherchiert? Basieren die Zitierungen nur auf Originalarbeiten oder auch auf Übersichtsartikeln?“ (Mertens, Baethge, 2011)

Die Auswirkungen für die Wissenschaft sind unter anderem dann problematisch, wenn bestimmte Bewertungskriterien wie der Impact Factor verzerrt werden, ohne dass diese Verzerrung irgendwo berücksichtigt wird. Mertens und Baethge weisen darauf hin, dass Zitierfehler vermutlich nicht so systematisch auftreten, dass sich dies im gleichen Verhältnis im Impact Factor spiegelt:

„So ist vorstellbar, dass populäre Arbeiten überproportional häufig falsch zitiert werden, alleine schon deshalb, weil sie vielen Wissenschaftlern bekannt sind. Dies könnte zu einer Verzerrung des Impact-Faktors zugunsten viel zitierter Arbeiten führen.“ (Mertens, Baethge, 2011)

Auch an dieser Stelle wäre es sicher gerade unter dem Kriterium der Popularität interessant, Effekte der Uncitedness mit einzurechnen. Der besprochene Beitrag aus dem Deutschen Ärzteblatt macht deutlich, wie das Problem der Zitiergenauigkeit zunächst im disziplinären Publikationswesen aber auch generell in der Wissenschaftskommunikation als ein neben der Originalität der vermeldeten Erkenntnis wichtiger Faktor wissenschaftlicher Qualität wahrgenommen wird.

Während ein bestimmter Typus der Zitierfehler (der bibliografische Nachweis) mittlerweile sehr gut automatisiert erkennbar und korrigierbar sein dürfte, stellen die inhaltliche Zitatgenauigkeit (Typ 1) sowie auch die formale Platzierung im Textkorpus (Typ 2) deutliche Herausforderungen an die Qualitätskontrolle dar. Sowohl eine gewissenhafte redaktionelle Betreuung und ein akkurates Peer Review können hier schon vor der Publikation korrigierend eingreifen. In den Zusammenhang der Nachbereitung zählen sicher die Analysenverfahren der Bibliotheks- und Informationswissenschaft, die maßgeblich dazu beitragen können, bestimmte Fehlermuster, -häufigkeiten und –gründe zu erkennen. Neben der Bibliometrie sind dies auch Methoden, die die inhaltliche Dimension der Diskursverläufe fokussieren.

Die Bibliotheken selbst können noch an einer anderen Stelle aktiv werden: Ist nämlich die Explikation des Recherchewegs ein Standard, so dürfte diese Reflektion des eigenen Arbeitsprozesses bei den Wissenschaftlern nicht zuletzt dazu führen, dass sie diesen Prozess ihren Arbeitsbedingungen gemäß optimieren möchten. Zur Erhöhung dieser Form der wissenschaftlichen Handlungskompetenz sollten die Informationsversorgungsdienstleister der Wissenschaft entsprechende Dienstleistungen bereitstellen. Solche zu entwickeln ist freilich eine Kooperationsaufgabe von Wissenschaftspraxis, Bibliothekswissenschaft und Bibliothekspraxis.

Literatur:

Garfield, Eugene (1973): Uncitedness III – The importance of not being cited. In: Current Contents 8, Februar 1973, S. 5-6

Mertens Stefan, Baethge Christopher (2011): The virtues of correct citation—careful referencing is important but often neglected even in peer reviewed articles. In: DeutschesÄrzteblatt International 2011; 108(33): 550–2. DOI: 10.3238/arztebl.2011.0550

Wager E, Middleton P. (2008):Technical editing of research reports in biomedical journals. In: Cochrane Database of Systematic Reviews 2008, Issue 4. Art. No.: MR000002. DOI: 10.1002/14651858.MR000002.pub3

2 Antworten

Subscribe to comments with RSS.

  1. W. Umstaetter said, on 27. August 2011 at 11:58

    Jeder, der schon mehrfach publiziert hat, kennt die Schwierigkeit, dass Publikationen in verschiedenen Verlagen formal verschiedenen Zitationsvorschriften unterliegen. Damit verbunden ist, dass sich Lektoren oft beschweren, wie „fehlerhaft“ die jeweiligen Zitationen sind. Sehr viel geringer ist der Anteil an fehlerhaften Zitationen, die es verhindern, die zitierte Arbeit auch aufzufinden. Hinzu kommt, dass die inhaltlich falsch zitierten Arbeiten, in denen eine Quelle eine Aussage untermauern soll, es aber nicht ausreichend tut, für einen Editor oder einen Leser oft nur sehr schwer identifizierbar sind, weil eine Entscheidung dazu nicht selten in sophistische Diskussionen ausartet.

    Dir Behauptung: „Wenn 20 % der Zitate falsch sind, bedeutet dies, dass auch der Impact-Faktor mit einer entsprechend hohen Fehlerrate behaftet ist.“ ist darum insofern fragwürdig, weil sich der Journal Impact-Factor (JIF) auf Zeitschriften bezieht, und diese nur dann nicht richtig wiedererkannt werden, wenn deren Namen bzw. die Jahreszahl irreführend erscheint. Falsch geschriebene Autorennamen, etc. spielen da keine Rolle.

    Es ist auch schon untersucht worden, wie oft Autoren fehlerhafte Zitationen von anderen Autoren übernehmen, wobei dies naheliegenderweise öfter bei vielzietierten Aufsätzen geschieht, als bei eher unbekannten Publikationen. Das unterstützt die These: „So ist vorstellbar, dass populäre Arbeiten überproportional häufig falsch zitiert werden, alleine schon deshalb, weil sie vielen Wissenschaftlern bekannt sind. Dies könnte zu einer Verzerrung des Impact-Faktors zugunsten viel zitierter Arbeiten führen.“ Ob das allerdings den JIF stark beeinflusst ist ebenfalls sehr fraglich. Dieser wird sicher mehr vom Matthäuseffekt beeinflusst, dass bekannte Zeitschriften immer bekannter werden, weil sie jeder erwähnt. Die Arbeit von Giles und Lawrence in **Science**, April 1998 zu AltaVista und HotBot wurde trotz ihrer Fehlerhaftigkeit weitaus bekannter, als die Berichtigung von Petras, V. und Bank, M. in der deutschen nfd (heute IWF) 98 (6) (1998).

    Mit der Tatsache, dass englischsprachige Zeitschriften einen höheren JIF haben als deutschsprachige Zeitschriften, hängt allerdings auch zusammen, dass für Amerikaner beispielsweise deutsche Wörter öfter falsch geschrieben werden als englische, und dass der Science Citation Index ein amerikanisches Produkt ist.

    Das ändert allerdings nichts daran, dass man in Deutschland wieder stärker über Deutsch als Wissenschaftssprache mit einem eigenen Impact Factor nachdenken sollte.
    1. kann es für eine deutsche Wissenschaft von Vorteil sein, Erkenntnisse solange in deutsch zu diskutieren, bis sie international spruchreif sind.
    2. lassen sich in der deutschen Sprache Gedankengebäude rekonstruieren, die in englisch nur sehr schwer zu verbalisieren sind. Man denke nur an die Einheit von Geistes-, Sozial- und Naturwissenschaft zu arts and humanities, social sciences and sciences. Dahinter stehen zwei sehr unterschiedliche Betrachtungen der Wissenschaft, die sich auch in den „Two Cultures“ von Snow manifestieren.
    3. könnte Deutsch als Wissenschaftssprache Aktivitäten bündeln, die auf einer internationalen Ebenen nicht oder nur sehr viel schwieriger realisierbar sind.

    MfG

    W. Umstätter

  2. […] widerlegt, falsifiziert, ergänzt, etc.) zur Seite stellen. (hier ergibt sich ein Ausschluss an ein hier beschriebenes Untersuchungsfeld). Eine Aussage im Text ließe sich im Anschluss analog zu den Zitaten mit einer konkreten […]


Schreibe einen Kommentar

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s

%d Bloggern gefällt das: