LIBREAS.Library Ideas

Die Buzzermeter. Warum die Tweetmetrics den Menschen stärker in den Blick nehmen sollten.

Posted in LIBREAS.Referate by Ben on 17. Dezember 2011

Anmerkungen zu

Gunther Eysenbach (2011): Can Tweets Predict Citations? Metrics of Social Impact Based on Twitter and Correlation with Traditional Metrics of Scientific Impact. In: Journal of Medical Internet Research. 2011;13(4):e123. DOI:10.2196/jmir.2012

von Ben Kaden

Wenn wir schon einmal das Thema alternativer Metriken in der Wissenschaftsforschung in den Blick nehmen, dann liegt es nahe, den Bogen zu den Tweetmetrics (Teilgebiet der Social metrics) mitzunehmen und auf einen aktuellen Aufsatz zur twitter-gestützten Zitationsanalyse hinzuweisen. Gunther Eysenbach schreibt im Journal of Medical Internet Research über Untersuchungen zum so genannten Twimpact Factor. Die Wortschöpfung ist sicher so streitbar wie eingängig und daher typisch für dieses hochzeitgeistige Diskurs- und Forschungsfeld (da geht wortschöpferisch vermutlich noch einiges), begründet sich aber aus der nachvollziehbaren Idee, mit sziento-webometrischen Methoden einen Spin-off zu entwickeln, wie die Interessenerklärung verrät:

„JMIR Publications Inc. also owns the domains twimpact.org, twimpactfactor.org and twimpactfactor.com with the possible goal to create services to calculate and track twimpact and twindex metrics for publications and publishers, and may or may not directly or indirectly profit from these services.“

Der Ansatz ist also nicht zuletzt vor dem Hintergrund von informationswissenschaftlich grundierten Geschäftsmodellen interessant. Der Autor umreisst klar und breit seine Zielgruppe:

„A website displaying real-time social impact metrics such as twimpact factors of current research articles may be useful for a wide range of potential audiences, including journalists, journal editors, researchers, public health officials, and patients, to direct them to topics and research that resonate with the public.“

Wenn sich also Wissenschaftsverlage weiter zu Dienstleistern ausentwickeln wollen, wird an diesem Ansatz ziemlich deutlich, wohin die Reise geht: Informationskumulation, Datensynpose und Reputationsmessung.

Als Erkenntnis lässt sich aus dem Beitrag ableiten: Die ersten drei Tage nach der Veröffentlichung sind auf Twitter relevant und lassen für das Sample (Artikel des JMIR) anscheinend gewisse Rückschlüsse auf die generelle Popularität eines einzelnen Aufsatzes (oder vielleicht später: SKOs) zu:

„Tweets can predict highly cited articles within the first 3 days of article publication. Social media activity either increases citations or reflects the underlying qualities of the article that also predict citations, but the true use of these metrics is to measure the distinct concept of social impact. Social impact measures based on tweets are proposed to complement traditional citation metrics. The proposed twimpact factor may be a useful and timely metric to measure uptake of research findings and to filter research findings resonating with the public in real time.“

Mir scheint der Ansatz vor allem dahingehend bedeutsam und als Anschluss das Posting vom 14.12.2011 passend, weil im Gegensatz zu Zitationen bei Tweetationen („tweetations“), so eine auf eigene Erfahrung gestützte These, weniger die inhaltliche Auseinandersetzung mit dem Neuigkeitswert der in einem Aufsatz kommunizierten Erkenntnis im Mittelpunkt steht, sondern a) das Thema allgemein und b) die publizierenden Akteure. Twitter ist vorwiegend ein Meldungsmedium und daher exzellent für Popularitätserzeugung wie -messung geeignet.

Der Twimpact Factor eignet sich also – wie auch die Zeitgeist-Linien der Social Media-Anbieter bzw. konkret die Hash-Tag-Rankings bei Twitter selbst – dazu, akute Popularitäten in der Zeit zu messen und – sofern die Archivierung des Materials gelingt – auf lange Sicht für bestimmte ebenfalls auf Themen, Akteure oder auch einzelne Formulierungen bezogene Langzeitanalysen.

Für die Wissenschaftskommunikationsforschung ist freilich ein Aspekt kritisch: Die Spezifizität der tweetenden Akteure. Im Gegensatz zum traditionellen Publikationsverfahren der formalisierten Wissenschaftskommunikation spricht Twitter bislang ganz bestimmte, im Web äußerst präsente, damit natürlich in gewisser Weise auch meinungsbildende und wiederum damit zugleich auf die gesamte Wissenschaftsgemeinschaft bezogen bei solchen Messungen eventuell das Bild verzerrende Gruppen von Kommunizierenden an. Dass Gunther Eysenbachs-Artikel höchstwahrscheinlich zu den besonders häufig getweeteten Aufsätzen gehören wird (am heutigen Samstag habe ich gut ein Dutzend Tweets mit Links zum Text ermitteln können und ein oder zwei von mir werden noch folgen, Gunther Eysenbach selbst hat für den Zeitraum weniger Stunden 293 gemessen) war vorhersehbar, denn für die entsprechende Community ist Twitter naturgemäß ein zentrales Kommunikationswerkzeug. Dass sich jedoch irgendein Impact von Aufsätzen z.B. der Bodenkundler über dieses Medium messen lässt, wage ich zu bezweifeln.

Twitter ist nach wie vor kein typisches Werkzeug wissenschaftlicher Kommunikation und entzieht sich damit natürlich einer gewissen Verallgemeinerbarkeit. Man kann sicher prüfen, ob sich allgemeine szientometrische Gesetzmäßigkeiten auch bei der kleinen Gruppe der Twitter-Nutzer und ihrem kommunikativen Verhalten feststellen lassen. Der Aussagewert bleibt aber eben auch auf diese besondere Konstellation begrenzt.

Und da sich mitunter im Social Web einiges durch Umstellung der Geschäftsziele und Expansionsideen der/des hinter solchen Werkzeugen stehenden Gesellschafter und Managements verschieben kann (man erinnere sich z.B. an die Yahoo!-Geschäftspolitik der letzten Jahre), ist eine auf Dienste wie Twitter setzende Forschung auch immer eine in großer Abhängigkeit. Hätte sich die Informationswissenschaft im Social Media-Bereich beispielsweise auf die VZ-Portale oder MySpace konzentriert, läge ihr Schwerpunkt nun vorwiegend in historischen Analysen für die Nullerjahre des 21.Jahrhunderts. Mir erscheinen Social Metrics besonders dann interessant, wenn sie auf grundsätzliche (d.h. nicht Werkzeug-gebundene) methodologische Erweiterungen zielen und wenn sie vorwiegend auf soziologische Erkenntnisse zielen.

Alle Aussagen, die mittels Twimpact-Factor und anderer Verfahren der Tweetmetrics getroffen werden können, müssen jedenfalls berücksichtigen, dass sie nur die kommunikativen Praxis einer bestimmten Population betreffen: Die der Twitter-Nutzer. Insofern empfiehlt es sich, den tweetmetrischen Analysen wissenschaftssoziologische Untersuchungen dieser Nutzergruppen zur Seite zur stellen. Nur dann ließe sich tatsächlich etwas über den (Tw)Impact hinsichtlich des Gesamtsystems Wissenschaftskommunikation aussagen. Wenn diese methodologische Erweiterung unterbleibt, kann man vielleicht berechtigt die mangelnde Transparenz traditioneller szientometrischer Ansätze kritisieren, verharrt aber selbst in einer ähnlich undurchsichtigen Lage. Wer den Buzz messen will, muss auch die Buzzer und ihre Zielgruppen messen.

Wer die Wissenschaftskommunikation aus der Wissenschaft hin einer möglichst breite allgemeine Öffentlichkeit in den Blick nimmt, wie Gunther Eysenbach es anstrebt, der hat demnach sogar an zwei der drei Enden des Kommunikationsprozesses noch viel zu tun: der noch halbwegs strukturiert erfassbaren Wissenschaftsgemeinschaft sowie dem heterogenen Feld diverser Öffentlichkeiten. Für das dritte Ende, das Journal selbst, legt er mit seiner Arbeit unbestritten einen interessanten Ansatz vor. Wenn er anmerkt:

„The field of social media-based scientometrics (altmetrics, infodemiology metrics) is in its infancy, and many open questions need to be addressed.”

bleibt jedoch die Frage der von ihm nur bedingt überzeugend herausgearbeiteten Spezifität der Audiences (vgl. Figure 12) dieser Kommunikations-Cloud noch himmelweit offen.

Berlin, 17.12.2011

5 Antworten

Subscribe to comments with RSS.

  1. W. Umstaetter said, on 17. Dezember 2011 at 21:50

    Dass es Gunther Eysenbach gelungen ist, mit seinem 1994 erschienenen Bestseller
    Computer-Manual für Mediziner und Biowissenschaftler. München, Urban & Schwarzenberg Verlag, eine vergleichsweise große Zahl an Interessenten für diese Thematik zu erreichen, ist ohnen Zweifel ein Verdienst. Dass sein damaliges Werk, leider ein paar Fehler enthielt ( http://www.ib.hu-berlin.de/~wumsta/lehre/lvvo1.html ), die zeigten, dass er damals nicht gerade der Fachmann für Online-Recherchen war, ist bedauerlich. Es zeigt aber auch, dass der Bekanntheitsgrad seines Buches mehr dem Verlag, als der Thematik oder dem Autor zu verdanken war.

    Seit langem ist bekannt, dass most cited articles im SCI (Science Citation Index), meist von Anfang an viel zitiert werden, und erstaunlicherweise nicht, wie man nach dem Matthäuseffekt annehmen sollte, im Laufe der Zeit immer häufiger, weil immer mehr Autoren sie zitiert finden. Wenn dieses Ergebnis ( http://www.ib.hu-berlin.de/~wumsta/pub18.html ) sich nun bei Eysenbach bestätigt, dass sich in der Fachwelt wichtige Publikationen (ich sage absichtlich nicht gute, weil die meisten zunächst nur diskussionsbedürftig sind) schon in wenigen Tagen herumsprechen, so ist das durchaus bemerkenswert, weil diese Erkenntnis im Prinzip immer wieder angezweifelt wurde und sich so kaum durchsetzen konnte. Sie fiel damit der Uncitedness 4 anheim.

    Die Feststellung, dass es neben der Zitationshalbwertszeit von 5 Jahren auch eine Wahrnehmungshalbwertszeit von 5-6 Tagen gibt (http://www.ib.hu-berlin.de/~wumsta/pub18.html) wird also nun durch die Tweets von heute anscheinend auf 0 bis 1 Tag (Eysenbach, Figure 11) verkürzt. Man geht nicht mehr wöchentlich in die Bibliothek, um die neusten Zeitschriften durchzusehen, sondern erfährt mehr oder minder am selben Tag aus dem Internet, was wichtig ist.

    Die Digitale Bibliothek ist also realer bzw. greifbarer als das viele meinen.

    W. Umstätter

  2. Gunther Eysenbach said, on 18. Dezember 2011 at 23:19

    Vielen Dank fuer diese interessante Analyse. Wenn Sie die Diskussion des Artikels gelesen haben dann wissen Sie dass ich sehr vorsichtig mit verallgemeinernden Aussagen war. Die Motivation der Studie und des Twimpact Factors war allerdings weniger ein „Spin Off“ zu entwickeln (wie dass in Ihrem Blog unterstellt wird), sondern primaer ein weiteres Filter- und Forschungsanalyseinstrument zu entwickeln, primaer fuer JMIR – es ist einfach interessant zu sehen, welche Beitraege eine Resonanz in der Twittersphere zeigen (http://www.jmir.org/stats/mostTweeted/all/1?sort=tw7). Dass mit diesen Scores auch gewissen Vorherssagen bzgl impacts innerhalb der Wissenschaftsgemeinschaft (Zitierungen( moeglich sind, war auch fuer mich ueberraschend. Wie im Paper angedeuted, versuchen wir nun aehnliche Analysen mit anderen Zeitschriften, um zu testen ob diese Resultate aehnlich ausfallen, und schliessen den Beitrag sogar mit einem Call for Papers. Ich habe auch die Originaldaten als Anhang zugaenglich gemacht, so dass jeder, der weitergehende Analysen anstellen will bzgl WER hier eigentlich getweeted hat, dies auch tun kann. Dass in diesem Gebiet noch viel zu tun ist, ist unbestitten. Die Erwartung dass wir mit einer einzelnen Studie alle die sich auftuenden Fragen beantworten koennen ist vielleicht etwas unrealistisch. Gute Wissenschaft und „seminal studies“ zeichnen sich gerade dadurch aus dass sie neue Fragen aufwerfen.

  3. Ben said, on 19. Dezember 2011 at 12:07

    Vielen Dank für die wichtigen Anmerkungen und Ergänzungen zu meinem Lektürebericht. In diesen sind, was vielleicht nicht ganz deutlich wird, neben dem Impuls des Aufsatzes von JMIR einige Aspekte zur Twitterforschung eingeflossen, die Teile der LIBREAS-Redaktion im persönlichen Austausch immer wieder diskutieren. Dass die Auseinandersetzung mit Twitter und der Resonanz von Beiträgen in der Twittersphere interessant ist, steht selbstverständlich genauso außer Frage, wie die – wie Sie schreiben – auch Sie überraschende Erkenntnis.

    Zwei Aspekte scheinen mir/uns auf einer Metaebene dennoch offen und darauf wollte ich noch einmal hinweisen:

    1. Wie repräsentativ können Twitteranalysen für die Gesamtheit der Wissenschaftskommunikation sein?
    2. Wie wirkt sich die Anbindung an einen Dienst wie Twitter, der eher zufällig als Werkzeug der Wissenschaftskommunikation entdeckt und genutzt wurde und an bestimmte extra-wissenschaftliche Interessenlagen gebunden ist, auf die Wissenschaftsforschung aus?

    Eigentlich handelt es sich um zwei unterschiedliche Forschungsperspektiven, wobei in der Discussion eine Übergangsstelle aufscheint:

    „Future studies may also want to try to increase the specificity and sensitivity by focussing on specific types of twitter users, or taking into account the network structure and relative influence of the tweetation authors.“

    Diese Anregung habe ich oben für mich weiter zu durchdenken und greifbar zu machen versucht. Gerade das derzeit aufblühende Phänomen der Twitter-Forschung (die entsprechende Beiträge in diesem Blog zum Thema zählen zu den populärsten) scheint mir deutlich generelle Tendenzen und Probleme der Auseinandersetzung mit digitalen Kommunikationen in der Bibliotheks- und Informationswissenschaft bzw. damit verbundener Wissenschaftsforschung offenzulegen: Die Formen des Austausches in der Wissenschaft erscheinen z.B. mit der Blog Science oder eben auch Twitter vervielfältigt. Traditionelle Formen wie wissenschaftliche Aufsätze bleiben in gewisser Weise in ihrer Grundstruktur bestehen, unterliegen aber zugleich ebenfalls Verschiebungen. Nicht nur Volltextsuchmaschinen und auch die Volltextverfügbarkeit bestimmter Publikationstypen wirken auf das Informationsverhalten der Wissenschaftler zurück. Damit einhergehend differenzieren sich die Wissenschaftskulturen auch innerhalb der einzelnen Disziplinen. Selbst ein eher Orchideenfach wie die Bibliothekswissenschaft weist sehr heterogene Arten der Auseinandersetzung mit den Gegenständen auf.

    Diese bestimmt, wie auch dieses Posting zeigt, den Blickwinkel, aus dem man ein und demselben Gegenstand fokussiert. Die große Chance eines dialogischen Mediums wie diessem liegt m.E. darin, die Perspektiven wechselseitig anzunähern. Wer sich mit Spin offs bzw. den Effekten der Kommerzialisierung/Kommerzialisierbarkeit von Wissenschaft beschäftigt, setzt vielleicht ab und zu etwas zu voreilig unter Verdacht, besonders wenn der Claim für JMIR Publications Inc. auf die Markenbezeichnung Twimpact Factor so explizit abgesteckt wird. Zudem stellt sich wenn man so will forschungsethisch die Frage, inwieweit die forcierte Anbindung an kommerzielle Dienstanbieter wünschenswert sein kann. Denn am Ende stehen bestimmte Abhängigkeiten, die man beim Science Citation Index genauso feststellen kann, wie bei der Zeitschriftenkrise. Beides wirkt strukturbildend auf die Wissenschaftslandschaft zurück.

    Ich selbst habe diesbezüglich keine eindeutige Antwort parat, beobachte aber intensiv, wie sich bestimmte Teile der Wissenschaft mühsam mit dem Grünen Weg des Open Access wieder aus solchen kommerziellen Bindungen zu befreien versuchen.

    Eine Herausforderung für ein gelungene Organisation von Wissenschaftskommunikation z.B. durch Dienstleister wie Bibliotheken oder Wissenschaftsportale, liegt nun darin, diese Heterogenisierung auszugleichen. Messverfahren und ihre Deutungen bieten dafür eine Grundlage. Gerade deshalb ist die Forschung auf diesem Gebiet so wichtig.

    Ich frage also – was vielleicht angesichts der Grundausrichtung von Can Tweets Predict Citations? zugegeben etwas zu weit geht – allgemein danach, inwieweit es wünschenswert sein könnte, ein temporär boomendes Werkzeug hinsichtlich eines Twimpact-Factors als Maßregel für die Wissenschaftskommunikation zu elaborieren?

    Ich habe zugegeben als sozialwissenschaftlich geschulter Leser ein wenig Bedenken, wenn mit Interessen aufgeladene Strukturen betrachtet werden, als wären sie Naturphänomene, die dahinstehenden Gestaltungsanliegen also aus der Betrachtung ausgeklammert werden. Ich verstehe im gleichem Zug auch, dass die „Erwartung dass wir mit einer einzelnen Studie alle die sich auftuenden Fragen beantworten koennen […] vielleicht etwas unrealistisch“ ist. Vielmehr stimme ich sogar zu, dass es weniger um Antworten als um Fragen geht. Ich lasse mich als Beobachter und Teilnehmer der Diskursen zum Thema gern überzeugen, dass auch die Twitterforschung ein zentraler Baustein unseres Faches werden kann/sollte, da in ihr vieles an Kommunikationen messbar wird, was zuvor nicht so leicht messbar war. Aber dort, wo ich nicht überzeugt bin, frage ich – ebenfalls in meiner Rolle als Diskursteilnehmer – nach, so wie ich es auch bei einer Vortragsveranstaltung tun würde.

    Das Schöne an diesem Medium des Weblogs ist ja, dass sich die entsprechenden Dialog protokolliert und archiviert finden, so dass man sie selbst im Nachgang einer retrospektiven Analyse unterziehen kann. Daher freuen mich Kommentare zu meinen Beiträgen sehr, denn sie erlauben es mir, das von mir zu einem Zeitpunkt mit Überzeugung geschriebene selbst wieder zu hinterfragen. Introspektion gehört für mich untrennbar zum Kern jedes wissenschaftlichen Handelns und es gibt kaum eine bessere Anregung, als den kritischen Dialog. Damit nähern wir uns eigentlich einer Urform der Wissenschaftskommunikation an: dem schriftlichen, direkten Gedankenaustausch. Ich würde mir sehr freuen, wenn sich dieser fortsetzen ließe.

  4. Ben said, on 4. Januar 2012 at 18:43

    I have deeper reservations about this paper.

    Im Weblog The Scholarly Kitchen unterzieht heute Phil Davis den besprochenen Aufsatz einer weiteren Kritik und auch David Crotty rupft in einem Kommentar zur Kritik tüchtig an der Untersuchung herum:
    Tweets, and Our Obsession with Alt Metrics.

  5. […] der Frage nach dem Wert von Twitter für die Bemessung wissenschaftlicher Kommunikationen (vgl.  Die Buzzermeter. Warum die Tweetmetrics den Menschen stärker in den Blick nehmen sollten) wird am 6. Januar mit TwapperKeeper ein Online-Archiv vom Netz genommen, das der Debatte eine […]


Schreibe einen Kommentar

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s

%d Bloggern gefällt das: