Bessere redaktionelle Aufsicht, nicht mehr fehlerhafte Arbeiten, könnte die Flut von Rücknahmen erklären
Verwandte Geschichte
Die betrügerischen Studien eines Wissenschaftlers gefährden Patienten
Verwandte Geschichte
Ehrenamtliche Aufpasser haben ein kleines Land in der Rangliste nach oben gebracht
Verwandte Geschichte
Ein Verlag, mehr als 7000 Rückzüge
Zusammenhängende Geschichte
Fallout für Co-Autoren
Methodik
Über diese Daten
Vor fast einem Jahrzehnt wurde in den Schlagzeilen ein beunruhigender Trend in der Wissenschaft deutlich: Die Zahl der von Fachzeitschriften zurückgezogenen Artikel hatte sich in den letzten 10 Jahren verzehnfacht. Etwa 60 % dieser Rückzüge waren auf Betrug zurückzuführen; ein Täter, der Anästhesist Joachim Boldt, hatte fast 90 Rückzüge zu verzeichnen, nachdem die Ermittler zu dem Schluss gekommen waren, dass er Daten gefälscht und andere ethische Verstöße begangen hatte. Boldt hatte möglicherweise sogar Patienten geschädigt, indem er zur Anwendung einer nicht bewiesenen chirurgischen Behandlung ermutigte. Die Wissenschaft, so schien es, befand sich in einer schweren Krise.
Die alarmierenden Nachrichten kamen mit einigen Vorbehalten. Obwohl die Statistiken nur lückenhaft waren, schienen Rücknahmen relativ selten zu sein und betrafen nur etwa zwei von 10.000 Arbeiten. Manchmal war der Grund für die Rücknahme ein ehrlicher Irrtum und kein vorsätzlicher Betrug. Und es war nicht klar, ob verdächtige Arbeiten immer häufiger vorkamen oder ob die Zeitschriften einfach besser darin wurden, sie zu erkennen und zu melden.
Dennoch veranlasste der Anstieg der Rückzüge viele Beobachter dazu, Verleger, Redakteure und andere „Gatekeeper“ aufzufordern, größere Anstrengungen zu unternehmen, um schlechte Wissenschaft auszumerzen. Die Aufmerksamkeit trug auch dazu bei, dass zwei langjährige Gesundheitsjournalisten – Ivan Oransky und Adam Marcus, die den Blog Retraction Watch mit Sitz in New York City gegründet haben – sich bemühten, mehr Informationen darüber zu erhalten, wie viele wissenschaftliche Arbeiten zurückgezogen wurden und warum. Sie begannen, eine Liste von Rücknahmen zusammenzustellen.
Diese Liste, die diese Woche offiziell als durchsuchbare Datenbank der Öffentlichkeit zugänglich gemacht wurde, ist jetzt die größte und umfassendste ihrer Art. Sie enthält mehr als 18.000 zurückgezogene Veröffentlichungen und Konferenzzusammenfassungen, die bis in die 1970er Jahre zurückreichen (und sogar eine Veröffentlichung aus dem Jahr 1756, die Benjamin Franklin betrifft). Es ist kein perfekter Einblick in die Welt der Widerrufe. Nicht alle Verlage veröffentlichen oder kennzeichnen die von ihnen zurückgezogenen Arbeiten oder erklären, warum sie sie zurückgezogen haben. Und es kann schwierig sein, festzustellen, welcher Autor für die verhängnisvollen Fehler einer Arbeit verantwortlich ist.
Allerdings hat der Datenschatz es Science in Zusammenarbeit mit Retraction Watch ermöglicht, einen ungewöhnlichen Einblick in eine der folgenreichsten, aber verschleierten Praktiken des wissenschaftlichen Publikationswesens zu gewinnen. Unsere Analyse von etwa 10 500 zurückgezogenen Zeitschriftenartikeln zeigt, dass die Zahl der Rückzüge weiter gestiegen ist, aber sie stellt auch einige beunruhigende Wahrnehmungen in Frage, die bis heute fortbestehen. Der Anstieg der Widerrufe scheint weniger eine Betrugsepidemie widerzuspiegeln als vielmehr eine Gemeinschaft, die versucht, sich selbst zu kontrollieren.
Zu den bemerkenswertesten Ergebnissen zählen:
Obwohl die absolute Zahl der jährlichen Widerrufe gestiegen ist, hat sich die Steigerungsrate verlangsamt.
Die Daten bestätigen, dass die absolute Zahl der Widerrufe in den letzten Jahrzehnten gestiegen ist, von weniger als 100 jährlich vor dem Jahr 2000 auf fast 1000 im Jahr 2014. Aber Rückzüge sind nach wie vor relativ selten: Nur etwa vier von 10.000 Veröffentlichungen werden zurückgezogen. Und obwohl sich die Rate von 2003 bis 2009 ungefähr verdoppelt hat, ist sie seit 2012 konstant geblieben. Dieser Trend spiegelt zum Teil einen steigenden Nenner wider: Die Gesamtzahl der jährlich veröffentlichten wissenschaftlichen Arbeiten hat sich von 2003 bis 2016 mehr als verdoppelt.
Ein Großteil des Anstiegs scheint auf eine verbesserte Aufsicht bei einer wachsenden Zahl von Zeitschriften zurückzuführen zu sein.
Gesamt ist die Zahl der Zeitschriften, die über Rückzüge berichten, gestiegen. Im Jahr 1997 meldeten nur 44 Zeitschriften, dass eine Arbeit zurückgezogen wurde. Bis 2016 hat sich diese Zahl mehr als verzehnfacht, auf 488. Bei den Zeitschriften, die jährlich mindestens eine Rücknahme veröffentlicht haben, ist die durchschnittliche Anzahl der Rücknahmen pro Zeitschrift seit 1997 jedoch weitgehend gleich geblieben. Angesichts des gleichzeitigen Anstiegs der Rückzüge deutet dieses Muster darauf hin, dass die Zeitschriften kollektiv mehr tun, um Papiere zu kontrollieren, sagt Daniele Fanelli, Dozent für Forschungsmethoden an der London School of Economics and Political Science, der mehrere Studien über Rückzüge mitverfasst hat. (Die Zahl pro Zeitschrift hätte sich erhöht, argumentiert er, wenn die wachsende Zahl der Rückzüge in erster Linie darauf zurückzuführen wäre, dass ein größerer Anteil der Arbeiten fehlerhaft ist.)
„Die Rückzüge haben zugenommen, weil sich die redaktionellen Praktiken verbessern und die Zeitschriften versuchen, die Redakteure zu ermutigen, Rückzüge ernst zu nehmen“, sagt Nicholas Steneck, ein Experte für Forschungsethik an der Universität von Michigan in Ann Arbor. Wissenschaftler haben den Druck auf die Zeitschriften aufrechterhalten, indem sie auf öffentlichen Websites wie PubPeer auf Fehler in den Veröffentlichungen hingewiesen haben.
Im Allgemeinen haben Zeitschriften mit hohen Impact-Faktoren – ein Maß dafür, wie oft Veröffentlichungen zitiert werden – die Führung bei der Kontrolle ihrer Veröffentlichungen nach der Veröffentlichung übernommen. Im Jahr 2004 gab laut Journal of the Medical Library Association (JMLA) nur ein Viertel der untersuchten biomedizinischen Fachzeitschriften mit hohem Impact-Faktor an, über Richtlinien für die Veröffentlichung von Rücknahmen zu verfügen. Im Jahr 2009 veröffentlichte das Committee on Publication Ethics (COPE), eine gemeinnützige Organisation mit Sitz in Eastleigh, Großbritannien, die inzwischen mehr als 12.000 Zeitschriftenredakteure und -verlage berät, eine Musterrichtlinie für den Umgang mit Rücknahmen in Fachzeitschriften. Im Jahr 2015 hatten zwei Drittel von 147 hochrangigen Zeitschriften, die meisten von ihnen biomedizinische Titel, solche Richtlinien angenommen, berichtet JMLA. Befürworter solcher Richtlinien sagen, dass sie den Herausgebern von Zeitschriften helfen können, mit Berichten über fehlerhafte Arbeiten konsequenter und effektiver umzugehen – wenn die Richtlinien befolgt werden.
Journale mit niedrigeren Impact-Faktoren scheinen ihre Standards ebenfalls zu erhöhen, sagt Steneck. Viele Zeitschriften setzen inzwischen Software ein, um Plagiate in Manuskripten vor der Veröffentlichung zu erkennen, wodurch spätere Rückzüge vermieden werden können.
Aber es gibt Hinweise darauf, dass mehr Redakteure aktiv werden sollten.
Ein beunruhigend großer Anteil der Veröffentlichungen – etwa 2 % – enthält „problematische“ wissenschaftliche Bilder, die von Experten ohne Weiteres als absichtlich manipuliert identifiziert werden konnten, so eine 2016 in mBio veröffentlichte Studie von Elisabeth Bik von der Stanford University in Palo Alto, Kalifornien, und Kollegen über 20 000 Veröffentlichungen. Darüber hinaus ergab unsere Analyse, dass die meisten der 12.000 Zeitschriften, die in der weit verbreiteten Web of Science-Datenbank von Clarivate für wissenschaftliche Artikel erfasst sind, seit 2003 keine einzige Rücknahme gemeldet haben.
Relativ wenige Autoren sind für eine unverhältnismäßig hohe Zahl von Rücknahmen verantwortlich.
Nur 500 von mehr als 30.000 Autoren, die in der Datenbank für Rücknahmen genannt werden (einschließlich Koautoren), sind für etwa ein Viertel der 10.500 von uns analysierten Rücknahmen verantwortlich. Einhundert dieser Autoren haben jeweils 13 oder mehr Rückzüge. Diese Rückzüge sind in der Regel das Ergebnis von vorsätzlichem Fehlverhalten, nicht von Fehlern.
Nationen mit kleineren wissenschaftlichen Gemeinschaften scheinen ein größeres Problem mit Rückzügen zu haben.
Die Rückzugsraten unterscheiden sich von Land zu Land, und die Schwankungen können idiosynkratische Faktoren widerspiegeln, wie z. B. eine besonders aktive Gruppe von Whistleblowern, die verdächtige Arbeiten veröffentlichen. Solche Störfaktoren erschweren den Vergleich der Rückzugsraten zwischen den Ländern, sagt Fanelli. Aber im Allgemeinen haben Autoren, die in Ländern arbeiten, die Strategien und Institutionen für den Umgang mit und die Durchsetzung von Regeln gegen Fehlverhalten in der Forschung entwickelt haben, tendenziell weniger Rückzüge, berichteten er und seine Kollegen 2015 in PLOS ONE.
Ein Rückzug ist nicht immer ein Zeichen für wissenschaftliches Fehlverhalten.
Viele Wissenschaftler und Mitglieder der Öffentlichkeit neigen zu der Annahme, dass ein Rückzug bedeutet, dass ein Forscher Fehlverhalten in der Forschung begangen hat. Die Daten von Retraction Watch legen jedoch nahe, dass dieser Eindruck irreführend sein kann.
Die Datenbank enthält eine detaillierte Taxonomie der Gründe für Rückzüge, die den Rückzugsmitteilungen entnommen wurden (obwohl eine Minderheit der Mitteilungen den Grund für den Rückzug nicht angibt). Insgesamt wurde in fast 40 % der Widerrufsbescheide nicht auf Betrug oder andere Arten von Fehlverhalten hingewiesen. Stattdessen wurden die Arbeiten aufgrund von Fehlern, Problemen mit der Reproduzierbarkeit und anderen Problemen zurückgezogen.
Retraktionsrate sinkt
Obwohl die Zahl der Zurückziehungen nach 1997 sprunghaft anstieg, nahm der Prozentsatz aller zurückgezogenen Arbeiten langsamer zu und pendelte sich nach 2012 ein.
Bei etwa der Hälfte aller Rückzüge scheint es sich um Fälschungen, Verfälschungen oder Plagiate gehandelt zu haben – Verhaltensweisen, die unter die Definition von wissenschaftlichem Fehlverhalten der US-Regierung fallen. Weitere 10 % entfallen auf Verhaltensweisen, die in der Wissenschaft allgemein als unehrlich und unethisch angesehen werden, aber nicht unter die Definition von wissenschaftlichem Fehlverhalten in den USA fallen. Zu diesen Verhaltensweisen gehören gefälschte Autorenschaft, gefälschte Peer-Reviews und das Versäumnis, die Genehmigung von institutionellen Prüfgremien für Forschungsarbeiten an Menschen oder Tieren einzuholen. (Der Anteil solcher Rückzüge an allen Rückzügen hat zugenommen, und einige Experten sind der Meinung, dass die Vereinigten Staaten ihre Definition von wissenschaftlichem Fehlverhalten auf diese Verhaltensweisen ausweiten sollten.)
Die genaue Bestimmung der Gründe für die Rücknahme einer Arbeit kann schwierig sein. In etwa 2 % der Rückzugsbescheide wird ein vager Grund angegeben, der auf ein Fehlverhalten schließen lässt, wie z. B. ein „ethischer Verstoß des Autors“. In einigen dieser Fälle haben Autoren, die sich um die Schädigung ihres Rufs – und vielleicht sogar um drohende Verleumdungsklagen – sorgen, die Redakteure dazu gebracht, die Formulierung vage zu halten. Andere Kündigungen sind gefälscht: Sie geben einen bestimmten Grund an, z. B. mangelnde Aufsicht durch den Prüfungsausschuss, aber Retraction Watch hat später unabhängig herausgefunden, dass die Forscher die Arbeit tatsächlich als betrügerisch eingestuft haben.
Das Stigma, das mit einer Rücknahme verbunden ist, kann die Bereinigung der Literatur erschweren.
Da eine Rücknahme oft als Hinweis auf ein Fehlverhalten angesehen wird, sind viele Forscher verständlicherweise empfindlich, wenn eine ihrer Arbeiten in Frage gestellt wird. Diese Stigmatisierung könnte jedoch zu Praktiken führen, die die Bemühungen um den Schutz der Integrität der wissenschaftlichen Literatur untergraben.
Die Herausgeber von Zeitschriften zögern vielleicht, die Todesstrafe zu verhängen – selbst wenn sie gerechtfertigt ist. So werden beispielsweise einige Arbeiten, die früher wegen eines ehrlichen Fehlers oder problematischer Praktiken zurückgezogen worden wären, jetzt stattdessen „korrigiert“, sagt Hilda Bastian, die früher die PubMed-Datenbank der U.S. National Library of Medicine beriet und jetzt an der Bond University in Gold Coast, Australien, in Gesundheitswissenschaften promoviert. (Die Datenbank Retraction Watch listet einige Korrekturen auf, verfolgt sie aber nicht umfassend). Die Korrekturmitteilungen lassen die Leser oft ratlos zurück. „Es ist schwer herauszufinden, ob der Artikel zurückgezogen wird oder nicht“. sagt Bastian.
COPE hat Leitlinien herausgegeben, um zu klären, wann eine Arbeit korrigiert und wann sie zurückgezogen werden sollte und welche Einzelheiten die Mitteilungen enthalten sollten. Aber die Herausgeber müssen immer noch von Fall zu Fall entscheiden, sagt Chris Graf, Ko-Vorsitzender der Gruppe und Direktor für Forschungsintegrität und Veröffentlichungsethik bei Wiley, dem Wissenschaftsverlag mit Sitz in Hoboken, New Jersey.
Eine konzertierte Aktion zur Verringerung des Stigmas, das mit Rückzügen verbunden ist, könnte es den Herausgebern ermöglichen, bessere Entscheidungen zu treffen. „Wir müssen uns darüber im Klaren sein, dass eine Rücknahme in der veröffentlichten Literatur nicht gleichbedeutend mit einem Fehlverhalten in der Forschung ist“, sagt Graf. „
Eine hilfreiche Reform wäre es, wenn die Zeitschriften eine standardisierte Nomenklatur verwenden würden, die mehr Details in den Rückzugs- und Korrekturmitteilungen enthielte, so einige Kommentatoren. In den Mitteilungen sollte angegeben werden, welche Probleme bei einer Arbeit aufgetreten sind und wer dafür verantwortlich war – die Autoren oder die Zeitschrift selbst. Den heiklen Begriff „Rückzug“ für Arbeiten mit vorsätzlichem Fehlverhalten zu reservieren und Alternativen für andere Probleme zu entwickeln, könnte nach Ansicht einiger Experten auch mehr Autoren dazu veranlassen, ihre fehlerhaften Arbeiten zu melden.
Die Last des Fehlverhaltens
Die meisten Rückzüge betrafen wissenschaftlichen Betrug (Fälschungen, Verfälschungen und Plagiate) oder andere Arten von Fehlverhalten (z. B. gefälschte Peer Reviews).
Solche Diskussionen unterstreichen, wie weit der Dialog über Rückzüge seit jenen beunruhigenden Schlagzeilen von vor fast einem Jahrzehnt fortgeschritten ist. Und obwohl die Retraction Watch-Datenbank neue Daten in die Diskussion eingebracht hat, erinnert sie auch daran, wie viel Forscher noch immer nicht über die Häufigkeit, die Ursachen und die Auswirkungen von Rücknahmen wissen. Datenlücken bedeuten, dass man die gesamte Literatur mit Vorsicht genießen muss“, sagt Bastian. „Niemand weiß, wie viele Artikel zurückgezogen wurden. Die Verlage machen es einem nicht leicht.“
Bastian ist ungläubig, dass Oranskys und Marcus‘ „leidenschaftliches Projekt“ bisher die umfassendste Informationsquelle zu einem wichtigen Thema im wissenschaftlichen Publikationswesen ist. Eine Datenbank mit Rücknahmen „ist ein wirklich ernst zu nehmendes und notwendiges Stück Infrastruktur“, sagt sie. Der Mangel an langfristigen Finanzmitteln für solche Bemühungen bedeutet jedoch, dass die Infrastruktur „zerbrechlich ist, und das sollte sie nicht sein.“
Ferric Fang, ein klinischer Mikrobiologe an der University of Washington in Seattle, der sich mit Rücknahmen befasst hat, sagt, er hoffe, dass die Menschen die neue Datenbank nutzen werden, „um sich genauer anzuschauen, wie Wissenschaft funktioniert, wann sie nicht richtig funktioniert und wie sie besser funktionieren kann.“ Und er glaubt, dass eine transparente Berichterstattung über Rücknahmen nur dazu beitragen kann, die Wissenschaft zu stärken. „Wir lernen“, sagt er, „aus unseren Fehlern“.