What a massive database of retracted papers reveals about science publishing’s ‘death penalty’

Nagenoeg een decennium geleden werd in de krantenkoppen een verontrustende trend in de wetenschap belicht: Het aantal artikelen dat door tijdschriften werd teruggetrokken, was de afgelopen 10 jaar vertienvoudigd. Fraude was verantwoordelijk voor ongeveer 60% van deze intrekkingen; één overtreder, anesthesist Joachim Boldt, had bijna 90 intrekkingen op zijn naam staan nadat onderzoekers hadden geconcludeerd dat hij gegevens had vervalst en andere ethische overtredingen had begaan. Boldt zou zelfs patiënten kunnen hebben geschaad door het gebruik van een onbewezen chirurgische behandeling aan te moedigen. De wetenschap, zo leek het, werd geconfronteerd met een crisis die als paddestoelen uit de grond schoot.

Het alarmerende nieuws kwam met enkele kanttekeningen. Hoewel de statistieken schetsmatig waren, bleken intrekkingen relatief zeldzaam te zijn, slechts ongeveer twee op de 10.000 artikelen. Soms was de reden voor de intrekking een eerlijke fout, geen opzettelijke fraude. En of verdachte artikelen steeds vaker voorkwamen – of dat tijdschriften gewoon beter werden in het herkennen en rapporteren ervan – was niet duidelijk.

Toch leidde de golf van intrekkingen ertoe dat veel waarnemers uitgevers, redacteuren en andere poortwachters opriepen om meer inspanningen te leveren om slechte wetenschap uit te roeien. De aandacht hielp ook bij het katalyseren van een poging van twee oude gezondheidsjournalisten – Ivan Oransky en Adam Marcus, die de blog Retraction Watch oprichtten, gevestigd in New York City – om meer inzicht te krijgen in hoeveel wetenschappelijke artikelen werden teruggetrokken en waarom. Ze begonnen een lijst van intrekkingen samen te stellen.

Die lijst, die deze week officieel als doorzoekbare database voor het publiek is vrijgegeven, is nu de grootste en meest uitgebreide in zijn soort. Hij bevat meer dan 18.000 ingetrokken artikelen en samenvattingen van conferenties die teruggaan tot de jaren zeventig (en zelfs een artikel uit 1756 over Benjamin Franklin). Het is geen perfect overzicht van de wereld van de intrekkingen. Niet alle uitgevers, bijvoorbeeld, publiceren of etiketteren duidelijk papers die ze hebben ingetrokken, of leggen uit waarom ze dat hebben gedaan. En het kan moeilijk zijn om vast te stellen welke auteur verantwoordelijk is voor de fatale fouten in een artikel.

Toch heeft de schat aan gegevens Science, in samenwerking met Retraction Watch, in staat gesteld om een ongebruikelijk inzicht te krijgen in een van de meest ingrijpende, maar omfloerste praktijken van wetenschappelijk publiceren. Onze analyse van ongeveer 10.500 ingetrokken tijdschriftartikelen laat zien dat het aantal intrekkingen is blijven groeien, maar het stelt ook een aantal verontrustende percepties aan de kaak die tot op de dag van vandaag voortduren. De toename van het aantal intrekkingen lijkt niet zozeer een fraude-epidemie te weerspiegelen als wel een gemeenschap die zichzelf probeert te controleren.

Onder de meest opvallende bevindingen:

Hoewel het absolute aantal jaarlijkse intrekkingen is toegenomen, is het tempo van de toename vertraagd.

De gegevens bevestigen dat het absolute aantal intrekkingen de afgelopen decennia is toegenomen, van minder dan 100 per jaar vóór 2000 tot bijna 1000 in 2014. Maar intrekkingen blijven relatief zeldzaam: slechts ongeveer vier van elke 10.000 papers worden nu ingetrokken. En hoewel het percentage tussen 2003 en 2009 ruwweg verdubbelde, is het sinds 2012 gelijk gebleven. Gedeeltelijk weerspiegelt die trend een stijgende noemer: Het totale aantal jaarlijks gepubliceerde wetenschappelijke artikelen is tussen 2003 en 2016 meer dan verdubbeld.

Veel van de stijging lijkt het gevolg te zijn van verbeterd toezicht op een groeiend aantal tijdschriften.

Over het geheel genomen is het aantal tijdschriften dat retracties rapporteert, gegroeid. In 1997 meldden slechts 44 tijdschriften dat ze een artikel introkken. In 2016 was dat aantal meer dan vertienvoudigd, tot 488. Maar bij de tijdschriften die jaarlijks minstens één retract publiceerden, is het gemiddelde aantal retracties per tijdschrift sinds 1997 grotendeels gelijk gebleven. Gezien de gelijktijdige stijging van het aantal intrekkingen, suggereert dit patroon dat tijdschriften collectief meer doen om papers te controleren, zegt Daniele Fanelli, een docent onderzoeksmethoden aan de London School of Economics and Political Science die heeft meegeschreven aan verschillende studies over intrekkingen. (Het aantal per tijdschrift zou zijn toegenomen, betoogt hij, als het groeiende aantal intrekkingen in de eerste plaats het gevolg zou zijn van het feit dat een groter deel van de artikelen ondeugdelijk is.)

“Het aantal intrekkingen is toegenomen omdat de redactiepraktijken verbeteren en de tijdschriften proberen de redacteuren aan te moedigen om intrekkingen serieus te nemen,” zegt Nicholas Steneck, een deskundige op het gebied van onderzoeksethiek aan de Universiteit van Michigan in Ann Arbor. Wetenschappers hebben de druk op tijdschriften gehandhaafd door op openbare websites zoals PubPeer te wijzen op gebreken in artikelen.

In het algemeen hebben tijdschriften met een hoge impactfactor – een maatstaf voor hoe vaak artikelen worden geciteerd – het voortouw genomen bij het controleren van hun artikelen na publicatie. Volgens de Journal of the Medical Library Association (JMLA) had in 2004 slechts een kwart van een steekproef van biomedische tijdschriften met een hoge impactfactor een beleid voor het publiceren van retracties. In 2009 bracht het Committee on Publication Ethics (COPE), een non-profitorganisatie in Eastleigh, Groot-Brittannië, die nu meer dan 12 000 uitgevers en redacteuren van tijdschriften adviseert, een modelbeleid uit voor de manier waarop tijdschriften met intrekkingen moeten omgaan. In 2015 had tweederde van 147 invloedrijke tijdschriften, waarvan de meeste biomedische titels zijn, een dergelijk beleid aangenomen, aldus JMLA. Voorstanders van een dergelijk beleid zeggen dat het tijdschriftredacteuren kan helpen consistenter en effectiever om te gaan met meldingen van ondeugdelijke artikelen – mits het beleid wordt gevolgd.

Tijdschriften met lagere impactfactoren lijken ook hun normen te verhogen, zegt Steneck. Veel tijdschriften gebruiken nu software om plagiaat in manuscripten op te sporen vóór publicatie, waardoor retracties achteraf kunnen worden voorkomen.

Maar het bewijs suggereert dat meer redacteuren een stapje verder zouden moeten gaan.

Een verontrustend groot deel van de papers – ongeveer 2% – bevat “problematische” wetenschappelijke afbeeldingen die deskundigen gemakkelijk identificeerden als opzettelijk gemanipuleerd, volgens een studie van 20.000 papers gepubliceerd in mBio in 2016 door Elisabeth Bik van de Stanford University in Palo Alto, Californië, en collega’s. Bovendien bleek uit onze analyse dat de meeste van de 12.000 tijdschriften die zijn opgenomen in de veelgebruikte Web of Science-database van wetenschappelijke artikelen van Clarivate sinds 2003 geen enkele intrekking hebben gemeld.

Relatatief weinig auteurs zijn verantwoordelijk voor een onevenredig aantal intrekkingen.

Slechts 500 van de meer dan 30.000 auteurs die worden genoemd in de retractiedatabase (die co-auteurs omvat) zijn goed voor ongeveer een kwart van de 10.500 intrekkingen die we hebben geanalyseerd. Honderd van die auteurs hebben elk 13 of meer intrekkingen. Die intrekkingen zijn meestal het gevolg van opzettelijk wangedrag, niet van fouten.

Naties met kleinere wetenschappelijke gemeenschappen lijken een groter probleem te hebben met intrekkingen.

De intrekkingspercentages verschillen per land, en variaties kunnen idiosyncratische factoren weerspiegelen, zoals een bijzonder actieve groep klokkenluiders die verdachte papers openbaar maken. Dergelijke verstorende factoren maken het vergelijken van retractiepercentages tussen landen moeilijker, zegt Fanelli. Maar over het algemeen hebben auteurs die werken in landen die beleid en instellingen hebben ontwikkeld voor het omgaan met en het handhaven van regels tegen wangedrag bij onderzoek, de neiging om minder retracties te hebben, meldden hij en zijn collega’s in 2015 in PLOS ONE.

Een retraction duidt niet altijd op wetenschappelijk wangedrag.

Veel wetenschappers en leden van het publiek hebben de neiging om aan te nemen dat een retraction betekent dat een onderzoeker wangedrag bij onderzoek heeft begaan. Maar de gegevens van Retraction Watch suggereren dat die indruk misleidend kan zijn.

De database bevat een gedetailleerde taxonomie van redenen voor intrekkingen, afkomstig uit intrekkingsberichten (hoewel in een minderheid van de berichten de reden voor intrekking niet wordt gespecificeerd). In bijna 40% van de intrekkingsberichten werd geen melding gemaakt van fraude of andere vormen van wangedrag. In plaats daarvan werden de artikelen ingetrokken vanwege fouten, problemen met de reproduceerbaarheid en andere kwesties.

Retraction rate levels off

’04*’06’08’10’12’14’16’18012345Retraction rate (per 10,000 papers)*Het percentage lijkt na 2015 te dalen, maar de cijfers zijn vrijwel zeker onvolledig omdat de publicatie van de retracties vertraging oploopt.

Bij ongeveer de helft van alle retracties lijkt er sprake te zijn geweest van fabricage, vervalsing of plagiaat – gedragingen die vallen onder de definitie van wetenschappelijk wangedrag van de Amerikaanse overheid. Gedragingen waarvan in de wetenschap algemeen wordt aangenomen dat ze oneerlijk en onethisch zijn, maar die buiten de definitie van wangedrag van de Amerikaanse regering vallen, lijken goed te zijn voor nog eens 10%. Deze gedragingen omvatten vals auteurschap, valse peer reviews, en het niet verkrijgen van goedkeuring van institutionele beoordelingsraden voor onderzoek op menselijke proefpersonen of dieren. (Het aandeel van dergelijke intrekkingen in het totale aantal intrekkingen is toegenomen, en sommige deskundigen pleiten ervoor dat de Verenigde Staten hun definitie van wetenschappelijk wangedrag uitbreiden tot deze gedragingen.)

Het kan een uitdaging zijn om precies vast te stellen waarom een artikel is ingetrokken. Ongeveer 2% van de intrekkingsberichten geeft bijvoorbeeld een vage reden die wangedrag suggereert, zoals een “ethische overtreding door de auteur”. In sommige van die gevallen hebben auteurs, die zich zorgen maken over reputatieschade en misschien zelfs over de dreiging van smaad, de redacteuren overgehaald om de tekst vaag te houden. Andere mededelingen zijn vaag: Ze vermelden een specifieke reden, zoals een gebrek aan toezicht door de review board, maar Retraction Watch heeft later onafhankelijk ontdekt dat onderzoekers in feite hadden vastgesteld dat het artikel frauduleus was.

Ironisch gezien kan het stigma dat verbonden is aan retractie het moeilijker maken om de literatuur op te schonen.

Omdat een retractie vaak wordt beschouwd als een indicatie van wangedrag, zijn veel onderzoekers begrijpelijkerwijs gevoelig wanneer een van hun artikelen in twijfel wordt getrokken. Dat stigma kan echter leiden tot praktijken die de inspanningen om de integriteit van de wetenschappelijke literatuur te beschermen, ondermijnen.

Redacteuren van tijdschriften kunnen aarzelen om de doodstraf uit te delen, zelfs als dat gerechtvaardigd is. Zo worden sommige artikelen die ooit werden ingetrokken vanwege een eerlijke fout of problematische praktijken, nu “gecorrigeerd”, zegt Hilda Bastian, die vroeger advies gaf over de PubMed-database van de Amerikaanse National Library of Medicine en nu een doctoraat in gezondheidswetenschappen volgt aan de Bond University in Gold Coast, Australië. (De Retraction Watch database vermeldt enkele correcties maar houdt ze niet volledig bij). De berichten over correcties laten lezers vaak in onzekerheid over wat ze ervan moeten denken. “Het is moeilijk uit te zoeken – trek je het artikel in of niet?” zegt Bastian.

COPE heeft richtlijnen uitgevaardigd om duidelijk te maken wanneer een artikel gecorrigeerd moet worden, wanneer het ingetrokken moet worden, en welke details de berichten moeten bevatten. Maar redacteuren moeten nog steeds van geval tot geval oordelen, zegt Chris Graf, medevoorzitter van de groep en directeur van onderzoeksintegriteit en uitgeversethiek bij Wiley, de wetenschappelijke uitgever gevestigd in Hoboken, New Jersey.

Een gezamenlijke inspanning om het stigma dat verbonden is aan retracties te verminderen, zou redacteuren in staat kunnen stellen betere beslissingen te nemen. “We moeten er geen misverstand over laten bestaan dat een retractie in de gepubliceerde literatuur niet gelijk staat aan, of een constatering is van, wangedrag bij onderzoek,” zegt Graf. “Het dient een doel, namelijk het corrigeren van het gepubliceerde verslag.”

Een nuttige hervorming zou volgens sommige commentatoren zijn dat tijdschriften een gestandaardiseerde nomenclatuur zouden volgen die meer details zou geven in berichten over retractie en correctie. In de berichten zou moeten worden gespecificeerd wat de aard is van de problemen met een artikel en wie verantwoordelijk was – de auteurs of het tijdschrift zelf. Door de moeilijke term “retraction” te reserveren voor artikelen waarin opzettelijk wangedrag voorkomt en alternatieven te bedenken voor andere problemen, zouden meer auteurs hun artikelen met fouten kunnen markeren, zo stellen sommige deskundigen.

De last van wangedrag

Percentage van alle intrekkingen (%)’97’98’99’00’01’02’03’04’05’06’07’08’09’10’11’12’13’14’15’16’17’18010203040Fake peer reviewFoutieve afbeeldingenPlagiaat of duplicatie van tekst*Ingetrokken artikelen, per publicatiejaar20052000201020151997Alle intrekkingen: 62Fraude: 292007Alle intrekkingen: 419Fraude: 2522014Alle intrekkingen: 946Fraude: 411FraudeAnder wangedragMogelijk wangedragBetrouwbaarheidFoutenDiversen*Wisselende inbreukenHet aantal intrekkingen waarbij sprake is van plagiaat – het stelen van andermans tekst of het dupliceren van de eigen tekst – is gestegen; een van de oorzaken lijkt de invoering in 2004 van iThenticate te zijn, een inter-net-gebaseerde plagiaatdetectiedienst. Fake peer reviews komen voor wanneer auteurs aan tijdschriften e-mailadressen geven die zij controleren, zodat zij hun eigen manuscripten kunnen beoordelen. Fake images omvatten gevallen van opzettelijke manipulatie en van fouten.*Retraction numbers appear to decline after 2015, but are almost certainly incomplete; journals typically take several years to publish retractions.

Dergelijke discussies onderstrepen hoe ver de dialoog rond retracties is gevorderd sinds die verontrustende krantenkoppen van bijna een decennium geleden. En hoewel de Retraction Watch database nieuwe gegevens in de discussies heeft gebracht, herinnert het er ook aan hoeveel onderzoekers nog steeds niet begrijpen over de prevalentie, oorzaken en gevolgen van retracties. Leemten in de gegevens betekenen “dat je de hele literatuur met een korreltje zout moet nemen”, zegt Bastian. “Niemand weet wat alle ingetrokken artikelen zijn. De uitgevers maken dat niet gemakkelijk.”

Bastian is ongelovig dat Oransky’s en Marcus’s “passieproject” tot nu toe de meest uitgebreide bron van informatie is over een belangrijk onderwerp in de wetenschappelijke uitgeverij. Een database van retracties “is een echt serieus en noodzakelijk stuk infrastructuur,” zegt ze. Maar het gebrek aan langetermijnfinanciering voor dergelijke inspanningen betekent dat de infrastructuur “kwetsbaar is, en dat zou het niet moeten zijn.”

Ferric Fang, een klinisch microbioloog aan de Universiteit van Washington in Seattle die de intrekkingen heeft bestudeerd, zegt dat hij hoopt dat mensen de nieuwe database zullen gebruiken “om beter te kijken naar hoe wetenschap werkt, wanneer het niet goed werkt, en hoe het beter kan werken.” En hij gelooft dat transparante verslaglegging van intrekkingen de wetenschap alleen maar sterker kan maken. “We leren,” zegt hij, “van onze fouten.”