Hvad en massiv database over tilbagetrukne artikler afslører om videnskabsudgivelsernes ‘dødsstraf’

For næsten ti år siden fremhævede overskrifterne en foruroligende tendens inden for videnskaben: Antallet af artikler, der blev trukket tilbage af tidsskrifter, var blevet 10-doblet i løbet af de foregående 10 år. Svindel tegnede sig for ca. 60 % af disse tilbagetrækninger; en af dem, anæstesiologen Joachim Boldt, havde fået næsten 90 tilbagetrækninger, efter at efterforskerne havde konkluderet, at han havde forfalsket data og begået andre etiske overtrædelser. Boldt kan endda have skadet patienterne ved at tilskynde til at indføre en uprøvet kirurgisk behandling. Det så ud til, at videnskaben stod over for en voksende krise.

Den alarmerende nyhed kom med nogle forbehold. Selv om statistikkerne var ufuldstændige, syntes tilbagetrækninger at være relativt sjældne og kun at omfatte ca. to ud af hver 10.000 artikler. Nogle gange var årsagen til tilbagetrækningen en ærlig fejl og ikke bevidst svindel. Og det var ikke klart, om mistænkelige artikler blev mere almindelige – eller om tidsskrifterne bare blev bedre til at genkende og rapportere dem.

Den kraftige stigning i antallet af tilbagetrækninger fik dog mange observatører til at opfordre udgivere, redaktører og andre gatekeepers til at gøre en større indsats for at udrydde dårlig videnskab. Opmærksomheden var også med til at katalysere en indsats fra to mangeårige sundhedsjournalister – Ivan Oransky og Adam Marcus, der har grundlagt bloggen Retraction Watch med base i New York City – for at få mere indsigt i, hvor mange videnskabelige artikler der blev trukket tilbage og hvorfor. De begyndte at samle en liste over tilbagetrækninger.

Denne liste, der officielt blev frigivet til offentligheden i denne uge som en søgbar database, er nu den største og mest omfattende af sin slags. Den omfatter mere end 18.000 tilbagetrukne artikler og konferencerapporter, der går tilbage til 1970’erne (og endda en artikel fra 1756, der involverer Benjamin Franklin). Det er ikke et perfekt vindue ind i verden af tilbagetrukne artikler. Det er f.eks. ikke alle udgivere, der offentliggør eller tydeligt mærker de artikler, de har trukket tilbage, eller forklarer, hvorfor de har gjort det. Og det kan være vanskeligt at fastslå, hvilken forfatter der er ansvarlig for en artikels fatale fejl.

Den store datamængde har dog gjort det muligt for Science i samarbejde med Retraction Watch at få en usædvanlig indsigt i en af de mest betydningsfulde, men hemmeligholdte former for videnskabelig udgivelsespraksis. Vores analyse af ca. 10 500 tilbagekaldte tidsskriftsartikler viser, at antallet af tilbagekaldelser er fortsat med at stige, men den udfordrer også nogle foruroligende opfattelser, som stadig eksisterer i dag. Stigningen i antallet af tilbagetrækninger synes ikke så meget at afspejle en epidemi af svindel som et samfund, der forsøger at overvåge sig selv.

Blandt de mest bemærkelsesværdige resultater:

Men selv om det absolutte antal årlige tilbagetrækninger er steget, er stigningstakten aftaget.

Dataene bekræfter, at det absolutte antal tilbagetrækninger er steget i løbet af de seneste årtier, fra mindre end 100 årligt før 2000 til næsten 1000 i 2014. Men tilbagetrækninger er fortsat relativt sjældne: Kun omkring fire ud af hver 10 000 artikler bliver nu trukket tilbage. Og selv om antallet af tilbagekaldelser stort set blev fordoblet fra 2003 til 2009, har det ligget på samme niveau siden 2012. Denne tendens afspejler til dels en stigende nævner: Det samlede antal videnskabelige artikler, der offentliggøres årligt, er mere end fordoblet fra 2003 til 2016.

En stor del af stigningen synes at afspejle forbedret tilsyn i et stigende antal tidsskrifter.

Overordnet set er antallet af tidsskrifter, der rapporterer om tilbagetrækninger, vokset. I 1997 var der kun 44 tidsskrifter, der rapporterede, at de havde trukket en artikel tilbage. I 2016 var dette antal mere end 10-doblet til 488. Men blandt de tidsskrifter, der har offentliggjort mindst én tilbagetrækning årligt, har det gennemsnitlige antal tilbagetrækninger pr. tidsskrift stort set været uændret siden 1997. I betragtning af den samtidige stigning i antallet af tilbagetrækninger tyder dette mønster på, at tidsskrifterne kollektivt gør mere for at overvåge artikler, siger Daniele Fanelli, der er lektor i forskningsmetoder ved London School of Economics and Political Science, og som har været med til at skrive flere undersøgelser af tilbagetrækninger. (Han hævder, at antallet pr. tidsskrift ville være steget, hvis det stigende antal tilbagetrækninger primært skyldes, at en øget andel af artiklerne er mangelfulde.)

“Tilbagetrækningerne er steget, fordi den redaktionelle praksis forbedres, og tidsskrifterne forsøger at tilskynde redaktørerne til at tage tilbagetrækninger alvorligt”, siger Nicholas Steneck, der er ekspert i forskningsetik ved University of Michigan i Ann Arbor. Forskere har fortsat presset tidsskrifterne ved at påpege fejl i artikler på offentlige websteder som PubPeer.

Generelt har tidsskrifter med høje impact factors – et mål for, hvor ofte artikler bliver citeret – taget føringen med hensyn til at kontrollere deres artikler efter offentliggørelsen. I 2004 rapporterede kun en fjerdedel af en stikprøve af biomedicinske tidsskrifter med høj gennemslagskraft, at de havde politikker for tilbagekaldelse af publikationer, ifølge Journal of the Medical Library Association (JMLA). I 2009 offentliggjorde Committee on Publication Ethics (COPE), en nonprofit-gruppe i Eastleigh i Storbritannien, som nu rådgiver mere end 12.000 redaktører og udgivere af tidsskrifter, en modelpolitik for, hvordan tidsskrifter bør håndtere tilbagetrækninger. I 2015 havde to tredjedele af 147 tidsskrifter med stor gennemslagskraft, hvoraf de fleste er biomedicinske titler, vedtaget sådanne politikker, oplyser JMLA. Fortalere for sådanne politikker siger, at de kan hjælpe tidsskriftsredaktører med at håndtere rapporter om fejlbehæftede artikler mere konsekvent og effektivt – hvis politikkerne følges.

Tidsskrifter med lavere impact factors synes også at skærpe deres standarder, siger Steneck. Mange tidsskrifter bruger nu software til at opdage plagiat i manuskripter før offentliggørelse, hvilket kan undgå tilbagetrækninger efterfølgende.

Men beviser tyder på, at flere redaktører bør gøre en indsats.

En foruroligende stor del af artikler – omkring 2 % – indeholder “problematiske” videnskabelige billeder, som eksperter let identificerede som bevidst manipulerede, ifølge en undersøgelse af 20.000 artikler, der blev offentliggjort i mBio i 2016 af Elisabeth Bik fra Stanford University i Palo Alto, Californien, og kolleger. Desuden viste vores analyse, at de fleste af de 12.000 tidsskrifter, der er registreret i Clarivates udbredte Web of Science-database over videnskabelige artikler, ikke har rapporteret en eneste tilbagetrækning siden 2003.

Relativt få forfattere er ansvarlige for et uforholdsmæssigt stort antal tilbagetrækninger.

Bare 500 af de mere end 30.000 forfattere, der er nævnt i tilbagetrækningsdatabasen (som omfatter medforfattere), står for omkring en fjerdedel af de 10.500 tilbagetrækninger, som vi analyserede. Et hundrede af disse forfattere har 13 eller flere tilbagetrækninger hver. Disse tilbagetrækninger er normalt resultatet af bevidst dårlig opførsel og ikke af fejl.

Nationer med mindre videnskabelige samfund synes at have et større problem med tilbagetrækninger.

R tilbagetrækningsrater varierer fra land til land, og variationer kan afspejle idiosynkratiske faktorer, såsom en særlig aktiv gruppe af whistleblowere, der offentliggør mistænkelige artikler. Sådanne forvirrende faktorer gør det sværere at sammenligne tilbagetrækningsrater på tværs af lande, siger Fanelli. Men generelt har forfattere, der arbejder i lande, der har udviklet politikker og institutioner til håndtering og håndhævelse af regler mod videnskabelig uredelighed, tendens til at få færre tilbagetrækninger, rapporterede han og hans kolleger i PLOS ONE i 2015.

En tilbagetrækning er ikke altid et signal om videnskabelig uredelighed.

Mange forskere og medlemmer af offentligheden har en tendens til at antage, at en tilbagetrækning betyder, at en forsker har begået videnskabelig uredelighed. Men Retraction Watch-dataene tyder på, at det indtryk kan være misvisende.

Databasen indeholder en detaljeret taksonomi over årsagerne til tilbagetrækninger, som er hentet fra tilbagetrækningsmeddelelser (selv om et mindretal af meddelelserne ikke angiver årsagen til tilbagetrækning). Samlet set nævner næsten 40 % af meddelelserne om tilbagetrækning ikke svig eller andre former for forseelser. I stedet blev artiklerne trukket tilbage på grund af fejl, problemer med reproducerbarhed og andre problemer.

Retraction rate levels off

’04*’06’08’10’12’14’16’18012345Retraktionsrate (pr. 10.000 artikler)*Raten synes at falde efter 2015, men tallene er næsten helt sikkert ufuldstændige på grund af forsinkelser i offentliggørelsen af tilbagetrækninger.

Omkring halvdelen af alle tilbagetrækninger synes at have involveret fabrikation, forfalskning eller plagiat – adfærd, der falder ind under den amerikanske regerings definition af videnskabelig uredelighed. Adfærd, der inden for videnskaben er almindeligt anerkendt som uærlig og uetisk, men som falder uden for USA’s definition af uredelig adfærd, synes at tegne sig for yderligere 10 %. Disse former for adfærd omfatter forfalsket forfatterskab, falske peer reviews og manglende godkendelse fra institutionelle review boards til forskning på mennesker eller dyr. (Sådanne tilbagetrækninger er steget som andel af alle tilbagetrækninger, og nogle eksperter hævder, at USA bør udvide sin definition af videnskabelig forseelse til at omfatte disse adfærdsmønstre.)

Det kan være en udfordring at fastslå præcis, hvorfor en artikel blev trukket tilbage. Omkring 2 % af meddelelserne om tilbagetrækning angiver f.eks. en vag grund, der tyder på dårlig opførsel, f.eks. en “etisk overtrædelse fra forfatterens side”. I nogle af disse tilfælde har forfattere, der er bekymrede for at skade deres omdømme – og måske endda truslen om injuriesøgsmål – overtalt redaktørerne til at holde sproget vagt. Andre meddelelser er forfalskede: De angiver en specifik grund, f.eks. manglende tilsyn med review boardet, men Retraction Watch har senere uafhængigt af hinanden opdaget, at efterforskerne faktisk havde fastslået, at artiklen var svigagtig.

Ironisk set kan det stigma, der er forbundet med tilbagetrækning, gøre det sværere at rydde op i litteraturen.

Da en tilbagetrækning ofte betragtes som et tegn på forseelser, er mange forskere forståeligt nok følsomme, når der sættes spørgsmålstegn ved en af deres artikler. Denne stigmatisering kan imidlertid føre til en praksis, der underminerer bestræbelserne på at beskytte den videnskabelige litteraturs integritet.

Journalredaktører kan tøve med at uddele dødsstraf – selv når den er berettiget. For eksempel bliver nogle artikler, som tidligere kunne være blevet trukket tilbage på grund af en ærlig fejl eller problematisk praksis, nu i stedet “rettet”, siger Hilda Bastian, som tidligere har været konsulent for U.S. National Library of Medicine’s PubMed-database og nu er ved at tage en doktorgrad i sundhedsvidenskab ved Bond University i Gold Coast i Australien. (Retraction Watch-databasen opregner nogle korrektioner, men følger dem ikke i detaljer). Rettelsesmeddelelserne kan ofte få læserne til at undre sig over, hvad de skal tro. “Det er svært at regne ud – trækker I artiklen tilbage eller ej?” Bastian siger.

COPE har udstedt retningslinjer for at præcisere, hvornår en artikel skal korrigeres, hvornår den skal trækkes tilbage, og hvilke oplysninger meddelelserne skal indeholde. Men redaktørerne skal stadig foretage vurderinger fra sag til sag, siger Chris Graf, der er medformand for gruppen og direktør for forskningsintegritet og udgivelsesetik hos Wiley, det videnskabelige forlag med hovedsæde i Hoboken, New Jersey.

En samordnet indsats for at mindske stigmatiseringen i forbindelse med tilbagetrækninger kunne give redaktørerne mulighed for at træffe bedre beslutninger. “Vi er nødt til at gøre det helt klart, at en tilbagekaldelse i den offentliggjorte litteratur ikke svarer til eller er en konstatering af videnskabelig uredelighed”, siger Graf. “Det skal tjene et formål, nemlig at korrigere den offentliggjorte dokumentation.”

En nyttig reform, siger nogle kommentatorer, ville være, hvis tidsskrifterne fulgte en standardiseret nomenklatur, som ville give flere detaljer i meddelelser om tilbagetrækning og korrektion. Meddelelserne bør specificere arten af problemerne i en artikel og angive, hvem der var ansvarlig – forfatterne eller tidsskriftet selv. Hvis man forbeholder det problematiske udtryk “tilbagetrækning” for artikler, der involverer forsætlig dårlig opførsel, og udtænker alternativer for andre problemer, kan det også få flere forfattere til at træde frem og markere deres artikler, der indeholder fejl, mener nogle eksperter.

Byrden af dårlig opførsel

Procent af alle tilbagetrukne artikler (%)’97’98’99’00’01’02’03’04’04’05’05’06’06’07’08’09’10’11’12’13’14’14’15’16’17’18010203040Falsk peer reviewFejlede billederPlagiering eller duplikation af tekst*Begravede artikler, efter udgivelsesår20052000201020120151997Alle tilbagetrukne artikler: 62Fraud: 292007Alle tilbagetrækninger: 292007Alle tilbagetrækninger: 419Fraud: 2522014Alle tilbagetrækninger: 2522014Alle tilbagetrækninger: 946Fraud: 411FraudOther misconductPossible misconductReliabilityErrorMiscellaneous*Changing infractionsThe proportion of retractions involving plagiarism of text-stealing someone else’s or duplicating one’s own- has passed rise; one cause seems to be the introduction in 2004 of iThenticate, an inter-net-based plagiarism detection service. Falske peer reviews forekommer, når forfattere giver e-mail-adresser til tidsskrifter, som de kontrollerer, så de kan gennemgå deres egne manuskripter. Fejlagtige billeder omfatter tilfælde af forsætlig manipulation og af fejl.*Tallene for tilbagetrækninger synes at falde efter 2015, men er næsten helt sikkert ufuldstændige; tidsskrifter er typisk flere år om at offentliggøre tilbagetrækninger.

Sådanne diskussioner understreger, hvor langt dialogen omkring tilbagetrækninger er nået siden de foruroligende overskrifter fra næsten ti år siden. Og selv om Retraction Watch-databasen har bragt nye data til diskussionerne, tjener den også som en påmindelse om, hvor meget forskere stadig ikke forstår om udbredelsen, årsagerne og virkningerne af tilbagetrækninger. Manglende data betyder, at “man er nødt til at tage hele litteraturen med et gran salt”, siger Bastian. “Der er ingen, der ved, hvad alle de tilbagetrukne artikler er. Udgiverne gør det ikke let.”

Bastian er utroværdig over, at Oranskys og Marcus’ “passionsprojekt” indtil videre er den mest omfattende kilde til oplysninger om et centralt emne inden for videnskabelig publicering. En database over tilbagetrækninger “er et virkelig seriøst og nødvendigt stykke infrastruktur”, siger hun. Men manglen på langsigtet finansiering af sådanne bestræbelser betyder, at infrastrukturen er “skrøbelig, og det burde den ikke være”.”

Ferric Fang, en klinisk mikrobiolog ved University of Washington i Seattle, som har studeret tilbagekaldelser, siger, at han håber, at folk vil bruge den nye database “til at se nærmere på, hvordan videnskaben fungerer, hvornår den ikke fungerer korrekt, og hvordan den kan fungere bedre.” Og han mener, at en gennemsigtig rapportering af tilbagekaldelser kun kan bidrage til at gøre videnskaben stærkere. “Vi lærer,” siger han, “af vores fejltagelser.”