Vad en massiv databas med indragna artiklar avslöjar om vetenskapsutgivningens dödsstraff

För snart tio år sedan uppmärksammade rubrikerna en oroande trend inom vetenskapen: Antalet artiklar som drogs tillbaka av tidskrifter hade tiofaldigats under de föregående tio åren. En av dem, narkosläkaren Joachim Boldt, hade fått nästan 90 återkallelser efter att utredare kommit fram till att han hade fabricerat data och begått andra etiska överträdelser. Boldt kan till och med ha skadat patienterna genom att uppmuntra till användning av en obeprövad kirurgisk behandling. Det verkade som om vetenskapen stod inför en svampande kris.

De alarmerande nyheterna kom med vissa förbehåll. Även om statistiken var skissartad verkade tillbakadraganden vara relativt sällsynta och omfattade endast cirka två av 10 000 artiklar. Ibland var orsaken till tillbakadragandet ett ärligt misstag, inte ett medvetet bedrägeri. Och huruvida misstänkta artiklar blev vanligare – eller om tidskrifterna bara blev bättre på att upptäcka och rapportera dem – var oklart.

Den kraftiga ökningen av återkallelser ledde ändå till att många observatörer uppmanade förläggare, redaktörer och andra övervakare att göra större ansträngningar för att utrota dålig vetenskap. Uppmärksamheten bidrog också till att två mångåriga hälsojournalister – Ivan Oransky och Adam Marcus, som grundade bloggen Retraction Watch med säte i New York City – försökte få en bättre inblick i hur många vetenskapliga artiklar som drogs tillbaka och varför. De började sammanställa en lista över indragningar.

Denna lista, som formellt släpptes till allmänheten denna vecka som en sökbar databas, är nu den största och mest omfattande i sitt slag. Den innehåller mer än 18 000 återkallade artiklar och konferensutdrag från 1970-talet (och till och med en artikel från 1756 med Benjamin Franklin). Det är inte ett perfekt fönster in i återkallelsevärlden. Det är till exempel inte alla förlag som offentliggör eller tydligt märker de artiklar som de har dragit tillbaka, eller förklarar varför de gjorde det. Och det kan vara svårt att avgöra vilken författare som är ansvarig för en uppsats ödesdigra brister.

Den här datamassan har ändå gjort det möjligt för Science att i samarbete med Retraction Watch få en ovanlig inblick i en av den vetenskapliga publiceringens mest betydelsefulla men dolda metoder. Vår analys av cirka 10 500 återkallade tidskriftsartiklar visar att antalet återkallelser har fortsatt att öka, men den ifrågasätter också vissa oroväckande uppfattningar som fortsätter i dag. Ökningen av återkallelser verkar inte så mycket spegla en epidemi av bedrägeri som en gemenskap som försöker övervaka sig själv.

Bland de mest anmärkningsvärda resultaten:

Och även om det absoluta antalet årliga återkallelser har ökat har ökningstakten avtagit.

Data bekräftar att det absoluta antalet återkallelser har ökat under de senaste decennierna, från färre än 100 årligen före 2000 till nästan 1000 år 2014. Men återkallelser är fortfarande relativt sällsynta: Endast cirka fyra av 10 000 artiklar återkallas nu. Och även om andelen ungefär fördubblades från 2003 till 2009 har den legat på en jämn nivå sedan 2012. Delvis återspeglar denna trend en ökande nämnare: Det totala antalet vetenskapliga artiklar som publiceras årligen mer än fördubblades från 2003 till 2016.

En stor del av ökningen tycks återspegla förbättrad tillsyn i ett växande antal tidskrifter.

Totalt sett har antalet tidskrifter som rapporterar indragningar ökat. År 1997 rapporterade endast 44 tidskrifter att de dragit tillbaka en artikel. År 2016 hade det antalet mer än tiofaldigats, till 488. Men bland de tidskrifter som har publicerat minst en tillbakadragning per år har det genomsnittliga antalet tillbakadragningar per tidskrift varit i stort sett oförändrat sedan 1997. Med tanke på den samtidiga ökningen av återkallelser tyder detta mönster på att tidskrifter kollektivt gör mer för att bevaka artiklar, säger Daniele Fanelli, docent i forskningsmetoder vid London School of Economics and Political Science, som har varit med och skrivit flera studier om återkallelser. (Antalet per tidskrift skulle ha ökat, menar han, om det ökande antalet återkallelser främst berodde på att en ökad andel av artiklarna är felaktiga.)

”Återkallelserna har ökat eftersom de redaktionella metoderna förbättras och tidskrifterna försöker uppmuntra redaktörerna att ta återkallelser på allvar”, säger Nicholas Steneck, forskarexpert i forskningsetik vid University of Michigan i Ann Arbor. Forskare har fortsatt trycket på tidskrifterna genom att peka ut brister i artiklar på offentliga webbplatser som PubPeer.

I allmänhet har tidskrifter med höga effektfaktorer – ett mått på hur ofta artiklar citeras – tagit ledningen när det gäller att övervaka sina artiklar efter publicering. Enligt Journal of the Medical Library Association (JMLA) rapporterade 2004 endast en fjärdedel av ett urval av biomedicinska tidskrifter med hög effekt att de hade riktlinjer för publicering av återkallelser. År 2009 släppte sedan Committee on Publication Ethics (COPE), en ideell grupp i Eastleigh, Storbritannien, som nu ger råd till mer än 12 000 tidskriftsredaktörer och förläggare, en modellpolicy för hur tidskrifter bör hantera återkallelser. År 2015 hade två tredjedelar av 147 tidskrifter med hög effekt, de flesta av dem biomedicinska titlar, antagit sådana riktlinjer, rapporterade JMLA. Förespråkare av sådana riktlinjer säger att de kan hjälpa tidskriftsredaktörer att hantera rapporter om bristfälliga artiklar på ett mer konsekvent och effektivt sätt – om riktlinjerna följs.

Tidskrifter med lägre effektfaktorer verkar också skärpa sina standarder, säger Steneck. Många tidskrifter använder nu programvara för att upptäcka plagiat i manuskript före publicering, vilket kan undvika indragningar efteråt.

Men bevis tyder på att fler redaktörer borde ta steget.

En oroväckande stor del av artiklarna – cirka 2 % – innehåller ”problematiska” vetenskapliga bilder som experter lätt identifierade som medvetet manipulerade, enligt en studie av 20 000 artiklar som publicerades i mBio 2016 av Elisabeth Bik vid Stanford University i Palo Alto, Kalifornien, och kolleger. Dessutom visade vår analys att de flesta av de 12 000 tidskrifter som registrerats i Clarivates allmänt använda databas för vetenskapliga artiklar, Web of Science, inte har rapporterat en enda tillbakadragning sedan 2003.

Relativt få författare är ansvariga för ett oproportionerligt stort antal tillbakadragningar.

Bara 500 av de över 30 000 författare som namnges i databasen för tillbakadragningar (som även inkluderar medförfattare) står för ungefär en fjärdedel av de 10 500 tillbakadragningar som vi analyserade. Hundra av dessa författare har 13 eller fler återkallelser vardera. Dessa tillbakadraganden är vanligen resultatet av medvetet tjänstefel, inte fel.

Nationer med mindre vetenskapliga samfund tycks ha större problem med tillbakadraganden.

Att tillbakadraganden sker i olika länder skiljer sig åt, och variationer kan återspegla idiosynkratiska faktorer, som till exempel en särskilt aktiv grupp visselblåsare som offentliggör misstänkta artiklar. Sådana förväxlingsfaktorer gör det svårare att jämföra återkallelsefrekvenser mellan olika länder, säger Fanelli. Men generellt sett tenderar författare som arbetar i länder som har utvecklat strategier och institutioner för att hantera och upprätthålla regler mot oredlighet i forskningen att få färre indragningar, rapporterade han och hans kollegor i PLOS ONE 2015.

En indragning signalerar inte alltid vetenskapligt felbeteende.

Många vetenskapsmän och allmänheten har en tendens att anta att en indragning innebär att en forskare har gjort sig skyldig till oredlighet i forskningen. Men uppgifterna från Retraction Watch tyder på att det intrycket kan vara missvisande.

Databasen innehåller en detaljerad taxonomi över skälen till återkallelser, hämtade från meddelanden om återkallelser (även om en minoritet av meddelandena inte anger skälet till återkallelse). Totalt sett nämnde nästan 40 % av meddelandena om återkallelse inte bedrägeri eller andra typer av tjänstefel. I stället drogs artiklarna tillbaka på grund av fel, problem med reproducerbarhet och andra problem.

Retraction rate levels off

’04*’06’08’10’12’12’14’16’18012345Retraction rate (per 10 000 artiklar)*Retraction rate tycks sjunka efter 2015, men siffrorna är med största sannolikhet ofullständiga på grund av förseningar i publiceringen av retractions.

Omkring hälften av alla tillbakadragningar tycks ha inneburit fabrikation, falsifiering eller plagiat – beteenden som faller inom ramen för den amerikanska regeringens definition av vetenskaplig oredlighet. Beteenden som inom vetenskapen allmänt anses vara oärliga och oetiska, men som inte omfattas av USA:s definition av oredlighet, tycks stå för ytterligare 10 %. Dessa beteenden omfattar bland annat förfalskat författarskap, falska expertgranskningar och underlåtenhet att erhålla godkännande från institutionella granskningsnämnder för forskning på människor eller djur. (Sådana tillbakadragningar har ökat som andel av alla tillbakadragningar, och vissa experter hävdar att USA bör utvidga sin definition av vetenskaplig oredlighet till att omfatta dessa beteenden.)

Det kan vara en utmaning att fastställa exakt varför en artikel drogs tillbaka. Ungefär 2 % av meddelandena om återkallelse anger till exempel ett vagt skäl som tyder på tjänstefel, t.ex. ett ”etiskt brott av författaren”. I vissa av dessa fall har författare som är oroliga för att deras rykte ska skadas – och kanske till och med hotet om förtalsstämningar – övertalat redaktörerna att hålla språket vagt. Andra meddelanden är manipulerade: De anger ett specifikt skäl, t.ex. bristande tillsyn av granskningsnämnden, men Retraction Watch upptäckte senare oberoende av varandra att utredarna faktiskt hade fastställt att artikeln var bedräglig.

Ironiskt sett kan den stigmatisering som är förknippad med återkallelse göra det svårare att städa upp i litteraturen.

Om en återkallelse ofta betraktas som en indikation på felaktigt handlande, är många forskare förståeligt nog känsliga när en av deras artiklar ifrågasätts. Denna stigmatisering kan dock leda till metoder som undergräver ansträngningarna att skydda den vetenskapliga litteraturens integritet.

Tidskriftsredaktörer kan tveka att utdela dödsstraff – även när det är befogat. Vissa artiklar som en gång i tiden kunde ha dragits tillbaka på grund av ett ärligt fel eller problematiska metoder ”korrigeras” nu i stället, säger Hilda Bastian, som tidigare var konsult på US National Library of Medicine’s PubMed-databas och som nu doktorerar i hälsovetenskap vid Bond University i Gold Coast, Australien. (Retraction Watch-databasen listar vissa korrigeringar, men gör ingen omfattande uppföljning av dem). Korrigeringsmeddelandena kan ofta få läsarna att undra vad de ska tycka. ”Det är svårt att lista ut – drar ni tillbaka artikeln eller inte?”. Bastian säger.

COPE har utfärdat riktlinjer för att klargöra när en artikel ska korrigeras, när den ska dras tillbaka och vilka uppgifter som meddelandena ska innehålla. Men redaktörerna måste fortfarande göra bedömningar från fall till fall, säger Chris Graf, gruppens medordförande och chef för forskningsintegritet och publiceringsetik på Wiley, det vetenskapliga förlaget med säte i Hoboken, New Jersey.

En samlad ansträngning för att minska det stigma som är förknippat med tillbakadraganden skulle kunna göra det möjligt för redaktörerna att fatta bättre beslut. ”Vi måste vara ganska tydliga med att en återkallelse i den publicerade litteraturen inte är likvärdig med, eller ett konstaterande av, forskningsfel”, säger Graf. ”Det ska tjäna ett syfte, nämligen att korrigera de publicerade uppgifterna.”

En nyttig reform, menar vissa kommentatorer, skulle vara att tidskrifterna följer en standardiserad nomenklatur som ger mer information i meddelanden om återkallelse och korrigering. Meddelandena bör specificera arten av problemen med en artikel och vem som var ansvarig – författarna eller tidskriften själv. Om man reserverar den känsliga termen ”återkallelse” för artiklar som innehåller avsiktlig oegentlighet och utarbetar alternativ för andra problem kan det också få fler författare att träda fram och flagga för sina artiklar som innehåller fel, menar vissa experter.

Bördan av oegentlighet

Procent av alla indragningar (%)’97’98’99’00’01’02’03’04’04’04’05’05’06’07’07’08’09’09’10’11’11’12’12’13’13’14’14’15’16’17’18010203040Falskt kollegialt granskningsarbeteFelaktiga bilderPlagiering eller duplicering av text*Indrade artiklar, efter publiceringsår20052000201020120151997Alla indragningar: 62Fraud: 292007Alla indragningar: 419Fraud: 2522014Alla indragningar: 2522014Alla indragningar: 2522014Alla indragningar: 2522014 946Fraud: 411FraudOther misconductPossible misconductReliabilityErrorMiscellaneous*Changing infractionsThe proportion of retractions involving plagiarism of text-stealing someone else’s or duplicating one’s own-has rised; one cause appears be the introduction in 2004 of iThenticate, an inter-net-based plagiarism detection service. Falska expertgranskningar sker när författare ger tidskrifter e-postadresser som de själva kontrollerar, vilket gör det möjligt för dem att granska sina egna manuskript. Bristfälliga bilder inkluderar fall av avsiktlig manipulation och av fel.*Antalen av återkallelser tycks minska efter 2015, men är med största sannolikhet ofullständiga; tidskrifter tar vanligtvis flera år på sig att publicera återkallelser.

Sådana diskussioner understryker hur långt dialogen kring återkallelser har kommit sedan de oroväckande rubrikerna för nästan tio år sedan. Och även om Retraction Watch-databasen har tillfört nya uppgifter till diskussionerna, fungerar den också som en påminnelse om hur mycket forskare fortfarande inte förstår om förekomsten, orsakerna och effekterna av indragningar. Bristande uppgifter innebär att ”man måste ta hela litteraturen med en nypa salt”, säger Bastian. ”Ingen vet vad alla återkallade artiklar är. Utgivarna gör det inte lätt.”

Bastian är otrolig över att Oranskys och Marcus ”passionsprojekt” hittills är den mest omfattande informationskällan om en nyckelfråga inom vetenskaplig publicering. En databas över återkallelser ”är en riktigt seriös och nödvändig del av infrastrukturen”, säger hon. Men bristen på långsiktig finansiering av sådana insatser innebär att infrastrukturen är ”bräcklig, och det borde den inte vara”.”

Ferric Fang, en klinisk mikrobiolog vid University of Washington i Seattle som har studerat återkallelser, säger att han hoppas att folk kommer att använda den nya databasen ”för att titta närmare på hur vetenskapen fungerar, när den inte fungerar rätt och hur den kan fungera bättre”. Och han tror att en öppen rapportering av återkallelser bara kan bidra till att göra vetenskapen starkare. ”Vi lär oss”, säger han, ”av våra misstag.”