Mit mutat a visszavont tanulmányok hatalmas adatbázisa a tudományos publikálás “halálbüntetéséről”

Majdnem egy évtizeddel ezelőtt a címlapok egy nyugtalanító tudományos tendenciára világítottak rá: A folyóiratok által visszavont cikkek száma az előző 10 év alatt megtízszereződött. A visszavont cikkek mintegy 60%-át csalás okozta; az egyik elkövető, Joachim Boldt aneszteziológus csaknem 90 cikket vont vissza, miután a nyomozók megállapították, hogy adatokat hamisított és más etikai szabálysértéseket követett el. Boldt talán még a betegeknek is ártott azzal, hogy egy nem bizonyított sebészeti kezelés alkalmazására buzdított. A tudomány, úgy tűnt, gombamód szaporodó válsággal néz szembe.

A riasztó híreket némi fenntartással fogadták. Bár a statisztikák hiányosak voltak, úgy tűnt, hogy a visszavonások viszonylag ritkák, minden 10 000 cikkből csak körülbelül kettőt érintettek. Néha a visszavonás oka őszinte tévedés volt, nem pedig szándékos csalás. És az sem volt egyértelmű, hogy a gyanús dolgozatok egyre gyakoribbá válnak-e, vagy a folyóiratok csak egyre jobban felismerik és jelentik őket.

A visszavonások számának növekedése mégis arra késztetett sok megfigyelőt, hogy felszólítsa a kiadókat, szerkesztőket és más kapuőröket, hogy tegyenek nagyobb erőfeszítéseket a rossz tudományos eredmények kiszűrésére. A figyelem két régi egészségügyi újságíró – Ivan Oransky és Adam Marcus, akik megalapították a New York-i székhelyű Retraction Watch blogot – erőfeszítéseit is katalizálta, hogy pontosabb képet kapjanak arról, hogy hány tudományos cikket vontak vissza, és miért. Elkezdték összeállítani a visszavonások listáját.

A lista, amelyet ezen a héten hivatalosan is közzétettek egy kereshető adatbázis formájában, mára a legnagyobb és legátfogóbb a maga nemében. Több mint 18 000 visszavont tanulmányt és konferencia-összefoglalót tartalmaz az 1970-es évekig visszamenőleg (és még egy 1756-os, Benjamin Franklint érintő tanulmányt is). Ez nem egy tökéletes ablak a visszavonások világába. Például nem minden kiadó hozza nyilvánosságra vagy jelöli egyértelműen a visszavont publikációkat, vagy magyarázza meg, hogy miért tette ezt. És annak meghatározása, hogy melyik szerző felelős egy tanulmány végzetes hibáiért, nehéz lehet.

Az adathalmaz mégis lehetővé tette a Science számára, hogy a Retraction Watch-szal együttműködve szokatlan betekintést nyerjen a tudományos publikálás egyik legkövetkezetesebb, de homályba burkolózó gyakorlatába. A mintegy 10 500 visszavont folyóiratcikk elemzéséből kiderül, hogy a visszavonások száma tovább nőtt, de megkérdőjelez néhány aggasztó, napjainkban is fennálló felfogást is. Úgy tűnik, hogy a visszavonások számának növekedése nem annyira a csalás járványát, mint inkább egy olyan közösséget tükröz, amely megpróbálja ellenőrizni önmagát.

A legjelentősebb megállapítások közül:

Bár az éves visszavonások abszolút száma nőtt, a növekedés üteme lelassult.

Az adatok megerősítik, hogy a visszavonások abszolút száma az elmúlt néhány évtizedben emelkedett, a 2000 előtti évi kevesebb mint 100-ról 2014-re közel 1000-re. A visszavonások azonban továbbra is viszonylag ritkák: 10 000 cikkből csak körülbelül négyet vonnak vissza. És bár az arány 2003 és 2009 között nagyjából megduplázódott, 2012 óta szinten maradt. Ez a tendencia részben egy növekvő nevezőt tükröz: Az évente megjelent tudományos cikkek száma 2003 és 2016 között több mint kétszeresére nőtt.

A növekedés nagy része a jelek szerint az egyre több folyóiratnál javuló felügyeletet tükrözi.

A visszavonásokról beszámoló folyóiratok száma összességében nőtt. 1997-ben mindössze 44 folyóirat számolt be arról, hogy visszavontak egy tanulmányt. Ez a szám 2016-ra több mint tízszeresére, 488-ra nőtt. Az évente legalább egy visszavonást közzétevő folyóiratok között azonban az egy folyóiratra jutó visszavonások átlagos száma 1997 óta nagyjából változatlan maradt. Tekintettel a visszavonások egyidejű növekedésére, ez a minta azt sugallja, hogy a folyóiratok együttesen többet tesznek a cikkek ellenőrzéséért – mondja Daniele Fanelli, a London School of Economics and Political Science kutatási módszerekről szóló előadása, aki több, a visszavonásokról szóló tanulmány társszerzője. (Szerinte az egyes folyóiratok száma akkor növekedett volna, ha a visszavonások növekvő száma elsősorban azért következne be, mert a dolgozatok nagyobb hányada hibás.)

“A visszavonások száma azért nőtt, mert a szerkesztési gyakorlat javul, és a folyóiratok igyekeznek arra ösztönözni a szerkesztőket, hogy komolyan vegyék a visszavonásokat” – mondja Nicholas Steneck, az Ann Arbor-i Michigani Egyetem kutatási etikai szakértője. A tudósok azáltal gyakorolnak nyomást a folyóiratokra, hogy nyilvános weboldalakon, például a PubPeer-en rámutatnak a tanulmányok hibáira.

Általában a magas impakt faktorral rendelkező folyóiratok – amely azt méri, hogy a tanulmányokat milyen gyakran idézik – vezető szerepet játszanak a publikáció utáni ellenőrzésben. A Journal of the Medical Library Association (JMLA) szerint 2004-ben a nagy impaktfaktorú orvosbiológiai folyóiratok mindössze egynegyede számolt be arról, hogy rendelkezik a visszavonások közzétételére vonatkozó szabályzattal. 2009-ben aztán a Committee on Publication Ethics (COPE), egy nonprofit csoport az angliai Eastleigh-ben, amely ma már több mint 12 000 folyóirat-szerkesztőnek és -kiadónak ad tanácsot, kiadott egy mintairányelvet arra vonatkozóan, hogy a folyóiratoknak hogyan kell kezelniük a visszavonásokat. A JMLA jelentése szerint 2015-re 147 nagy hatású folyóirat kétharmada – többségükben orvosbiológiai folyóiratok – fogadott el ilyen szabályzatot. Az ilyen irányelvek támogatói szerint ezek segíthetnek a folyóiratok szerkesztőinek abban, hogy következetesebben és hatékonyabban kezeljék a hibás dolgozatokról szóló jelentéseket – ha betartják az irányelveket.

Steneck szerint az alacsonyabb impaktfaktorú folyóiratok is szigorítanak a szabványokon. Sok folyóirat ma már szoftvereket használ a kéziratokban lévő plágiumok közzététel előtti felderítésére, amivel elkerülhetők a későbbi visszavonások.

A bizonyítékok azonban arra utalnak, hogy több szerkesztőnek kellene lépnie.

A cikkek nyugtalanítóan nagy része – körülbelül 2%-a – tartalmaz “problémás” tudományos képeket, amelyeket a szakértők könnyen azonosítottak, mint szándékosan manipuláltakat – derül ki Elisabeth Bik (Stanford Egyetem, Palo Alto, Kalifornia) és munkatársai által az mBio 2016-ban megjelentetett, 20 000 cikket vizsgáló tanulmányából. Ráadásul elemzésünk kimutatta, hogy a Clarivate széles körben használt, tudományos cikkeket tartalmazó Web of Science adatbázisában nyilvántartott 12 000 folyóirat többsége 2003 óta egyetlen visszavonást sem jelentett.

Viszonylag kevés szerző felelős a visszavonások aránytalanul nagy számáért.

A visszavonási adatbázisban megnevezett több mint 30 000 szerző közül mindössze 500 (a társszerzőket is tartalmazó) felelős az általunk elemzett 10 500 visszavonás körülbelül egynegyedéért. E szerzők közül százan 13 vagy annál több visszavonással rendelkeznek. Ezek a visszavonások általában szándékos helytelen magatartás, nem pedig hibák következményei.

A kisebb tudományos közösségekkel rendelkező országokban a jelek szerint nagyobb problémát jelentenek a visszavonások.

A visszavonások aránya országonként eltérő, és az eltérések olyan sajátos tényezőket tükrözhetnek, mint például a gyanús dolgozatokat nyilvánosságra hozó, különösen aktív bejelentők csoportja. Fanelli szerint az ilyen zavaró tényezők megnehezítik az országok közötti visszavonási arányok összehasonlítását. De általánosságban elmondható, hogy azokban az országokban dolgozó szerzők, ahol a kutatási visszaélések kezelésére és a szabályok betartatására kidolgozott politikák és intézmények működnek, általában kevesebb visszavont cikket írnak – jelentették kollégáival 2015-ben a PLOS ONE-ban.

A visszavonás nem mindig jelzi a tudományos visszaélést.

Sok tudós és a nyilvánosság tagjai hajlamosak azt feltételezni, hogy a visszavonás azt jelenti, hogy a kutató kutatási visszaélést követett el. A Retraction Watch adatai azonban azt sugallják, hogy ez a benyomás félrevezető lehet.

Az adatbázis a visszavonások okainak részletes taxonómiáját tartalmazza, amely a visszavonási értesítésekből származik (bár az értesítések kisebb része nem adja meg a visszavonás okát). Összességében a visszavonási értesítések közel 40%-a nem tett említést csalásról vagy másfajta kötelességszegésről. Ehelyett a cikkeket hibák, reprodukálhatósági problémák és egyéb problémák miatt vonták vissza.

A visszavonási arány kiegyenlítődik

’04*’06’08’10’12’14’16’18012345Megvonási arány (10 000 cikkre vetítve)*Az arány 2015 után csökkenni látszik, de a számok szinte biztosan nem teljesek a visszavonások késedelmes közzététele miatt.

A visszavonások mintegy felénél úgy tűnik, hogy hamisítás, hamisítás vagy plágium történt – olyan magatartások, amelyek az Egyesült Államok kormányának a tudományos visszaélés definíciója alá tartoznak. Úgy tűnik, hogy további 10%-ot tesznek ki a tudományon belül széles körben tisztességtelennek és etikátlannak tekintett, de az amerikai kormányzat szabálysértési definícióján kívül eső magatartások. Ezek közé a magatartások közé tartozik a hamis szerzőség, a hamis szakértői értékelések, valamint az emberi alanyokon vagy állatokon végzett kutatásokra vonatkozó intézményi felülvizsgálati bizottságok jóváhagyásának elmulasztása. (Az ilyen visszavonások aránya az összes visszavonáson belül nőtt, és egyes szakértők szerint az Egyesült Államoknak ki kellene terjesztenie a tudományos kötelességszegés definícióját, hogy az kiterjedjen ezekre a magatartásokra is.)

Az, hogy pontosan miért vontak vissza egy tanulmányt, kihívást jelenthet. A visszavonási értesítések mintegy 2%-a például olyan homályos indokot ad meg, amely visszaélésre utal, például “a szerző etikai vétsége”. Az ilyen esetek némelyikében a hírnevük sérülésétől – és talán még a rágalmazási perek fenyegetésétől – félő szerzők meggyőzték a szerkesztőket, hogy a megfogalmazás maradjon homályos. Más értesítéseket elferdítettek:

Eredetileg a visszavonással járó megbélyegzés nehezebbé teheti a szakirodalom megtisztítását.

Mivel a visszavonás gyakran a szabálytalanság jelének tekinthető, sok kutató érthetően érzékeny, amikor valamelyik cikküket megkérdőjelezik. Ez a megbélyegzés azonban olyan gyakorlatokhoz vezethet, amelyek aláássák a tudományos irodalom integritásának védelmére irányuló erőfeszítéseket.

A folyóiratok szerkesztői habozhatnak a halálbüntetés kiszabásában – még akkor is, ha az indokolt. Például néhány olyan cikket, amelyet egykor talán visszavontak volna egy őszinte hiba vagy problémás gyakorlat miatt, most ehelyett “kijavítanak” – mondja Hilda Bastian, aki korábban az amerikai National Library of Medicine PubMed adatbázisának tanácsadója volt, és most az ausztráliai Gold Coast-i Bond Egyetemen folytatja doktori tanulmányait az egészségtudományok területén. (A Retraction Watch adatbázis felsorol néhány korrekciót, de nem követi azokat átfogóan). A helyesbítési értesítések gyakran hagyják az olvasókat azon tűnődni, hogy mit is gondoljanak. “Nehéz kitalálni – visszavonják a cikket, vagy sem?” mondja Bastian.

A COPE iránymutatásokat adott ki annak tisztázására, hogy mikor kell egy cikket kijavítani, mikor kell visszavonni, és milyen részleteket kell tartalmaznia az értesítéseknek. A szerkesztőknek azonban továbbra is eseti döntéseket kell hozniuk, mondja Chris Graf, a csoport társelnöke, a New Jersey állambeli Hobokenben működő tudományos kiadó, a Wiley kutatási integritásért és kiadói etikáért felelős igazgatója.

A visszavonásokkal kapcsolatos megbélyegzés csökkentésére tett összehangolt erőfeszítések lehetővé tennék a szerkesztők számára, hogy jobb döntéseket hozzanak. “Eléggé világossá kell tennünk, hogy a publikált szakirodalomban a visszavonás nem egyenlő a kutatási kötelességszegéssel vagy annak megállapításával” – mondja Graf. “Ez egy célt szolgál, mégpedig a publikált adatok kijavítását.”

Az egyik hasznos reform az lenne, ha a folyóiratok egységesített nómenklatúrát követnének, amely több részletet közölne a visszavonási és javítási értesítésekben. A közleményekben meg kellene határozni a cikkek problémáinak jellegét és azt, hogy ki volt a felelős – a szerzők vagy maga a folyóirat. A “visszavonás” kifejezés fenntartása a szándékos kötelességszegéssel járó dolgozatokra, és alternatívák kidolgozása más problémákra, egyes szakértők szerint több szerzőt is arra ösztönözhetne, hogy jelentkezzenek és jelezzék a hibákat tartalmazó dolgozataikat.

A kötelességszegés terhe

Az összes visszavonás százalékos aránya (%)’97’98’99’00’01’02’03’04’05’06’07’08’09’10’11’12’13’14’15’16’17’18010203040Hamis szakértői értékelésHibás képekPlagizálás vagy szövegduplázás* Visszavont tanulmányok, megjelenési év szerint20052000201020151997Minden visszavonás: 62Hamisítás: 292007Minden visszavonás: 419Csalás: Visszavonások: 2522014Minden visszavonás: 946Csalás: A plagizálással – más szövegének ellopásával vagy másolásával – kapcsolatos visszavonások aránya emelkedett; ennek egyik oka a jelek szerint az iThenticate, egy hálózatközi plágiumfelismerő szolgáltatás 2004-es bevezetése. A hamis szakértői értékelések akkor fordulnak elő, amikor a szerzők olyan e-mail címeket adnak meg a folyóiratoknak, amelyeket ők irányítanak, és így lehetővé teszik számukra, hogy saját kézirataikat értékeljék. A hibás felvételek közé tartoznak a szándékos manipuláció és a tévedés esetei is. *A visszavonások száma 2015 után csökkenni látszik, de szinte biztosan nem teljes; a folyóiratoknak általában több év kell a visszavonások közzétételéhez.

Az ilyen viták aláhúzzák, hogy a visszavonások körüli párbeszéd mennyit fejlődött a közel egy évtizeddel ezelőtti nyugtalanító szalagcímek óta. És bár a Retraction Watch adatbázis új adatokat hozott a vitákhoz, emlékeztetőül szolgál arra is, hogy a kutatók még mindig nem értik a visszavonások elterjedtségét, okait és hatásait. Az adatok hiányosságai miatt “az egész szakirodalmat félre kell érteni” – mondja Bastian. “Senki sem tudja, hogy mi az összes visszavont cikk. A kiadók nem könnyítik meg a helyzetet.”

Bastian hitetlenkedik azon, hogy Oransky és Marcus “szenvedélyes projektje” eddig a legátfogóbb információforrás a tudományos publikálás egyik kulcskérdéséről. A visszavonások adatbázisa “az infrastruktúra valóban komoly és szükséges darabja” – mondja. Az ilyen erőfeszítések hosszú távú finanszírozásának hiánya azonban azt jelenti, hogy az infrastruktúra “törékeny, pedig nem kellene annak lennie.”

Ferric Fang, a seattle-i Washingtoni Egyetem klinikai mikrobiológusa, aki a visszavonásokat tanulmányozta, azt mondja, reméli, hogy az emberek arra fogják használni az új adatbázist, hogy “jobban megvizsgálják, hogyan működik a tudomány, mikor nem működik jól, és hogyan működhetne jobban”. Úgy véli, hogy a visszavonások átlátható közzététele csak segíthet abban, hogy a tudomány erősebbé váljon. “A hibáinkból tanulunk” – mondja – “a hibáinkból.”