Co prozrazuje masivní databáze odvolaných článků o „trestu smrti“ ve vědeckém publikování

Před téměř deseti lety upozornily novinové titulky na znepokojivý trend ve vědě: Během předchozích deseti let se počet článků, které časopisy odvolaly, zvýšil desetinásobně. Přibližně 60 % těchto odvolání tvořily podvody; jeden z pachatelů, anesteziolog Joachim Boldt, nasbíral téměř 90 odvolání poté, co vyšetřovatelé dospěli k závěru, že falšoval údaje a dopustil se dalších etických porušení. Boldt možná dokonce poškodil pacienty tím, že podporoval přijetí neověřené chirurgické léčby. Zdálo se, že věda čelí krizi jako houba po dešti.

Tyto alarmující zprávy přišly s určitými výhradami. Ačkoli statistiky byly kusé, zdálo se, že retrakce jsou poměrně vzácné a týkají se jen asi dvou z každých 10 000 prací. Někdy byl důvodem stažení poctivý omyl, nikoli úmyslný podvod. A nebylo jasné, zda se podezřelé práce stávají častějšími, nebo se časopisy jen zlepšují v jejich rozpoznávání a oznamování.

Přesto prudký nárůst počtu stažení vedl mnoho pozorovatelů k výzvě vydavatelům, editorům a dalším kontrolorům, aby vyvinuli větší úsilí k potlačení špatné vědy. Tato pozornost také pomohla katalyzovat snahu dvou dlouholetých novinářů z oblasti zdravotnictví – Ivana Oranského a Adama Marcuse, kteří založili blog Retraction Watch se sídlem v New Yorku – získat více informací o tom, kolik vědeckých prací bylo staženo a proč. Začali sestavovat seznam stažených vědeckých prací.

Tento seznam, který byl tento týden oficiálně zveřejněn jako databáze s možností vyhledávání, je nyní největší a nejobsáhlejší svého druhu. Obsahuje více než 18 000 odvolaných článků a abstraktů z konferencí ze 70. let 20. století (a dokonce i jeden článek z roku 1756 týkající se Benjamina Franklina). Není to dokonalé okno do světa retrakcí. Ne všichni vydavatelé například zveřejňují nebo jasně označují práce, které stáhli, nebo vysvětlují, proč tak učinili. A určit, který autor je zodpovědný za fatální nedostatky článku, může být obtížné.

Přesto tento soubor dat umožnil časopisu Science ve spolupráci s organizací Retraction Watch získat neobvyklý vhled do jedné z nejdůslednějších, ale zahalených praktik vědeckého publikování. Naše analýza přibližně 10 500 stažených časopiseckých článků ukazuje, že počet retrakcí stále roste, ale také zpochybňuje některé znepokojivé názory, které přetrvávají dodnes. Zdá se, že nárůst počtu retrakcí neodráží ani tak epidemii podvodů, jako spíše komunitu, která se snaží sama sebe hlídat.

Mezi nejvýznamnější zjištění patří:

Ačkoli absolutní počet ročních retrakcí vzrostl, tempo nárůstu se zpomalilo.

Údaje potvrzují, že absolutní počet retrakcí za posledních několik desetiletí vzrostl z méně než 100 ročně před rokem 2000 na téměř 1000 v roce 2014. Retrakce však zůstávají relativně vzácné: pouze asi čtyři z každých 10 000 článků jsou nyní retrahovány. A přestože se tento počet v letech 2003 až 2009 zhruba zdvojnásobil, od roku 2012 zůstává na stejné úrovni. Tento trend částečně odráží rostoucí jmenovatel:

Větší část tohoto nárůstu zřejmě odráží zlepšený dohled v rostoucím počtu časopisů.

Celkově vzrostl počet časopisů, které hlásí retrakce. V roce 1997 hlásilo stažení článku pouze 44 časopisů. Do roku 2016 se tento počet zvýšil více než desetkrát na 488. Ale mezi časopisy, které každoročně zveřejnily alespoň jeden retrakční článek, zůstal průměrný počet retrakcí na časopis od roku 1997 v podstatě stejný. Vzhledem k současnému nárůstu počtu retrakcí tento vzorec naznačuje, že časopisy společně dělají více pro kontrolu článků, říká Daniele Fanelli, lektor výzkumných metod na London School of Economics and Political Science, který je spoluautorem několika studií o retrakcích. (Počet na časopis by se podle něj zvýšil, pokud by rostoucí počet retrakcí byl primárně důsledkem toho, že zvýšený podíl prací je chybný.)

„Počet retrakcí se zvýšil, protože se zlepšují redakční postupy a časopisy se snaží povzbudit redaktory, aby retrakce brali vážně,“ říká Nicholas Steneck, odborník na etiku výzkumu z Michiganské univerzity v Ann Arbor. Vědci udržují tlak na časopisy tím, že poukazují na nedostatky v článcích na veřejných webových stránkách, jako je PubPeer.

Obecně platí, že časopisy s vysokým impakt faktorem – měřítkem toho, jak často jsou články citovány – se ujaly vedení v kontrole svých článků po jejich zveřejnění. Podle časopisu Journal of the Medical Library Association (JMLA) v roce 2004 pouze čtvrtina z vybraných biomedicínských časopisů s vysokým impaktem uvedla, že má zásady pro zveřejňování retrakcí. V roce 2009 pak Výbor pro publikační etiku (COPE), nezisková skupina z Eastleighu ve Velké Británii, která nyní radí více než 12 000 redaktorů a vydavatelů časopisů, vydal vzorové zásady, jak by časopisy měly postupovat při retrakcích. Do roku 2015 přijaly takové zásady dvě třetiny ze 147 vysoce impaktovaných časopisů, většinou biomedicínských titulů, uvedla JMLA. Zastánci těchto zásad tvrdí, že mohou pomoci vydavatelům časopisů důsledněji a efektivněji řešit zprávy o chybných článcích – pokud jsou tyto zásady dodržovány.

Zdá se, že své standardy zpřísňují i časopisy s nižšími impakt faktory, říká Steneck. Mnoho časopisů nyní používá software k odhalování plagiátorství v rukopisech před jejich zveřejněním, což může zabránit následnému odvolání.

Důkazy však naznačují, že by mělo přitvrdit více editorů.

Znepokojivě velká část článků – asi 2 % – obsahuje „problematické“ vědecké snímky, které odborníci snadno identifikovali jako záměrně zmanipulované, vyplývá ze studie 20 000 článků, kterou v roce 2016 v časopise mBio publikovala Elisabeth Biková ze Stanfordovy univerzity v kalifornském Palo Altu a její kolegové. Naše analýza navíc ukázala, že většina z 12 000 časopisů evidovaných v hojně využívané databázi vědeckých článků Web of Science společnosti Clarivate od roku 2003 nezaznamenala ani jedno retrakci.

Relativně málo autorů je zodpovědných za neúměrný počet retrakcí.

Pouze 500 z více než 30 000 autorů uvedených v databázi retrakcí (která zahrnuje i spoluautory) má na svědomí přibližně čtvrtinu z 10 500 retrakcí, které jsme analyzovali. Sto z těchto autorů má každý 13 a více retrakcí. Tato stažení jsou obvykle důsledkem úmyslného pochybení, nikoliv chyb.

Zdá se, že země s menšími vědeckými komunitami mají s retrakcemi větší problém.

Míra retrakcí se v jednotlivých zemích liší a rozdíly mohou odrážet idiosynkratické faktory, jako je například obzvláště aktivní skupina whistleblowerů, kteří zveřejňují podezřelé práce. Tyto matoucí faktory ztěžují porovnávání míry retrakcí v různých zemích, říká Fanelli. Obecně však platí, že autoři pracující v zemích, které mají rozvinuté politiky a instituce pro řešení a prosazování pravidel proti nesprávnému vědeckému chování, mají tendenci k menšímu počtu retrakcí, uvedl se svými kolegy v časopise PLOS ONE v roce 2015.

Retrakce nemusí vždy signalizovat nesprávné vědecké chování.

Mnozí vědci a veřejnost mají tendenci předpokládat, že retrakce znamená, že se vědec dopustil nesprávného vědeckého chování. Údaje Retraction Watch však naznačují, že tento dojem může být zavádějící.

Databáze obsahuje podrobnou taxonomii důvodů stažení, převzatou z oznámení o stažení (ačkoli menšina oznámení důvod stažení neuvádí). Celkově téměř 40 % oznámení o stažení neuvádí podvod nebo jiný druh pochybení. Místo toho byly práce staženy kvůli chybám, problémům s reprodukovatelností a dalším problémům.

Počet retrakcí se vyrovnává

’04*’06’08’10’12’14’16’18012345Míra retrakcí (na 10 000 prací)*Míra se zdá, že po roce 2015 klesá, ale čísla jsou téměř jistě neúplná kvůli zpoždění při zveřejňování retrakcí.

Přibližně polovina všech retrakcí skutečně zřejmě zahrnovala fabrikaci, falšování nebo plagiátorství – chování, které spadá pod vládní definici vědeckého pochybení USA. Zdá se, že dalších 10 % tvoří chování, které je ve vědě obecně chápáno jako nečestné a neetické, ale které nespadá pod definici amerického pochybení. Mezi tato jednání patří falešné autorství, falešné recenze a nezískání souhlasu institucionální revizní komise pro výzkum na lidech nebo zvířatech. (Podíl těchto stažení na všech staženích se zvýšil a někteří odborníci tvrdí, že Spojené státy by měly rozšířit definici vědeckého pochybení tak, aby zahrnovala i tato jednání.)

Určit přesně, proč byla práce stažena, může být náročné. Například asi ve 2 % oznámení o stažení je uveden vágní důvod, který naznačuje pochybení, například „etické porušení ze strany autora“. V některých z těchto případů autoři, kteří se obávají poškození své pověsti – a možná i hrozby žaloby za pomluvu – přesvědčili editory, aby formulaci ponechali vágní. Jiná oznámení jsou zkreslená:

Ironicky řečeno, stigma spojené s retrakcí může ztížit očistu literatury.

Protože retrakce je často považována za známku pochybení, mnoho vědců je pochopitelně citlivých, když je některá z jejich prací zpochybněna. Toto stigma však může vést k praktikám, které podkopávají snahy o ochranu integrity vědecké literatury.

Vydavatelé časopisů mohou váhat s udělením trestu smrti – i když je oprávněný. Například některé články, které by kdysi mohly být staženy kvůli poctivé chybě nebo problematickým postupům, jsou nyní místo toho „opravovány“, říká Hilda Bastianová, která dříve konzultovala databázi PubMed americké Národní lékařské knihovny a nyní studuje doktorát v oboru zdravotnictví na Bondově univerzitě v australském Gold Coastu. (Databáze Retraction Watch uvádí některé opravy, ale nesleduje je komplexně.) Oznámení o opravách mohou často nechat čtenáře na pochybách, co si mají myslet. „Je těžké se v tom vyznat – odvoláváte článek, nebo ne?“ ptají se. Bastian říká.

COPE vydala pokyny, které objasňují, kdy by měl být článek opraven, kdy by měl být stažen a jaké podrobnosti by měly být v oznámeních uvedeny. Podle Chrise Grafa, spolupředsedy skupiny a ředitele pro integritu výzkumu a publikační etiku ve vědeckém nakladatelství Wiley se sídlem v Hobokenu ve státě New Jersey, však musí redaktoři stále rozhodovat případ od případu.

Soustředěná snaha o snížení stigmatizace spojené s retrakcemi by mohla redaktorům umožnit lepší rozhodování. „Musíme si zcela jasně uvědomit, že retrakce v publikované literatuře není ekvivalentem nebo zjištěním pochybení ve výzkumu,“ říká Graf. „Má sloužit určitému účelu, kterým je oprava publikovaného záznamu.“

Jednou z užitečných reforem by podle některých komentátorů bylo, kdyby se časopisy řídily standardizovanou nomenklaturou, která by v oznámeních o retrakci a opravě uváděla více podrobností. V oznámeních by měla být uvedena povaha problémů článku a kdo je za ně zodpovědný – autoři nebo samotný časopis. Vyhrazení frapantního termínu „retrakce“ pro práce zahrnující úmyslné pochybení a vymyšlení alternativ pro ostatní problémy by také mohlo přimět více autorů, aby se přihlásili a označili své práce, které obsahují chyby, domnívají se někteří odborníci.

Břemeno pochybení

Podíl všech retrakcí (%)’97’98’99’00’01’02’03’04’05’06’07’08’09’10’11’12’13’14’15’16’17’18010203040Falešné peer reviewZkreslené obrázkyPlagiátorství nebo duplikace textu*Retrahované práce, podle roku vydání20052000201020151997Všechny retrakce: 62Podvody: Všechny retrakce: 292007Všechny retrakce: 419Podvodů: Všechny retrakce: 2522014Všechny retrakce: 946Podvodů: Jednou z příčin je zřejmě zavedení služby iThenticate, služby pro odhalování plagiátů založené na interní síti, v roce 2004: 411PodvodyOstatní pochybeníMožná pochybeníSpolehlivostChybyRůzné*Změny přestupkůPodíl retrakcí zahrnujících plagiátorství textu – krádež cizího textu nebo duplikování vlastního – se zvýšil. K falešným recenzím dochází tehdy, když autoři poskytnou časopisům e-mailové adresy, které ovládají, a umožní jim recenzovat své vlastní rukopisy. Chybné snímky zahrnují případy záměrné manipulace a omylů.* Zdá se, že počty retrakcí po roce 2015 klesají, ale téměř jistě nejsou úplné; časopisům obvykle trvá několik let, než retrakce zveřejní.

Takové diskuse podtrhují, jak daleko pokročil dialog kolem retrakcí od oněch znepokojivých titulků před téměř deseti lety. A přestože databáze Retraction Watch přinesla do diskusí nové údaje, slouží také jako připomínka toho, kolik toho vědci stále nechápou o výskytu, příčinách a dopadech retrakcí. Mezery v údajích znamenají, že „musíte brát celou literaturu s rezervou“, říká Bastian. „Nikdo neví, jaké všechny články byly staženy. Vydavatelé to neusnadňují.“

Bastian je nedůvěřivý, že Oranského a Marcusův „vášnivý projekt“ je zatím nejkomplexnějším zdrojem informací o klíčovém problému vědeckého publikování. Databáze retrakcí „je skutečně seriózní a potřebná součást infrastruktury,“ říká. Nedostatek dlouhodobého financování takového úsilí však znamená, že infrastruktura je „křehká, a to by neměla být.“

Ferric Fang, klinický mikrobiolog z Washingtonské univerzity v Seattlu, který studoval retrakce, říká, že doufá, že lidé budou novou databázi používat, „aby se blíže podívali na to, jak věda funguje, kdy nefunguje správně a jak může fungovat lépe.“ A věří, že transparentní informování o retrakcích může jen přispět k posílení vědy. „Učíme se,“ říká, „z našich chyb.“