What a massive database of retracted papers reveals about science publishing’s 'death penalty’

Niemal dekadę temu nagłówki gazet zwróciły uwagę na niepokojący trend w nauce: Liczba artykułów wycofanych przez czasopisma wzrosła 10-krotnie w ciągu ostatnich 10 lat. Oszustwa stanowiły około 60% tych wycofań; jeden z przestępców, anestezjolog Joachim Boldt, zgarnął prawie 90 wycofań po tym, jak śledczy doszli do wniosku, że sfabrykował dane i dopuścił się innych naruszeń etycznych. Boldt mógł nawet zaszkodzić pacjentom, zachęcając do stosowania niesprawdzonego leczenia chirurgicznego. Nauka, jak się wydawało, stanęła w obliczu rosnącego kryzysu.

Alarmujące wieści przyszły z pewnymi zastrzeżeniami. Chociaż statystyki były pobieżne, retrakcje wydawały się być stosunkowo rzadkie, obejmując tylko około dwóch z każdych 10,000 papierów. Czasami powodem wycofania był uczciwy błąd, a nie celowe oszustwo. I czy podejrzane papiery stawały się coraz bardziej powszechne, czy też czasopisma po prostu stawały się lepsze w ich rozpoznawaniu i raportowaniu, nie było jasne.

Ciągle, gwałtowny wzrost liczby retrakcji doprowadził wielu obserwatorów do wezwania wydawców, redaktorów i innych strażników do podjęcia większych wysiłków w celu wyeliminowania złej nauki. Uwaga ta pomogła również w podjęciu wysiłku przez dwóch długoletnich dziennikarzy zajmujących się zdrowiem – Ivana Oransky’ego i Adama Marcusa, którzy założyli blog Retraction Watch z siedzibą w Nowym Jorku – aby uzyskać lepszy wgląd w to, jak wiele prac naukowych zostało wycofanych i dlaczego. Zaczęli gromadzić listę retrakcji.

Ta lista, formalnie udostępniona publicznie w tym tygodniu jako baza danych z możliwością wyszukiwania, jest obecnie największą i najbardziej wszechstronną w swoim rodzaju. Zawiera ponad 18,000 wycofanych prac i abstraktów konferencyjnych sięgających lat 70-tych (a nawet jeden papier z 1756 roku dotyczący Benjamina Franklina). Nie jest to idealne okno na świat retrakcji. Nie wszyscy wydawcy, na przykład, publikują lub wyraźnie oznaczają prace, które zostały wycofane, lub wyjaśniają, dlaczego to zrobili. Określenie, który autor jest odpowiedzialny za fatalne wady pracy może być trudne.

Ciągle jednak, te dane pozwoliły Science, współpracując z Retraction Watch, uzyskać niezwykły wgląd w jedną z najbardziej konsekwentnych, ale owianych tajemnicą praktyk wydawnictw naukowych. Nasza analiza około 10,500 wycofanych artykułów z czasopism pokazuje, że liczba wycofanych artykułów wciąż rośnie, ale również rzuca wyzwanie pewnym niepokojącym poglądom, które utrzymują się do dziś. Wzrost liczby retrakcji wydaje się odzwierciedlać nie tyle epidemię oszustw, ile społeczność próbującą się policyjnie.

Wśród najbardziej godnych uwagi ustaleń:

Ale chociaż bezwzględna liczba rocznych retrakcji wzrosła, tempo wzrostu uległo spowolnieniu.

Dane potwierdzają, że bezwzględna liczba retrakcji wzrosła w ciągu ostatnich kilku dekad, od mniej niż 100 rocznie przed 2000 r. Do prawie 1000 w 2014 r. Ale retrakcje pozostają stosunkowo rzadkie: Tylko około czterech z każdych 10.000 papierów jest obecnie wycofywanych. I chociaż wskaźnik ten podwoił się w latach 2003-2009, od 2012 roku utrzymuje się na tym samym poziomie. Po części, trend ten odzwierciedla rosnący mianownik: Całkowita liczba prac naukowych publikowanych rocznie wzrosła ponad dwukrotnie od 2003 do 2016.

Wiele z tego wzrostu wydaje się odzwierciedlać lepszy nadzór w rosnącej liczbie czasopism.

Ogółem, liczba czasopism, które zgłaszają retrakcje, wzrosła. W 1997 r. tylko 44 czasopisma zgłosiły wycofanie papieru. Do 2016 roku liczba ta wzrosła ponad 10-krotnie, do 488. Ale wśród czasopism, które opublikowały co najmniej jedno retraktowanie rocznie, średnia liczba retraktowań na czasopismo pozostała w zasadzie bez zmian od 1997 roku. Biorąc pod uwagę jednoczesny wzrost liczby retrakcji, taki schemat sugeruje, że czasopisma wspólnie robią więcej, aby kontrolować dokumenty, mówi Daniele Fanelli, wykładowca metod badawczych w London School of Economics and Political Science, który był współautorem kilku badań nad retrakcjami. (Jego zdaniem liczba ta wzrosłaby w przeliczeniu na jedno czasopismo, gdyby rosnąca liczba retrakcji wynikała głównie z tego, że coraz więcej prac jest wadliwych.)

„Liczba retrakcji wzrosła, ponieważ praktyki redakcyjne ulegają poprawie, a czasopisma starają się zachęcić redaktorów do poważnego traktowania retrakcji” – mówi Nicholas Steneck, ekspert ds. etyki badań naukowych na Uniwersytecie Michigan w Ann Arbor. Naukowcy zachowali presję na czasopismach, wskazując wady w papierach na publicznych stronach internetowych, takich jak PubPeer.

Ogólnie, czasopisma z wysokimi współczynnikami wpływu – miarą tego, jak często papiery są cytowane – przejęły inicjatywę w pilnowaniu swoich papierów po publikacji. W 2004 roku, tylko jedna czwarta z wybranych czasopism biomedycznych o wysokim współczynniku wpływu zgłosiła posiadanie polityki dotyczącej publikowania retrakcji, zgodnie z Journal of the Medical Library Association (JMLA). Następnie, w 2009 roku, Committee on Publication Ethics (COPE), grupa non-profit z Eastleigh w Wielkiej Brytanii, która obecnie doradza ponad 12 000 redaktorów i wydawców czasopism, opublikowała modelową politykę dotyczącą sposobu, w jaki czasopisma powinny postępować z retrakcjami. Do 2015 r. dwie trzecie ze 147 czasopism o dużym wpływie, z których większość to tytuły biomedyczne, przyjęło taką politykę, donosi JMLA. Zwolennicy takich polityk twierdzą, że mogą one pomóc redaktorom czasopism w bardziej konsekwentnym i skutecznym radzeniu sobie z raportami o wadliwych pracach – o ile polityki te są przestrzegane.

Wydawcy czasopism o niższych współczynnikach wpływu również wydają się podnosić swoje standardy, mówi Steneck. Wiele czasopism używa teraz oprogramowania do wykrywania plagiatów w manuskryptach przed publikacją, co może pozwolić na uniknięcie retrakcji po.

Ale dowody sugerują, że więcej redaktorów powinno podążać w tym kierunku.

Niepokojąco duża część papierów – około 2% – zawiera „problematyczne” obrazy naukowe, które eksperci łatwo zidentyfikowali jako celowo zmanipulowane, zgodnie z badaniem 20 000 papierów opublikowanych w mBio w 2016 r. przez Elisabeth Bik z Uniwersytetu Stanforda w Palo Alto w Kalifornii i kolegów. Co więcej, nasza analiza wykazała, że większość z 12 000 czasopism zarejestrowanych w szeroko stosowanej bazie danych artykułów naukowych Clarivate’s Web of Science nie zgłosiła ani jednego wycofania od 2003 r.

Relatywnie niewielu autorów jest odpowiedzialnych za nieproporcjonalnie dużą liczbę wycofań.

Tylko 500 z ponad 30 000 autorów wymienionych w bazie danych wycofań (która obejmuje współautorów) odpowiada za około jedną czwartą z 10 500 wycofań, które przeanalizowaliśmy. Stu z tych autorów ma na koncie po 13 lub więcej wycofań. Te wycofania są zazwyczaj wynikiem celowego wykroczenia, a nie błędów.

Narody o mniejszych społecznościach naukowych wydają się mieć większy problem z retrakcjami.

Stopy retrakcji różnią się w zależności od kraju, a różnice mogą odzwierciedlać czynniki idiosynkratyczne, takie jak szczególnie aktywna grupa sygnalistów publikujących podejrzane prace. Takie czynniki zakłócające sprawiają, że porównywanie wskaźników retrakcji w różnych krajach jest trudniejsze, mówi Fanelli. Ale ogólnie rzecz biorąc, autorzy pracujący w krajach, które rozwinęły politykę i instytucje do obsługi i egzekwowania zasad przeciwko błędom badawczym mają tendencję do posiadania mniejszej liczby retrakcji, on i jego koledzy zgłosili w PLOS ONE w 2015 r.

A retraction does not always signal scientific misbehavior.

Many scientists and members of the public tend to assume a retraction means a researcher has committed research misconduct. Ale dane Retraction Watch sugerują, że wrażenie to może być mylące.

Baza danych zawiera szczegółową taksonomię powodów retrakcji, zaczerpniętą z zawiadomień o retrakcji (chociaż mniejszość zawiadomień nie określa powodu wycofania). Ogólnie rzecz biorąc, prawie 40% ogłoszeń o wycofaniu prac nie wspominało o oszustwach lub innych rodzajach wykroczeń. Zamiast tego, prace były wycofywane z powodu błędów, problemów z odtwarzalnością i innych kwestii.

Stopień wycofywania się

’04*’06’08’10’12’14’16’18012345Współczynnik retrakcji (na 10,000 prac)*Wskaźnik wydaje się spadać po 2015 roku, ale liczby są prawie na pewno niekompletne z powodu opóźnień w publikacji retrakcji.

Około połowa wszystkich retrakcji wydaje się wiązać z fabrykacją, fałszerstwem lub plagiatem – zachowaniami, które mieszczą się w definicji wykroczenia naukowego rządu USA. Zachowania powszechnie uznawane w nauce za nieuczciwe i nieetyczne, które jednak nie mieszczą się w definicji wykroczenia naukowego rządu USA, wydają się stanowić kolejne 10%. Zachowania te obejmują sfałszowane autorstwo, fałszywe recenzje i nieuzyskanie zgody od instytucjonalnych komisji rewizyjnych na badania na ludziach lub zwierzętach. (Takie wycofania wzrosły jako część wszystkich wycofań, a niektórzy eksperci twierdzą, że Stany Zjednoczone powinny rozszerzyć swoją definicję wykroczenia naukowego, aby objąć te zachowania.)

Determining exactly why a paper was withdrawn can be challenging. Około 2% zawiadomień o wycofaniu, na przykład, podaje niejasny powód, który sugeruje niewłaściwe postępowanie, takie jak „etyczne naruszenie przez autora”. W niektórych z tych przypadków, autorzy obawiający się zniszczenia swojej reputacji – a może nawet groźby pozwu o zniesławienie – przekonali redaktorów do utrzymania niejasnego języka. Inne zawiadomienia są sfałszowane: Podają konkretny powód, taki jak brak nadzoru komisji rewizyjnej, ale Retraction Watch później niezależnie odkrył, że śledczy faktycznie ustalili, że papier jest fałszywy.

Ironicznie, piętno związane z retrakcją może sprawić, że literatura będzie trudniejsza do wyczyszczenia.

Ponieważ retrakcja jest często uważana za wskazanie niewłaściwego postępowania, wielu badaczy jest zrozumiale wrażliwych, kiedy jeden z ich papierów jest kwestionowany. To piętno, jednakże, może prowadzić do praktyk, które osłabiają wysiłki w celu ochrony integralności literatury naukowej.

Edytorzy czasopism mogą wahać się przed wydaniem kary śmierci – nawet jeśli jest ona uzasadniona. Na przykład, niektóre prace, które kiedyś mogły być wycofane za uczciwy błąd lub problematyczne praktyki są teraz „poprawiane” zamiast tego, mówi Hilda Bastian, która wcześniej konsultowała bazę danych PubMed amerykańskiej Narodowej Biblioteki Medycyny, a teraz robi doktorat z nauk medycznych na Bond University w Gold Coast, Australia. (Baza danych Retraction Watch wymienia niektóre korekty, ale nie śledzi ich kompleksowo). Ogłoszenia o poprawkach często pozostawiają czytelników zastanawiających się, co myśleć. „Trudno jest wypracować – czy wycofujesz artykuł, czy nie?” mówi Bastian.

COPE wydało wytyczne, aby wyjaśnić, kiedy papier powinien być poprawiony, kiedy powinien być wycofany, i jakie szczegóły powinny zawierać zawiadomienia. Ale redaktorzy nadal muszą podejmować indywidualne decyzje, mówi Chris Graf, współprzewodniczący grupy i dyrektor ds. integralności badań i etyki wydawniczej w Wiley, wydawcy naukowym z siedzibą w Hoboken, New Jersey.

Zgrany wysiłek w celu zmniejszenia piętna związanego z wycofywaniem prac mógłby pozwolić redaktorom na podejmowanie lepszych decyzji. „Musimy być całkiem jasne, że retrakcja w opublikowanej literaturze nie jest odpowiednikiem, lub znalezieniem, niewłaściwego postępowania badawczego”, mówi Graf. „Ma służyć celowi, którym jest skorygowanie opublikowanego zapisu.”

Jedną pomocną reformą, jak twierdzą niektórzy komentatorzy, byłoby dla czasopism podążanie za znormalizowaną nomenklaturą, która podawałaby więcej szczegółów w zawiadomieniach o retrakcji i korekcie. Zawiadomienia powinny określać charakter problemów papieru i kto był odpowiedzialny – autorzy lub samo czasopismo. Niektórzy eksperci uważają, że zastrzeżenie terminu „retrakcja” dla prac dotyczących celowego wykroczenia i opracowanie alternatyw dla innych problemów może również skłonić większą liczbę autorów do wystąpienia i oznaczenia swoich prac zawierających błędy.

Obciążenie wykroczenia

Procent wszystkich wycofań (%)’97’98’99’00’01’02’03’04’05’06’07’08’09’10’11’12’13’14’15’16’17’18010203040Fake peer reviewFlawed imagesPlagiat lub duplication of text*Retracted papers, by publication year20052000201020151997All retractions: 62Fraud: 292007Wszystkie wycofania: 419Nadużycia: 2522014Wszystkie retrakcje: 946Nadużycia: 411FraudOther misconductPossible misconductReliabilityErrorMiscellaneous*Changing infraractionsThe proportion of retractions involving plagiarism of text-stealing someone else’s or duplicating one’s own-has increased; one cause appears to be the introduction in 2004 of iThenticate, an inter-net-based plagiarism detection service. Fałszywe recenzje pojawiają się, gdy autorzy podają czasopismom kontrolowane przez siebie adresy e-mail, pozwalając im na recenzowanie własnych manuskryptów. Flawed images include instances of intentional manipulation and of error.*Retraction numbers appear to decline after 2015, but are almost certainly incomplete; journals typically take several years to publish retractions.

Takie dyskusje podkreślają, jak daleko dialog wokół retrakcji posunął się naprzód od czasu tych niepokojących nagłówków sprzed prawie dekady. I chociaż baza danych Retraction Watch wniosła nowe dane do dyskusji, służy ona również jako przypomnienie, jak wiele badacze wciąż nie rozumieją na temat powszechności, przyczyn i skutków retrakcji. Braki w danych oznaczają, że „trzeba brać całą literaturę z przymrużeniem oka” – mówi Bastian. „Nikt nie wie, jakie są wszystkie wycofane artykuły. Wydawcy tego nie ułatwiają.”

Bastian jest niedowierzający, że „projekt pasji” Oransky’ego i Marcusa jest, jak dotąd, najbardziej wyczerpującym źródłem informacji na temat kluczowej kwestii w publikacjach naukowych. Baza danych o retrakcjach „to naprawdę poważny i potrzebny element infrastruktury” – mówi. Ale brak długoterminowego finansowania takich działań oznacza, że infrastruktura ta jest „krucha, a nie powinna być”.”

Ferric Fang, mikrobiolog kliniczny na University of Washington w Seattle, który badał retrakcje, mówi, że ma nadzieję, że ludzie będą korzystać z nowej bazy danych „aby przyjrzeć się bliżej temu, jak działa nauka, kiedy nie działa dobrze i jak może działać lepiej”. I wierzy, że przejrzyste raportowanie retrakcji może tylko pomóc uczynić naukę silniejszą. „Uczymy się,” mówi, „na naszych błędach.”

.