Cosa rivela un enorme database di articoli ritrattati sulla “pena di morte” dell’editoria scientifica

Quasi un decennio fa, i titoli dei giornali hanno evidenziato una tendenza preoccupante nella scienza: Il numero di articoli ritirati dalle riviste era aumentato di 10 volte nei 10 anni precedenti. La frode rappresentava circa il 60% di queste ritrattazioni; un colpevole, l’anestesista Joachim Boldt, aveva accumulato quasi 90 ritrattazioni dopo che gli investigatori avevano concluso che aveva fabbricato dati e commesso altre violazioni etiche. Boldt potrebbe anche aver danneggiato i pazienti incoraggiando l’adozione di un trattamento chirurgico non provato. La scienza, a quanto pare, si trovava di fronte a una crisi crescente.

Le notizie allarmanti sono arrivate con alcuni avvertimenti. Anche se le statistiche erano sommarie, le ritrattazioni sembravano essere relativamente rare, coinvolgendo solo circa due su 10.000 articoli. A volte la ragione del ritiro era un errore onesto, non una frode deliberata. E se gli articoli sospetti stessero diventando più comuni – o se le riviste stessero semplicemente migliorando nel riconoscerli e segnalarli – non era chiaro.

Ancora, l’ondata di ritrattazioni ha portato molti osservatori a chiedere agli editori, ai redattori e ad altri guardiani di fare maggiori sforzi per eliminare la cattiva scienza. L’attenzione ha anche contribuito a catalizzare uno sforzo da parte di due giornalisti di salute di lunga data – Ivan Oransky e Adam Marcus, che hanno fondato il blog Retraction Watch, con sede a New York City – per ottenere maggiori informazioni su quanti articoli scientifici sono stati ritirati, e perché. Quella lista, formalmente rilasciata al pubblico questa settimana come un database ricercabile, è ora la più grande e completa del suo genere. Include più di 18.000 articoli ritrattati e abstract di conferenze che risalgono agli anni ’70 (e anche un articolo del 1756 che coinvolge Benjamin Franklin). Non è una finestra perfetta sul mondo delle ritrattazioni. Non tutti gli editori, per esempio, pubblicizzano o etichettano chiaramente gli articoli che hanno ritrattato, o spiegano perché lo hanno fatto. E determinare quale autore è responsabile dei difetti fatali di un articolo può essere difficile.

Ancora, la raccolta di dati ha permesso a Science, lavorando con Retraction Watch, di ottenere una visione insolita in una delle pratiche più consequenziali ma nascoste dell’editoria scientifica. La nostra analisi di circa 10.500 articoli di giornale ritrattati mostra che il numero di ritrattazioni ha continuato a crescere, ma sfida anche alcune preoccupanti percezioni che continuano ancora oggi. L’aumento delle ritrattazioni sembra riflettere non tanto un’epidemia di frode quanto una comunità che cerca di sorvegliare se stessa.

Tra i risultati più notevoli:

Anche se il numero assoluto di ritrattazioni annuali è cresciuto, il tasso di aumento è rallentato.

I dati confermano che il numero assoluto di ritrattazioni è aumentato negli ultimi decenni, da meno di 100 ogni anno prima del 2000 a quasi 1000 nel 2014. Ma le ritrattazioni rimangono relativamente rare: solo circa quattro di ogni 10.000 articoli sono ora ritrattati. E anche se il tasso è circa raddoppiato dal 2003 al 2009, è rimasto a livello dal 2012. In parte, questa tendenza riflette un denominatore crescente: Il numero totale di articoli scientifici pubblicati ogni anno è più che raddoppiato dal 2003 al 2016.

Molto dell’aumento sembra riflettere una migliore supervisione in un numero crescente di riviste.

In generale, il numero di riviste che riportano ritrattazioni è cresciuto. Nel 1997, solo 44 riviste hanno riferito di aver ritrattato un articolo. Nel 2016, quel numero era cresciuto più di 10 volte, fino a 488. Ma tra le riviste che hanno pubblicato almeno una ritrattazione all’anno, il numero medio di ritrattazioni per rivista è rimasto sostanzialmente piatto dal 1997. Dato l’aumento simultaneo delle ritrattazioni, questo modello suggerisce che le riviste stanno collettivamente facendo di più per controllare le carte, dice Daniele Fanelli, un docente di metodi di ricerca alla London School of Economics and Political Science che ha co-scritto diversi studi sulle ritrattazioni. (Il numero per rivista sarebbe aumentato, sostiene, se il crescente numero di ritrattazioni risultasse principalmente perché una maggiore proporzione di articoli è difettosa.)

“Le ritrattazioni sono aumentate perché le pratiche editoriali stanno migliorando e le riviste stanno cercando di incoraggiare gli editori a prendere sul serio le ritrattazioni”, dice Nicholas Steneck, un esperto di etica della ricerca presso l’Università del Michigan ad Ann Arbor. Gli scienziati hanno mantenuto la pressione sulle riviste segnalando i difetti nei documenti su siti web pubblici come PubPeer.

In generale, le riviste con alti fattori di impatto – una misura di quanto spesso i documenti sono citati – hanno preso il comando nel controllare i loro documenti dopo la pubblicazione. Nel 2004, solo un quarto di un campione di riviste biomediche ad alto impatto ha riferito di avere politiche sulla pubblicazione di ritrattazioni, secondo il Journal of the Medical Library Association (JMLA). Poi, nel 2009, il Committee on Publication Ethics (COPE), un gruppo senza scopo di lucro a Eastleigh, Regno Unito, che ora consiglia più di 12.000 editori e direttori di riviste, ha rilasciato una politica modello per come le riviste dovrebbero gestire le ritrattazioni. Entro il 2015, due terzi di 147 riviste ad alto impatto, la maggior parte di loro titoli biomedici, avevano adottato tali politiche, JMLA ha riferito. I sostenitori di tali politiche dicono che possono aiutare i direttori delle riviste a gestire le segnalazioni di articoli difettosi in modo più coerente ed efficace – se le politiche sono seguite. Molte riviste ora usano software per rilevare il plagio nei manoscritti prima della pubblicazione, che può evitare le ritrattazioni dopo.

Ma l’evidenza suggerisce che più redattori dovrebbero fare un passo avanti.

Una parte inquietantemente grande di carte – circa il 2% – contiene immagini scientifiche “problematiche” che gli esperti hanno prontamente identificato come deliberatamente manipolate, secondo uno studio di 20.000 carte pubblicato in mBio nel 2016 da Elisabeth Bik della Stanford University di Palo Alto, California, e colleghi. Inoltre, la nostra analisi ha mostrato che la maggior parte delle 12.000 riviste registrate nel database Web of Science di articoli scientifici ampiamente utilizzato da Clarivate non ha riportato una singola ritrattazione dal 2003.

Relativamente pochi autori sono responsabili di un numero sproporzionato di ritrattazioni.

Solo 500 degli oltre 30.000 autori nominati nel database delle ritrattazioni (che include i co-autori) rappresentano circa un quarto delle 10.500 ritrattazioni che abbiamo analizzato. Cento di questi autori hanno 13 o più ritrattazioni ciascuno. Questi ritiri sono di solito il risultato di una cattiva condotta deliberata, non di errori.

Le nazioni con comunità scientifiche più piccole sembrano avere un problema maggiore con le ritrattazioni.

I tassi di ritrattazione differiscono da paese a paese, e le variazioni possono riflettere fattori idiosincratici, come un gruppo particolarmente attivo di informatori che pubblicizzano documenti sospetti. Tali fattori confondenti rendono più difficile confrontare i tassi di ritrattazione nei vari paesi, dice Fanelli. Ma in generale, gli autori che lavorano in paesi che hanno sviluppato politiche e istituzioni per gestire e far rispettare le regole contro la cattiva condotta della ricerca tendono ad avere meno ritrattazioni, lui e i suoi colleghi hanno riferito in PLOS ONE nel 2015.

Una ritrattazione non sempre segnala un comportamento scientifico scorretto.

Molti scienziati e membri del pubblico tendono ad assumere che una ritrattazione significa che un ricercatore ha commesso una cattiva condotta della ricerca. Ma i dati di Retraction Watch suggeriscono che questa impressione può essere fuorviante.

Il database include una tassonomia dettagliata dei motivi delle ritrattazioni, presi dagli avvisi di ritrattazione (anche se una minoranza di avvisi non specifica il motivo del ritiro). Nel complesso, quasi il 40% degli avvisi di ritrattazione non ha menzionato la frode o altri tipi di cattiva condotta. Invece, i documenti sono stati ritrattati a causa di errori, problemi di riproducibilità, e altre questioni.

Il tasso di ritrattazione si stabilizza

’04*’06’08’10’12’14’16’18012345Tasso di ritrattazione (per 10.000 articoli)*Il tasso sembra diminuire dopo il 2015, ma i numeri sono quasi certamente incompleti a causa dei ritardi nella pubblicazione delle ritrattazioni.

Circa la metà di tutte le ritrattazioni sembrano aver coinvolto fabbricazione, falsificazione o plagio – comportamenti che rientrano nella definizione di cattiva condotta scientifica del governo americano. Comportamenti ampiamente compresi nella scienza come disonesti e non etici, ma che non rientrano nella definizione di cattiva condotta degli Stati Uniti, sembrano rappresentare un altro 10%. Questi comportamenti includono la falsificazione della paternità, le false revisioni tra pari e il mancato ottenimento dell’approvazione da parte delle commissioni di revisione istituzionali per la ricerca su soggetti umani o animali. (Tali ritrattazioni sono aumentate come quota di tutte le ritrattazioni, e alcuni esperti sostengono che gli Stati Uniti dovrebbero espandere la loro definizione di cattiva condotta scientifica per coprire questi comportamenti).

Determinare esattamente perché un documento è stato ritirato può essere difficile. Circa il 2% degli avvisi di ritrattazione, per esempio, danno una ragione vaga che suggerisce una cattiva condotta, come una “violazione etica da parte dell’autore”. In alcuni di questi casi, gli autori preoccupati per i danni alla loro reputazione – e forse anche per la minaccia di cause per diffamazione – hanno convinto gli editori a mantenere il linguaggio vago. Altri avvisi sono falsificati: Dichiarano una ragione specifica, come la mancanza di supervisione della commissione di revisione, ma Retraction Watch ha poi scoperto indipendentemente che gli investigatori avevano effettivamente determinato che l’articolo era fraudolento.

Ironicamente, lo stigma associato alla ritrattazione può rendere la letteratura più difficile da ripulire.

Perché una ritrattazione è spesso considerata un’indicazione di illecito, molti ricercatori sono comprensibilmente sensibili quando uno dei loro articoli è messo in discussione. Questo stigma, tuttavia, potrebbe portare a pratiche che minano gli sforzi per proteggere l’integrità della letteratura scientifica.

I direttori delle riviste possono esitare a dare la pena di morte, anche quando è giustificata. Per esempio, alcuni articoli che una volta avrebbero potuto essere ritrattati per un errore onesto o pratiche problematiche, ora vengono invece “corretti”, dice Hilda Bastian, che in passato ha fatto da consulente per il database PubMed della Biblioteca Nazionale di Medicina degli Stati Uniti e ora sta perseguendo un dottorato in scienze della salute alla Bond University di Gold Coast, Australia. (Il database di Retraction Watch elenca alcune correzioni ma non ne tiene traccia in modo completo). Gli avvisi di correzione possono spesso lasciare i lettori a chiedersi cosa pensare. “È difficile da capire – stai ritrattando l’articolo o no? dice Bastian.

COPE ha emesso delle linee guida per chiarire quando un articolo dovrebbe essere corretto, quando dovrebbe essere ritrattato, e quali dettagli gli avvisi dovrebbero fornire. Ma gli editori devono ancora fare dei giudizi caso per caso, dice Chris Graf, co-presidente del gruppo e direttore dell’integrità della ricerca e dell’etica editoriale alla Wiley, l’editore scientifico con sede a Hoboken, New Jersey.

Uno sforzo concertato per ridurre lo stigma associato alle ritrattazioni potrebbe permettere agli editori di prendere decisioni migliori. “Dobbiamo essere abbastanza chiari sul fatto che una ritrattazione nella letteratura pubblicata non è l’equivalente di, o una scoperta di, cattiva condotta della ricerca”, dice Graf. “

Una riforma utile, dicono alcuni commentatori, sarebbe che le riviste seguissero una nomenclatura standardizzata che darebbe più dettagli negli avvisi di ritrattazione e correzione. Gli avvisi dovrebbero specificare la natura dei problemi di un articolo e chi è responsabile – gli autori o la rivista stessa. Riservare il termine “ritrattazione” per gli articoli che coinvolgono una cattiva condotta intenzionale e concepire alternative per altri problemi potrebbe anche spingere più autori a farsi avanti e segnalare i loro articoli che contengono errori, alcuni esperti postulano.

Il peso della cattiva condotta

Percentuale di tutte le ritrattazioni (%)’97’98’99’00’01’02’03’04’05’06’07’08’09’10’11’12’13’14’15’16’17’18010203040Fake peer reviewFlawed imagesPlagiarism or duplication of text*Retracted papers, by publication year20052000201020151997All retractions: 62Frode: 292007Tutte le ritrattazioni: 419Frode: 2522014Tutte le ritrattazioni: 946Frode: 411FrodeAltra cattiva condottaPossibile cattiva condottaReliabilityErrorMiscellaneous*Changing infractionsThe proportion of retractions involving plagiarism of text-stealing someone else’s or duplicating one’s own-has rising; one cause seems to be the introduction in 2004 of iThenticate, an inter-net-based plagiarism detection service. Le false revisioni paritarie si verificano quando gli autori danno alle riviste indirizzi e-mail che controllano, permettendo loro di rivedere i propri manoscritti. Le immagini difettose includono casi di manipolazione intenzionale e di errore.*I numeri delle ritrattazioni sembrano diminuire dopo il 2015, ma sono quasi certamente incompleti; le riviste tipicamente impiegano diversi anni per pubblicare le ritrattazioni.

Tali discussioni sottolineano quanto il dialogo sulle ritrattazioni sia avanzato da quei titoli inquietanti di quasi dieci anni fa. E anche se il database di Retraction Watch ha portato nuovi dati alle discussioni, serve anche a ricordare quanto i ricercatori ancora non capiscano la prevalenza, le cause e gli impatti delle ritrattazioni. Le lacune nei dati significano che “bisogna prendere l’intera letteratura con un grano di sale”, dice Bastian. “Nessuno sa quali sono tutti gli articoli ritirati. Gli editori non lo rendono facile.”

Bastian è incredulo che il “progetto di passione” di Oransky e Marcus sia, finora, la fonte più completa di informazioni su un problema chiave nell’editoria scientifica. Un database di ritrattazioni “è un pezzo di infrastruttura davvero serio e necessario”, dice. Ma la mancanza di finanziamenti a lungo termine per tali sforzi significa che l’infrastruttura è “fragile, e non dovrebbe esserlo”.”

Ferric Fang, un microbiologo clinico dell’Università di Washington a Seattle che ha studiato le ritrattazioni, dice che spera che la gente usi il nuovo database “per guardare più da vicino come funziona la scienza, quando non funziona bene, e come può funzionare meglio”. E crede che la segnalazione trasparente delle ritrattazioni può solo aiutare a rendere la scienza più forte. “Impariamo”, dice, “dai nostri errori”.