Une meilleure surveillance éditoriale, pas plus d’articles défectueux, pourrait expliquer une avalanche de rétractations
Histoire connexe
Les études frauduleuses d’un scientifique mettent les patients en danger
Histoire connexe
Des chiens de garde bénévoles ont fait grimper un petit pays dans les classements
Histoire connexe
Un éditeur, plus de 7000 rétractations
Histoire connexe
Des retombées pour les coauteurs
Méthodologie
À propos de ces données
Il y a près de dix ans, les gros titres ont mis en évidence une tendance inquiétante dans le domaine scientifique : Le nombre d’articles rétractés par les revues avait été multiplié par 10 au cours des 10 années précédentes. La fraude était à l’origine de quelque 60 % de ces rétractations ; l’un des contrevenants, l’anesthésiste Joachim Boldt, avait accumulé près de 90 rétractations après que des enquêteurs eurent conclu qu’il avait fabriqué des données et commis d’autres violations éthiques. Boldt a peut-être même porté préjudice à des patients en encourageant l’adoption d’un traitement chirurgical non éprouvé. La science, semblait-il, était confrontée à une crise grandissante.
Les nouvelles alarmantes étaient accompagnées de certaines mises en garde. Bien que les statistiques soient sommaires, les rétractations semblaient être relativement rares, ne concernant qu’environ deux articles sur 10 000. Parfois, la raison du retrait était une erreur honnête, et non une fraude délibérée. Il n’a pas été possible de déterminer si les articles suspects étaient de plus en plus courants ou si les revues étaient simplement plus aptes à les reconnaître et à les signaler.
Cependant, la vague de rétractations a incité de nombreux observateurs à demander aux éditeurs, rédacteurs et autres gardiens de faire davantage d’efforts pour éradiquer la mauvaise science. Cette attention a également contribué à catalyser les efforts de deux journalistes de longue date spécialisés dans la santé, Ivan Oransky et Adam Marcus, qui ont fondé le blog Retraction Watch, basé à New York, afin de mieux comprendre combien d’articles scientifiques étaient retirés et pourquoi. Ils ont commencé à dresser une liste des rétractations.
Cette liste, officiellement rendue publique cette semaine sous la forme d’une base de données consultable, est désormais la plus importante et la plus complète de son genre. Elle comprend plus de 18 000 articles et résumés de conférence rétractés remontant aux années 1970 (et même un article de 1756 impliquant Benjamin Franklin). Il ne s’agit pas d’une fenêtre parfaite sur le monde des rétractations. Tous les éditeurs, par exemple, ne publient pas ou n’étiquettent pas clairement les articles qu’ils ont rétractés, ni n’expliquent pourquoi ils l’ont fait. Et il peut être difficile de déterminer quel auteur est responsable des défauts fatals d’un article.
Cependant, la masse de données a permis à Science, en collaboration avec Retraction Watch, d’obtenir des informations inhabituelles sur l’une des pratiques les plus importantes mais les plus secrètes de l’édition scientifique. Notre analyse d’environ 10 500 articles de revues rétractées montre que le nombre de rétractations a continué à augmenter, mais elle remet également en question certaines perceptions inquiétantes qui perdurent aujourd’hui. L’augmentation des rétractations semble refléter non pas tant une épidémie de fraude qu’une communauté qui tente de se policer elle-même.
Parmi les résultats les plus notables :
Bien que le nombre absolu de rétractations annuelles ait augmenté, le taux d’augmentation a ralenti.
Les données confirment que le nombre absolu de rétractations a augmenté au cours des dernières décennies, passant de moins de 100 par an avant 2000 à près de 1000 en 2014. Mais les rétractations restent relativement rares : seuls quatre articles sur 10 000 environ sont aujourd’hui rétractés. Et bien que le taux ait à peu près doublé entre 2003 et 2009, il est resté stable depuis 2012. Cette tendance reflète en partie l’augmentation du dénominateur : Le nombre total d’articles scientifiques publiés annuellement a plus que doublé de 2003 à 2016.
Une grande partie de cette hausse semble refléter une meilleure surveillance dans un nombre croissant de revues.
Dans l’ensemble, le nombre de revues qui signalent des rétractations a augmenté. En 1997, seulement 44 revues ont déclaré avoir rétracté un article. En 2016, ce nombre a été multiplié par plus de 10, pour atteindre 488. Mais parmi les revues qui ont publié au moins une rétractation par an, le nombre moyen de rétractations par revue est resté largement stable depuis 1997. Compte tenu de l’augmentation simultanée du nombre de rétractations, cette tendance suggère que les revues font collectivement plus d’efforts pour contrôler les articles, explique Daniele Fanelli, maître de conférences en méthodes de recherche à la London School of Economics and Political Science, qui a coécrit plusieurs études sur les rétractations. (Le nombre de rétractations par journal aurait augmenté, selon lui, si le nombre croissant de rétractations résultait principalement du fait qu’une proportion accrue d’articles est défectueuse.)
« Les rétractations ont augmenté parce que les pratiques éditoriales s’améliorent et que les journaux essaient d’encourager les éditeurs à prendre les rétractations au sérieux », déclare Nicholas Steneck, expert en éthique de la recherche à l’Université du Michigan à Ann Arbor. Les scientifiques ont maintenu la pression sur les revues en signalant les défauts des articles sur des sites Web publics tels que PubPeer.
En général, les revues ayant des facteurs d’impact élevés – une mesure de la fréquence à laquelle les articles sont cités – ont pris l’initiative de contrôler leurs articles après leur publication. En 2004, seulement un quart d’un échantillon de revues biomédicales à fort facteur d’impact a déclaré avoir des politiques sur les rétractations de publication, selon le Journal of the Medical Library Association (JMLA). Puis, en 2009, le Committee on Publication Ethics (COPE), un groupe à but non lucratif situé à Eastleigh, au Royaume-Uni, qui conseille aujourd’hui plus de 12 000 rédacteurs en chef et éditeurs de revues, a publié un modèle de politique sur la manière dont les revues devraient traiter les rétractations. En 2015, deux tiers des 147 revues à fort impact, dont la plupart des titres biomédicaux, avaient adopté de telles politiques, selon le JMLA. Les partisans de ces politiques disent qu’elles peuvent aider les rédacteurs en chef des revues à traiter les rapports d’articles défectueux de manière plus cohérente et plus efficace – si les politiques sont suivies.
Les revues ayant des facteurs d’impact plus faibles semblent également renforcer leurs normes, dit Steneck. De nombreuses revues utilisent maintenant des logiciels pour détecter le plagiat dans les manuscrits avant la publication, ce qui peut éviter des rétractations après.
Mais les preuves suggèrent que davantage d’éditeurs devraient intensifier leurs efforts.
Une part inquiétante des articles – environ 2 % – contient des images scientifiques « problématiques » que les experts ont facilement identifiées comme étant délibérément manipulées, selon une étude de 20 000 articles publiée dans mBio en 2016 par Elisabeth Bik de l’Université Stanford à Palo Alto, en Californie, et ses collègues. Qui plus est, notre analyse a montré que la plupart des 12 000 revues enregistrées dans la base de données d’articles scientifiques Web of Science de Clarivate, largement utilisée, n’ont pas signalé une seule rétractation depuis 2003.
Des auteurs relativement peu nombreux sont responsables d’un nombre disproportionné de rétractations.
Seulement 500 des plus de 30 000 auteurs nommés dans la base de données des rétractations (qui inclut les coauteurs) sont responsables d’environ un quart des 10 500 rétractations que nous avons analysées. Une centaine de ces auteurs ont chacun 13 rétractations ou plus. Ces retraits sont généralement le résultat d’une mauvaise conduite délibérée, et non d’erreurs.
Les nations avec des communautés scientifiques plus petites semblent avoir un plus grand problème avec les rétractions.
Les taux de rétraction diffèrent selon les pays, et les variations peuvent refléter des facteurs idiosyncratiques, tels qu’un groupe particulièrement actif de dénonciateurs publiant des articles suspects. De tels facteurs de confusion rendent la comparaison des taux de rétractation entre les pays plus difficile, dit Fanelli. Mais en général, les auteurs travaillant dans des pays qui ont développé des politiques et des institutions pour traiter et faire respecter les règles contre l’inconduite scientifique ont tendance à avoir moins de rétractations, a-t-il rapporté avec ses collègues dans PLOS ONE en 2015.
Une rétractation ne signale pas toujours un mauvais comportement scientifique.
Beaucoup de scientifiques et de membres du public ont tendance à supposer qu’une rétractation signifie qu’un chercheur a commis une inconduite scientifique. Mais les données de Retraction Watch suggèrent que cette impression peut être trompeuse.
La base de données comprend une taxonomie détaillée des raisons des rétractations, tirée des avis de rétractation (bien qu’une minorité d’avis ne précise pas la raison du retrait). Dans l’ensemble, près de 40 % des avis de rétractation ne mentionnaient pas de fraude ou d’autres types d’inconduite. Au lieu de cela, les articles ont été rétractés en raison d’erreurs, de problèmes de reproductibilité et d’autres questions.
Le taux de rétractation se stabilise
Bien que le nombre de rétractations ait explosé après 1997, le pourcentage de tous les articles rétractés a augmenté plus lentement et s’est stabilisé après 2012.
Environ la moitié de toutes les rétractations semblent avoir impliqué la fabrication, la falsification ou le plagiat – des comportements qui relèvent de la définition de l’inconduite scientifique du gouvernement américain. Les comportements largement considérés comme malhonnêtes et contraires à l’éthique dans le milieu scientifique, mais qui ne relèvent pas de la définition américaine de l’inconduite, semblent représenter 10 % supplémentaires. Ces comportements comprennent la falsification de la qualité d’auteur, les faux examens par les pairs et la non-obtention de l’approbation des comités d’examen institutionnels pour les recherches sur des sujets humains ou des animaux. (Ces rétractations ont augmenté en tant que part de toutes les rétractations, et certains experts soutiennent que les États-Unis devraient élargir leur définition de l’inconduite scientifique pour couvrir ces comportements.)
Déterminer exactement pourquoi un article a été retiré peut être difficile. Environ 2 % des avis de rétractation, par exemple, donnent une raison vague qui suggère une inconduite, telle qu’une « violation éthique par l’auteur ». Dans certains cas, des auteurs inquiets de l’atteinte à leur réputation – et peut-être même de la menace de poursuites pour diffamation – ont persuadé les éditeurs de rester vagues. D’autres avis sont truqués : Ils indiquent une raison spécifique, telle que le manque de surveillance du comité de révision, mais Retraction Watch a découvert plus tard, de manière indépendante, que les enquêteurs avaient en fait déterminé que l’article était frauduleux.
Ironiquement, la stigmatisation associée à la rétractation peut rendre la littérature plus difficile à nettoyer.
Parce qu’une rétractation est souvent considérée comme une indication de méfait, de nombreux chercheurs sont sensibles, à juste titre, lorsqu’un de leurs articles est remis en question. Cette stigmatisation, cependant, pourrait conduire à des pratiques qui sapent les efforts visant à protéger l’intégrité de la littérature scientifique.
Les rédacteurs de revues peuvent hésiter à prononcer la peine de mort – même lorsqu’elle est justifiée. Par exemple, certains articles qui, autrefois, auraient pu être rétractés pour une erreur honnête ou des pratiques problématiques sont maintenant « corrigés » à la place, dit Hilda Bastian, qui était auparavant consultante sur la base de données PubMed de la National Library of Medicine des États-Unis et qui poursuit maintenant un doctorat en sciences de la santé à la Bond University de Gold Coast, en Australie. (La base de données Retraction Watch répertorie certaines corrections mais n’en assure pas un suivi exhaustif). Les avis de correction peuvent souvent laisser les lecteurs se demander ce qu’ils doivent penser. « C’est difficile de s’y retrouver – est-ce que vous rétractez l’article ou non ? ». Bastian dit.
COPE a publié des directives pour clarifier quand un article doit être corrigé, quand il doit être rétracté, et quels détails les avis doivent fournir. Mais les éditeurs doivent encore juger au cas par cas, dit Chris Graf, coprésident du groupe et directeur de l’intégrité de la recherche et de l’éthique de l’édition chez Wiley, l’éditeur scientifique basé à Hoboken, dans le New Jersey.
Un effort concerté pour réduire la stigmatisation associée aux rétractations pourrait permettre aux éditeurs de prendre de meilleures décisions. « Nous devons être assez clairs sur le fait qu’une rétractation dans la littérature publiée n’est pas l’équivalent d’une inconduite en matière de recherche, ni une constatation de celle-ci », déclare Graf. « Elle doit servir un objectif, qui est de corriger le dossier publié. »
Une réforme utile, selon certains commentateurs, serait que les revues suivent une nomenclature standardisée qui donnerait plus de détails dans les avis de rétractation et de correction. Ces avis devraient préciser la nature des problèmes d’un article et qui en est responsable – les auteurs ou la revue elle-même. Réserver le terme délicat de « rétractation » aux articles impliquant une faute intentionnelle et concevoir des alternatives pour les autres problèmes pourrait également inciter davantage d’auteurs à se manifester et à signaler leurs articles contenant des erreurs, selon certains experts.
Le fardeau de la faute
La majorité des rétractations ont impliqué une fraude scientifique (fabrication, falsification et plagiat) ou d’autres types de faute (comme une fausse évaluation par les pairs).
Ces discussions soulignent à quel point le dialogue autour des rétractations a progressé depuis ces gros titres inquiétants d’il y a près de dix ans. Et bien que la base de données Retraction Watch ait apporté de nouvelles données aux discussions, elle sert également à rappeler combien les chercheurs ne comprennent toujours pas la prévalence, les causes et les impacts des rétractations. Le manque de données signifie que « vous devez prendre toute la littérature avec un grain de sel », dit Bastian. « Personne ne sait ce que sont tous les articles rétractés. Les éditeurs ne facilitent pas les choses. »
Bastian est incrédule quant au fait que le « projet passionnel » d’Oransky et de Marcus soit, à ce jour, la source d’information la plus complète sur un problème clé de l’édition scientifique. Une base de données des rétractations « est un élément d’infrastructure vraiment sérieux et nécessaire », dit-elle. Mais le manque de financement à long terme pour de tels efforts signifie que cette infrastructure est « fragile, et elle ne devrait pas l’être ». »
Ferric Fang, un microbiologiste clinique de l’Université de Washington à Seattle qui a étudié les rétractations, dit qu’il espère que les gens utiliseront la nouvelle base de données « pour examiner de plus près comment la science fonctionne, quand elle ne fonctionne pas bien et comment elle peut fonctionner mieux. » Et il pense que la communication transparente des rétractations ne peut que contribuer à rendre la science plus forte. « Nous apprenons, dit-il, de nos erreurs. »