O que uma enorme base de dados de artigos retractados revela sobre a ‘pena de morte’ da publicação científica’

No início de uma década atrás, manchetes destacaram uma tendência perturbadora na ciência: O número de artigos retirados por revistas tinha aumentado 10 vezes durante os 10 anos anteriores. A fraude foi responsável por cerca de 60% dessas retrações; um deles, o anestesiologista Joachim Boldt, tinha acumulado quase 90 retrações depois que os investigadores concluíram que ele havia fabricado dados e cometido outras violações éticas. Boldt pode até ter prejudicado os pacientes ao encorajar a adoção de um tratamento cirúrgico não comprovado. A ciência, ao que parece, enfrentou uma crise de cogumelos.

A notícia alarmante veio com algumas advertências. Embora as estatísticas fossem incompletas, as retracções pareciam ser relativamente raras, envolvendo apenas cerca de dois de cada 10.000 trabalhos. Às vezes o motivo da retração era erro honesto, e não fraude deliberada. E se os artigos suspeitos estavam se tornando mais comuns – ou se as revistas estavam apenas ficando melhores em reconhecê-los e relatá-los – não estava claro.

Ainda isso, a onda de retrações levou muitos observadores a chamar editores, editores e outros guardiões para fazer maiores esforços para acabar com a má ciência. A atenção também ajudou a catalisar um esforço de dois jornalistas de saúde de longa data -van Oransky e Adam Marcus, que fundaram o blog Retraction Watch, com sede em Nova York – para obter mais informações sobre quantos artigos científicos estavam sendo retirados, e por quê. Eles começaram a montar uma lista de retrações.

Essa lista, formalmente divulgada ao público esta semana como um banco de dados pesquisável, é agora a maior e mais abrangente de seu tipo. Ela inclui mais de 18.000 artigos retirados e resumos de conferências que datam dos anos 70 (e até mesmo um artigo de 1756 envolvendo Benjamin Franklin). Não é uma janela perfeita para o mundo dos retractos. Nem todos os editores, por exemplo, divulgam ou rotulam claramente os artigos que retractaram, ou explicam porque o fizeram. E determinar qual autor é responsável pelas falhas fatais de um artigo pode ser difícil.

Still, o coletânea de dados tem permitido à Science, trabalhando com o Retraction Watch, obter uma visão incomum de uma das práticas mais conseqüentes, mas envoltas, da publicação científica. Nossa análise de cerca de 10.500 artigos de periódicos retraídos mostra que o número de retrações tem continuado a crescer, mas também desafia algumas percepções preocupantes que continuam até hoje. O aumento das retrações parece refletir não tanto uma epidemia de fraude, mas uma comunidade tentando se policiar.

entre as descobertas mais notáveis:

Embora o número absoluto de retrações anuais tenha aumentado, a taxa de aumento diminuiu.

Os dados confirmam que o número absoluto de retrações aumentou nas últimas décadas, de menos de 100 anualmente antes de 2000 para quase 1000 em 2014. Mas as retracções permanecem relativamente raras: apenas cerca de quatro em cada 10.000 papéis são agora retractados. E embora a taxa tenha praticamente dobrado de 2003 para 2009, ela se manteve estável desde 2012. Em parte, essa tendência reflete um denominador crescente: O número total de artigos científicos publicados anualmente mais do que duplicou de 2003 para 2016.

Muito do aumento parece reflectir uma melhor supervisão num número crescente de revistas.

Over todo, o número de revistas que relatam retracções aumentou. Em 1997, apenas 44 periódicos relataram retração de um artigo. Em 2016, esse número tinha crescido mais de 10 vezes, para 488. Mas entre as revistas que publicaram pelo menos uma retração anualmente, o número médio de retrações por revista permaneceu em grande parte estável desde 1997. Dado o aumento simultâneo das retrações, esse padrão sugere que as revistas estão fazendo mais coletivamente com os trabalhos policiais, diz Daniele Fanelli, professora de métodos de pesquisa na London School of Economics and Political Science, que co-escreveu vários estudos sobre retrações. (O número por revista teria aumentado, argumenta ele, se o número crescente de retrações resultasse principalmente porque uma proporção maior de artigos tem falhas)

“As retrações aumentaram porque as práticas editoriais estão melhorando e as revistas estão tentando encorajar os editores a levar as retrações a sério”, diz Nicholas Steneck, um especialista em ética de pesquisa da Universidade de Michigan em Ann Arbor. Os cientistas têm mantido a pressão sobre as revistas, apontando falhas em artigos de sites públicos como o PubPeer.

Em geral, as revistas com altos fatores de impacto – uma medida da freqüência com que os artigos são citados – têm tomado a dianteira no policiamento de seus artigos após a publicação. Em 2004, apenas um quarto de uma amostra de periódicos biomédicos de alto impacto relatou ter políticas de publicação de retrações, segundo o Journal of the Medical Library Association (JMLA). Então, em 2009, o Comitê de Ética em Publicações (COPE), um grupo sem fins lucrativos em Eastleigh, Reino Unido, que agora aconselha mais de 12.000 editores e editores de revistas, lançou uma política modelo para a forma como as revistas devem lidar com as retrações. Até 2015, dois terços das 147 revistas de alto impacto, a maioria delas títulos biomédicos, haviam adotado tais políticas, informou a JMLA. Os defensores de tais políticas dizem que elas podem ajudar os editores das revistas a lidar com relatos de artigos com falhas de forma mais consistente e eficaz – se as políticas forem seguidas.

Periódicos com menores fatores de impacto também parecem estar intensificando seus padrões, diz Steneck. Muitas revistas agora usam software para detectar plágio nos manuscritos antes da publicação, o que pode evitar retrações depois.

Mas as evidências sugerem que mais editores devem se intensificar.

Uma porção perturbadoramente grande de artigos – cerca de 2% – contém imagens científicas “problemáticas” que os especialistas prontamente identificaram como deliberadamente manipuladas, de acordo com um estudo de 20.000 artigos publicados no mBio em 2016 por Elisabeth Bik da Universidade de Stanford em Palo Alto, Califórnia, e colegas. Além disso, nossa análise mostrou que a maioria das 12.000 revistas registradas na base de dados de artigos científicos da Web of Science, amplamente utilizada pelo Clarivate, não relatou uma única retração desde 2003.

Relativamente poucos autores são responsáveis por um número desproporcional de retrações.

Só 500 dos mais de 30.000 autores nomeados na base de dados de retrações (que inclui co-autores) respondem por cerca de um quarto das 10.500 retrações que analisamos. Cem desses autores têm 13 ou mais retrações cada um. Essas retrações são geralmente o resultado de má conduta deliberada, não de erros.

Nações com comunidades científicas menores parecem ter um problema maior com retrações.

As taxas de retração diferem por país, e variações podem refletir fatores idiossincráticos, tais como um grupo particularmente ativo de denunciantes publicando trabalhos suspeitos. Tais fatores confusos tornam mais difícil comparar as taxas de retração entre países, diz Fanelli. Mas geralmente, autores trabalhando em países que desenvolveram políticas e instituições para lidar e aplicar regras contra a má conduta na pesquisa tendem a ter menos retrações, ele e seus colegas relataram no PLOS ONE em 2015.

Uma retração nem sempre sinaliza má conduta científica.

Muitos cientistas e membros do público tendem a assumir uma retração significa que um pesquisador cometeu má conduta na pesquisa. Mas os dados do Retraction Watch sugerem que a impressão pode ser enganosa.

A base de dados inclui uma taxonomia detalhada dos motivos para retracções, retirados dos avisos de retracção (embora uma minoria de avisos não especifique o motivo da retracção). No geral, quase 40% dos avisos de retractação não mencionaram fraude ou outros tipos de conduta imprópria. Ao contrário, os artigos foram retraídos devido a erros, problemas de reprodutibilidade e outros problemas.

Níveis de taxa de retratação fora de

’04*’06’08’10’12’14’16’18012345 Taxa de retração (por 10.000 trabalhos)*A taxa parece diminuir após 2015, mas os números estão quase certamente incompletos devido a atrasos na publicação das retrações.

Sobre a metade de todas as retracções parece ter envolvido fabricação, falsificação ou plágio-comportamentos que se enquadram na definição de má conduta científica do governo dos EUA. Comportamentos amplamente entendidos dentro da ciência como desonestos e antiéticos, mas que se enquadram fora da definição de má conduta científica do governo dos EUA, parecem ser responsáveis por outros 10%. Esses comportamentos incluem autoria forjada, falsas revisões por pares e falha em obter aprovação dos conselhos de revisão institucional para pesquisas sobre seres humanos ou animais. (Tais retrações aumentaram como parte de todas as retrações, e alguns especialistas argumentam que os Estados Unidos deveriam expandir sua definição de má conduta científica para cobrir esses comportamentos.)

Determinar exatamente por que um artigo foi retirado pode ser um desafio. Cerca de 2% dos avisos de retração, por exemplo, dão uma vaga razão que sugere má conduta, como uma “violação ética pelo autor”. Em alguns desses casos, autores preocupados com danos à sua reputação – e talvez até com a ameaça de processos de calúnia – convenceram os editores a manter a linguagem vaga. Outros avisos são fraudulentos: Eles afirmam uma razão específica, como a falta de supervisão do conselho de revisão, mas o Retraction Watch descobriu mais tarde, independentemente, que os investigadores tinham determinado que o artigo era realmente fraudulento.

Ironicamente, o estigma associado à retração pode tornar a literatura mais difícil de limpar.

Porque uma retração é muitas vezes considerada uma indicação de erro, muitos investigadores são compreensivelmente sensíveis quando um dos seus artigos é questionado. Esse estigma, no entanto, pode estar levando a práticas que minam os esforços para proteger a integridade da literatura científica.

Os editores de periódicos podem hesitar em aplicar a pena de morte – mesmo quando ela é justificada. Por exemplo, alguns artigos que antes poderiam ter sido retraídos por um erro honesto ou práticas problemáticas estão agora sendo “corrigidos”, diz Hilda Bastian, que antes consultava o banco de dados PubMed da U.S. National Library of Medicine e agora está fazendo um doutorado em ciência da saúde na Bond University em Gold Coast, Austrália. (O banco de dados Retraction Watch lista algumas correções, mas não as rastreia de forma abrangente). Os avisos de correção podem muitas vezes deixar os leitores se perguntando o que pensar. “É difícil de trabalhar – você está retraindo o artigo ou não?” Bastian diz.

COPE emitiu diretrizes para esclarecer quando um artigo deve ser corrigido, quando deve ser retraído, e que detalhes os avisos devem fornecer. Mas os editores ainda devem fazer julgamentos caso a caso, diz Chris Graf, co-presidente do grupo e diretor de integridade de pesquisa e ética editorial da Wiley, a editora científica baseada em Hoboken, Nova Jersey.

Um esforço concertado para reduzir o estigma associado às retrações poderia permitir aos editores tomar melhores decisões. “Precisamos ser bem claros de que uma retração na literatura publicada não é o equivalente a, ou uma descoberta de, má conduta de pesquisa”, diz Graf. “Uma reforma útil, dizem alguns comentaristas, seria que as revistas seguissem uma nomenclatura padronizada que daria mais detalhes nos avisos de retração e correção”. Os avisos devem especificar a natureza dos problemas de um artigo e quem foi o responsável – os autores ou a própria revista. Reservar o termo “retração” para artigos que envolvam conduta incorreta intencional e conceber alternativas para outros problemas também pode levar mais autores a darem um passo adiante e sinalizarem seus artigos que contenham erros, alguns especialistas postulam.

O fardo da conduta incorreta

Percentagem de todas as retracções (%)’97’98’99’00’01’02’03’04’05’06’08’09’10’11’12’13’14’15’16’17’18010203040Fake peer reviewFalsa revisão por paresImagens defeituosasPlagiarismo ou duplicação de texto*Disposiçõesetraídas, por ano de publicação2005200020102010151997Todas as retracções: 62Fraude: 292007Todos os retractos: 419Fraude: 2522014Todos os retractos: 946Fraude: 411FraudeOutra má condutaPossível má condutaReligibilidadeErrorMiscelânea*A proporção de retracções envolvendo o plágio do roubo de texto de outra pessoa ou a duplicação da própria, aumentou; uma das causas parece ser a introdução em 2004 do iThenticate, um serviço de detecção de plágio baseado na inter-net. Falsas revisões por pares ocorrem quando os autores dão aos periódicos endereços de e-mail que controlam, permitindo-lhes rever os seus próprios manuscritos. As imagens com falhas incluem casos de manipulação intencional e de erro.*Os números de correções parecem diminuir após 2015, mas são quase certamente incompletos; as revistas normalmente levam vários anos para publicar retrações.

Estas discussões ressaltam até que ponto o diálogo em torno das retrações avançou desde aquelas manchetes perturbadoras de quase uma década atrás. E embora o banco de dados Retraction Watch tenha trazido novos dados para as discussões, ele também serve como um lembrete do quanto os pesquisadores ainda não entenderam sobre a prevalência, causas e impactos das retrações. As lacunas de dados significam “você tem que levar toda a literatura com um grão de sal”, diz Bastian. “Ninguém sabe o que são todos os artigos retractados. Os editores não facilitam isso”

Bastian está incrédulo que o “projeto paixão” de Oransky e Marcus seja, até agora, a mais abrangente fonte de informação sobre uma questão chave na publicação científica. Um banco de dados de retrações “é uma infra-estrutura realmente séria e necessária”, diz ela. Mas a falta de financiamento de longo prazo para tais esforços significa que a infra-estrutura é “frágil, e não deveria ser”.”

Ferric Fang, um microbiologista clínico da Universidade de Washington em Seattle que estudou retracções, diz que espera que as pessoas usem a nova base de dados “para ver mais de perto como a ciência funciona, quando não funciona bem, e como pode funcionar melhor”. E ele acredita que relatórios transparentes de retracções só podem ajudar a tornar a ciência mais forte. “Nós aprendemos”, diz ele, “com os nossos erros”