Novo IA Detecta Revistas Científicas Questionáveis

Cientistas desenvolveram um sistema de detecção de IA para revistas de acesso aberto com práticas suspeitas, revelando ameaças à integridade na ciência e a necessidade de avaliação humana

As revistas de acesso aberto permitem o acesso gratuito à pesquisa para cientistas em todo o mundo, impulsionando sua exposição global. No entanto, o modelo de acesso aberto criou um ambiente onde proliferam revistas questionáveis. Essas publicações frequentemente cobram taxas dos autores, prometem publicação rápida, mas carecem de uma adequada revisão por pares, colocando em risco a integridade científica.

Pesquisadores recentemente publicaram suas descobertas ao testar uma nova ferramenta de IA que visa enfrentar este problema. Eles treinaram a IA usando mais de 12.000 periódicos de alta qualidade, juntamente com 2.500 publicações de baixa qualidade ou questionáveis removidas do Diretório de Periódicos de Acesso Aberto (DOAJ).

A IA aprendeu a identificar bandeiras vermelhas analisando lacunas no conselho editorial, design de site pouco profissional e atividade mínima de citação.

Identificou mais de 1.000 revistas suspeitas anteriormente desconhecidas a partir de um conjunto de dados de 93.804 revistas de acesso aberto no Unpaywall, que publicam coletivamente centenas de milhares de artigos. Muitas das revistas duvidosas vêm de países em desenvolvimento.

“Nossas descobertas demonstram o potencial da IA para verificações de integridade escalonáveis, ao mesmo tempo que destacam a necessidade de combinar a triagem automatizada com a revisão de especialistas”, escrevem as pesquisadoras.

Os pesquisadores ressaltam que o sistema não é perfeito. Atualmente, produz 24% de falsos positivos, o que significa que um em cada quatro periódicos genuínos pode ser sinalizado incorretamente. Especialistas humanos ainda são necessários para a avaliação final.

O sistema de IA avalia a credibilidade do periódico analisando o conteúdo do site, elementos de design e dados bibliométricos, incluindo padrões de citação e afiliações de autores. Indicadores de periódicos questionáveis incluem altas taxas de autocitação e valores de índice h do autor mais baixos, enquanto a diversidade institucional estabelecida e amplas redes de citação indicam confiabilidade.

A equipe de pesquisa espera que o desenvolvimento futuro melhore a capacidade do sistema de IA de detectar estratégias enganosas de editores. Ao combinar ferramentas automatizadas com supervisão humana, a comunidade científica pode proteger melhor a integridade da pesquisa e orientar os autores em direção a revistas confiáveis.