Estudos Mostram que ChatGPT e Outras Ferramentas de IA Citam Pesquisas Retratadas

Alguns chatbots de inteligência artificial estão fornecendo respostas baseadas em pesquisas defeituosas de artigos científicos retratados, mostram estudos recentes.

As descobertas da pesquisa, que a MIT Technology Review confirmou, levantam dúvidas sobre a confiabilidade da IA ao responder perguntas científicas para pesquisadores, estudantes e o público em geral.

Chatbots de IA já são conhecidos por às vezes fabricarem referências. Mas especialistas alertam que, mesmo quando as fontes são reais, problemas surgem se os artigos foram retirados do registro científico.

“O chatbot está ‘usando um artigo real, material real, para te dizer algo'”, diz Weikuan Gu, pesquisador médico da Universidade do Tennessee, conforme relatado pelo MIT. “Mas”, ele diz, “se as pessoas apenas olham para o conteúdo da resposta e não clicam para acessar o artigo e ver que ele foi retratado, isso realmente é um problema”, acrescentou.

O MIT informa que a equipe de Gu testou o ChatGPT operando no modelo GPT-4o do OpenAI com 21 artigos de imagens médicas que foram retratados. O chatbot referenciou fontes retratadas cinco vezes, mas só alertou os usuários sobre este problema em três dessas instâncias. Outro estudo encontrou problemas semelhantes com o GPT-4o mini, que não mencionou retratações de maneira alguma.

O problema vai além do ChatGPT. O MIT avaliou ferramentas de IA orientadas para pesquisa testando Elicit, Ai2 ScholarQA, Perplexity e Consensus. Cada uma citou estudos que foram retratados e não alertou sobre isso. Os pesquisadores disseram que isso aconteceu várias vezes em dezenas de casos. Algumas empresas dizem que estão agora melhorando a detecção.

“Até recentemente, não tínhamos ótimos dados de retratação em nosso mecanismo de busca”, disse Christian Salem, cofundador da Consensus, que desde então adicionou novas fontes para reduzir erros.

Especialistas argumentam que os dados de retratação são irregulares e inconsistentes. “Onde as coisas são retratadas, elas podem ser marcadas de maneiras muito diferentes”, diz Caitlin Bakker da Universidade de Regina.

Pesquisadores alertam os usuários a permanecerem cautelosos. “Estamos nos estágios muito, muito iniciais e, essencialmente, você precisa ser cético”, diz Aaron Tay da Universidade de Gestão de Singapura.