Alucinações de I.A. Estão Aumentando à Medida que as Ferramentas se Tornam Mais Complexas

Novos sistemas de I.A. de empresas como a OpenAI estão mais avançados do que nunca, mas estão cada vez mais disseminando informações falsas – e ninguém sabe por quê.

Os sistemas de IA estão se tornando mais poderosos, mas também estão cometendo mais erros, e ninguém sabe ao certo por quê, conforme relatado inicialmente pelo The New York Times.

Apenas no mês passado, o Cursor, uma ferramenta de codificação, teve que acalmar clientes irritados depois que seu bot de suporte de A.I. erroneamente lhes disse que eles não poderiam mais usar o produto em vários dispositivos.

“Não temos tal política. Você, claro, está livre para usar o Cursor em várias máquinas”, esclareceu o CEO Michael Truell no Reddit, culpando o bot pela mensagem falsa, conforme relatado pelo The Times.

Sistemas avançados de IA da OpenAI e do Google e do DeepSeek na China estão enfrentando um aumento na ocorrência de “alucinações”, que são erros em suas operações. As ferramentas usam suas habilidades de “raciocínio” para resolver problemas, mas frequentemente produzem suposições incorretas e informações fabricadas.

O Times informa que os resultados de testes de novos modelos revelaram que esses sistemas geraram respostas fabricadas em 79% de suas respostas.

“Apesar de nossos melhores esforços, eles sempre vão alucinar”, disse Amr Awadallah, CEO da Vectara e ex-executivo do Google, conforme relatado pelo The Times. Os bots operam sem regras definidas porque produzem respostas baseadas em probabilidade, o que leva a informações fabricadas.

Isso é um grande problema para usuários que lidam com dados legais, médicos ou de negócios. “Não lidar adequadamente com esses erros basicamente elimina o valor dos sistemas de IA”, disse Pratik Verma, CEO da Okahu.

Em um exemplo, erros gerados por IA estão causando problemas no mundo real, especialmente em áreas sensíveis como o trabalho jurídico. Advogados enfrentaram sanções por usarem informações falsificadas de modelos de IA em documentos judiciais.

Um relatório revelou que dois advogados em Wyoming incluíram casos falsos gerados por IA em um processo contra o Walmart, resultando em um juiz federal ameaçando sanções. Isso desencadeou alertas no campo jurídico sobre os riscos de se depender da IA para tarefas que requerem informações verificadas.

O modelo o3 da OpenAI produziu alucinações durante os testes a uma taxa de 33%, o que foi duas vezes maior do que o modelo o1. O modelo o4-mini demonstrou a taxa mais alta de alucinação, com 48%. “Estamos trabalhando ativamente para reduzir as taxas mais altas de alucinação”, disse a porta-voz da OpenAI, Gaby Raila, conforme relatado pelo The Times.

Esses problemas são agravados por preocupações sobre o impacto da IA no jornalismo. Um estudo da BBC descobriu que os populares IA chatbots têm dificuldades com a precisão do conteúdo de notícias, com 51% das respostas contendo erros significativos, incluindo citações fabricadas e imprecisões factuais.

Pesquisadores afirmam que parte do problema é como esses bots são treinados. “Ainda não sabemos exatamente como esses modelos funcionam”, disse Hannaneh Hajishirzi da Universidade de Washington, conforme relatado pelo The Times.