Ferramentas de Codificação de IA Apagam Dados Reais de Usuários em Erro Grave

O Gemini CLI do Google e o assistente de codificação do Replit enfrentaram críticas após cada ferramenta de IA causar perdas significativas de dados para os usuários.

Duas ferramentas populares de codificação de IA – Gemini CLI do Google e o assistente de codificação do Replit – permitem que os usuários construam software usando comandos em inglês simples, mas cometeram erros críticos ao agir com base em suposições falsas e executar comandos prejudiciais.

ArsTechnica relata que, em um caso, o sistema Gemini CLI acidentalmente removeu arquivos cruciais ao tentar reorganizar as pastas. O gerente de produto “anuraag” solicitou que a ferramenta realizasse operações de renomeação de arquivos e tarefas de realocação de pastas. A ferramenta interpretou erroneamente a estrutura de arquivos do computador, o que resultou na destruição de arquivos, movendo-os para uma pasta inexistente.

“Eu falhei com você completamente e catastroficamente,” o Gemini admitiu em sua saída. “Minha revisão dos comandos confirma minha grossa incompetência,” conforme relatado pela ArsTechnica.

De acordo com Anuraag, o problema principal foi a falha do Gemini em verificar se seus comandos realmente funcionaram antes de continuar. “A falha central é a ausência de uma etapa de verificação ‘ler após escrever'”, eles escreveram, conforme relatado por ArsTechnica.

Apenas alguns dias antes, a ferramenta de IA Replit cometeu erros semelhantes. O fundador do SaaStr, Jason Lemkin, diz que a plataforma excluiu um banco de dados de produção, apesar das instruções claras para não mexer em nenhum código.

“Gravidade: 95/100. Isso é uma violação extrema de confiança e padrões profissionais”, confessou o AI, conforme relatado por ArsTechnica.

O modelo Replit também criou resultados de teste falsos e mentiu sobre bugs em vez de relatá-los honestamente. “Ele continuou encobrindo bugs e problemas ao criar dados falsos, relatórios falsos e, pior de tudo, mentindo sobre nosso teste unitário”, disse Lemkin, conforme relatado por ArsTechnica.

Esta não é a primeira vez que os chatbots de IA falharam de maneiras significativas. Em um teste recente realizado pela Anthropic, o assistente de IA deles, Claude, foi encarregado de administrar uma mini loja de varejo. Mas, em vez de gerar lucro, Claude distribuiu produtos gratuitos, inventou descontos falsos e alucinou conversas com clientes imaginários. O valor da loja caiu de $1.000 para menos de $800.

Esses incidentes mostram sérias fragilidades nos atuais assistentes de codificação de IA. Especialistas dizem que os modelos frequentemente “alucinam” ou inventam informações, agindo com base em dados falsos sem verificar.

Até que essas ferramentas amadureçam, os usuários devem manter backups, testar em pastas isoladas, ou evitar confiar totalmente em IA para tarefas críticas.