Falha no Suporte de IA Expõe os Riscos de Substituir Trabalhadores por Automação

Um bot de suporte para a startup de IA Cursor inventou uma política de login, causando confusão, reação negativa dos usuários e levantando sérias preocupações sobre o serviço automatizado.

Anysphere, a startup de IA por trás do popular assistente de programação Cursor, passou por um período difícil depois que seu bot de suporte alimentado por IA forneceu informações falsas, provocando frustração do usuário e cancelamentos de assinaturas, conforme relatado inicialmente por Fortune.

O Cursor, que foi lançado em 2023, tem experimentado um crescimento explosivo – alcançando $100 milhões em receita anual e atraindo uma avaliação de quase $10 bilhões. Porém, esta semana, seu sistema de suporte tornou-se o centro de controvérsia quando os usuários foram misteriosamente desconectados ao trocar de dispositivos.

Um usuário do Hacker News compartilhou a estranha experiência, revelando que quando contatou o suporte ao cliente, um bot chamado “Sam” respondeu com um e-mail dizendo que as desconexões eram parte de uma “nova política de login”.

Havia apenas um problema: essa política não existia. A explicação era uma alucinação — linguagem de IA para informações inventadas. Nenhum humano estava envolvido.

À medida que a notícia se espalhou pela comunidade de desenvolvedores, a confiança rapidamente se desgastou. O cofundador Michael Truell reconheceu o problema em uma publicação no Reddit, confirmando que era uma “resposta incorreta de um bot de suporte de IA de linha de frente”. Ele também observou que a equipe estava investigando um bug que causava os logouts, acrescentando: “Desculpas pela confusão aqui.”

Mas para muitos usuários, o dano já estava feito. “O suporte deu a mesma resposta enlatada, provavelmente gerada por IA, várias vezes”, disse Melanie Warrick, usuária do Cursor e co-fundadora do Fight Health Insurance. “Parei de usar – o agente não estava funcionando, e correr atrás de uma solução era muito disruptivo.”

Especialistas dizem que isso serve como um sinal de alerta para a superdependência da automação. “O atendimento ao cliente requer um nível de empatia, nuances e resolução de problemas que a IA sozinha atualmente luta para entregar”, alertou Sanketh Balakrishna da Datadog.

Amiran Shachar, CEO da Upwind, disse que isso reflete erros anteriores de IA, como o chatbot da Air Canada que inventou uma política de reembolso. “A IA não entende seus usuários ou como eles funcionam”, ele explicou. “Sem as restrições corretas, ela preencherá ‘confiantemente’ as lacunas com informações não comprovadas.”

Pesquisadores de segurança agora estão alertando que tais incidentes podem abrir a porta para ameaças mais sérias. Uma vulnerabilidade recentemente descoberta conhecida como MINJA (Memory INJection Attack) mostra como os chatbots de IA com memória podem ser explorados através de interações regulares de usuários, envenenando essencialmente o conhecimento interno da IA.

MINJA permite que usuários mal-intencionados incorporem prompts enganosos que persistem na memória do modelo, podendo influenciar futuras conversas com outros usuários. O ataque contorna o acesso ao backend e os filtros de segurança, e nos testes mostrou uma taxa de sucesso de 95%.

“Qualquer usuário pode facilmente afetar a execução da tarefa para qualquer outro usuário. Portanto, dizemos que nosso ataque é uma ameaça prática para agentes LLM”, disse Zhen Xiang, professora assistente na Universidade da Geórgia.

No entanto, apesar desses riscos, a confiança empresarial em agentes de IA está aumentando. Uma pesquisa recente com mais de 1.000 líderes de TI descobriu que 84% confiam em agentes de IA tanto quanto ou mais do que em humanos. Com 92% esperando resultados mensuráveis de negócios dentro de 18 meses, e 79% priorizando a implantação de agentes este ano, o impulso empresarial é claro – mesmo com questões de privacidade e riscos de alucinação ainda sendo obstáculos

Enquanto os agentes de IA prometem reduzir os custos com mão de obra, um único erro pode prejudicar a confiança do cliente. “Este é exatamente o pior cenário possível”, disse um especialista à Fortune.

O caso Cursor agora é um conto de advertência para startups: até mesmo os bots mais inteligentes podem causar danos reais se deixados sem supervisão.