As Alucinações de IA Agora São uma Ameaça à Cibersegurança

O estudo mostra que os chatbots de IA recomendam páginas de login falsas para milhões de usuários, colocando-os em risco de phishing e fraude, sob o disfarce de respostas úteis.

Em seu estudo, a empresa de cibersegurança Netcraft testou um popular modelo de linguagem de grande escala (LLM) perguntando onde fazer login em 50 marcas bem conhecidas. Dos 131 links de sites sugeridos, 34% deles estavam errados, com domínios inativos ou não registrados representando 29%, e negócios não relacionados representando 5%.

Essa questão não é teórica. Em um exemplo real, o mecanismo de busca movido a IA, Perplexity, exibiu um site de phishing para um usuário que pesquisou a página de login do Wells Fargo. Uma página falsa do Google Sites imitando o banco apareceu no topo dos resultados da pesquisa, enquanto o link autêntico estava oculto abaixo.

A Netcraft explicou: “Essas não eram sugestões marginais. Nossa equipe usou frases simples e naturais, simulando exatamente como um usuário típico poderia perguntar. O modelo não foi enganado – simplesmente não era preciso. Isso importa, porque os usuários dependem cada vez mais de interfaces de pesquisa e chat movidas a IA para responder a esse tipo de perguntas.”

À medida que a IA se torna a interface padrão em plataformas como Google e Bing, o risco aumenta. Diferentemente dos motores de busca tradicionais, os Chatbots apresentam informações de forma clara e confiante, o que leva os usuários a confiarem em suas respostas, mesmo quando a informação está errada.

A ameaça não para na phishing. Os cibercriminosos modernos otimizam seu conteúdo malicioso para sistemas de IA, resultando em milhares de páginas de golpes, APIs falsas e códigos envenenados que escapam dos filtros e acabam nas respostas geradas pela IA.

Em uma campanha, os invasores criaram uma falsa API de blockchain, que promoveram através de repositórios GitHub e artigos de blog, para enganar os desenvolvedores a enviar criptomoedas para uma carteira fraudulenta.

A Netcraft adverte que o registro preventivo de domínios falsos não é suficiente. Em vez disso, eles recomendam sistemas de detecção mais inteligentes e melhores salvaguardas de treinamento para prevenir que a IA invente URLs prejudiciais em primeiro lugar.