Principais Agentes de IA Encontrados Vulneráveis a Sequestros, Estudo Revela

Alguns dos assistentes de IA mais utilizados da Microsoft, Google, OpenAI e Salesforce podem ser sequestrados por atacantes com pouca ou nenhuma interação do usuário, de acordo com uma nova pesquisa da Zenity Labs.

Apresentado na conferência de cibersegurança Black Hat USA, os resultados mostram que hackers poderiam roubar dados, manipular fluxos de trabalho e até se passar por usuários. Em alguns casos, os agressores poderiam obter “persistência de memória”, permitindo acesso e controle de longo prazo.

“Eles podem manipular instruções, envenenar fontes de conhecimento e alterar completamente o comportamento do agente”, disse Greg Zemlin, gerente de marketing de produtos da Zenity Labs, ao Cybersecurity Dive. “Isso abre a porta para sabotagem, interrupção operacional e desinformação a longo prazo, especialmente em ambientes onde os agentes são confiáveis para tomar ou apoiar decisões críticas.”

Os pesquisadores demonstraram cadeias de ataque completas contra várias plataformas de IA empresariais importantes. Em um caso, o ChatGPT da OpenAI foi sequestrado através de uma injeção de prompt baseada em email, permitindo acesso aos dados conectados do Google Drive.

O Microsoft Copilot Studio foi flagrado vazando bancos de dados de CRM, com mais de 3.000 agentes vulneráveis identificados online. A plataforma Einstein da Salesforce foi manipulada para redirecionar as comunicações dos clientes para contas de e-mail controladas pelo invasor.

Enquanto isso, o Gemini do Google e o Microsoft 365 Copilot poderiam ser transformados em ameaças internas, capazes de roubar conversas sensíveis e espalhar informações falsas.

Adicionalmente, pesquisadores conseguiram enganar o Gemini AI do Google para controlar dispositivos de casa inteligente. O hack apagou as luzes, abriu as persianas e iniciou um aquecedor sem comandos do residente.

Zenity divulgou suas descobertas, levando algumas empresas a emitirem correções. “Agradecemos o trabalho da Zenity em identificar e relatar de forma responsável essas técnicas”, disse um porta-voz da Microsoft ao Cybersecurity Dive. A Microsoft afirmou que o comportamento relatado “não é mais eficaz” e que os agentes Copilot têm salvaguardas em vigor.

A OpenAI confirmou que corrigiu o ChatGPT e executa um programa de recompensa por bugs. A Salesforce disse que resolveu o problema relatado. O Google disse que implantou “novas defesas em camadas” e enfatizou que “ter uma estratégia de defesa em camadas contra ataques de injeção de prompts é crucial”, conforme relatado pelo Cybersecurity Dive.

O relatório destaca a crescente preocupação com a segurança à medida que os agentes de IA se tornam mais comuns nos locais de trabalho e são confiáveis para lidar com tarefas sensíveis.

Em outra investigação recente, foi relatado que hackers podem roubar criptomoedas de agentes Web3 AI plantando falsas memórias que sobrepõem as salvaguardas normais.

A falha de segurança existe em ElizaOS e plataformas similares porque os atacantes podem usar agentes comprometidos para transferir fundos entre diferentes plataformas. A natureza permanente das transações de blockchain torna impossível recuperar fundos roubados. Uma nova ferramenta, CrAIBench, visa ajudar os desenvolvedores a fortalecer as defesas.