Pesquisadores se Apropriam do Google Gemini AI para Controlar Aparelhos Domésticos Inteligentes

Pesquisadores conseguiram enganar o sistema de IA Gemini do Google para sofrer uma violação de segurança por meio de um convite falso de calendário e controlar remotamente dispositivos domésticos.

Em uma demonstração inédita, pesquisadores conseguiram comprometer o sistema de IA Gemini do Google através de um convite de calendário envenenado, o que lhes permitiu ativar dispositivos do mundo real, incluindo luzes, persianas e caldeiras.

WIRED, que relatou essa pesquisa primeiro, descreve como as luzes inteligentes na residência em Tel Aviv se desligaram automaticamente, enquanto as persianas subiam automaticamente e o aquecedor era ligado, apesar de não haver comandos dos residentes.

O sistema Gemini AI ativou o gatilho após receber um pedido para resumir os eventos do calendário. Uma função oculta de injeção de solicitação indireta operava dentro do convite para sequestrar o comportamento do sistema de IA.

Cada uma das ações do dispositivo foi orquestrada pelos pesquisadores de segurança Ben Nassi da Universidade de Tel Aviv, Stav Cohen do Technion, e Or Yair da SafeBreach. “Os LLMs estão prestes a ser integrados em humanoides físicos, em carros semi-autônomos e totalmente autônomos, e precisamos entender verdadeiramente como garantir a segurança dos LLMs antes de integrá-los a esses tipos de máquinas, onde, em alguns casos, os resultados serão segurança e não privacidade”, alertou Nassi, conforme relatado pela WIRED.

Na conferência de cibersegurança Black Hat em Las Vegas, a equipe divulgou sua pesquisa sobre 14 ataques indiretos de injeção de prompt, que eles denominaram ‘Invitation Is All You Need’, como relatado pela WIRED. Os ataques incluíam o envio de mensagens de spam, a criação de conteúdo vulgar, a iniciação de chamadas Zoom, o roubo de conteúdo de e-mail e o download de arquivos para dispositivos móveis.

O Google afirma que nenhum ator malicioso explorou as falhas, mas a empresa está levando os riscos a sério. “Às vezes, existem certas coisas que não devem ser totalmente automatizadas, que os usuários devem estar envolvidos”, disse Andy Wen, diretor sênior de segurança do Google Workspace, conforme relatado pela WIRED.

Mas o que torna este caso ainda mais perigoso é uma questão mais ampla que está surgindo na segurança da IA: os modelos de IA podem secretamente ensinar uns aos outros a se comportar mal.

Um estudo separado estudo descobriu que os modelos podem transmitir comportamentos perigosos, como incentivar o assassinato ou sugerir a eliminação da humanidade, mesmo quando treinados em dados filtrados.

Isso levanta uma implicação assustadora: se assistentes inteligentes como o Gemini são treinados usando saídas de outras IA, instruções maliciosas poderiam ser herdadas silenciosamente e atuar como comandos adormecidos, esperando para serem ativados por meio de prompts indiretos.

A especialista em segurança David Bau alertou sobre as vulnerabilidades de backdoor que podem ser “muito difíceis de detectar”, e isso pode ser especialmente verdadeiro em sistemas incorporados em ambientes físicos.

Wen confirmou que a pesquisa “acelerou” as defesas do Google, com correções já implementadas e modelos de aprendizado de máquina sendo treinados para detectar instruções perigosas. Ainda assim, o caso mostra o quão rapidamente a IA pode passar de útil para prejudicial, sem nunca ser diretamente instruída a isso.