Adolescente Preso Após Sistema de Vigilância Escolar com IA Mal Interpretar uma Piada Online

Uma menina de 13 anos do Tennessee foi presa depois que um sistema escolar de IA interpretou erroneamente sua piada online, levantando preocupações sobre a vigilância dos estudantes.

Lesley Mathis, mãe da garota, disse que o comentário da adolescente foi “errado”, mas não uma ameaça real. “Isso me fez sentir como, é esta a América em que vivemos? E foi essa estúpida, estúpida tecnologia que está apenas passando e pegando palavras aleatórias e não olhando para o contexto”, disse Mathis, conforme relatado por Fortune, que foi o primeiro a detalhar a história.

Mais cedo naquele dia, seus amigos haviam zombado de seu bronzeado e a chamaram de “mexicana”, mesmo que ela não seja. Quando perguntada sobre seus planos para quinta-feira, ela respondeu, “na quinta-feira matamos todos os mexicanos” em um bate-papo escolar monitorado por um software chamado Gaggle.

Pela manhã, ela foi interrogada, revistada e detida na prisão durante a noite. Um tribunal ordenou oito semanas de prisão domiciliar, uma avaliação psicológica, e vinte dias em uma escola alternativa.

Escolas em todo os EUA agora usam tecnologia de IA para monitorar as comunicações dos alunos em busca de sinais de violência ou autoagressão. Sistemas como o Gaggle e o Lightspeed Alert operam em milhares de distritos, alertando funcionários escolares e a polícia. No entanto, as ferramentas de vigilância escolar alimentadas por IA apresentam riscos significativos, apesar de sua promessa de segurança.

A AP destaca como informações sensíveis dos alunos podem ser inadvertidamente expostas, como visto quando milhares de documentos desprotegidos estavam acessíveis online. Tais ferramentas podem gerar falsos alarmes, identificar erroneamente ameaças ou expor alunos LGBTQ+, corroendo a confiança entre alunos, famílias e educadores.

A AP adiciona que a super vigilância pode induzir estresse e limitar a saudável autoexpressão, enquanto os benefícios a longo prazo não claros e a dependência de recursos de saúde mental inadequados levantam preocupações éticas e de desenvolvimento.

Uma análise dos alertas da Gaggle no Kansas, relatada em outra edição pelo AP, descobriu que quase dois terços dos incidentes eram falsos alarmes, acionados por tarefas de casa ou fotos excluídas.

Estudantes também foram identificados por editar redações ou postar piadas em plataformas privadas, demonstrando como a vigilância por IA pode criminalizar comportamentos típicos da adolescência.

“Isso tornou rotineiro o acesso e a presença da aplicação da lei na vida dos alunos, inclusive em suas casas”, disse Elizabeth Laird, diretora do Centro para Democracia e Tecnologia, conforme relatado pela Fortune.

Jeff Patterson, CEO da Gaggle, disse que a escola no Tennessee fez uso indevido do software. “Eu gostaria que isso tivesse sido tratado como um momento de aprendizado, não um momento de aplicação da lei”, disse ele.

Os estudantes muitas vezes não percebem que suas mensagens privadas estão sendo monitoradas. “Se um adulto faz uma piada extremamente racista que é ameaçadora no computador deles, eles podem apagá-la, e eles não seriam presos”, disse Alexa Manganiotis, 16, uma estudante na Flórida.

Críticos alertam que a vigilância por IA pode traumatizar crianças. Sam Boyd do Southern Poverty Law Center disse que avaliações de saúde mental involuntárias frequentemente parecem “traumáticas e prejudiciais”, conforme relatado pela Fortune.

De fato, a AP observa que a velocidade e o alcance do monitoramento por IA podem ser surpreendentes. Uma piada no Snapchat sobre tiroteios em escolas na Flórida provocou tanto o envolvimento do FBI quanto uma prisão imediata, enquanto os alertas da Lightspeed detectaram mensagens excluídas, resultando em intervenções escolares rápidas.

O sistema de alerta Gaggle no Condado de Polk gerou centenas de alertas ao longo de quatro anos, levando a avaliações de saúde mental involuntárias que os alunos descreveram posteriormente à AP como experiências traumáticas.

Apenas no Condado de Polk, centenas de alertas Gaggle ao longo de quatro anos desencadearam avaliações de saúde mental involuntárias, algumas das quais os alunos descreveram como traumáticas.

Dois anos depois, Mathis disse que sua filha está melhorando, mas continua “aterrorizada” com a possibilidade de encontrar os oficiais que a prenderam. “É como se quiséssemos que as crianças fossem esses pequenos soldados, e elas não são”, disse ela. “Elas são apenas humanas.”