A Ferramenta Elsa da FDA Enfrenta Críticas por Alucinar Dados Científicos

A nova ferramenta de IA da FDA, Elsa, promete aprovações de medicamentos mais rápidas, mas especialistas médicos alertam que essa ferramenta gera pesquisas fabricadas, o que produz riscos de segurança adicionais.

Em junho, a FDA lançou Elsa como sua nova ferramenta de inteligência artificial para acelerar os procedimentos de aprovação de medicamentos. O Comissário da FDA, Dr. Marty Makary, declarou que o sistema seria concluído antes do prazo previsto e mantendo-se dentro do orçamento.

No entanto, membros da equipe da FDA recentemente disseram ao CNN que Elsa precisa de mais desenvolvimento antes de poder ser usada em aplicações práticas.

Elsa deveria ajudar os cientistas da FDA através do resumo de dados e da otimização do processo de revisão. No entanto, a CNN relata que funcionários atuais e antigos da FDA relatam que Elsa tem alucinações e gera informações falsas. De fato, a ferramenta parece fabricar novos estudos ou distorcer os existentes, o que a torna arriscada para uso em trabalhos científicos sérios.

“Qualquer coisa que você não tenha tempo para verificar novamente é confiável. Ela alucina com confiança”, disse um funcionário da FDA à CNN. Outro acrescentou: “A IA deveria economizar nosso tempo, mas garanto que perco muito tempo extra apenas devido à vigilância intensificada que preciso ter.”

A CNN observa que atualmente, Elsa não é usada para revisões de medicamentos ou dispositivos porque não pode acessar documentos importantes como as submissões das empresas. O chefe de IA da FDA, Jeremy Walsh, reconheceu o problema: “Elsa não é diferente de muitos [large language models] e IA gerativa […] Eles poderiam potencialmente alucinar”, conforme relatado pela CNN

Os oficiais da FDA afirmam que a Elsa está sendo usada principalmente para organizar tarefas, como resumir notas de reuniões. Ela possui uma interface simples que convida os usuários a “Pergunte qualquer coisa à Elsa.”

Os funcionários não são obrigados a usar a ferramenta. “Eles não precisam usar a Elsa se não acharem que ela tem valor”, disse Makary à CNN.

Ainda assim, sem regulamentações federais em vigor para a IA na medicina, especialistas alertam que é um caminho arriscado. “É realmente uma espécie de Velho Oeste agora”, disse o Dr. Jonathan Chen da Universidade de Stanford, à CNN.

À medida que a adoção de IA na ciência está crescendo rapidamente, com mais da metade dos pesquisadores dizendo que a IA já supera os humanos em tarefas como resumir e verificar plágios.

No entanto, desafios significativos permanecem. Uma pesquisa com 5.000 pesquisadores descobriu que 81% se preocupam com a precisão, o viés e os riscos à privacidade da IA. Muitos veem a falta de orientação e treinamento como uma grande barreira para o uso seguro da IA.

Especialistas enfatizam a necessidade urgente de uma ética de IA mais clara e educação para evitar o uso indevido. Embora a IA mostre promessa, os pesquisadores concordam que a supervisão humana ainda é crucial para manter a integridade científica.