LegoGPT: IA Transforma Comandos de Texto em Criações de Lego

Pesquisadores da Universidade Carnegie Mellon apresentaram o LegoGPT, um novo sistema de IA que constrói criações reais de Lego a partir de descrições escritas.

É a primeira IA do seu tipo que não apenas segue um comando de texto—como “um vaso alongado e aerodinâmico”—, mas também garante que a estrutura resultante seja fisicamente estável e possa ser construída, tijolo por tijolo.

“Para alcançar isso, construímos um conjunto de dados em grande escala e fisicamente estável de designs LEGO, juntamente com suas legendas associadas”, explicou a equipe em seu artigo de pesquisa.

O LegoGPT foi treinado usando mais de 47.000 modelos estáveis de Lego emparelhados com legendas detalhadas geradas pelo GPT-4o. Esses foram construídos a partir de formas 3D, transformados em estruturas de Lego, e então testados para estabilidade no mundo real usando simulações físicas.

Cada estrutura também foi descrita de 24 ângulos diferentes para que a IA pudesse aprender como vários projetos deveriam parecer em palavras.

A equipe usou uma técnica especial chamada “retorno consciente da física”, onde partes instáveis de um design são removidas e reconstruídas até que toda a estrutura se sustente. Isso melhorou as taxas de sucesso na construção de 24% para 98,8%.

O modelo de IA, baseado no LLaMA-3.2-Instruct da Meta, prevê qual peça de Lego colocar a seguir – semelhante a como o ChatGPT prevê a próxima palavra. Cada peça sugerida é verificada quanto à colocação, tamanho e possíveis colisões antes de ser adicionada ao modelo.

As criações do LegoGPT podem ser construídas tanto por humanos quanto por robôs. “Nossos experimentos mostram que o LegoGPT produz designs de Lego estáveis, diversos e esteticamente agradáveis que se alinham de perto com os prompts de texto de entrada”, escreveram os pesquisadores.

Por enquanto, o LegoGPT usa apenas oito tipos básicos de blocos e funciona dentro de um espaço 20×20×20, mas a equipe espera expandi-lo.

Seu conjunto de dados completo, código e modelo estão livres para acesso, para que outros possam continuar construindo em cima desta pesquisa. Alternativamente, você pode apenas brincar com a demonstração deles.