Numa colaboração entre a Universidade Nacional Australiana, a Universidade de Oxford e a Academia de IA de Pequim, os investigadores revelaram um sistema de IA denominado "3D-GPT".
Esta sofisticada cadeia de agentes de IA permite a criação de ambientes 3D através de simples comandos de texto.
O documento, disponível em arXivO software de modelação 3D da Microsoft, o software de modelação 3D, apresenta uma abordagem simplificada e fácil de utilizar para a criação de activos 3D, em contraste com os fluxos de trabalho complicados envolvidos na modelação 3D tradicional.
Descrevendo simplesmente um ambiente como "um pico coberto de neve com um sol brilhante ao fundo", o sistema de IA interpreta e dá corpo à descrição do ambiente e utiliza-a para gerar código que pode ser passado para um software de computação gráfica 3D como o Blender.
O 3D-GPT divide tarefas complexas de modelação 3D em segmentos geríveis, delegando cada segmento a agentes de IA especializados.
As funções do agente são as seguintes:
- Agente de expedição de tarefas: Interpreta as instruções de texto fornecidas pelo utilizador.
- Agente de concetualização: Enriquece a descrição inicial preenchendo os pormenores em falta.
- Agente de modelação: Define os parâmetros necessários e gera código para manipular software 3D como o Blender.
Utilizando esta estrutura baseada em agentes, o 3D-GPT pode interpretar instruções de texto, aumentar as descrições com contexto adicional e criar recursos 3D que se alinham de perto com a imaginação do utilizador.
Transformar texto em mundos 3D
O documento descreve como o 3D-GPT pode pegar numa simples mensagem de texto como "uma manhã nublada de primavera, onde as flores beijadas pelo orvalho pontilham um prado luxuriante rodeado de árvores em crescimento" e dar-lhe vida, criando uma cena 3D rica e completa com gráficos realistas.
Embora a tecnologia não tenha atingido a fase do fotorrealismo, os resultados são prometedores.
Os investigadores estão optimistas quanto ao futuro, afirmando: "As nossas investigações empíricas confirmam que o 3D-GPT não só interpreta e executa instruções, apresentando resultados fiáveis, como também colabora eficazmente com designers humanos".
Acreditam que o seu sistema "realça o potencial das LLMs na modelação 3D, oferecendo uma estrutura básica para futuros avanços na geração de cenas e animação".
À medida que tecnologias como o metaverso ganham ritmo, ferramentas como a 3D-GPT podem tornar-se indispensáveis.
As aplicações potenciais abrangem muitas indústrias, incluindo jogos, realidade virtual, cinema e experiências multimédia, tornando a criação de conteúdos 3D mais eficiente e acessível.
A 3D-GPT pode ser um sinal de alarme para os designers de videojogos e modeladores 3D, que já estão a ser atacados por ferramentas semelhantes integradas em plataformas de design populares como o Unity.
