En una colaboración entre la Universidad Nacional de Australia, la Universidad de Oxford y la Academia de IA de Pekín, los investigadores han presentado un sistema de IA llamado "3D-GPT".
Esta sofisticada cadena de agentes de IA permite generar entornos tridimensionales mediante sencillas instrucciones de texto.
El documento, disponible en arXivmuestra un enfoque racionalizado y sencillo de la creación de activos 3D, que contrasta con los enrevesados flujos de trabajo del modelado 3D tradicional.
Con sólo describir un entorno como "un pico nevado con un sol radiante de fondo", el sistema de IA interpretará y desarrollará la descripción del entorno y la utilizará para generar un código que pueda introducirse en un programa de infografía 3D como Blender.
3D-GPT descompone las complejas tareas de modelado 3D en segmentos manejables, delegando cada segmento a agentes de IA especializados.
Las funciones del agente son las siguientes:
- Agente de envío de tareas: Interpreta las instrucciones de texto proporcionadas por el usuario.
- Agente de conceptualización: Enriquece la descripción inicial completando los detalles que faltan.
- Agente de modelos: Establece los parámetros necesarios y genera código para manipular software 3D como Blender.
Gracias a esta estructura basada en agentes, 3D-GPT puede interpretar indicaciones textuales, aumentar las descripciones con contexto adicional y crear activos 3D que se ajusten a la imaginación del usuario.
Transformar texto en mundos 3D
El artículo describe cómo 3D-GPT puede tomar un simple texto como "una brumosa mañana de primavera, donde las flores besadas por el rocío salpican un exuberante prado rodeado de árboles en ciernes" y darle vida, creando una rica escena en 3D con gráficos realistas.
Aunque la tecnología no ha llegado al fotorrealismo, los resultados son prometedores.
Los investigadores se muestran optimistas de cara al futuro: "Nuestras investigaciones empíricas confirman que 3D-GPT no sólo interpreta y ejecuta instrucciones, ofreciendo resultados fiables, sino que también colabora eficazmente con los diseñadores humanos."
Creen que su sistema "pone de relieve el potencial de los LLM en el modelado 3D, ofreciendo un marco básico para futuros avances en la generación de escenas y la animación."
A medida que tecnologías como el metaverso vayan ganando terreno, herramientas como 3D-GPT podrían convertirse en indispensables.
Las aplicaciones potenciales abarcan muchos sectores, como los juegos, la realidad virtual, el cine y las experiencias multimedia, lo que hace que la creación de contenidos 3D sea más eficiente y accesible.
3D-GPT puede hacer saltar las alarmas de los diseñadores de videojuegos y modeladores 3D, que ya se ven atacados por herramientas similares integradas en plataformas de diseño tan populares como Unity.
