In una collaborazione tra l'Australian National University, l'Università di Oxford e l'Accademia di IA di Pechino, i ricercatori hanno presentato un sistema di IA denominato "3D-GPT".
Questa sofisticata serie di agenti AI consente di generare ambienti 3D attraverso semplici indicazioni testuali.
Il documento, disponibile su arXivIl progetto, che si basa su un approccio semplificato e facile da usare alla creazione di risorse 3D, si contrappone ai flussi di lavoro contorti della modellazione 3D tradizionale.
Descrivendo semplicemente un ambiente come "un picco innevato con un sole splendente sullo sfondo", il sistema di intelligenza artificiale interpreterà e approfondirà la descrizione dell'ambiente e la utilizzerà per generare codice che potrà essere passato in un software di grafica 3D come Blender.
3D-GPT suddivide le complesse attività di modellazione 3D in segmenti gestibili, delegando ogni segmento ad agenti AI specializzati.
I ruoli dell'agente sono i seguenti:
- Agente di spedizione dei compiti: Interpreta le istruzioni di testo fornite dall'utente.
- Agente di concettualizzazione: Arricchisce la descrizione iniziale, completando i dettagli mancanti.
- Agente modellista: Imposta i parametri necessari e genera codice per manipolare software 3D come Blender.
Utilizzando questa struttura basata su agenti, 3D-GPT è in grado di interpretare le richieste di testo, di aumentare le descrizioni con un contesto aggiuntivo e di creare risorse 3D che si allineano strettamente con l'immaginazione dell'utente.
Trasformare il testo in mondi 3D
Il documento descrive come il 3D-GPT possa prendere una semplice richiesta di testo come "una nebbiosa mattina di primavera, dove fiori baciati dalla rugiada punteggiano un prato lussureggiante circondato da alberi in erba" e darle vita, creando una ricca scena 3D completa di grafica realistica.
Anche se la tecnologia non ha raggiunto lo stadio del fotorealismo, i risultati sono promettenti.
I ricercatori sono ottimisti per il futuro e affermano: "Le nostre indagini empiriche confermano che il 3D-GPT non solo interpreta ed esegue le istruzioni, fornendo risultati affidabili, ma collabora anche efficacemente con i progettisti umani".
I ricercatori ritengono che il loro sistema "evidenzi il potenziale degli LLM nella modellazione 3D, offrendo un quadro di base per i futuri progressi nella generazione di scene e nell'animazione".
Con l'affermarsi di tecnologie come il metaverso, strumenti come il 3D-GPT potrebbero diventare indispensabili.
Le potenziali applicazioni abbracciano molti settori, tra cui i giochi, la realtà virtuale, il cinema e le esperienze multimediali, rendendo la creazione di contenuti 3D più efficiente e accessibile.
3D-GPT potrebbe far suonare un campanello d'allarme per i progettisti di videogiochi e i modellatori 3D, che sono già sotto attacco da parte di strumenti simili integrati in piattaforme di progettazione popolari come Unity.
