I ett samarbete mellan Australian National University, University of Oxford och Beijing Academy of AI har forskare presenterat ett AI-system med namnet "3D-GPT".
Denna sofistikerade kedja av AI-agenter gör det möjligt att skapa 3D-miljöer genom enkla textmeddelanden.
Dokumentet, som finns tillgängligt på arXivvisar på en strömlinjeformad och användarvänlig metod för att skapa 3D-tillgångar, i motsats till de invecklade arbetsflöden som är förknippade med traditionell 3D-modellering.
Genom att helt enkelt beskriva en miljö som en "snötäckt bergstopp med strålande solsken i bakgrunden" tolkar och konkretiserar AI-systemet beskrivningen av miljön och använder den för att generera kod som kan skickas till ett 3D-program för datorgrafik som Blender.
3D-GPT delar upp komplexa 3D-modelleringsuppgifter i hanterbara segment och delegerar varje segment till specialiserade AI-agenter.
Agentens roller är följande:
- Agent för utskick av uppgifter: Tolkar de textinstruktioner som användaren tillhandahåller.
- Agent för konceptualisering: Berikar den ursprungliga beskrivningen genom att fylla i eventuella detaljer som saknas.
- Modellerande agent: Ställer in nödvändiga parametrar och genererar kod för att manipulera 3D-programvara som Blender.
Med hjälp av denna agentbaserade struktur kan 3D-GPT tolka textmeddelanden, komplettera beskrivningar med ytterligare sammanhang och skapa 3D-tillgångar som ligger nära användarens fantasi.
Förvandla text till 3D-världar
I artikeln beskrivs hur 3D-GPT kan ta en enkel textfråga som "en dimmig vårmorgon, där daggkyssta blommor täcker en frodig äng omgiven av spirande träd" och blåsa liv i den och skapa en rik 3D-scen komplett med realistisk grafik.
Även om tekniken inte har nått fram till fotorealism är resultaten lovande.
Forskarna är optimistiska inför framtiden och säger: "Våra empiriska undersökningar bekräftar att 3D-GPT inte bara tolkar och utför instruktioner och levererar tillförlitliga resultat, utan också samarbetar effektivt med mänskliga designers."
De anser att deras system "belyser potentialen hos LLM:er inom 3D-modellering och erbjuder en grundläggande ram för framtida framsteg inom scengenerering och animering".
När teknik som metaverse blir allt vanligare kan verktyg som 3D-GPT bli oumbärliga.
De potentiella tillämpningarna spänner över många branscher, bland annat spel, virtual reality, film och multimediaupplevelser, och gör skapandet av 3D-innehåll mer effektivt och tillgängligt.
3D-GPT kan få varningsklockorna att ringa för videospelkonstruktörer och 3D-modellerare, som redan är under attack från liknande verktyg som är integrerade i populära designplattformar som Unity.
