I et samarbeid mellom Australian National University, University of Oxford og Beijing Academy of AI har forskere avduket et AI-system med navnet "3D-GPT".
Denne sofistikerte rekken av AI-agenter gjør det mulig å generere 3D-miljøer ved hjelp av enkle tekstmeldinger.
Artikkelen, som er tilgjengelig på arXivviser en strømlinjeformet og brukervennlig tilnærming til oppretting av 3D-ressurser, i motsetning til de innviklede arbeidsflytene som er involvert i tradisjonell 3D-modellering.
Ved å beskrive et miljø som "en snødekt fjelltopp med strålende solskinn i bakgrunnen", vil AI-systemet tolke og utdype miljøbeskrivelsen og bruke den til å generere kode som kan sendes inn i 3D-grafikkprogrammer som Blender.
3D-GPT bryter ned komplekse 3D-modelleringsoppgaver i håndterbare segmenter, og delegerer hvert segment til spesialiserte AI-agenter.
Agentens roller er som følger:
- Agent for utsendelse av oppgaver: Tolker tekstinstruksjonene fra brukeren.
- Konseptualiseringsagent: Beriker den opprinnelige beskrivelsen ved å fylle ut eventuelle manglende detaljer.
- Modellagent: Stiller inn de nødvendige parameterne og genererer kode for å manipulere 3D-programvare som Blender.
Ved hjelp av denne agentbaserte strukturen kan 3D-GPT tolke tekstmeldinger, supplere beskrivelser med ytterligere kontekst og skape 3D-ressurser som ligger tett opp til brukerens fantasi.
Forvandle tekst til 3D-verdener
Artikkelen beskriver hvordan 3D-GPT kan gi liv til en enkel tekst, for eksempel "en tåkete vårmorgen, der duggkyssede blomster pryder en frodig eng omgitt av spirende trær", og skape en rikholdig 3D-scene med realistisk grafikk.
Selv om teknologien ikke har nådd fotorealisme, er resultatene lovende.
Forskerne er optimistiske med tanke på fremtiden: "Våre empiriske undersøkelser bekrefter at 3D-GPT ikke bare tolker og utfører instruksjoner og leverer pålitelige resultater, men også samarbeider effektivt med menneskelige designere."
De mener at systemet deres "fremhever potensialet til LLM-er i 3D-modellering, og tilbyr et grunnleggende rammeverk for fremtidige fremskritt innen scenegenerering og animasjon".
Etter hvert som teknologier som metaverse vinner frem, kan verktøy som 3D-GPT bli uunnværlige.
Potensielle bruksområder spenner over mange bransjer, inkludert spill, virtuell virkelighet, kino og multimedieopplevelser, noe som gjør det mer effektivt og tilgjengelig å skape 3D-innhold.
3D-GPT kan få alarmklokkene til å ringe hos videospilldesignere og 3D-modellerere, som allerede er under angrep fra lignende verktøy som er integrert i populære designplattformer som Unity.
