I et samarbejde mellem Australian National University, University of Oxford og Beijing Academy of AI har forskere afsløret et AI-system ved navn "3D-GPT".
Denne sofistikerede række af AI-agenter gør det muligt at skabe 3D-miljøer ved hjælp af enkle tekstbeskeder.
Papiret, der er tilgængeligt på arXivviser en strømlinet og brugervenlig tilgang til skabelse af 3D-aktiver, som står i kontrast til de indviklede arbejdsgange, der er involveret i traditionel 3D-modellering.
Ved blot at beskrive et miljø som en "snedækket bjergtop med stærkt solskin i baggrunden" vil AI-systemet fortolke og uddybe beskrivelsen af miljøet og bruge det til at generere kode, der kan overføres til 3D-computergrafiksoftware som Blender.
3D-GPT opdeler komplekse 3D-modelleringsopgaver i håndterbare segmenter og uddelegerer hvert segment til specialiserede AI-agenter.
Agentens roller er som følger:
- Agent til afsendelse af opgaver: Fortolker de tekstinstruktioner, som brugeren har givet.
- Agent for konceptualisering: Beriger den oprindelige beskrivelse ved at udfylde eventuelle manglende detaljer.
- Modelagent: Indstiller de nødvendige parametre og genererer kode til at manipulere 3D-software som Blender.
Ved hjælp af denne agentbaserede struktur kan 3D-GPT fortolke tekstmeddelelser, supplere beskrivelser med yderligere kontekst og skabe 3D-aktiver, der ligger tæt op ad brugerens fantasi.
Omdanner tekst til 3D-verdener
Artiklen beskriver, hvordan 3D-GPT kan tage en simpel tekst som "en tåget forårsmorgen, hvor dugkysse blomster dækker en frodig eng omgivet af spirende træer" og puste liv i den og skabe en rig 3D-scene komplet med realistisk grafik.
Selvom teknologien ikke er nået så langt som til fotorealisme, er resultaterne lovende.
Forskerne ser optimistisk på fremtiden og siger: "Vores empiriske undersøgelser bekræfter, at 3D-GPT ikke kun fortolker og udfører instruktioner og leverer pålidelige resultater, men også samarbejder effektivt med menneskelige designere."
De mener, at deres system "fremhæver potentialet i LLM'er i 3D-modellering og tilbyder en grundlæggende ramme for fremtidige fremskridt inden for scenegenerering og animation."
I takt med at teknologier som metaverse vinder frem, kan værktøjer som 3D-GPT blive uundværlige.
Potentielle anvendelser spænder over mange brancher, herunder spil, virtual reality, biograf og multimedieoplevelser, hvilket gør skabelsen af 3D-indhold mere effektiv og tilgængelig.
3D-GPT får måske alarmklokkerne til at ringe hos videospildesignere og 3D-modellører, som allerede er under angreb fra lignende værktøjer, der er integreret i populære designplatforme som Unity.
