In een samenwerkingsverband tussen de Australian National University, de Universiteit van Oxford en de Beijing Academy of AI hebben onderzoekers een AI-systeem onthuld met de naam "3D-GPT".
Met deze geavanceerde reeks AI-agenten kunnen 3D-omgevingen worden gegenereerd via eenvoudige tekstaanwijzingen.
De paper, beschikbaar op arXivtoont een gestroomlijnde en gebruiksvriendelijke aanpak voor het maken van 3D-activa, in tegenstelling tot de ingewikkelde workflows van traditionele 3D-modellering.
Door eenvoudigweg een omgeving te beschrijven zoals een "besneeuwde piek met felle zonneschijn op de achtergrond", zal het AI-systeem de beschrijving van de omgeving interpreteren en verder uitwerken en op basis daarvan code genereren die kan worden doorgegeven aan 3D computer graphics software zoals Blender.
3D-GPT splitst complexe 3D modelleringstaken op in beheersbare segmenten en delegeert elk segment aan gespecialiseerde AI-agenten.
De agent heeft de volgende rollen:
- Taakverzendagent: Interpreteert de tekstinstructies van de gebruiker.
- Conceptualiseringsagent: Verrijkt de oorspronkelijke beschrijving door ontbrekende details aan te vullen.
- Modelagent: Stelt de nodige parameters in en genereert code om 3D-software zoals Blender te manipuleren.
Met behulp van deze agentgebaseerde structuur kan 3D-GPT tekstaanwijzingen interpreteren, beschrijvingen aanvullen met extra context en 3D-activa maken die nauw aansluiten bij de verbeelding van de gebruiker.
Tekst omzetten in 3D-werelden
Het artikel beschrijft hoe 3D-GPT een eenvoudige tekstopdracht zoals "een mistige lentemorgen, waar dauwgekuste bloemen een weelderige weide omringen met ontluikende bomen" tot leven kan brengen en een rijke 3D scène kan creëren, compleet met realistische afbeeldingen.
Hoewel de technologie het stadium van fotorealisme nog niet heeft bereikt, zijn de resultaten veelbelovend.
De onderzoekers zijn optimistisch over de toekomst en stellen: "Ons empirisch onderzoek bevestigt dat 3D-GPT niet alleen instructies interpreteert en uitvoert en betrouwbare resultaten levert, maar ook effectief samenwerkt met menselijke ontwerpers."
Ze geloven dat hun systeem "het potentieel van LLM's in 3D-modellering benadrukt en een basisraamwerk biedt voor toekomstige ontwikkelingen in het genereren van scènes en animatie."
Naarmate technologieën zoals de metaverse aan snelheid winnen, kunnen tools zoals 3D-GPT onmisbaar worden.
Potentiële toepassingen zijn er in vele sectoren, waaronder gaming, virtual reality, cinema en multimedia-ervaringen, waardoor het maken van 3D-inhoud efficiënter en toegankelijker wordt.
3D-GPT kan alarmbellen doen rinkelen bij ontwerpers van videogames en 3D-modelleurs, die al worden aangevallen door vergelijkbare tools die zijn geïntegreerd in populaire ontwerpplatforms zoals Unity.
