Im Rahmen einer Zusammenarbeit zwischen der Australian National University, der University of Oxford und der Beijing Academy of AI haben Forscher ein KI-System namens "3D-GPT" vorgestellt.
Diese ausgeklügelte Reihe von KI-Agenten ermöglicht die Erzeugung von 3D-Umgebungen durch einfache Texteingaben.
Das Papier, verfügbar auf arXivzeigt einen schlanken und benutzerfreundlichen Ansatz für die Erstellung von 3D-Assets, der im Gegensatz zu den komplizierten Arbeitsabläufen bei der herkömmlichen 3D-Modellierung steht.
Durch die einfache Beschreibung einer Umgebung wie "schneebedeckter Gipfel mit strahlendem Sonnenschein im Hintergrund" wird das KI-System die Beschreibung der Umgebung interpretieren und ausbauen und daraus einen Code generieren, der in eine 3D-Computergrafiksoftware wie Blender eingegeben werden kann.
3D-GPT unterteilt komplexe 3D-Modellierungsaufgaben in überschaubare Segmente und delegiert jedes Segment an spezialisierte KI-Agenten.
Der Agent hat die folgenden Aufgaben:
- Aufgabenverteilungsagent: Interpretiert die vom Benutzer eingegebenen Textanweisungen.
- Konzeptualisierungsagent: Erweitert die ursprüngliche Beschreibung, indem fehlende Details ergänzt werden.
- Modellierungsagent: Legt die erforderlichen Parameter fest und generiert Code zur Bearbeitung von 3D-Software wie Blender.
Mithilfe dieser agentenbasierten Struktur kann 3D-GPT Texteingaben interpretieren, Beschreibungen mit zusätzlichem Kontext ergänzen und 3D-Assets erstellen, die sich eng an den Vorstellungen des Benutzers orientieren.
Text in 3D-Welten verwandeln
In dem Papier wird beschrieben, wie 3D-GPT eine einfache Textaufforderung wie "ein nebliger Frühlingsmorgen, an dem taufrische Blumen eine üppige, von knospenden Bäumen umgebene Wiese schmücken" zum Leben erwecken und eine reichhaltige 3D-Szene mit realistischen Grafiken erzeugen kann.
Obwohl die Technologie noch nicht das Stadium des Fotorealismus erreicht hat, sind die Ergebnisse vielversprechend.
Die Forscher blicken optimistisch in die Zukunft: "Unsere empirischen Untersuchungen bestätigen, dass 3D-GPT nicht nur Anweisungen interpretiert und ausführt und dabei zuverlässige Ergebnisse liefert, sondern auch effektiv mit menschlichen Designern zusammenarbeitet."
Sie sind der Meinung, dass ihr System "das Potenzial von LLMs in der 3D-Modellierung hervorhebt und einen grundlegenden Rahmen für zukünftige Fortschritte in der Szenengenerierung und Animation bietet".
In dem Maße, wie Technologien wie das Metaverse an Fahrt gewinnen, könnten Werkzeuge wie 3D-GPT unverzichtbar werden.
Mögliche Anwendungen gibt es in vielen Branchen, darunter Spiele, virtuelle Realität, Kino und Multimedia-Erlebnisse, wodurch die Erstellung von 3D-Inhalten effizienter und zugänglicher wird.
3D-GPT könnte bei Designern von Videospielen und 3D-Modellierern die Alarmglocken läuten lassen, die bereits von ähnlichen, in beliebte Designplattformen wie Unity integrierten Tools angegriffen werden.
