Nvidia Forschung haben enthüllt eine neue KI-Technologie, die die 3D-Objektmodellierung und das Design von Videospielen verändern könnte. Nvidia Neuralangelo, das ein tiefes neuronales Netzwerk nutzt, ist ein KI-Modell, das erfolgreich Objekte aus 2D-Videos in komplexe 3D-Grafikstrukturen mit komplizierten Details und tadelloser Genauigkeit umwandeln kann.
Dieses neue KI-Modell ermöglichte es dem Team von Nvidia Research, virtuelle Nachbildungen verschiedener Echtzeit-Objekte in 2D-Videos zu erzeugen, darunter Statuen und Skulpturen, Gebäude und andere verschiedene Konstruktionen.
Inspiriert wurde das Team vom Bildhauer selbst - Michelangelo, der seinen Skulpturen David, Madonna von Brügge, Engel und anderen Leben einhauchte. Sobald das System 2D-Objekte in 3D-Grafiken umgewandelt hat, können Designer und Entwickler diese exportieren und dann in ihre eigenen Projekte importieren.
Das Team, das hinter Nvidia Neuralangelo steht, hofft, eine Lösung für die Erstellung komplexer Strukturen wie Gebäude anbieten zu können, ohne Zeit und andere Ressourcen zu opfern. Das neue KI-System eignet sich für die Entwicklung von Videospielen, 3D-Modellierung, Architektur, Robotik und industrielle digitale Zwillinge.
Neuronales Rendering
Nvidia Neuralangelo ist nicht das erste KI-Modell dieser Art, aber es ist sicherlich effektiver als seine Vorgänger und andere ähnliche Technologien.
Frühere KI-Modelle konnten sich wiederholende Texturmuster, starke Farbvariationen oder eine homogene Farbpalette nicht genau nachbilden. Da Neuralangelo jedoch tiefe neuronale Netze und neuronale Grafikprimitive verwendet, kann es feinere Details nachbilden, die einige Strukturen erfordern.
Dieselbe Technologie treibt den Nvidia Instant NeRF an, der auch 2D-Bilder in immersive 3D-Szenen umwandeln kann. Diese Technologie gewann den Preis für die beste Arbeit auf der SIGGRAPH im Jahr 2022. Mit Nvidia Neuralangelo hoffen die Forscher, diese Technologie auf Architektur und 3D-Modellierung auszuweiten und noch bessere Ergebnisse zu erzielen.
Um die App zu testen, nahmen die Forscher ein 2D-Video eines Objekts aus verschiedenen Blickwinkeln auf und ließen dann das Modell die Bilder berechnen und auswählen, die die verschiedenen Blickwinkel einfangen würden. Zunächst wurde eine grobe 3D-Darstellung des Objekts erstellt und dann eine Feinabstimmung vorgenommen, um schärfere Details zu erhalten, ähnlich wie Bildhauer ihre Skulpturen formen und behauen.
Nvidia Neuralangelo auf der CVPR
Die innovative, KI-gestützte Lösung von Nvidia Research wird Game-Designern, VR-Entwicklern, Architekten, Außen- und Innenarchitekten viel Raum geben, um beeindruckende 3D-Strukturen zu präsentieren, ohne dass sie Wochen oder Monate mit dem Bau ihrer Projekte verbringen müssen.
Sie wird die Entwicklung neuer Technologien ermöglichen und möglicherweise die Videospielindustrie verändern, indem mehr wettbewerbsfähige Spiele mit weltbekannter Architektur, feinen Details und anderen Zusätzen auf den Markt kommen.
Das Forschungsteam wird Nvidia Neuralangelo auf der Conference on Computer Vision and Pattern Recognition (CVPR) 2023, die vom 18. bis 22. Juni in Vancouver stattfindet.
