Recherche Nvidia avoir révélé Nvidia Neuralangelo est une nouvelle technologie d'IA qui pourrait modifier la modélisation d'objets en 3D et la conception de jeux vidéo. Nvidia Neuralangelo, qui utilise un réseau neuronal profond, est un modèle d'IA capable de transformer avec succès des objets à partir de vidéos 2D en structures graphiques 3D complexes, avec des détails complexes et une précision irréprochable.
Ce nouveau modèle d'IA a permis à l'équipe de Nvidia Research de générer des répliques virtuelles de différents objets en temps réel présentés dans des vidéos en 2D, notamment des statues et des sculptures, des bâtiments et d'autres constructions.
L'équipe s'est inspirée du sculpteur lui-même, Michel-Ange, qui a donné vie à ses sculptures : David, Madone de Bruges, Ange, etc. Une fois que le système aura transformé les objets 2D en graphiques 3D, les concepteurs et les développeurs pourront les exporter et les importer dans leurs propres projets.
L'équipe à l'origine de Nvidia Neuralangelo espère offrir une solution pour générer des structures complexes telles que des bâtiments sans compromettre le temps et les autres ressources. Le nouveau système d'IA peut être utilisé pour le développement de jeux vidéo, la modélisation 3D, l'architecture, la robotique et les jumeaux numériques industriels.
Rendu neuronal
Nvidia Neuralangelo n'est pas le premier modèle d'IA de ce type, mais il est certainement plus efficace que ses prédécesseurs et d'autres technologies similaires.
Les modèles d'IA précédents ne pouvaient pas reproduire avec précision des motifs de texture répétitifs, de fortes variations de couleur ou une palette de couleurs homogène. Cependant, comme Neuralangelo utilise des réseaux neuronaux profonds et des primitives graphiques neuronales, il peut reproduire des détails plus fins que certaines structures requièrent.
Cette même technologie équipe le Nvidia Instant NeRF, qui peut également transformer des images 2D en scènes 3D immersives. Cette technologie a remporté le prix du meilleur article à la conférence SIGGRAPH en 2022. Avec Nvidia Neuralangelo, les chercheurs espèrent étendre cette technologie à l'architecture et à la modélisation 3D et obtenir des résultats encore meilleurs.
Pour tester l'application, les chercheurs ont pris une vidéo en 2D d'un objet sous différents angles, puis ont demandé au modèle de calculer et de sélectionner les images qui captureraient les différents points de vue. Le modèle crée d'abord une représentation 3D approximative de l'objet, puis l'affine pour obtenir des détails plus précis, de la même manière que les sculpteurs façonnent et taillent leurs sculptures.
Nvidia Neuralangelo à la CVPR
La solution innovante de Nvidia Research, alimentée par l'IA, permettra aux concepteurs de jeux, aux développeurs VR, aux architectes, aux designers d'extérieur et d'intérieur de présenter des structures 3D impressionnantes sans passer des semaines ou des mois à construire leurs projets.
Il permettra l'émergence de nouvelles technologies et transformera potentiellement l'industrie du jeu vidéo en permettant la sortie de jeux plus compétitifs, mettant en scène des architectures mondialement connues avec des détails raffinés et d'autres ajouts.
L'équipe de recherche présentera Nvidia Neuralangelo lors de la conférence Conférence sur la vision par ordinateur et la reconnaissance des formes (CVPR) 2023 qui se déroulera du 18 au 22 juin à Vancouver.
