Nvidia Onderzoek hebben onthuld nieuwe AI-technologie die het modelleren van 3D-objecten en het ontwerpen van videogames zou kunnen veranderen. Nvidia Neuralangelo, dat gebruik maakt van een diep neuraal netwerk, is een AI-model dat objecten uit 2D-video's met succes kan omzetten in complexe 3D grafische structuren met ingewikkelde details en onberispelijke nauwkeurigheid.
Met dit nieuwe AI-model kon het team van Nvidia Research virtuele replica's genereren van verschillende realtime objecten die in 2D-video's werden getoond, waaronder standbeelden en sculpturen, gebouwen en andere verschillende constructies.
Het team liet zich inspireren door de beeldhouwer zelf - Michelangelo, die leven blies in zijn beelden David, Madonna van Brugge, Engel en anderen. Zodra het systeem 2D-objecten heeft omgezet in 3D-afbeeldingen, kunnen ontwerpers en ontwikkelaars ze exporteren en importeren in hun eigen projecten.
Het team achter Nvidia Neuralangelo hoopt een oplossing te bieden voor het genereren van complexe structuren zoals gebouwen zonder dat dit ten koste gaat van tijd en andere bronnen. Het nieuwe AI-systeem is geschikt om te worden gebruikt voor de ontwikkeling van videogames, 3D-modellering, architectuur, robotica en industriële digital twins.
Neurale weergave
Nvidia Neuralangelo is niet het eerste AI-model van dit soort, maar het is zeker effectiever dan zijn voorgangers en andere vergelijkbare technologie.
Eerdere AI-modellen konden repetitieve textuurpatronen, sterke kleurvariaties of een homogeen kleurenpalet niet nauwkeurig repliceren. Maar omdat Neuralangelo diepe neurale netwerken en neurale grafische primitieven gebruikt, kan het fijnere details repliceren die sommige structuren vereisen.
Dezelfde technologie wordt gebruikt voor de Nvidia Instant NeRF, die 2D-beelden kan transformeren in meeslepende 3D-scènes. Deze technologie won de prijs voor beste paper op SIGGRAPH in 2022. Met Nvidia Neuralangelo hopen onderzoekers deze technologie uit te breiden naar architectuur en 3D-modellering en nog betere resultaten te behalen.
Om de app te testen namen onderzoekers een 2D-video van een object vanuit verschillende hoeken en lieten het model vervolgens de frames berekenen en selecteren die de verschillende gezichtspunten vastlegden. Eerst werd er een ruwe 3D-weergave van de objecten gemaakt, die vervolgens werd verfijnd om scherpere details te krijgen, net zoals beeldhouwers hun sculpturen vormgeven en bewerken.
Nvidia Neuralangelo op CVPR
De innovatieve AI-aangedreven oplossing van Nvidia Research zal veel ruimte maken voor game-ontwerpers, VR-ontwikkelaars, architecten, exterieur- en interieurontwerpers om indrukwekkende 3D-structuren te laten zien zonder weken of maanden bezig te zijn met het bouwen van hun projecten.
Hierdoor kunnen nieuwe technologieën ontstaan en kan de videogame-industrie mogelijk veranderen doordat er meer competitieve games uitkomen met wereldberoemde architectuur met fijne details en andere toevoegingen.
Het onderzoeksteam zal Nvidia Neuralangelo presenteren op de Cover Computer Vision en Patroonherkenning (CVPR) 2023 vindt plaats van 18-22 juni in Vancouver.
