Nvidia Forskning har avslöjade ny AI-teknik som kan förändra 3D-objektmodellering och design av videospel. Nvidia Neuralangelo, som använder sig av ett djupt neuralt nätverk, är en AI-modell som framgångsrikt kan omvandla objekt från 2D-videor till komplexa 3D-grafikstrukturer med invecklade detaljer och oklanderlig noggrannhet.
Den nya AI-modellen gjorde det möjligt för teamet från Nvidia Research att generera virtuella kopior av olika realtidsobjekt som visas i 2D-videor, t.ex. statyer och skulpturer, byggnader och andra olika konstruktioner.
Teamet inspirerades av skulptören själv - Michelangelo, som blåste liv i sina skulpturer David, Madonna of Bruges, Angel och andra. När systemet har omvandlat 2D-objekt till 3D-grafik kommer designers och utvecklare att kunna exportera dem och sedan importera dem till sina egna projekt.
Teamet bakom Nvidia Neuralangelo hoppas kunna erbjuda en lösning för att generera komplexa strukturer som byggnader utan att kompromissa med tid och andra resurser. Det nya AI-systemet är lämpligt att använda för utveckling av videospel, 3D-modellering, arkitektur, robotteknik och industriella digitala tvillingar.
Neural rendering
Nvidia Neuralangelo är inte den första AI-modellen av det här slaget, men den är definitivt mer effektiv än sina föregångare och annan liknande teknik.
Tidigare AI-modeller kunde inte exakt återskapa repetitiva texturmönster, starka färgvariationer eller en homogen färgpalett. Men eftersom Neuralangelo använder djupa neurala nätverk och neurala grafikprimitiver kan den återskapa finare detaljer som vissa strukturer kräver.
Samma teknik driver Nvidia Instant NeRF som också kan omvandla 2D-bilder till uppslukande 3D-scener. Denna teknik vann priset för bästa uppsats vid SIGGRAPH år 2022. Med Nvidia Neuralangelo hoppas forskarna kunna utvidga denna teknik till arkitektur och 3D-modellering och uppnå ännu bättre resultat.
För att testa appen tog forskarna en 2D-video av ett objekt från olika vinklar och lät sedan modellen beräkna och välja de bildrutor som skulle fånga olika synvinklar. Först skapade den en grov 3D-representation av objekten och finjusterade den sedan för att få skarpare detaljer, på samma sätt som skulptörer formar och hugger sina skulpturer.
Nvidia Neuralangelo på CVPR
Den innovativa AI-drivna lösningen från Nvidia Research kommer att göra det möjligt för speldesigners, VR-utvecklare, arkitekter, exteriör- och inredningsarkitekter att visa upp imponerande 3D-strukturer utan att behöva lägga veckor eller månader på att bygga sina projekt.
Det kommer att leda till att ny teknik kan utvecklas och potentiellt förändra videospelsindustrin genom att fler konkurrenskraftiga spel kan lanseras, med världskänd arkitektur med fina detaljer och andra tillägg.
Forskargruppen kommer att presentera Nvidia Neuralangelo vid Conferens om datorseende och mönsterigenkänning (CVPR) 2023 som äger rum den 18-22 juni i Vancouver.
