Nvidia Research har avslørt ny AI-teknologi som kan endre 3D-objektmodellering og design av videospill. Nvidia Neuralangelo, som benytter et dypt nevralt nettverk, er en AI-modell som kan forvandle objekter fra 2D-videoer til komplekse 3D-grafikkstrukturer med intrikate detaljer og upåklagelig nøyaktighet.
Denne nye AI-modellen gjorde det mulig for teamet fra Nvidia Research å generere virtuelle kopier av ulike sanntidsobjekter som vises i 2D-videoer, inkludert statuer og skulpturer, bygninger og andre ulike konstruksjoner.
Teamet har latt seg inspirere av billedhuggeren Michelangelo, som blåste liv i skulpturene David, Madonnaen i Brugge, Engelen og flere andre. Når systemet har forvandlet 2D-objekter til 3D-grafikk, vil designere og utviklere kunne eksportere dem og deretter importere dem til sine egne prosjekter.
Teamet bak Nvidia Neuralangelo håper å kunne tilby en løsning for å generere komplekse strukturer som bygninger uten at det går på bekostning av tid og andre ressurser. Det nye AI-systemet kan brukes til utvikling av videospill, 3D-modellering, arkitektur, robotteknologi og industrielle digitale tvillinger.
Neural gjengivelse
Nvidia Neuralangelo er ikke den første AI-modellen av denne typen, men den er absolutt mer effektiv enn sine forgjengere og annen lignende teknologi.
Tidligere AI-modeller kunne ikke gjenskape repeterende teksturmønstre, sterke fargevariasjoner eller en homogen fargepalett på en nøyaktig måte. Men fordi Neuralangelo bruker dype nevrale nettverk og nevrale grafiske primitiver, kan den gjenskape finere detaljer som enkelte strukturer krever.
Den samme teknologien ligger til grunn for Nvidia Instant NeRF, som også kan forvandle 2D-bilder til oppslukende 3D-scener. Denne teknologien vant prisen for beste artikkel på SIGGRAPH i 2022. Med Nvidia Neuralangelo håper forskerne å kunne utvide denne teknologien til arkitektur og 3D-modellering og oppnå enda bedre resultater.
For å teste appen tok forskerne en 2D-video av et objekt fra ulike vinkler, og deretter lot de modellen beregne og velge ut hvilke bilder som skulle fange opp de ulike synsvinklene. Først skapte den en grov 3D-representasjon av objektene, og deretter finjusterte den den for å få skarpere detaljer, på samme måte som skulptører former og hugger til skulpturene sine.
Nvidia Neuralangelo på CVPR
Den innovative AI-drevne løsningen fra Nvidia Research vil gi spilldesignere, VR-utviklere, arkitekter, eksteriør- og interiørdesignere muligheten til å vise frem imponerende 3D-strukturer uten å bruke uker eller måneder på å bygge prosjektene sine.
Det vil gi rom for ny teknologi og potensielt forandre videospillindustrien ved at det blir mulig å lansere mer konkurransedyktige spill med verdenskjent arkitektur med fine detaljer og andre tillegg.
Forskerteamet vil presentere Nvidia Neuralangelo på Conferanse om datasyn og mønstergjenkjenning (CVPR) 2023, som finner sted 18.-22. juni i Vancouver.
