Nvidia-forskning har afsløret ny AI-teknologi, der kan ændre 3D-objektmodellering og design af videospil. Nvidia Neuralangelo, som bruger et dybt neuralt netværk, er en AI-model, der med succes kan omdanne objekter fra 2D-videoer til komplekse 3D-grafikstrukturer med indviklede detaljer og upåklagelig nøjagtighed.
Denne nye AI-model gjorde det muligt for teamet fra Nvidia Research at generere virtuelle kopier af forskellige realtidsobjekter, der blev vist i 2D-videoer, herunder statuer og skulpturer, bygninger og andre forskellige konstruktioner.
Teamet blev inspireret af billedhuggeren selv - Michelangelo, som pustede liv i sine skulpturer David, Madonna of Bruges, Angel og andre. Når systemet har omdannet 2D-objekter til 3D-grafik, vil designere og udviklere kunne eksportere dem og derefter importere dem til deres egne projekter.
Holdet bag Nvidia Neuralangelo håber at kunne tilbyde en løsning til at generere komplekse strukturer som bygninger uden at gå på kompromis med tid og andre ressourcer. Det nye AI-system er egnet til at blive brugt til udvikling af videospil, 3D-modellering, arkitektur, robotteknologi og industrielle digitale tvillinger.
Neural gengivelse
Nvidia Neuralangelo er ikke den første AI-model af denne slags, men den er bestemt mere effektiv end sine forgængere og anden lignende teknologi.
Tidligere AI-modeller kunne ikke nøjagtigt gengive gentagne teksturmønstre, stærke farvevariationer eller en homogen farvepalet. Men fordi Neuralangelo bruger dybe neurale netværk og neurale grafiske primitiver, kan den gengive finere detaljer, som nogle strukturer kræver.
Den samme teknologi driver Nvidia Instant NeRF, som også kan omdanne 2D-billeder til opslugende 3D-scener. Denne teknologi vandt prisen for bedste artikel ved SIGGRAPH i 2022. Med Nvidia Neuralangelo håber forskerne at kunne udvide denne teknologi til arkitektur og 3D-modellering og opnå endnu bedre resultater.
For at teste appen tog forskerne en 2D-video af et objekt fra forskellige vinkler og fik derefter modellen til at beregne og vælge de billeder, der ville fange forskellige synsvinkler. Først skabte den en grov 3D-repræsentation af objekterne og finjusterede den derefter for at få skarpere detaljer, på samme måde som billedhuggere former og tilhugger deres skulpturer.
Nvidia Neuralangelo på CVPR
Den innovative AI-drevne løsning fra Nvidia Research vil gøre det muligt for spildesignere, VR-udviklere, arkitekter, eksteriør- og interiørdesignere at fremvise imponerende 3D-strukturer uden at bruge uger eller måneder på at bygge deres projekter.
Det vil give mulighed for at udvikle nye teknologier og potentielt forandre videospilindustrien ved at give mulighed for at udgive mere konkurrencedygtige spil med verdenskendt arkitektur med fine detaljer og andre tilføjelser.
Forskerteamet vil præsentere Nvidia Neuralangelo på Conference om computersyn og mønstergenkendelse (CVPR) 2023, der finder sted fra 18.-22. juni i Vancouver.
