Pesquisa da Nvidia ter revelado nova tecnologia de IA que poderá mudar a modelação de objectos 3D e o design de jogos de vídeo. O Nvidia Neuralangelo, que utiliza uma rede neural profunda, é um modelo de IA que pode transformar com êxito objectos de vídeos 2D em estruturas gráficas 3D complexas com detalhes intrincados e uma precisão impecável.
Este novo modelo de IA permitiu à equipa da Nvidia Research gerar réplicas virtuais de diferentes objectos em tempo real apresentados em vídeos 2D, incluindo estátuas e esculturas, edifícios e outras construções diferentes.
A equipa inspirou-se no próprio escultor Miguel Ângelo, que deu vida às suas esculturas David, Madonna de Bruges, Anjo, entre outras. Quando o sistema transformar objectos 2D em gráficos 3D, os designers e programadores poderão exportá-los e depois importá-los para os seus próprios projectos.
A equipa por detrás do Nvidia Neuralangelo espera oferecer uma solução para gerar estruturas complexas, como edifícios, sem comprometer o tempo e outros recursos. O novo sistema de IA é adequado para ser utilizado no desenvolvimento de jogos de vídeo, modelação 3D, arquitetura, robótica e gémeos digitais industriais.
Renderização neural
O Nvidia Neuralangelo não é o primeiro modelo de IA deste género, mas é certamente mais eficaz do que os seus antecessores e outras tecnologias semelhantes.
Os modelos de IA anteriores não conseguiam replicar com precisão padrões de textura repetitivos, fortes variações de cor ou uma paleta de cores homogénea. No entanto, como o Neuralangelo utiliza redes neuronais profundas e primitivas de gráficos neuronais, pode replicar os detalhes mais finos que algumas estruturas exigem.
Essa mesma tecnologia alimenta o Nvidia Instant NeRF, que também pode transformar imagens 2D em cenas 3D envolventes. Esta tecnologia ganhou o prémio de melhor artigo no SIGGRAPH em 2022. Com Nvidia Neuralangelo, os investigadores esperam alargar esta tecnologia à arquitetura e à modelação 3D e obter resultados ainda melhores.
Para testar a aplicação, os investigadores fizeram um vídeo 2D de um objeto a partir de diferentes ângulos e, em seguida, fizeram com que o modelo calculasse e seleccionasse os fotogramas que captariam os diferentes pontos de vista. Primeiro, criava uma representação 3D aproximada dos objectos e depois afinava-a para obter detalhes mais nítidos, à semelhança da forma como os escultores moldam e cortam as suas esculturas.
Nvidia Neuralangelo na CVPR
A inovadora solução alimentada por IA da Nvidia Research abrirá muito espaço para que designers de jogos, programadores de RV, arquitectos, designers de exteriores e de interiores apresentem estruturas 3D impressionantes sem terem de passar semanas ou meses a construir os seus projectos.
Permitirá o aparecimento de novas tecnologias e, potencialmente, transformará a indústria dos jogos de vídeo, permitindo o aparecimento de jogos mais competitivos, com arquitetura mundialmente conhecida, com pormenores finos e outros elementos adicionais.
A equipa de investigação apresentará o Nvidia Neuralangelo na Conferência sobre Visão por Computador e Reconhecimento de Padrões (CVPR) 2023, que terá lugar de 18 a 22 de junho em Vancouver.
