IA da NVIDIA transforma fotos 2D em cenas 3D em segundos; veja

Um novo modelo de renderização neural desenvolvido pela NVIDIA pode transformar uma coleção de fotos 2D em cenas 3D em “um piscar de olhos”, conforme a empresa. A tecnologia foi apresentada durante a edição 2022 da GPU Technology Conference (GTC), realizada no final de março.

Intitulada Neural Radiance Field (NeRF), a técnica aprende uma cena tridimensional em questão de segundos, podendo renderizar as imagens em alguns milissegundos. O processo inclui o uso de inteligência artificial (IA) para aproximar o comportamento da luz no mundo real, permitindo reconstruir a cena 3D usando fotos bidimensionais.

A IA é capaz de prever a cor da luz irradiada a partir de qualquer direção, em todos os pontos do espaço tridimensional, além de contornar os bloqueios proporcionados por obstruções como pilares. A fabricante de placas de vídeo divulgou um vídeo mostrando como a transformação acontece quase que instantaneamente:

De acordo com a NVIDIA, o ideal é que as imagens utilizadas na montagem da foto 3D tenham pouco ou nenhum movimento, para evitar que a cena gerada por IA fique desfocada. Outro detalhe importante é a necessidade de elas serem registradas a partir de vários ângulos diferentes.

Acelerando as coisas

Os primeiros modelos de NeRF demoravam alguns minutos para renderizar cenas nítidas sem artefatos, embora o treinamento durasse horas. Pensando em acelerar o processo, a companhia desenvolveu uma técnica chamada codificação de grade de hash multi-resolução, otimizada para funcionar nas GPUs da marca.

A partir da mudança, foi possível aumentar a velocidade da renderização em 1 mil vezes, em alguns casos, levando à criação do Instant NeRF, tecnologia mais rápida desenvolvida até o momento neste gênero.

Há diversas possibilidades de uso para a técnica, segundo a NVIDIA, como em treinamentos de robôs e carros autônomos, facilitando o entendimento do tamanho e da forma dos objetos, ao capturar imagens deles. A arquitetura e o entretenimento são outros segmentos que podem se aproveitar da novidade.