YouTube 'Stories' Reels terá efeito gerado por IA que troca plano de fundo

O YouTube ganha em breve o Reels, sua própria versão do “Stories”, os vídeos curtos e efêmeros que saíram do Snapchat e se multiplicaram no Facebook, no Instagram e em outras plataformas. Para a turbinar a funcionalidade, a Google vem trabalhando em um sistema que combina a realidade aumentada (RA) com a inteligência artificial (IA) e pode alterar o plano de fundo mapeando o perfil do usuário.

A técnica utilizada emula efeitos que costumam ser realizados por profissionais em estúdios, a exemplo dos artistas de rotoscopia — o redesenho de quadro a quadro para animação de filmes — e da manipulação a partir do chroma key. Só que aqui não são necessários mais do que o software e o dispositivo móvel.

“Nossa nova tecnologia de segmentação permite que os criadores substituam e modifiquem o fundo, aumentando sem esforço o valor de produção dos vídeos, sem a necessidade de equipamento especializado”, comentam Valetin Bazrevsky e Andrei Tkachenka, engenheiros da divisão Google Research, no blog da companhia.

Confira abaixo uma amostra:

Como funciona?

Segundo a Google, para fornecer dados de alta qualidade durante o treinamento do algoritmo da máquina de aprendizado foi preciso capturar um amplo espectro de poses de primeiro plano e configurações de fundo, a partir de dezenas de milhares de imagens. As anotações consistiam em pontuação precisas em pixel para cabelo, óculos ou olhos, pescoço, pele, lábios e a validação cruzada de amostras que ficam atrás das pessoas chegou ao impressionante patamar de 98%.

O grande desafio foi chegar a um modelo rápido e leve, que pudesse manter a redundância nos frames e a consistência de exibição, tudo em tempo real e com alta qualidade. E a equipe conseguiu, com 100 FPS (frames por segundo) no iPhone 7 e mais de  40 FPS no Pixel 2, em uma boa variedade de efeitos responsivos.

A novidade por enquanto vem sendo testada junto a um pequeno grupo de usuários e deve integrar os serviços de RA da Google. Ainda não há informações sobre quando deve ser lançada para o grande o público.