Software anima movimentos de boca automaticamente seguindo a dublagem

Pesquisadores de duas universidades norte-americanas e uma britânica fizeram uma parceria com a Disney e conseguiram criar um software capaz de animar automaticamente os movimentos da boca de personagens seguindo com precisão a dublagem gravada. A ferramenta funciona em tempo real e, apesar de ter sido elaborada em inglês, funciona em praticamente qualquer idioma.

Para conseguir esse resultado, os pesquisadores gravaram mais de oito horas de vídeo de uma pessoa recitando mais de 2.500 sentenças diferentes. Os movimentos do rosto dessa pessoa foram rasteados enquanto ela falava e isso foi usado para criar uma animação de referência.

Em seguida, eles utilizaram um sistema pronto de tradução de voz para texto para transcrever os sons das gravações. Todas as informações obtidas foram utilizadas para treinar um sistema de inteligência artificial que conseguiu relacionar todos os dados e, com isso, identificar os “gestos do rosto” para cada som emitido.

Depois disso, a animação de referência foi sobreposta no rosto de vários personagens animados, para que eles imitassem com precisão os movimentos. Os resultados finais foram muito bons, especialmente considerando que tudo foi feito em questão de segundos.

Se feito com má qualidade, pode distrair as pessoas e gerar baixos números de audiência

“Animação dos movimentos da boca de um personagem é essencial para a criação de um personagem. Se feito com má qualidade, pode distrair as pessoas e gerar baixos números de audiência nos cinemas”, escreveu a líder da pesquisa, Sarah Taylor. “Fazer isso bem feito, entretanto, é demorado e caro, uma vez que precisa ser produzido manualmente por um artista talentoso. Nosso objetivo é gerar animação dos movimentos da boca com qualidade excelente para qualquer estilo de personagem a partir somente do áudio da dublagem”, completou.

A pesquisa completa pode ser conferida através deste link, bem como o vídeo acima para download.