Google Projeto Gameface: o que é a tecnologia que permite jogar sem as mãos

Durante o I/O 2023, o Google apresentou o Project Gameface, um mouse que permite ao usuário ficar com as mãos livres, controlando o cursor com movimentos de cabeça e gestos faciais. De código aberto, a ferramenta é alimentada por inteligência artificial (IA).

A história do streamer de videogame tetraplégico Lance Carr inspirou o projeto. Por ter uma distrofia muscular, ele usa o rastreamento de cabeça para mover o mouse na tela enquanto joga. O streamer acabou perdendo tudo em um incêndio, incluindo o caríssimo mouse.

• Google I/O: ações da Alphabet sobem após anúncios sobre IA

Para ajudar pessoas como ele, Carr trabalhou com a equipe do Google no Projeto Gameface, usando soluções de código aberto do Google MediaPipe, já disponível. A ferramenta ainda está em desenvolvimento e pode ser encontrada no repositório do Google no GitHub.

Através das configurações, os usuários podem definir quais os movimentos com a cabeça ou expressões faciais para cada ação do mouse.Fonte:  Google 

Por enquanto, o recurso funciona de acordo com especificações colocadas pelo usuário. É possível clicar e arrastar erguendo as sobrancelhas, ou mesmo mover abrindo a boca. Os gestos são capturados pela webcam, que reconhece usando aprendizado de máquina.

Cada jogador pode adaptar os movimentos às suas necessidades. Eles podem controlar o tamanho dos gestos e o que vai definir cada ação do mouse.