Google lança ferramenta para detectar conteúdo gerado pela IA Gemini

O Google desenvolveu uma ferramenta que promete identificar textos gerados por modelos Gemini. Batizada como "SynthID", a solução estará disponível para ser implementada em aplicativos de terceiros.

Construída pelo Google DeepMind, divisão do Google focada no desenvolvimento de inteligência artificial e tecnologias agregadas, o SynthID marca conteúdo gerado por IA com marcas d'água imperceptíveis por humanos, mas notadas por máquinas. Esses identificadores digitais são embutidos em imagens, áudios, texto ou vídeos sintéticos.

• Leia também: Doodle do Google de hoje (24) traz jogo de cartas com fases da Lua

Nos outputs de texto, o SynthID se comporta como um processador de logits aplicado no fluxo de geração do modelo. Basicamente, a ferramenta estabelece um padrão detectável e secreto na geração de texto, mas sem interferir na qualidade dos resultados.

O SynthID apresenta a chance de o conteúdo ter sido gerado por modelos generativos.Fonte:  Google/Reprodução 

Como resultado, a detecção da marca-d'água é probabilística — isto é, apresenta a chance entre 0% e 100% de o conteúdo ser obra de IA. Na aplicação em nível de produção disponível no Hugging Face, a ferramenta apresenta três diferentes estados: marca d'água, sem marca d'água ou incerto, e os valores para cada status pode ser ajustado manualmente.

Sendo assim, o detector do Google não consegue dar 100% de certeza que um texto foi gerado por um modelo generativo, mas dizer a probabilidade daquele conteúdo ser sintético.

Detecção é limitada

Assim como outras ferramentas semelhantes, o SynthID tem suas limitações: em respostas factuais, curtas e concisas, ela tende a ser menos eficaz. Isso porque há "menos oportunidades de aumentar a geração sem diminuir a precisão", informa o Google.

Outra barreira é quando o texto gerado por IA é totalmente reescrito ou traduzido para outro idioma. Neste caso, os padrões gerados pela marca d'água podem ser perdidos.

A marca d'água em imagens é imperceptível para humanos, mas pode ser detectada por máquinas.Fonte:  Google/Reprodução 

"O texto do SynthID não foi projetado para impedir diretamente que adversários motivados causem mal. No entanto, pode dificultar o uso de conteúdo gerado por IA para sites maliciosos para fins diversos e pode ser combinada com outras abordagens para oferecer uma cobertura melhor em vários tipos de conteúdo e plataformas", explica a DeepMind.

• Veja mais: Google encerra caixa de busca adicional que você (nem ninguém) usava

Portanto, o SynthID não é infalível, então é de bom tom não confiar 100% em suas avaliações. Sendo assim, não é interessante que avaliadores de trabalhos acadêmicos, juristas e outros revisores se apoiem na ferramenta para acusar autores de plágio.

Atualmente, o SynthID está disponível no Hugging Face Transformers 4.46.0 (ou mais recente) e tem uma aplicação de referência exposta no GitHub. A documentação completa sobre a ferramenta está disponível no site oficial do Google.