ChatGPT: testamos identificador de textos criados por IA; funcionou?

A OpenAI anunciou no final de janeiro o AI Text Classifier, uma ferramenta que identifica qual a probabilidade de um texto ter ou não sido escrito por Inteligência Artificial. A plataforma — que integra o ChatGPT — é gratuita e tem bons parâmetros de análise.

Contudo, será que o serviço já está treinado o suficiente para reconhecer escritas humanas e de IA? O TecMundo realizou o teste com três textos escritos por pessoas de verdade e outros três textos escritos por IA para verificar a taxa de acerto do Text Classifier.

• ChatGPT 'vai mudar o mundo', diz Bill Gates

O software já é uma ferramenta importante e vai se tornar ainda mais essencial daqui bem pouco tempo. Com a popularização de aplicações como o Midjourney, Dall-E, Chatsonic, além do próprio ChatGPT, cada vez mais as pessoas estão utilizando IA para montar imagens e escrever textos, o que tem gerado sérias discussões e até mesmo fraudes explícitas.

Em um documento, a OpenAI já debateu sobre o assunto de plágio e uso desonesto de suas ferramentas. A organização reconheceu que essa é uma possibilidade aberta por ferramentas por IA, mas que as instituições — principalmente as escolares e universitárias — precisam criar regras para o uso de ferramentas do tipo.

Nesse sentido, a entidade alega que o Text Classifier pode ser um aliado na verificação das produções textuais dos alunos. Contudo, ela também justifica que a aplicação ainda possui lacunas e não são infalíveis.

“Essas ferramentas produzirão falsos negativos, onde não identificam conteúdo gerado por IA como tal, e falsos positivos, onde sinalizam conteúdo escrito por humanos como gerado por IA. Além disso, os alunos podem aprender rapidamente como evitar a detecção modificando algumas palavras ou cláusulas no conteúdo gerado”, alerta a OpenAI.

A instituição que desenvolve pesquisas com Inteligência Artificial ainda lembra que o classificador não consegue determinar se um conteúdo foi ou não plagiado, por exemplo, e que o ideal é que ele seja usado “apenas como um fator entre muitos quando usados como parte de uma investigação que determina a fonte de um conteúdo e faz uma avaliação holística da desonestidade ou plágio acadêmico”.

O AI Text Classifier reconhece textos escritos por IA?

O AI Text Classifier padroniza cada documento em cinco selos: muito improvável, improvável, incerto se é ou não, possivelmente ou provavelmente gerado por Inteligência Artificial.

Primeiro, o TecMundo testou o AI Text Classifier utilizando três textos gerados pelo “primo” ChatGPT. Confira, abaixo, os resultados:

• Primeira colônia humana em Marte: o primeiro teste foi feito em um texto jornalístico fictício sobre a chegada da primeira colônia de seres humanos no Planeta Vermelho. Nós pedimos para o ChatGPT gerar essa notícia com quatro parágrafos informando sobre esse que seria um dos maiores feitos científicos da história. Este texto foi classificado como provavelmente gerado por IA, o que conta com um acerto da plataforma.
• Computação quântica: em um pedido sobre um texto acadêmico e mais formal explicando a complexa computação quântica, o nosso amigo classificador também acertou. Ele classificou os cerca de quatro parágrafos como provavelmente gerados por IA.
• Lançamento do iPhone X: tentando dar uma enganada maior no sistema, nós pegamos um fato bastante reportado e transformamos em texto jornalístico no ChatGPT. O AI Text Classifier analisou a notícia sobre o lançamento do iPhone X e mesmo assim acertou, dizendo que o texto era provavelmente escrito por IA.

O AI Text Classifier reconhece textos escritos por humanos?

O TecMundo tentou também testou o Text Classifier utilizando coisas realmente escritas por humanos de carne e osso. Como visto anteriormente, a ferramenta foi muito bem para reconhecer padrões de IA. Agora, o desafio ficou mais complexo.

Confira, abaixo, o resultado:

• Apesar de você: como primeiro teste, nós pegamos uma das principais músicas do cantor e compositor brasileiro Chico Buarque. Aparentemente reconhecer a música seria “fácil”, mas não foi o caso. O Text Classifier simplesmente disse que era incerta se a canção era ou não gerada por IA.
• Anonymous no Brasil: o grupo hacktivista Anonymous divulgou em janeiro deste ano uma lista de empresas que teriam financiado os atos antidemocráticos em Brasília. O TecMundo noticiou o fato e desafiou a ferramenta da OpenAI para analisar se a matéria foi ou não escrita por IA. Desta vez, o Text Classifier foi bem e considerou que era bastante improvável que os seis primeiros parágrafos da notícia tivessem sido escritos por uma máquina.
• Sangue doce: nosso teste derradeiro com a ferramenta de análises utilizou um material de um dos irmãos do TecMundo, o Mega Curioso. Nós pegamos quatro parágrafos de um texto que comenta sobre o porquê algumas pessoas são mais picadas por insetos do que outras e perguntamos para o Text Classifier quem havia escrito aquele texto. Ao invés de atribuir corretamente a autoria para um redator, a plataforma derrapou e disse que possivelmente aquelas palavras tinham sido escritas por IA. Como diria o Faustão, ERROUUUU!

Resultado e ressalvas

Obviamente o teste gerado pelo TecMundo não tem validade científica e serve apenas como um termômetro de como está funcionando pelo AI Text Classifier. Mas a título de consideração, a plataforma acertou quatro vezes e errou duas vezes no nosso teste. Com isso, a ferramenta teve uma taxa de acerto de 66%.

E aqui vale, na verdade, uma observação. Nós consideramos que a declaração sobre incerteza da autoria humana ou robótica da música de Chico Buarque foi um erro. Se retirássemos esta resposta como um erro, a taxa de acerto da máquina poderia aumentar.

Neste sentido, é muito importante também fazer algumas ressalvas feitas pela própria OpenAI. A organização sem fins lucrativos lembra que o classificador de texto tem como objetivo “promover conversas sobre a distinção entre conteúdo escrito por humanos e gerado por IA”.

A entidade alega que os “resultados podem ajudar, mas não devem ser a única evidência, ao decidir se um documento foi gerado com IA. O modelo é treinado em texto escrito por humanos de várias fontes, que podem não ser representativos de todos os tipos de texto escrito por humanos”.