Pesquisadores usam inteligência artificial para conter discursos de ódio

A proliferação de discursos de ódio online se tornou um enorme problema para as relações virtuais. Buscando conter o problema, dois pesquisadores do Reino Unido estão desenvolvendo um método de detecção desses ataques com inteligência artificial.

Stefanie Ullmann e Marcus Tomalin, ambos da Universidade de Cambridge, tiveram a ideia de utilizar inteligência artificial para detectar discursos de ódio e colocá-los em quarentena — semelhante ao método de softwares antivírus — onde aguardarão análise de moderadores para ser posteriormente publicado.

Diferente do método comum de bloquear palavras-chave, a inteligência artificial será capaz de identificar formas alternativas de ataques ao conhecer diferentes culturas e idiomas. Desta forma, os moderadores de redes sociais podem ser mais atenciosos com os comentários e publicações postos em quarentena, ao invés de aguardar denúncias da própria comunidade.

Ademais, a inteligência artificial poderia aprender a lidar com formas alternativas desses discursos, como ameaças ou insultos velados.

Treinamento com exemplos reais

Os criadores do projeto estão alimentando a inteligência artificial com uma base de dados de ameaças e insultos violentos reconhecidos. Desta forma, o sistema conseguirá identificar qual a probabilidade de um texto conter algum tipo de discurso violento.

Assim que um discurso de ódio é identificado, o usuário recebe um alerta de aviso na forma de um “odiômetro”, pontuando a gravidade do discurso de ódio. O remetente, então, pode enviar ou excluir a mensagem. O mesmo acontece com o destinatário, capaz de ler ou ignorar a mensagem.

Ullmann e Tomalin esperam ter um protótipo pronto para uso massivo no começo de 2020. Atualmente, o sistema conta com precisão de 80% para detecção das mensagens, mas essa porcentagem deve aumentar rapidamente com a aplicação real do sistema.

“Muitas pessoas não gostam da ideia de uma corporação não eleita ou de um governo decidindo o que podemos e o que não podemos dizer.”, ressalta Tomalin. O pesquisador entende que censurar comentários por palavras-chave agride a liberdade individual; o seu sistema, por outro lado, não te impede de fazer os comentários, mas avisa quando eles tem potencial para agredir algo ou alguém.