Twitter está testando como detectar e esconder DMs ofensivas

O Twitter anunciou que está testando um recurso para filtrar mensagens diretas potencialmente ofensivas: quaisquer DMs na pasta "Pedidos de mensagens" com conteúdo considerado abusivo ou impróprio serão automaticamente movidas para a seção "Mensagens adicionais". O usuário poderá excluir a mensagem ou visualizá-la – neste caso, o conteúdo será oculto e, em seu lugar, aparecerá o texto "Esta mensagem está oculta por ter possivelmente conteúdo ofensivo".

Desde abril, IA tem sido usada para denunciar automaticamente os tweets abusivos, agora mais fáceis de serem suprimidos. Mas essas medidas de segurança ainda não surgiram efeito: mulheres e minorias ainda sofrem com assédio e abuso on-line – e as agressões chegam, em sua maioria, via mensagens diretas.

Preconceito humano da Inteligência artificial

O problema de como conter o discurso de ódio nas redes sociais, porém, vai muito além de usar IA para bloquear usuários nocivos: dois novos estudos mostram que os algoritmos podem, na verdade, acabar ampliando o viés racial.

Em um deles, os pesquisadores descobriram que a IA era 1,5 vezes mais propensa a marcar tweets como ofensivos ou odiosos quando estes são de afro-americanos, e 2,2 vezes a sinalizar postagens escritas usando gírias comumente faladas por negros nos EUA. O outro estudo encontrou evidências similares de preconceito racial contra a fala negra em 155.800 postagens do Twitter.

A tecnologia de IA que Facebook, Google e Twitter usam para moderar conteúdo é proprietária, mas essas empresas recorrem frequentemente a acadêmicos, buscando orientação sobre como aplicar melhor os padrões em torno do discurso do ódio. Assim, se os principais pesquisadores estão encontrando falhas em conjuntos de dados acadêmicos amplamente utilizados, isso representa um problema significativo para a indústria de tecnologia em geral.