De chatbots no WhatsApp a mecanismos de busca como Google e apps de reconhecimento facial, redes neurais são um poderoso avanço em tecnologia, porém um aspecto no desenvolvimento de IAs cada vez mais poderosas começa a preocupar a comunidade científica: ao evoluírem, elas engolem cada vez mais quantidades gigantescas de energia.
A situação vem sendo debatida há algum tempo na academia, mas o mundo leigo só tomou conhecimento do problema quando a Google demitiu a pesquisadora Timnit Gebru, uma das mais respeitadas no campo da ética em inteligência artificial, depois que um artigo dela e de outros cientistas teve sua publicação recusada pela empresa.
Data centers da Google em Iowa: aprimoramento de IA consome gigantescas quantidades de energia.Fonte: Flickr/Chad Davis/Reprodução
Nele, Gebru e os outros autores (alguns da própria Google) davam destaque e expandiam um artigo publicado em 2019 pela pesquisadora Emma Strubell, do Instituto de Tecnologias da Linguagem da Universidade Carnegie Mellon, que apontava como o consumo de energia, as emissões de carbono e os custos financeiros de grandes modelos de linguagem explodiram desde 2017.
À medida que a IA recebe mais dados para processar e aprender, de mais informações e energia ela precisa, aumentando sua pegada de carbono. Segundo Strubell, ensinar uma rede neural a pensar polui tanto quanto produzir e dirigir cinco carros por toda sua vida útil.
Eficiência humana
“Treinar grandes modelos de IA consome muito poder de processamento do computador e, portanto, muita eletricidade”, disse Kate Saenko, cientista da computação da Universidade de Boston, em um artigo para o site The Conversation. Segundo ela, o treinamento de uma IA passa longe da eficiência de um ser humano, e o objetivo final a ser alcançado são redes neurais artificiais que aplicam cálculos matemáticos para imitar as células cerebrais humanas usando gigantescos bancos de dados para aprender.
“Um modelo recente, denominado Bidirectional Encoder Representations from Transformers (BERT), usou 3,3 bilhões de palavras de livros em inglês e artigos da Wikipedia. Além disso, durante o treinamento, o BERT leu esse conjunto de dados não 1, mas 40 vezes. Para comparar, uma criança que aprende a falar pode ouvir 45 milhões de palavras aos 5 anos, 1/3.000 vezes do que o BERT”, disse ela, referindo-se à IA da Google.
Mas nem sempre o acerto é de primeira: pesquisadores precisam ajustar o processo de treinamento da IA durante seu aprendizado, o que torna os modelos de linguagem cada vez mais caros e energeticamente vorazes.
Um Boing de carbono
Isso está levando ao consumo quase incomensurável de energia. Segundo pesquisadores da Universidade de Massachusetts, a pegada de carbono do ajuste do BERT já equivale à de alguém que viaja regulamente de Nova York a São Francisco; treinar o algoritmo várias vezes ajustando neurônios, conexões e outros parâmetros elevou o custo ao equivalente a 315 passageiros ou um Boing 747 — enquanto o BERT tem 1,5 bilhão de conexões em sua rede, o GPT-3, a IA mais avançada hoje, tem 175 bilhões.
MIT Technology Review/Reprodução “A menos que mudemos para fontes de energia 100% renováveis, o progresso da IA estará em desacordo com a redução das emissões de gases de efeito estufa. O custo também está se tornando tão alto que apenas alguns laboratórios podem pagar por ele. Corremos o risco de a IA ser dominada por um grupo seleto que definirá o futuro das redes neurais”, ponderou a pesquisadora.
Categorias
