Embora as t\u00e9cnicas e arquitecturas eficientes de forma\u00e7\u00e3o de IA prometam reduzir o consumo de energia, o boom da IA ainda agora come\u00e7ou e as grandes tecnologias est\u00e3o a aumentar o investimento em centros de dados que consomem muitos recursos e em tecnologia de nuvem.<\/span><\/p>\n \u00c0 medida que a crise clim\u00e1tica se agrava, \u00e9 mais cr\u00edtico do que nunca encontrar um equil\u00edbrio entre o avan\u00e7o tecnol\u00f3gico e a efici\u00eancia energ\u00e9tica.<\/span><\/p>\n O consumo de energia da IA aumentou com o advento de arquitecturas complexas e computacionalmente dispendiosas, como as redes neuronais. <\/span><\/p>\n Por exemplo, h\u00e1 rumores de que o GPT-4 \u00e9 baseado em 8 modelos com 220 bilh\u00f5es de par\u00e2metros cada, totalizando cerca de 1,76 trilh\u00e3o de par\u00e2metros. A Inflection est\u00e1 atualmente a construir um cluster de 22 000 chips Nvidia topo de gama<\/a>que poder\u00e1 custar cerca de $550.000.000 a um pre\u00e7o de retalho aproximado de $25.000 por cart\u00e3o. E isto apenas para os chips.\u00a0<\/span><\/p>\n Cada modelo avan\u00e7ado de IA requer imensos recursos para ser treinado, mas tem sido um desafio compreender o verdadeiro custo do desenvolvimento da IA precisamente at\u00e9 h\u00e1 pouco tempo.\u00a0<\/span><\/p>\n A <\/span>Estudo de 2019<\/span><\/a> da Universidade de Massachusetts em Amherst investigou o consumo de recursos associado \u00e0s abordagens das redes neuronais profundas (DNN).\u00a0<\/span><\/p>\n Normalmente, estas DNNs exigem que os cientistas de dados concebam manualmente ou utilizem a Pesquisa de Arquitetura Neural (NAS) para encontrar e treinar uma rede neural especializada de raiz para cada caso espec\u00edfico.\u00a0<\/span><\/p>\n Esta abordagem n\u00e3o s\u00f3 consome muitos recursos como tamb\u00e9m tem uma pegada de carbono significativa. O estudo descobriu que o treino de uma \u00fanica rede neural de grandes dimens\u00f5es baseada no Transformer, constru\u00edda utilizando o NAS - uma ferramenta habitualmente utilizada na tradu\u00e7\u00e3o autom\u00e1tica - gerou cerca de 626 000 libras de di\u00f3xido de carbono. <\/span><\/p>\n Este valor \u00e9 aproximadamente equivalente \u00e0s emiss\u00f5es de gases durante o tempo de vida de 5 autom\u00f3veis.<\/span><\/p>\n Carlos G\u00f3mez-Rodr\u00edguez, cientista inform\u00e1tico da Universidade da Corunha, em Espanha, comentou o estudo: \"Embora provavelmente muitos de n\u00f3s tenhamos pensado nisto a um n\u00edvel abstrato e vago, os n\u00fameros mostram realmente a magnitude do problema\", acrescentando: \"Nem eu nem outros investigadores com quem os discuti pens\u00e1mos que o impacto ambiental fosse assim t\u00e3o substancial\".<\/span><\/p>\n Os custos energ\u00e9ticos do treino do modelo s\u00e3o apenas linhas de base - a quantidade m\u00ednima de trabalho necess\u00e1ria para tornar um modelo operacional.\u00a0<\/span><\/p>\n Como diz Emma Strubell, candidata a doutoramento na Universidade de Massachusetts, \"treinar um \u00fanico modelo \u00e9 a quantidade m\u00ednima de trabalho que se pode fazer\".<\/span><\/p>\n Mais tarde, os investigadores do MIT propuseram uma solu\u00e7\u00e3o para este problema: o <\/span>Abordagem \"uma vez por todas\" (OFA)<\/span><\/a>.<\/span><\/p>\n Os investigadores <\/span>descrever a quest\u00e3o<\/span><\/a> com a forma\u00e7\u00e3o de redes neuronais convencionais: \"A conce\u00e7\u00e3o de DNNs especializadas para cada cen\u00e1rio \u00e9 dispendiosa do ponto de vista t\u00e9cnico e computacional, quer com m\u00e9todos baseados em humanos quer com NAS. Uma vez que esses m\u00e9todos t\u00eam de repetir o processo de conce\u00e7\u00e3o da rede e voltar a treinar a rede concebida de raiz para cada caso, o seu custo total cresce linearmente \u00e0 medida que o n\u00famero de cen\u00e1rios de implementa\u00e7\u00e3o aumenta, o que resultar\u00e1 num consumo excessivo de energia e em emiss\u00f5es de CO2.\"<\/span><\/p>\n Com o paradigma OFA do MIT, os investigadores treinam uma \u00fanica rede neural de objetivo geral a partir da qual podem ser criadas v\u00e1rias sub-redes especializadas. <\/span>O processo OFA n\u00e3o requer forma\u00e7\u00e3o adicional para novas sub-redes, reduzindo as horas de GPU que consomem muita energia necess\u00e1rias para a forma\u00e7\u00e3o de modelos e diminuindo as emiss\u00f5es de CO2.<\/span><\/p>\n Para al\u00e9m dos seus benef\u00edcios ambientais, a abordagem OFA proporciona melhorias substanciais no desempenho. Em testes internos, os modelos criados usando a abordagem OFA tiveram um desempenho at\u00e9 2,6 vezes mais r\u00e1pido em dispositivos de borda (dispositivos IoT compactos) do que os modelos criados usando NAS.<\/span><\/p>\n A abordagem OFA do MIT foi reconhecida no 4\u00ba Desafio de Vis\u00e3o Computacional de Baixa Pot\u00eancia em 2019 - um evento anual organizado pelo IEEE que promove a investiga\u00e7\u00e3o para melhorar a efici\u00eancia energ\u00e9tica dos sistemas de vis\u00e3o computacional (CV). <\/span><\/p>\n A equipa do MIT conquistou as honras m\u00e1ximas, com os organizadores do evento a elogiarem: \"As solu\u00e7\u00f5es destas equipas superam as melhores solu\u00e7\u00f5es da literatura\".<\/span><\/p>\n O <\/span>2023 Desafio da vis\u00e3o computacional de baixa pot\u00eancia<\/span><\/a> est\u00e1 atualmente a receber candidaturas at\u00e9 4 de agosto.\u00a0<\/span><\/p>\n Para al\u00e9m dos modelos de forma\u00e7\u00e3o, os programadores necessitam de imensos recursos na nuvem para alojar e implementar os seus modelos. <\/span><\/p>\n As grandes empresas tecnol\u00f3gicas, como a Microsoft e a Google, est\u00e3o a aumentar o investimento em recursos de nuvem ao longo de 2023 para dar resposta \u00e0 crescente procura de produtos relacionados com a IA.<\/span><\/p>\n A computa\u00e7\u00e3o em nuvem e os centros de dados associados t\u00eam imensos requisitos de recursos. A partir de 2016, <\/span>estimativas sugeridas<\/span><\/a> que os centros de dados a n\u00edvel mundial representavam cerca de 1% a 3% do consumo global de eletricidade, o que equivale ao consumo de energia de algumas pequenas na\u00e7\u00f5es.\u00a0<\/span><\/p>\n A pegada h\u00eddrica dos centros de dados \u00e9 tamb\u00e9m colossal. Os grandes centros de dados podem consumir milh\u00f5es de litros de \u00e1gua por dia.\u00a0<\/span><\/p>\n Em 2020, foi noticiado que os centros de dados da Google na Carolina do Sul foram autorizados a utilizar <\/span>549 milh\u00f5es de gal\u00f5es de \u00e1gua<\/span><\/a>quase o dobro da quantidade utilizada dois anos antes. Um centro de dados de 15 megawatts pode consumir at\u00e9 360.000 gal\u00f5es de \u00e1gua por dia.<\/span><\/p>\nDesafios energ\u00e9ticos para a IA<\/span><\/h2>\n
![\"Consumo](\"https:\/\/dailyai.com\/wp-content\/uploads\/2023\/07\/dataconsumption-1024x801.png\")
A abordagem \"uma vez por todas\" do MIT<\/span><\/h2>\n
O papel da computa\u00e7\u00e3o em nuvem no impacto ambiental da IA<\/span><\/h2>\n