Aunque las t\u00e9cnicas y arquitecturas eficientes de entrenamiento de la IA prometen reducir el consumo de energ\u00eda, el boom de la IA no ha hecho m\u00e1s que empezar y las grandes tecnol\u00f3gicas est\u00e1n aumentando la inversi\u00f3n en centros de datos y tecnolog\u00eda en la nube que consumen muchos recursos.<\/span><\/p>\n A medida que se agrava la crisis clim\u00e1tica, es m\u00e1s importante que nunca encontrar un equilibrio entre el avance tecnol\u00f3gico y la eficiencia energ\u00e9tica.<\/span><\/p>\n El consumo de energ\u00eda de la IA ha aumentado con la llegada de arquitecturas complejas y costosas desde el punto de vista computacional, como las redes neuronales. <\/span><\/p>\n Por ejemplo, se rumorea que GPT-4 se basa en 8 modelos con 220.000 millones de par\u00e1metros cada uno, lo que suma un total de 1,76 billones de par\u00e1metros. Actualmente, Inflection est\u00e1 construyendo un cl\u00faster de 22.000 chips Nvidia de gama alta<\/a>que podr\u00eda costar unos $550.000.000 a un precio aproximado de venta al p\u00fablico de $25.000 por tarjeta. Y eso solo por los chips.\u00a0<\/span><\/p>\n Cada modelo avanzado de IA requiere inmensos recursos para entrenarse, pero hasta hace poco era dif\u00edcil comprender con precisi\u00f3n el verdadero coste del desarrollo de la IA.\u00a0<\/span><\/p>\n A <\/span>Estudio 2019<\/span><\/a> de la Universidad de Massachusetts en Amherst investigaron el consumo de recursos asociado a los enfoques de redes neuronales profundas (DNN).\u00a0<\/span><\/p>\n Normalmente, estas DNN requieren que los cient\u00edficos de datos dise\u00f1en manualmente o utilicen la B\u00fasqueda de Arquitectura Neuronal (NAS) para encontrar y entrenar una red neuronal especializada desde cero para cada caso \u00fanico.\u00a0<\/span><\/p>\n Este m\u00e9todo no s\u00f3lo consume muchos recursos, sino que tambi\u00e9n tiene una importante huella de carbono. El estudio descubri\u00f3 que el entrenamiento de una sola gran red neuronal basada en Transformer, construida con NAS -una herramienta empleada habitualmente en traducci\u00f3n autom\u00e1tica- generaba alrededor de 626.000 libras de di\u00f3xido de carbono. <\/span><\/p>\n Esto equivale aproximadamente a las emisiones de gases durante la vida \u00fatil de 5 coches.<\/span><\/p>\n Carlos G\u00f3mez-Rodr\u00edguez, inform\u00e1tico de la Universidad de A Coru\u00f1a (Espa\u00f1a), coment\u00f3 sobre el estudio: \"Aunque probablemente muchos de nosotros hemos pensado en esto a un nivel abstracto y vago, las cifras muestran realmente la magnitud del problema\", y a\u00f1adi\u00f3: \"Ni yo ni otros investigadores con los que las he comentado pens\u00e1bamos que el impacto ambiental fuera tan sustancial\".<\/span><\/p>\n Los costes energ\u00e9ticos del entrenamiento del modelo son s\u00f3lo valores de referencia, es decir, la cantidad m\u00ednima de trabajo necesaria para que un modelo sea operativo.\u00a0<\/span><\/p>\n Como dice Emma Strubell, candidata al doctorado en la Universidad de Massachusetts: \"Entrenar un solo modelo es el m\u00ednimo trabajo que se puede hacer\".<\/span><\/p>\n M\u00e1s tarde, investigadores del MIT propusieron una soluci\u00f3n a este problema: la <\/span>Enfoque \"de una vez por todas\" (OFA)<\/span><\/a>.<\/span><\/p>\n Los investigadores <\/span>describa la cuesti\u00f3n<\/span><\/a> con el entrenamiento convencional de redes neuronales: \"Dise\u00f1ar redes neuronales especializadas para cada escenario es costoso desde el punto de vista t\u00e9cnico y computacional, ya sea con m\u00e9todos basados en humanos o en NAS. Dado que estos m\u00e9todos necesitan repetir el proceso de dise\u00f1o de la red y volver a entrenar la red dise\u00f1ada desde cero para cada caso, su coste total crece linealmente a medida que aumenta el n\u00famero de escenarios de despliegue, lo que se traducir\u00e1 en un consumo excesivo de energ\u00eda y emisiones de CO2.\"<\/span><\/p>\n Con el paradigma OFA del MIT, los investigadores entrenan una \u00fanica red neuronal de prop\u00f3sito general a partir de la cual pueden crearse varias subredes especializadas. <\/span>El proceso OFA no requiere formaci\u00f3n adicional para las nuevas subredes, lo que reduce las horas de GPU de alto consumo energ\u00e9tico necesarias para la formaci\u00f3n de modelos y disminuye las emisiones de CO2.<\/span><\/p>\n Adem\u00e1s de sus ventajas medioambientales, el enfoque OFA ofrece mejoras sustanciales de rendimiento. En pruebas internas, los modelos creados con el enfoque OFA funcionaron hasta 2,6 veces m\u00e1s r\u00e1pido en dispositivos perif\u00e9ricos (dispositivos IoT compactos) que los modelos creados con NAS.<\/span><\/p>\n El enfoque OFA del MIT fue reconocido en el 4\u00ba Desaf\u00edo de Visi\u00f3n por Computadora de Bajo Consumo en 2019 - un evento anual organizado por el IEEE que promueve la investigaci\u00f3n para mejorar la eficiencia energ\u00e9tica de los sistemas de visi\u00f3n por computadora (CV). <\/span><\/p>\n El equipo del MIT se llev\u00f3 los m\u00e1ximos honores, y los organizadores del evento lo elogiaron: \"Las soluciones de estos equipos superan a las mejores soluciones de la literatura\".<\/span><\/p>\n En <\/span>2023 Reto de visi\u00f3n por ordenador de bajo consumo<\/span><\/a> est\u00e1 recibiendo propuestas hasta el 4 de agosto.\u00a0<\/span><\/p>\n Adem\u00e1s de los modelos de formaci\u00f3n, los desarrolladores necesitan inmensos recursos en la nube para alojar y desplegar sus modelos. <\/span><\/p>\n Grandes empresas tecnol\u00f3gicas como Microsoft y Google est\u00e1n aumentando la inversi\u00f3n en recursos en la nube durante 2023 para hacer frente a la creciente demanda de productos relacionados con la IA.<\/span><\/p>\n La computaci\u00f3n en nube y sus centros de datos asociados tienen inmensas necesidades de recursos. A partir de 2016, <\/span>estimaciones sugeridas<\/span><\/a> que los centros de datos de todo el mundo representaban entre 1% y 3% del consumo mundial de electricidad, lo que equivale al consumo energ\u00e9tico de algunas naciones peque\u00f1as.\u00a0<\/span><\/p>\n La huella h\u00eddrica de los centros de datos tambi\u00e9n es colosal. Los grandes centros de datos pueden consumir millones de litros de agua al d\u00eda.\u00a0<\/span><\/p>\n En 2020, se inform\u00f3 de que los centros de datos de Google en Carolina del Sur estaban autorizados a utilizar <\/span>549 millones de galones de agua<\/span><\/a>Casi el doble que dos a\u00f1os antes. Un centro de datos de 15 megavatios puede consumir hasta 360.000 galones de agua al d\u00eda.<\/span><\/p>\nRetos energ\u00e9ticos para la IA<\/span><\/h2>\n
![\"Consumo](\"https:\/\/dailyai.com\/wp-content\/uploads\/2023\/07\/dataconsumption-1024x801.png\")
El enfoque \"de una vez por todas\" del MIT<\/span><\/h2>\n
El papel de la computaci\u00f3n en nube en el impacto medioambiental de la IA<\/span><\/h2>\n