Alors que des techniques et des architectures efficaces de formation \u00e0 l'IA promettent de r\u00e9duire la consommation d'\u00e9nergie, le boom de l'IA ne fait que commencer, et les grandes entreprises technologiques augmentent leurs investissements dans les centres de donn\u00e9es gourmands en ressources et dans la technologie du cloud.<\/span><\/p>\n Alors que la crise climatique s'aggrave, il est plus que jamais essentiel de trouver un \u00e9quilibre entre les progr\u00e8s technologiques et l'efficacit\u00e9 \u00e9nerg\u00e9tique.<\/span><\/p>\n La consommation d'\u00e9nergie de l'IA a augment\u00e9 avec l'av\u00e8nement d'architectures complexes et co\u00fbteuses en calcul, telles que les r\u00e9seaux neuronaux. <\/span><\/p>\n Par exemple, GPT-4 serait bas\u00e9 sur 8 mod\u00e8les avec 220 milliards de param\u00e8tres chacun, pour un total d'environ 1,76 trillion de param\u00e8tres. Inflection construit actuellement une grappe de 22 000 puces Nvidia haut de gamme<\/a>qui pourrait co\u00fbter environ $550 000 000 \u00e0 un prix de d\u00e9tail approximatif de $25 000 par carte. Et cela ne concerne que les puces.\u00a0<\/span><\/p>\n La formation de chaque mod\u00e8le d'IA avanc\u00e9 n\u00e9cessite d'immenses ressources, mais jusqu'\u00e0 r\u00e9cemment, il \u00e9tait difficile de comprendre le co\u00fbt r\u00e9el du d\u00e9veloppement de l'IA.\u00a0<\/span><\/p>\n A <\/span>\u00c9tude 2019<\/span><\/a> de l'universit\u00e9 du Massachusetts \u00e0 Amherst a \u00e9tudi\u00e9 la consommation de ressources associ\u00e9e aux approches des r\u00e9seaux neuronaux profonds (DNN).\u00a0<\/span><\/p>\n En r\u00e8gle g\u00e9n\u00e9rale, ces r\u00e9seaux neuronaux n\u00e9cessitent que les scientifiques des donn\u00e9es con\u00e7oivent manuellement ou utilisent la recherche d'architecture neuronale (NAS) pour trouver et former un r\u00e9seau neuronal sp\u00e9cialis\u00e9 \u00e0 partir de z\u00e9ro pour chaque cas unique.\u00a0<\/span><\/p>\n Cette approche est non seulement gourmande en ressources, mais elle a aussi une empreinte carbone importante. L'\u00e9tude a r\u00e9v\u00e9l\u00e9 que la formation d'un seul grand r\u00e9seau neuronal bas\u00e9 sur Transformer, construit \u00e0 l'aide de NAS - un outil couramment utilis\u00e9 dans la traduction automatique - g\u00e9n\u00e9rait environ 626 000 livres de dioxyde de carbone. <\/span><\/p>\n Cela \u00e9quivaut approximativement aux \u00e9missions de gaz de 5 voitures pendant toute leur dur\u00e9e de vie.<\/span><\/p>\n Carlos G\u00f3mez-Rodr\u00edguez, informaticien \u00e0 l'universit\u00e9 de La Corogne, en Espagne, a comment\u00e9 l'\u00e9tude en ces termes : \"Alors que beaucoup d'entre nous y ont probablement pens\u00e9 de mani\u00e8re abstraite et vague, les chiffres montrent vraiment l'ampleur du probl\u00e8me\", ajoutant : \"Ni moi ni les autres chercheurs avec lesquels j'en ai discut\u00e9 ne pensions que l'impact sur l'environnement \u00e9tait aussi important\".<\/span><\/p>\n Les co\u00fbts \u00e9nerg\u00e9tiques li\u00e9s \u00e0 la formation du mod\u00e8le ne sont que des valeurs de r\u00e9f\u00e9rence, c'est-\u00e0-dire la quantit\u00e9 minimale de travail n\u00e9cessaire pour rendre un mod\u00e8le op\u00e9rationnel.\u00a0<\/span><\/p>\n Comme le dit Emma Strubell, doctorante \u00e0 l'universit\u00e9 du Massachusetts, \"former un seul mod\u00e8le est le minimum de travail que l'on puisse faire\".<\/span><\/p>\n Des chercheurs du MIT ont par la suite propos\u00e9 une solution \u00e0 ce probl\u00e8me : le <\/span>L'approche \"une fois pour toutes\" (OFA)<\/span><\/a>.<\/span><\/p>\n Les chercheurs <\/span>d\u00e9crire le probl\u00e8me<\/span><\/a> avec l'entra\u00eenement conventionnel des r\u00e9seaux neuronaux : \"La conception de r\u00e9seaux neuronaux sp\u00e9cialis\u00e9s pour chaque sc\u00e9nario est co\u00fbteuse en termes d'ing\u00e9nierie et de calcul, que ce soit avec des m\u00e9thodes humaines ou des NAS. \u00c9tant donn\u00e9 que ces m\u00e9thodes doivent r\u00e9p\u00e9ter le processus de conception du r\u00e9seau et entra\u00eener \u00e0 nouveau le r\u00e9seau con\u00e7u \u00e0 partir de z\u00e9ro pour chaque cas, leur co\u00fbt total augmente de fa\u00e7on lin\u00e9aire \u00e0 mesure que le nombre de sc\u00e9narios de d\u00e9ploiement augmente, ce qui entra\u00eenera une consommation d'\u00e9nergie et des \u00e9missions de CO2 excessives.\"<\/span><\/p>\n Avec le paradigme OFA du MIT, les chercheurs forment un seul r\u00e9seau neuronal polyvalent \u00e0 partir duquel divers sous-r\u00e9seaux sp\u00e9cialis\u00e9s peuvent \u00eatre cr\u00e9\u00e9s. <\/span>Le processus OFA ne n\u00e9cessite pas de formation suppl\u00e9mentaire pour les nouveaux sous-r\u00e9seaux, ce qui r\u00e9duit les heures de GPU \u00e9nergivores n\u00e9cessaires \u00e0 la formation des mod\u00e8les et diminue les \u00e9missions de CO2.<\/span><\/p>\n Outre ses avantages environnementaux, l'approche de l'OFA apporte des am\u00e9liorations substantielles en termes de performances. Lors de tests internes, les mod\u00e8les cr\u00e9\u00e9s \u00e0 l'aide de l'approche OFA ont \u00e9t\u00e9 jusqu'\u00e0 2,6 fois plus rapides sur les appareils de p\u00e9riph\u00e9rie (appareils IoT compacts) que les mod\u00e8les cr\u00e9\u00e9s \u00e0 l'aide de NAS.<\/span><\/p>\n L'approche OFA du MIT a \u00e9t\u00e9 r\u00e9compens\u00e9e lors de la 4e \u00e9dition du Low Power Computer Vision Challenge en 2019 - un \u00e9v\u00e9nement annuel organis\u00e9 par l'IEEE pour promouvoir la recherche sur l'am\u00e9lioration de l'efficacit\u00e9 \u00e9nerg\u00e9tique des syst\u00e8mes de vision par ordinateur (CV). <\/span><\/p>\n C'est l'\u00e9quipe du MIT qui a remport\u00e9 la palme, avec les f\u00e9licitations des organisateurs de l'\u00e9v\u00e9nement : \"Les solutions de ces \u00e9quipes surpassent les meilleures solutions de la litt\u00e9rature\".<\/span><\/p>\n Les <\/span>2023 D\u00e9fi de la vision par ordinateur \u00e0 faible consommation d'\u00e9nergie<\/span><\/a> re\u00e7oit actuellement des candidatures jusqu'au 4 ao\u00fbt.\u00a0<\/span><\/p>\n Outre les mod\u00e8les de formation, les d\u00e9veloppeurs ont besoin d'immenses ressources en nuage pour h\u00e9berger et d\u00e9ployer leurs mod\u00e8les. <\/span><\/p>\n Les grandes entreprises technologiques telles que Microsoft et Google augmentent leurs investissements dans les ressources en nuage d'ici \u00e0 2023 pour r\u00e9pondre \u00e0 la demande croissante de produits li\u00e9s \u00e0 l'IA.<\/span><\/p>\n L'informatique en nuage et les centres de donn\u00e9es qui y sont associ\u00e9s ont d'immenses besoins en ressources. Depuis 2016, <\/span>estimations propos\u00e9es<\/span><\/a> que les centres de donn\u00e9es dans le monde repr\u00e9sentaient environ 1% \u00e0 3% de la consommation mondiale d'\u00e9lectricit\u00e9, ce qui \u00e9quivaut \u00e0 la consommation d'\u00e9nergie de certains petits pays.\u00a0<\/span><\/p>\n L'empreinte hydrique des centres de donn\u00e9es est \u00e9galement colossale. Les grands centres de donn\u00e9es peuvent consommer des millions de litres d'eau par jour.\u00a0<\/span><\/p>\n En 2020, il a \u00e9t\u00e9 rapport\u00e9 que les centres de donn\u00e9es de Google en Caroline du Sud ont \u00e9t\u00e9 autoris\u00e9s \u00e0 utiliser les technologies de l'information et de la communication (TIC). <\/span>549 millions de gallons d'eau<\/span><\/a>soit pr\u00e8s du double de la quantit\u00e9 utilis\u00e9e deux ans auparavant. Un centre de donn\u00e9es de 15 m\u00e9gawatts peut consommer jusqu'\u00e0 360 000 gallons d'eau par jour.<\/span><\/p>\nD\u00e9fis \u00e9nerg\u00e9tiques pour l'IA<\/span><\/h2>\n
![\"Consommation](\"https:\/\/dailyai.com\/wp-content\/uploads\/2023\/07\/dataconsumption-1024x801.png\")
L'approche \"une fois pour toutes\" du MIT<\/span><\/h2>\n
Le r\u00f4le de l'informatique en nuage dans l'impact environnemental de l'IA<\/span><\/h2>\n