Hoewel effici\u00ebnte AI-trainingstechnieken en -architecturen het energieverbruik beloven te verminderen, is de AI-boom nog maar net begonnen en voert big tech de investeringen in energievretende datacenters en cloudtechnologie op.<\/span><\/p>\n Naarmate de klimaatcrisis zich verdiept, is het belangrijker dan ooit om een evenwicht te vinden tussen technologische vooruitgang en energie-effici\u00ebntie.<\/span><\/p>\n Het energieverbruik van AI is gestegen met de komst van complexe, rekenkundig dure architecturen zoals neurale netwerken. <\/span><\/p>\n Het gerucht gaat bijvoorbeeld dat GPT-4 gebaseerd is op 8 modellen met elk 220 miljard parameters, voor een totaal van ongeveer 1,76 biljoen parameters. Inflection bouwt momenteel een cluster van 22.000 high-end Nvidia-chips<\/a>die zo'n $550.000.000 kunnen kosten bij een ruwe verkoopprijs van $25.000 per kaart. En dat is alleen nog maar voor de chips.\u00a0<\/span><\/p>\n Elk geavanceerd AI-model vereist enorme middelen om te trainen, maar het was tot voor kort een uitdaging om de werkelijke kosten van AI-ontwikkeling precies te begrijpen.\u00a0<\/span><\/p>\n A <\/span>Onderzoek 2019<\/span><\/a> van de Universiteit van Massachusetts in Amherst onderzocht het resourceverbruik van DNN-benaderingen (Deep Neural Networks).\u00a0<\/span><\/p>\n Doorgaans moeten gegevenswetenschappers voor deze DNN's handmatig een ontwerp maken of Neural Architecture Search (NAS) gebruiken om een gespecialiseerd neuraal netwerk te vinden en vanaf nul te trainen voor elk uniek geval.\u00a0<\/span><\/p>\n Deze aanpak kost niet alleen veel middelen, maar heeft ook een aanzienlijke koolstofvoetafdruk. Het onderzoek ontdekte dat het trainen van \u00e9\u00e9n groot op Transformer gebaseerd neuraal netwerk, gebouwd met NAS - een hulpmiddel dat vaak wordt gebruikt bij machinevertaling - ongeveer 626.000 pond kooldioxide genereerde. <\/span><\/p>\n Dit komt ongeveer overeen met de levenslange uitstoot van 5 auto's.<\/span><\/p>\n Carlos G\u00f3mez-Rodr\u00edguez, een computerwetenschapper aan de Universiteit van A Coru\u00f1a in Spanje, zei over het onderzoek: \"Hoewel waarschijnlijk velen van ons hier op een abstract, vaag niveau aan hebben gedacht, laten de cijfers echt de omvang van het probleem zien,\" en voegde eraan toe: \"Noch ik, noch andere onderzoekers met wie ik ze heb besproken, dachten dat de gevolgen voor het milieu zo substantieel waren.\"<\/span><\/p>\n De energiekosten voor het trainen van het model zijn slechts basiskosten - de minimale hoeveelheid werk die nodig is om een model operationeel te krijgen.\u00a0<\/span><\/p>\n Zoals Emma Strubell, een promovendus aan de Universiteit van Massachusetts, zegt: \"Het trainen van \u00e9\u00e9n model is de minimale hoeveelheid werk die je kunt doen.\"<\/span><\/p>\n Onderzoekers van het MIT stelden later een oplossing voor dit probleem voor: de <\/span>Eenmalige aanpak (OFA)<\/span><\/a>.<\/span><\/p>\n De onderzoekers <\/span>het probleem beschrijven<\/span><\/a> met conventionele neurale netwerktraining: \"Het ontwerpen van gespecialiseerde DNN's voor elk scenario is duur voor ingenieurs en computationeel duur, hetzij met menselijke methoden of NAS. Aangezien dergelijke methoden het netwerkontwerpproces moeten herhalen en het ontworpen netwerk voor elk geval opnieuw moeten trainen, nemen hun totale kosten lineair toe naarmate het aantal inzetscenario's toeneemt, wat zal resulteren in buitensporig energieverbruik en CO2-uitstoot.\"<\/span><\/p>\n Met het OFA-paradigma van MIT trainen onderzoekers \u00e9\u00e9n algemeen neuraal netwerk waaruit verschillende gespecialiseerde subnetwerken kunnen worden gemaakt. <\/span>Het OFA-proces vereist geen extra training voor nieuwe subnetwerken, waardoor er minder energie-intensieve GPU-uren nodig zijn voor modeltraining en er minder CO2 wordt uitgestoten.<\/span><\/p>\n Naast de milieuvoordelen levert de OFA-benadering substanti\u00eble prestatieverbeteringen. In interne tests presteerden modellen gemaakt met de OFA-benadering tot 2,6 keer sneller op randapparaten (compacte IoT-apparaten) dan modellen gemaakt met NAS.<\/span><\/p>\n De OFA-benadering van MIT werd erkend tijdens de 4e Low Power Computer Vision Challenge in 2019 - een jaarlijks evenement georganiseerd door de IEEE ter bevordering van onderzoek naar het verbeteren van de energie-effici\u00ebntie van computer vision (CV)-systemen. <\/span><\/p>\n Het MIT-team kreeg de hoogste onderscheiding en de organisatoren van het evenement loofden het team: \"De oplossingen van deze teams presteren beter dan de beste oplossingen in de literatuur.\"<\/span><\/p>\n De <\/span>2023 Computer Vision-uitdaging voor laag vermogen<\/span><\/a> ontvangt momenteel inzendingen tot 4 augustus.\u00a0<\/span><\/p>\n Naast trainingsmodellen hebben ontwikkelaars enorme cloudresources nodig om hun modellen te hosten en in te zetten. <\/span><\/p>\n Grote techbedrijven zoals Microsoft en Google verhogen de investeringen in cloudbronnen in 2023 om de stijgende vraag naar AI-gerelateerde producten aan te kunnen.<\/span><\/p>\n Cloud computing en de bijbehorende datacenters hebben een enorme behoefte aan middelen. Vanaf 2016, <\/span>voorgestelde schattingen<\/span><\/a> dat datacenters wereldwijd verantwoordelijk zijn voor ongeveer 1% tot 3% van het wereldwijde elektriciteitsverbruik, gelijk aan het energieverbruik van bepaalde kleine naties.\u00a0<\/span><\/p>\n De watervoetafdruk van datacenters is ook kolossaal. Grote datacenters kunnen dagelijks miljoenen liters water verbruiken.\u00a0<\/span><\/p>\n In 2020 werd bekend dat de datacenters van Google in South Carolina toestemming kregen om <\/span>549 miljoen liter water<\/span><\/a>Bijna twee keer zoveel als twee jaar eerder. Een datacenter van 15 megawatt kan dagelijks tot 360.000 liter water verbruiken.<\/span><\/p>\nEnergie-uitdagingen voor AI<\/span><\/h2>\n
![\"AI-energieverbruik](\"https:\/\/dailyai.com\/wp-content\/uploads\/2023\/07\/dataconsumption-1024x801.png\")
De eenmalige aanpak van MIT<\/span><\/h2>\n
De rol van cloud computing op de impact van AI op het milieu<\/span><\/h2>\n