Selv om effektive AI-treningsteknikker og -arkitekturer lover \u00e5 redusere energiforbruket, har AI-boomen nettopp startet, og big tech \u00f8ker investeringene i ressurskrevende datasentre og skyteknologi.<\/span><\/p>\n Etter hvert som klimakrisen tilspisser seg, er det viktigere enn noensinne \u00e5 finne en balanse mellom teknologiske fremskritt og energieffektivitet.<\/span><\/p>\n Energiforbruket til kunstig intelligens har \u00f8kt i takt med fremveksten av komplekse, beregningskrevende arkitekturer som nevrale nettverk. <\/span><\/p>\n Det ryktes for eksempel at GPT-4 skal v\u00e6re basert p\u00e5 8 modeller med 220 milliarder parametere hver, til sammen ca. 1,76 billioner parametere. Inflection bygger for tiden en klynge av 22 000 avanserte Nvidia-brikker<\/a>, som kan koste rundt $550 000 000 000 til en grov utsalgspris p\u00e5 $25 000 per kort. Og det er bare for brikkene alene.\u00a0<\/span><\/p>\n Hver avanserte AI-modell krever enorme ressurser \u00e5 trene opp, men det har v\u00e6rt utfordrende \u00e5 forst\u00e5 de reelle kostnadene ved AI-utvikling helt frem til nylig.\u00a0<\/span><\/p>\n A <\/span>2019 studie<\/span><\/a> fra University of Massachusetts at Amherst unders\u00f8kte ressursforbruket knyttet til Deep Neural Networks (DNN).\u00a0<\/span><\/p>\n Vanligvis krever disse DNN-ene at dataforskere manuelt utformer eller bruker Neural Architecture Search (NAS) for \u00e5 finne og trene opp et spesialisert nevralt nettverk fra bunnen av for hvert unike tilfelle.\u00a0<\/span><\/p>\n Denne tiln\u00e6rmingen er ikke bare ressurskrevende, men har ogs\u00e5 et betydelig karbonavtrykk. Studien viste at oppl\u00e6ring av ett enkelt stort Transformer-basert nevralt nettverk, bygget opp ved hjelp av NAS - et verkt\u00f8y som ofte brukes i maskinoversettelse - genererte rundt 626 000 pund karbondioksid. <\/span><\/p>\n Dette tilsvarer omtrent gassutslippene fra fem biler i l\u00f8pet av deres levetid.<\/span><\/p>\n Carlos G\u00f3mez-Rodr\u00edguez, informatiker ved Universitetet i A Coru\u00f1a i Spania, kommenterte studien slik: \"Selv om mange av oss nok har tenkt p\u00e5 dette p\u00e5 et abstrakt, vagt niv\u00e5, viser tallene virkelig hvor stort problemet er\", og la til: \"Verken jeg eller andre forskere jeg har diskutert dem med, trodde milj\u00f8konsekvensene var s\u00e5 store.\"<\/span><\/p>\n Energikostnadene ved \u00e5 trene opp modellen er kun basiskostnader - den minste mengden arbeid som kreves for \u00e5 f\u00e5 en modell i drift.\u00a0<\/span><\/p>\n Som Emma Strubell, doktorgradskandidat ved University of Massachusetts, sier: \"\u00c5 trene opp en enkelt modell er det minste arbeidet du kan gj\u00f8re.\"<\/span><\/p>\n Forskere ved MIT foreslo senere en l\u00f8sning p\u00e5 dette problemet: den <\/span>\"En gang for alle\"-tiln\u00e6rming (OFA)<\/span><\/a>.<\/span><\/p>\n Forskerne <\/span>beskrive problemet<\/span><\/a> med konvensjonell oppl\u00e6ring av nevrale nettverk: \"Det er ingeni\u00f8r- og beregningsintensivt \u00e5 designe spesialiserte DNN-er for hvert scenario, enten med menneskebaserte metoder eller NAS. Siden slike metoder m\u00e5 gjenta nettverksdesignprosessen og l\u00e6re opp det designede nettverket fra bunnen av for hvert tilfelle, vokser totalkostnaden line\u00e6rt etter hvert som antallet distribusjonsscenarioer \u00f8ker, noe som vil f\u00f8re til et for h\u00f8yt energiforbruk og CO2-utslipp.\"<\/span><\/p>\n Med MITs OFA-paradigme trener forskerne opp et enkelt generelt nevralt nettverk som de kan lage ulike spesialiserte undernettverk ut fra. <\/span>OFA-prosessen krever ikke ekstra oppl\u00e6ring for nye undernettverk, noe som reduserer de energikrevende GPU-timene som trengs for modelloppl\u00e6ring og reduserer CO2-utslippene.<\/span><\/p>\n I tillegg til milj\u00f8fordelene gir OFA-metoden betydelige ytelsesforbedringer. I interne tester viste det seg at modeller som ble laget ved hjelp av OFA-metoden, fungerte opptil 2,6 ganger raskere p\u00e5 edge-enheter (kompakte IoT-enheter) enn modeller som ble laget ved hjelp av NAS.<\/span><\/p>\n MITs OFA-tiln\u00e6rming ble anerkjent p\u00e5 den fjerde Low Power Computer Vision Challenge i 2019 - et \u00e5rlig arrangement i regi av IEEE som fremmer forskning p\u00e5 energieffektivisering av systemer for datasyn (CV). <\/span><\/p>\n MIT-teamet gikk helt til topps, og arrang\u00f8rene roste dem: \"Disse teamenes l\u00f8sninger utkonkurrerer de beste l\u00f8sningene i litteraturen.\"<\/span><\/p>\n Den <\/span>2023 Low Power Computer Vision Challenge<\/span><\/a> mottar for \u00f8yeblikket bidrag frem til 4. august.\u00a0<\/span><\/p>\n I tillegg til \u00e5 trene opp modeller trenger utviklerne enorme skyressurser for \u00e5 hoste og distribuere modellene sine. <\/span><\/p>\n Store teknologiselskaper som Microsoft og Google \u00f8ker investeringene i skyressurser i l\u00f8pet av 2023 for \u00e5 h\u00e5ndtere den \u00f8kende ettersp\u00f8rselen etter AI-relaterte produkter.<\/span><\/p>\n Cloud computing og tilh\u00f8rende datasentre krever enorme ressurser. Fra og med 2016, <\/span>foresl\u00e5tte estimater<\/span><\/a> at datasentre over hele verden sto for mellom 11 og 3% av det globale str\u00f8mforbruket, noe som tilsvarer energiforbruket til enkelte sm\u00e5 nasjoner.\u00a0<\/span><\/p>\n Datasentrenes vannfotavtrykk er ogs\u00e5 kolossalt. Store datasentre kan forbruke millioner av liter vann daglig.\u00a0<\/span><\/p>\n I 2020 ble det rapportert at Googles datasentre i South Carolina fikk tillatelse til \u00e5 bruke <\/span>549 millioner liter vann<\/span><\/a>nesten dobbelt s\u00e5 mye som to \u00e5r tidligere. Et datasenter p\u00e5 15 megawatt kan forbruke opptil 360 000 liter vann daglig.<\/span><\/p>\nEnergiutfordringer for kunstig intelligens<\/span><\/h2>\n
![\"AI-energiforbruk](\"https:\/\/dailyai.com\/wp-content\/uploads\/2023\/07\/dataconsumption-1024x801.png\")
MITs \"en gang for alle\"-tiln\u00e6rming<\/span><\/h2>\n
Skytjenestens rolle i AIs milj\u00f8p\u00e5virkning<\/span><\/h2>\n