Mens effektive AI-tr\u00e6ningsteknikker og -arkitekturer lover at reducere energiforbruget, er AI-boomet f\u00f8rst lige begyndt, og big tech \u00f8ger investeringerne i ressourcekr\u00e6vende datacentre og cloud-teknologi.<\/span><\/p>\n I takt med at klimakrisen bliver dybere, er det mere afg\u00f8rende end nogensinde at finde en balance mellem teknologiske fremskridt og energieffektivitet.<\/span><\/p>\n AI's energiforbrug er steget med fremkomsten af komplekse, beregningsm\u00e6ssigt dyre arkitekturer som f.eks. neurale netv\u00e6rk. <\/span><\/p>\n For eksempel rygtes det, at GPT-4 er baseret p\u00e5 8 modeller med 220 milliarder parametre hver, i alt ca. 1,76 billioner parametre. Inflection er i \u00f8jeblikket ved at opbygge en klynge af 22.000 avancerede Nvidia-chips<\/a>som kan koste omkring $550.000.000 til en vejledende udsalgspris p\u00e5 $25.000 pr. kort. Og det er kun for chipsene.\u00a0<\/span><\/p>\n Hver avanceret AI-model kr\u00e6ver enorme ressourcer at tr\u00e6ne, men det har v\u00e6ret en udfordring at forst\u00e5 de sande omkostninger ved AI-udvikling helt pr\u00e6cist indtil for nylig.\u00a0<\/span><\/p>\n A <\/span>2019 unders\u00f8gelse<\/span><\/a> fra University of Massachusetts at Amherst unders\u00f8gte ressourceforbruget i forbindelse med Deep Neural Networks (DNN).\u00a0<\/span><\/p>\n Disse DNN'er kr\u00e6ver typisk, at dataforskere manuelt designer eller bruger Neural Architecture Search (NAS) til at finde og tr\u00e6ne et specialiseret neuralt netv\u00e6rk fra bunden til hvert enkelt tilf\u00e6lde.\u00a0<\/span><\/p>\n Denne tilgang er ikke kun ressourcekr\u00e6vende, men har ogs\u00e5 et betydeligt CO2-fodaftryk. Unders\u00f8gelsen viste, at tr\u00e6ning af et enkelt stort Transformer-baseret neuralt netv\u00e6rk, bygget ved hj\u00e6lp af NAS - et v\u00e6rkt\u00f8j, der ofte anvendes i maskinovers\u00e6ttelse - genererede omkring 626.000 pund kuldioxid. <\/span><\/p>\n Det svarer omtrent til gasudledningen fra 5 biler i hele deres levetid.<\/span><\/p>\n Carlos G\u00f3mez-Rodr\u00edguez, der er datalog ved universitetet i A Coru\u00f1a i Spanien, kommenterede unders\u00f8gelsen: \"Selv om mange af os nok har t\u00e6nkt p\u00e5 dette p\u00e5 et abstrakt, vagt niveau, viser tallene virkelig problemets omfang,\" og han tilf\u00f8jede: \"Hverken jeg eller andre forskere, jeg har diskuteret dem med, troede, at milj\u00f8p\u00e5virkningen var s\u00e5 stor.\"<\/span><\/p>\n Energiomkostningerne til tr\u00e6ning af modellen er kun baseline - den mindste m\u00e6ngde arbejde, der kr\u00e6ves for at f\u00e5 en model til at fungere.\u00a0<\/span><\/p>\n Som Emma Strubell, ph.d.-kandidat ved University of Massachusetts, siger: \"At tr\u00e6ne en enkelt model er den mindste m\u00e6ngde arbejde, man kan g\u00f8re.\"<\/span><\/p>\n Forskere p\u00e5 MIT foreslog senere en l\u00f8sning p\u00e5 dette problem: den <\/span>'En gang for alle'-tilgang (OFA)<\/span><\/a>.<\/span><\/p>\n Forskerne <\/span>Beskriv problemet<\/span><\/a> med konventionel tr\u00e6ning af neurale netv\u00e6rk: \"At designe specialiserede DNN'er til hvert scenarie er ingeni\u00f8rm\u00e6ssigt og beregningsm\u00e6ssigt dyrt, enten med menneskebaserede metoder eller NAS. Da s\u00e5danne metoder er n\u00f8dt til at gentage netv\u00e6rksdesignprocessen og genoptr\u00e6ne det designede netv\u00e6rk fra bunden for hvert tilf\u00e6lde, vokser deres samlede omkostninger line\u00e6rt, n\u00e5r antallet af implementeringsscenarier stiger, hvilket vil resultere i et for stort energiforbrug og CO2-udledning.\"<\/span><\/p>\n Med MIT's OFA-paradigme tr\u00e6ner forskere et enkelt neuralt netv\u00e6rk til generelle form\u00e5l, hvorfra der kan oprettes forskellige specialiserede undernetv\u00e6rk. <\/span>OFA-processen kr\u00e6ver ikke yderligere tr\u00e6ning af nye undernetv\u00e6rk, hvilket reducerer de energikr\u00e6vende GPU-timer, der skal bruges til modeltr\u00e6ning, og s\u00e6nker CO2-udledningen.<\/span><\/p>\n Ud over de milj\u00f8m\u00e6ssige fordele giver OFA-metoden betydelige forbedringer af ydeevnen. I interne tests klarede modeller skabt med OFA-metoden sig op til 2,6 gange hurtigere p\u00e5 edge-enheder (kompakte IoT-enheder) end modeller skabt med NAS.<\/span><\/p>\n MIT's OFA-tilgang blev anerkendt ved den 4. Low Power Computer Vision Challenge i 2019 - en \u00e5rlig begivenhed arrangeret af IEEE, der fremmer forskning i forbedring af energieffektiviteten i computersynssystemer (CV). <\/span><\/p>\n MIT-holdet fik den h\u00f8jeste udm\u00e6rkelse, og arrang\u00f8rerne roste det: \"Disse holds l\u00f8sninger overg\u00e5r de bedste l\u00f8sninger i litteraturen.\"<\/span><\/p>\n Den <\/span>2023 Low Power Computer Vision Challenge<\/span><\/a> modtager i \u00f8jeblikket bidrag frem til den 4. august.\u00a0<\/span><\/p>\n Ud over at tr\u00e6ne modeller har udviklere brug for enorme cloud-ressourcer til at hoste og implementere deres modeller. <\/span><\/p>\n Store teknologivirksomheder som Microsoft og Google \u00f8ger investeringerne i cloud-ressourcer i l\u00f8bet af 2023 for at kunne h\u00e5ndtere de stigende krav fra AI-relaterede produkter.<\/span><\/p>\n Cloud computing og de tilh\u00f8rende datacentre har et enormt ressourcebehov. Fra og med 2016, <\/span>foresl\u00e5ede sk\u00f8n<\/span><\/a> at datacentre p\u00e5 verdensplan stod for omkring 1% til 3% af det globale elforbrug, hvilket svarer til energiforbruget i visse sm\u00e5 nationer.\u00a0<\/span><\/p>\n Datacentrenes vandfodaftryk er ogs\u00e5 kolossalt. Store datacentre kan forbruge millioner af liter vand dagligt.\u00a0<\/span><\/p>\n I 2020 blev det rapporteret, at Googles datacentre i South Carolina fik lov til at bruge <\/span>549 millioner liter vand<\/span><\/a>n\u00e6sten dobbelt s\u00e5 meget som to \u00e5r tidligere. Et datacenter p\u00e5 15 megawatt kan forbruge op til 360.000 liter vand dagligt.<\/span><\/p>\nEnergiudfordringer for AI<\/span><\/h2>\n
![\"AI-energiforbrug](\"https:\/\/dailyai.com\/wp-content\/uploads\/2023\/07\/dataconsumption-1024x801.png\")
MIT's 'en gang for alle'-tilgang<\/span><\/h2>\n
Cloud computing's rolle i AI's milj\u00f8p\u00e5virkning<\/span><\/h2>\n