Sebbene tecniche e architetture di addestramento dell'IA efficienti promettano di ridurre il consumo energetico, il boom dell'IA \u00e8 appena iniziato e le big tech stanno aumentando gli investimenti in data center e tecnologie cloud che consumano risorse.<\/span><\/p>\n Con l'aggravarsi della crisi climatica, trovare un equilibrio tra progresso tecnologico ed efficienza energetica \u00e8 pi\u00f9 che mai fondamentale.<\/span><\/p>\n Il consumo energetico dell'IA \u00e8 aumentato con l'avvento di architetture complesse e computazionalmente costose come le reti neurali. <\/span><\/p>\n Ad esempio, si dice che il GPT-4 sia basato su 8 modelli con 220 miliardi di parametri ciascuno, per un totale di circa 1,76 trilioni di parametri. Inflection sta attualmente costruendo un cluster di 22.000 chip Nvidia di fascia alta<\/a>che potrebbe costare circa $550.000.000 con un prezzo al dettaglio approssimativo di $25.000 per scheda. E questo solo per i chip.\u00a0<\/span><\/p>\n Ogni modello avanzato di IA richiede risorse immense per essere addestrato, ma fino a poco tempo fa era difficile capire il vero costo dello sviluppo dell'IA.\u00a0<\/span><\/p>\n A <\/span>Studio 2019<\/span><\/a> dell'Universit\u00e0 del Massachusetts ad Amherst ha studiato il consumo di risorse associato agli approcci delle reti neurali profonde (DNN).\u00a0<\/span><\/p>\n In genere, queste DNN richiedono agli scienziati dei dati di progettare manualmente o di utilizzare la ricerca di architetture neurali (NAS) per trovare e addestrare da zero una rete neurale specializzata per ogni singolo caso.\u00a0<\/span><\/p>\n Questo approccio non solo richiede molte risorse, ma ha anche una notevole impronta di carbonio. Lo studio ha scoperto che l'addestramento di una singola rete neurale di grandi dimensioni basata su Transformer, costruita utilizzando NAS, uno strumento comunemente impiegato nella traduzione automatica, ha generato circa 626.000 libbre di anidride carbonica. <\/span><\/p>\n Ci\u00f2 equivale all'incirca alle emissioni di gas nel corso della vita di 5 automobili.<\/span><\/p>\n Carlos G\u00f3mez-Rodr\u00edguez, informatico dell'Universit\u00e0 di A Coru\u00f1a in Spagna, ha commentato lo studio: \"Mentre probabilmente molti di noi hanno pensato a questo problema in modo astratto e vago, le cifre mostrano davvero l'entit\u00e0 del problema\", aggiungendo: \"N\u00e9 io n\u00e9 altri ricercatori con cui ne ho discusso pensavamo che l'impatto ambientale fosse cos\u00ec sostanziale\".<\/span><\/p>\n I costi energetici per l'addestramento del modello sono solo dei valori di base, ovvero la quantit\u00e0 minima di lavoro necessaria per rendere operativo un modello.\u00a0<\/span><\/p>\n Come dice Emma Strubell, dottoranda presso l'Universit\u00e0 del Massachusetts, \"addestrare un singolo modello \u00e8 la quantit\u00e0 minima di lavoro che si pu\u00f2 fare\".<\/span><\/p>\n I ricercatori del MIT hanno in seguito proposto una soluzione a questo problema: il <\/span>Approccio \"una volta per tutte\" (OFA)<\/span><\/a>.<\/span><\/p>\n I ricercatori <\/span>descrivere il problema<\/span><\/a> con l'addestramento delle reti neurali convenzionali: \"La progettazione di reti neurali specializzate per ogni scenario \u00e8 costosa dal punto di vista ingegneristico e computazionale, sia con metodi basati sull'uomo che con i NAS. Poich\u00e9 tali metodi devono ripetere il processo di progettazione della rete e riaddestrare la rete progettata da zero per ogni caso, il loro costo totale cresce linearmente con l'aumentare del numero di scenari di implementazione, con conseguente consumo eccessivo di energia ed emissioni di CO2\".<\/span><\/p>\n Con il paradigma OFA del MIT, i ricercatori addestrano un'unica rete neurale generica da cui possono essere create varie sotto-reti specializzate. <\/span>Il processo OFA non richiede una formazione aggiuntiva per le nuove sottoreti, riducendo le ore di GPU ad alto consumo energetico necessarie per la formazione dei modelli e diminuendo le emissioni di CO2.<\/span><\/p>\n Oltre ai vantaggi ambientali, l'approccio OFA offre sostanziali miglioramenti delle prestazioni. Nei test interni, i modelli creati con l'approccio OFA hanno funzionato fino a 2,6 volte pi\u00f9 velocemente sui dispositivi edge (dispositivi IoT compatti) rispetto ai modelli creati con NAS.<\/span><\/p>\n L'approccio OFA del MIT \u00e8 stato premiato in occasione della quarta edizione della Low Power Computer Vision Challenge nel 2019, un evento annuale ospitato dall'IEEE che promuove la ricerca sul miglioramento dell'efficienza energetica dei sistemi di computer vision (CV). <\/span><\/p>\n Il team del MIT si \u00e8 aggiudicato il massimo dei voti e gli organizzatori dell'evento hanno commentato: \"Le soluzioni di questi team superano le migliori soluzioni presenti in letteratura\".<\/span><\/p>\n Il <\/span>2023 Sfida di visione computerizzata a basso consumo<\/span><\/a> sta ricevendo le candidature fino al 4 agosto.\u00a0<\/span><\/p>\n Oltre alla formazione dei modelli, gli sviluppatori hanno bisogno di immense risorse cloud per ospitare e distribuire i loro modelli. <\/span><\/p>\n Grandi aziende tecnologiche come Microsoft e Google stanno aumentando gli investimenti in risorse cloud nel 2023 per gestire la crescente domanda di prodotti legati all'intelligenza artificiale.<\/span><\/p>\n Il cloud computing e i centri dati ad esso associati hanno un immenso fabbisogno di risorse. A partire dal 2016, <\/span>stime suggerite<\/span><\/a> che i data center di tutto il mondo sono responsabili di circa 1% - 3% del consumo globale di elettricit\u00e0, pari all'utilizzo di energia di alcune piccole nazioni.\u00a0<\/span><\/p>\n Anche l'impronta idrica dei data center \u00e8 colossale. I grandi data center possono consumare milioni di litri d'acqua al giorno.\u00a0<\/span><\/p>\n Nel 2020, \u00e8 stato riferito che i centri dati di Google nella Carolina del Sud sono stati autorizzati a usare <\/span>549 milioni di litri d'acqua<\/span><\/a>quasi il doppio della quantit\u00e0 utilizzata due anni prima. Un centro dati da 15 megawatt pu\u00f2 consumare fino a 360.000 galloni di acqua al giorno.<\/span><\/p>\nSfide energetiche per l'IA<\/span><\/h2>\n
![\"Consumo](\"https:\/\/dailyai.com\/wp-content\/uploads\/2023\/07\/dataconsumption-1024x801.png\")
L'approccio \"una volta per tutte\" del MIT<\/span><\/h2>\n
Il ruolo del cloud computing sull'impatto ambientale dell'IA<\/span><\/h2>\n