NVIDIA CEO Jensen Huang ha recentemente descritto in dettaglio l'ultimo chip acceleratore di intelligenza artificiale dell'azienda, denominato Blackwell, in occasione del keynote del Computex 2024.
Con Blackwell, NVIDIA intende consolidare la propria posizione dominante nel fiorente spazio dell'hardware AI, dimostrando al contempo la propria capacità di innovare progressivamente.
Con una capitalizzazione di mercato dell'azienda che corre verso la soglia dei $3 trilioni, l'ascesa di NVIDIA al comando supremo dell'infrastruttura AI è stata a dir poco sorprendente.
Huang non vede segni di stallo nel progresso dell'azienda. continua a superare le aspettative degli analisti.
Ma cosa ci dicono davvero le specifiche e i numeri sulle capacità e sul potenziale impatto di Blackwell?
Diamo un'occhiata più da vicino a come potrebbe avere un impatto sul settore dell'IA e sulla società in generale.
Potenza di calcolo grezza
Il dato principale è che un singolo Blackwell "superchip" - costituito da due GPU collegate da un link ad alta velocità, contiene ben 208 miliardi di transistor.
Si tratta di un aumento di quasi 3 volte rispetto alla precedente generazione di chip Hopper di NVIDIA. NVIDIA sostiene che questo si traduce in un aumento di velocità di 30 volte nelle attività di inferenza AI rispetto a Hopper.
Per mettere questo dato in prospettiva, consideriamo un esempio di modello linguistico di grandi dimensioni (LLM) con 100 miliardi di parametri, simile in scala a GPT-3.
L'addestramento di un modello di questo tipo sulle GPU NVIDIA A100 di precedente generazione richiederebbe circa 1.024 chip A100 in funzione per un mese.
Con Blackwell, NVIDIA sostiene che lo stesso modello potrebbe essere addestrato in poco più di una settimana utilizzando 256 chip Blackwell - una riduzione di 4 volte del tempo di addestramento.
Efficienza energetica
Nonostante i notevoli guadagni in termini di prestazioni, NVIDIA afferma che Blackwell è in grado di ridurre i costi e il consumo energetico fino a 25 volte rispetto a Hopper per determinati carichi di lavoro AI.
L'azienda ha fornito l'esempio dell'addestramento di un modello da 1,8 trilioni di parametri, che in precedenza avrebbe richiesto 8.000 GPU Hopper con 15 megawatt di potenza.
Con Blackwell, NVIDIA afferma che questo obiettivo potrebbe essere raggiunto con 2.000 GPU che assorbono solo 4 megawatt.
Sebbene un consumo di energia di 4 megawatt per una singola sessione di addestramento dell'intelligenza artificiale sia ancora notevole, è impressionante che Blackwell sia in grado di fornire un aumento di quasi 4 volte dell'efficienza energetica per un compito così impegnativo.
Non sottovalutiamo i numeri. Per mettere in prospettiva la cifra di 4 megawatt, è equivalente al consumo medio di energia di oltre 3.000 famiglie statunitensi.
Quindi un singolo supercomputer di intelligenza artificiale alimentato da Blackwell che addestra un modello all'avanguardia consumerebbe tanta energia quanto un'intera città nel corso dell'addestramento.
E questo solo per un ciclo di addestramento: le organizzazioni che sviluppano modelli di IA di grandi dimensioni spesso perfezionano i loro modelli attraverso molte iterazioni, e poi dobbiamo considerare che ci sono centinaia di organizzazioni che sviluppano modelli di grandi dimensioni.
Costi ambientali
Anche con una migliore efficienza energetica, l'adozione diffusa di Blackwell potrebbe comunque aumentare in modo significativo il consumo energetico complessivo del settore.
Ad esempio, ipotizziamo che attualmente siano 100.000 le GPU ad alte prestazioni utilizzate per l'addestramento e l'inferenza dell'IA in tutto il mondo.
Se Blackwell consentirà un aumento di 10 volte nell'adozione dell'intelligenza artificiale nei prossimi anni, che non sembra una cifra straordinaria da tirare fuori dall'aria, ciò significherebbe 1 milione di GPU Blackwell in uso.
Alla potenza di 1,875 kilowatt per GPU citata da Huang, 1 milione di GPU Blackwell consumerebbe 1,875 gigawatt di potenza, quasi la produzione di due centrali nucleari medie.
Le centrali nucleari richiedono molti anni per essere costruite e costano trilioni. Sono state progettate principalmente per supportare l'infrastruttura nazionale, non solo per addestrare i modelli di intelligenza artificiale.
Analisi precedenti hanno previsto che entro il 2027 i carichi di lavoro dell'IA potrebbero consumare una quantità di energia pari a quella di un piccolo Paese, ed è difficile capire come si potrà ragionevolmente soddisfare queste richieste.
Anche il consumo d'acqua è un problema colossale, con Microsoft che ha rivelato enormi aumenti nel suo consumo di acqua dal 2022 al 2023che si correla con la formazione di modelli di intelligenza artificiale e la domanda di data center.
Alcune zone degli Stati Uniti hanno già dovuto affrontare carenze idriche a causa del consumo dei centri dati.
Se non si trovano modi migliori per far funzionare l'hardware dell'IA con le fonti rinnovabili, le emissioni di carbonio e il consumo di acqua dell'IA alimentata da Blackwell saranno enormi, con NVIDIA che accelererà l'era "hyperscale" dell'addestramento dei modelli di IA.
Oltre al consumo di energia, è essenziale considerare altri costi ambientali, come i minerali di terre rare e altre risorse necessarie per produrre su scala chip avanzati come quelli di Blackwell e i rifiuti generati alla fine del loro ciclo di vita.
Questo non vuol dire che i benefici sociali delle capacità di intelligenza artificiale sbloccate da Blackwell non possano superare questi costi ambientali.
Ma significa che l'impatto ambientale dovrà essere gestito e mitigato con attenzione nell'ambito di qualsiasi piano di distribuzione responsabile di Blackwell. C'è un punto interrogativo persistente sul fatto che ciò sia possibile o realistico.
L'impatto potenziale di Blackwell
Pensiamo a come potrebbe essere il mondo in un'epoca di adozione generalizzata di Blackwell.
Alcune stime retrospettive forniscono un'idea delle possibilità e dei rischi:
- Modelli linguistici di dimensioni 10 volte superiori a GPT-3 potrebbero essere addestrati in un lasso di tempo simile e utilizzando una quantità di risorse di calcolo simile a quella di GPT-3. Ciò consentirà di fare un grande balzo in avanti nelle capacità di intelligenza artificiale del linguaggio naturale.
- Come descritto al keynoteGli assistenti digitali con capacità simili a quelle umane potrebbero potenzialmente diventare economicamente vantaggiosi per lo sviluppo e la diffusione su larga scala. Un'intelligenza artificiale in grado di gestire l'80% delle mansioni tipiche di un lavoro di conoscenza a un decimo del costo di un lavoratore umano potrebbe sostituire fino a 45 milioni di posti di lavoro nei soli Stati Uniti.
- La capacità computazionale di addestrare un sistema di intelligenza artificiale con un'intelligenza generale pari o superiore a quella del cervello umano potrebbe essere a portata di mano. Le stime sulla capacità di calcolo del cervello vanno da 10^13 a 10^16 connessioni neurali. Un supercomputer alimentato da Blackwell e dotato di 1 milione di GPU avrebbe una capacità di calcolo stimata in 10^18 flops, potenzialmente sufficiente a simulare aspetti del cervello umano in tempo reale.
Naturalmente, si tratta di scenari altamente speculativi e devono essere presi con un granello di sale. La fattibilità tecnica non si traduce necessariamente in un'implementazione nel mondo reale.
Tuttavia, evidenziano l'enorme e dirompente potenziale dell'accelerazione dell'intelligenza artificiale che NVIDIA sta abilitando con Blackwell.
Huang ha descritto Blackwell come "una nuova piattaforma informatica per una nuova era informatica". In base ai numeri, è difficile discutere questa caratterizzazione.
Blackwell sembra pronto a inaugurare la prossima fase della rivoluzione dell'intelligenza artificiale, nel bene e nel male.
Per quanto le specifiche del chip siano impressionanti, la società avrà bisogno di qualcosa di più delle innovazioni hardware per affrontare le implicazioni della tecnologia.
Un'attenta considerazione dell'impatto ambientale e degli sforzi compiuti deve far parte dell'equazione e dell'analisi costi-benefici.
Anche se i chip come Blackwell stanno diventando più efficienti dal punto di vista energetico, questo da solo è probabilmente insufficiente a sostenere i progressi attuali.
L'industria troverà un modo? Probabilmente sì.
Ma abbiamo ancora qualche anno per scoprire come i rischi e i benefici dell'IA si ripercuoteranno sulla società e sul pianeta stesso.
