{"id":12757,"date":"2024-06-06T11:08:08","date_gmt":"2024-06-06T11:08:08","guid":{"rendered":"https:\/\/dailyai.com\/?p=12757"},"modified":"2024-06-06T15:07:56","modified_gmt":"2024-06-06T15:07:56","slug":"nvidia-blackwell-by-the-numbers-the-potential-impact-of-nvidias-new-ai-superchip","status":"publish","type":"post","link":"https:\/\/dailyai.com\/it\/2024\/06\/nvidia-blackwell-by-the-numbers-the-potential-impact-of-nvidias-new-ai-superchip\/","title":{"rendered":"NVIDIA Blackwell in cifre: il potenziale impatto del nuovo superchip NVIDIA AI"},"content":{"rendered":"

NVIDIA CEO Jensen Huang<\/span> ha recentemente descritto in dettaglio l'ultimo chip acceleratore di intelligenza artificiale dell'azienda, denominato Blackwell, in occasione del keynote del Computex 2024.\u00a0<\/strong><\/p>\n

Con Blackwell, NVIDIA intende consolidare la propria posizione dominante nel fiorente spazio dell'hardware AI, dimostrando al contempo la propria capacit\u00e0 di innovare progressivamente. <\/span><\/p>\n

Con una capitalizzazione di mercato dell'azienda che corre verso la soglia dei $3 trilioni, l'ascesa di NVIDIA al comando supremo dell'infrastruttura AI \u00e8 stata a dir poco sorprendente. <\/span><\/p>\n

Huang non vede segni di stallo nel progresso dell'azienda. continua a superare le aspettative degli analisti<\/a>.\u00a0<\/span><\/p>\n

Ma cosa ci dicono davvero le specifiche e i numeri sulle capacit\u00e0 e sul potenziale impatto di Blackwell?\u00a0<\/span><\/p>\n

Diamo un'occhiata pi\u00f9 da vicino a come potrebbe avere un impatto sul settore dell'IA e sulla societ\u00e0 in generale.\u00a0<\/span><\/p>\n

Potenza di calcolo grezza<\/h2>\n

Il dato principale \u00e8 che un singolo Blackwell \"superchip\"<\/a> - costituito da due GPU collegate da un link ad alta velocit\u00e0, contiene ben 208 miliardi di transistor.\u00a0<\/span><\/p>\n

Si tratta di un aumento di quasi 3 volte rispetto alla precedente generazione di chip Hopper di NVIDIA. NVIDIA sostiene che questo si traduce in un aumento di velocit\u00e0 di 30 volte nelle attivit\u00e0 di inferenza AI rispetto a Hopper.<\/span><\/p>\n

Per mettere questo dato in prospettiva, consideriamo un esempio di modello linguistico di grandi dimensioni (LLM) con 100 miliardi di parametri, simile in scala a GPT-3.\u00a0<\/span><\/p>\n

L'addestramento di un modello di questo tipo sulle GPU NVIDIA A100 di precedente generazione richiederebbe circa 1.024 chip A100 in funzione per un mese.<\/span><\/p>\n

Con Blackwell, NVIDIA sostiene che lo stesso modello potrebbe essere addestrato in poco pi\u00f9 di una settimana utilizzando 256 chip Blackwell - una riduzione di 4 volte del tempo di addestramento.<\/span><\/p>\n

Efficienza energetica<\/h2>\n

Nonostante i notevoli guadagni in termini di prestazioni, NVIDIA afferma che Blackwell \u00e8 in grado di ridurre i costi e il consumo energetico fino a 25 volte rispetto a Hopper per determinati carichi di lavoro AI.\u00a0<\/span><\/p>\n

L'azienda ha fornito l'esempio dell'addestramento di un modello da 1,8 trilioni di parametri, che in precedenza avrebbe richiesto 8.000 GPU Hopper con 15 megawatt di potenza. <\/span><\/p>\n

Con Blackwell, NVIDIA afferma che questo obiettivo potrebbe essere raggiunto con 2.000 GPU che assorbono solo 4 megawatt.<\/span><\/p>\n

Sebbene un consumo di energia di 4 megawatt per una singola sessione di addestramento dell'intelligenza artificiale sia ancora notevole, \u00e8 impressionante che Blackwell sia in grado di fornire un aumento di quasi 4 volte dell'efficienza energetica per un compito cos\u00ec impegnativo.<\/span><\/p>\n

Non sottovalutiamo i numeri. Per mettere in prospettiva la cifra di 4 megawatt, \u00e8 equivalente al consumo medio di energia di oltre 3.000 famiglie statunitensi.<\/p>\n

Quindi un singolo supercomputer di intelligenza artificiale alimentato da Blackwell che addestra un modello all'avanguardia consumerebbe tanta energia quanto un'intera citt\u00e0 nel corso dell'addestramento.<\/p>\n

E questo solo per un ciclo di addestramento: le organizzazioni che sviluppano modelli di IA di grandi dimensioni spesso perfezionano i loro modelli attraverso molte iterazioni, e poi dobbiamo considerare che ci sono centinaia di organizzazioni che sviluppano modelli di grandi dimensioni.<\/p>\n

Costi ambientali<\/h2>\n

Anche con una migliore efficienza energetica, l'adozione diffusa di Blackwell potrebbe comunque aumentare in modo significativo il consumo energetico complessivo del settore.<\/span><\/p>\n

Ad esempio, ipotizziamo che attualmente siano 100.000 le GPU ad alte prestazioni utilizzate per l'addestramento e l'inferenza dell'IA in tutto il mondo.\u00a0<\/span><\/p>\n

Se Blackwell consentir\u00e0 un aumento di 10 volte nell'adozione dell'intelligenza artificiale nei prossimi anni, che non sembra una cifra straordinaria da tirare fuori dall'aria, ci\u00f2 significherebbe 1 milione di GPU Blackwell in uso.<\/p>\n

Alla potenza di 1,875 kilowatt per GPU citata da Huang, 1 milione di GPU Blackwell consumerebbe 1,875 gigawatt di potenza, quasi la produzione di due centrali nucleari medie. <\/span><\/p>\n

Le centrali nucleari richiedono molti anni per essere costruite e costano trilioni. Sono state progettate principalmente per supportare l'infrastruttura nazionale, non solo per addestrare i modelli di intelligenza artificiale.\u00a0<\/span><\/p>\n

Analisi precedenti<\/a> hanno previsto che entro il 2027 i carichi di lavoro dell'IA potrebbero consumare una quantit\u00e0 di energia pari a quella di un piccolo Paese, ed \u00e8 difficile capire come si potr\u00e0 ragionevolmente soddisfare queste richieste.<\/p>\n

Anche il consumo d'acqua \u00e8 un problema colossale, con Microsoft che ha rivelato enormi aumenti nel suo consumo di acqua dal 2022 al 2023<\/a>che si correla con la formazione di modelli di intelligenza artificiale e la domanda di data center.<\/p>\n

Alcune zone degli Stati Uniti hanno gi\u00e0 dovuto affrontare carenze idriche a causa del consumo dei centri dati.<\/p>\n

Se non si trovano modi migliori per far funzionare l'hardware dell'IA con le fonti rinnovabili, le emissioni di carbonio e il consumo di acqua dell'IA alimentata da Blackwell saranno enormi, con NVIDIA che accelerer\u00e0 l'era \"hyperscale\" dell'addestramento dei modelli di IA.<\/p>\n

Oltre al consumo di energia, \u00e8 essenziale considerare altri costi ambientali, come i minerali di terre rare e altre risorse necessarie per produrre su scala chip avanzati come quelli di Blackwell e i rifiuti generati alla fine del loro ciclo di vita.<\/span><\/p>\n

Questo non vuol dire che i benefici sociali delle capacit\u00e0 di intelligenza artificiale sbloccate da Blackwell non possano superare questi costi ambientali.<\/span><\/p>\n

Ma significa che l'impatto ambientale dovr\u00e0 essere gestito e mitigato con attenzione nell'ambito di qualsiasi piano di distribuzione responsabile di Blackwell. C'\u00e8 un punto interrogativo persistente sul fatto che ci\u00f2 sia possibile o realistico.\u00a0\u00a0<\/span><\/p>\n

L'impatto potenziale di Blackwell<\/h2>\n

Pensiamo a come potrebbe essere il mondo in un'epoca di adozione generalizzata di Blackwell.<\/span><\/p>\n

Alcune stime retrospettive forniscono un'idea delle possibilit\u00e0 e dei rischi:<\/span><\/p>\n