{"id":12757,"date":"2024-06-06T11:08:08","date_gmt":"2024-06-06T11:08:08","guid":{"rendered":"https:\/\/dailyai.com\/?p=12757"},"modified":"2024-06-06T15:07:56","modified_gmt":"2024-06-06T15:07:56","slug":"nvidia-blackwell-by-the-numbers-the-potential-impact-of-nvidias-new-ai-superchip","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nl\/2024\/06\/nvidia-blackwell-by-the-numbers-the-potential-impact-of-nvidias-new-ai-superchip\/","title":{"rendered":"NVIDIA Blackwell door de cijfers - de potenti\u00eble impact van NVIDIA's nieuwe AI-superchip"},"content":{"rendered":"

NVIDIA CEO Jensen Huang<\/span> beschreef onlangs in detail de nieuwste AI-acceleratorchip van het bedrijf, Blackwell genaamd, tijdens de Computex 2024 keynote van het bedrijf.\u00a0<\/strong><\/p>\n

Met Blackwell wil NVIDIA haar dominantie in de opkomende AI-hardwareruimte verstevigen en tegelijkertijd bewijzen dat ze in staat is om steeds verder te innoveren. <\/span><\/p>\n

Met een marktkapitalisatie van het bedrijf die de grens van $3 biljoen nadert, is NVIDIA's opkomst tot opperbevelhebber van AI-infrastructuur niets minder dan verbazingwekkend. <\/span><\/p>\n

Huang ziet geen tekenen dat de vooruitgang stokt terwijl het bedrijf blijft de verwachtingen van analisten overtreffen<\/a>.\u00a0<\/span><\/p>\n

Maar wat vertellen de specificaties en cijfers ons nu echt over de capaciteiten en potenti\u00eble impact van Blackwell?\u00a0<\/span><\/p>\n

Laten we eens kijken naar de mogelijke gevolgen voor de AI-industrie en de maatschappij in het algemeen.\u00a0<\/span><\/p>\n

Ruw rekenvermogen<\/h2>\n

Het belangrijkste cijfer is dat \u00e9\u00e9n Blackwell \"superchip<\/a> - bestaande uit twee GPU-diesels verbonden door een hogesnelheidsverbinding - bevat maar liefst 208 miljard transistors.\u00a0<\/span><\/p>\n

Dat is bijna een 3X toename ten opzichte van NVIDIA's vorige generatie Hopper-chip. NVIDIA claimt dat dit zich vertaalt in een 30X snelheidsboost op AI-inferentietaken vergeleken met Hopper.<\/span><\/p>\n

Laten we, om dat in perspectief te plaatsen, eens kijken naar een voorbeeld van een groot taalmodel (LLM) met 100 miljard parameters, vergelijkbaar in schaal met GPT-3.\u00a0<\/span><\/p>\n

Voor het trainen van een dergelijk model op NVIDIA's vorige generatie A100 GPU's zouden ongeveer 1.024 A100-chips een maand lang moeten draaien.<\/span><\/p>\n

Met Blackwell beweert NVIDIA dat hetzelfde model in iets meer dan een week kan worden getraind met 256 Blackwell-chips - een 4X kortere trainingstijd.<\/span><\/p>\n

Energie-effici\u00ebntie<\/h2>\n

Ondanks de dramatische prestatiewinst stelt NVIDIA dat Blackwell de kosten en het energieverbruik tot 25X kan verlagen in vergelijking met Hopper voor bepaalde AI-workloads.\u00a0<\/span><\/p>\n

Het bedrijf gaf het voorbeeld van het trainen van een model met 1,8 biljoen parameters, waarvoor voorheen 8000 Hopper GPU's nodig waren die 15 megawatt aan stroom verbruikten. <\/span><\/p>\n

Met Blackwell kan dit volgens NVIDIA worden bereikt met 2.000 GPU's die slechts 4 megawatt verbruiken.<\/span><\/p>\n

Hoewel een stroomverbruik van 4 megawatt voor een enkele AI-training nog steeds aanzienlijk is, is het indrukwekkend dat Blackwell een bijna 4X boost in energie-effici\u00ebntie kan bieden voor zo'n veeleisende taak.<\/span><\/p>\n

Laten we de cijfers niet onderschatten. Om dat cijfer van 4 megawatt in perspectief te plaatsen: het staat gelijk aan het gemiddelde stroomverbruik van meer dan 3.000 huishoudens in de VS.<\/p>\n

Dus een enkele AI-supercomputer met Blackwell-vermogen die een geavanceerd model traint, zou net zoveel energie verbruiken als een hele stad tijdens de trainingsrun.<\/p>\n

En dat is maar voor \u00e9\u00e9n trainingsrun - organisaties die grote AI-modellen ontwikkelen verfijnen hun modellen vaak via vele iteraties, en dan moeten we bedenken dat er honderden organisaties zijn die grote modellen ontwikkelen.<\/p>\n

Milieukosten<\/h2>\n

Zelfs met verbeterde energie-effici\u00ebntie kan wijdverspreide toepassing van Blackwell het totale energieverbruik van de industrie nog steeds aanzienlijk verhogen.<\/span><\/p>\n

Laten we bijvoorbeeld aannemen dat er momenteel wereldwijd zo'n 100.000 krachtige GPU's worden gebruikt voor AI-training en inferentie.\u00a0<\/span><\/p>\n

Als Blackwell een 10X toename in AI-toepassingen mogelijk maakt in de komende jaren, wat geen buitengewoon getal lijkt om uit de lucht te plukken, zou dat betekenen dat er 1 miljoen Blackwell GPU's in gebruik zijn.<\/p>\n

Met de 1,875 kilowatt stroomafname per GPU die Huang noemde, zouden 1 miljoen Blackwell GPU's 1,875 gigawatt aan stroom verbruiken - bijna het vermogen van twee gemiddelde kerncentrales. <\/span><\/p>\n

Kerncentrales bouwen duurt jaren en kost triljoenen. Ze zijn in de eerste plaats ontworpen om de landelijke infrastructuur te ondersteunen, niet alleen om AI-modellen te trainen.\u00a0<\/span><\/p>\n

Vorige analyses<\/a> hebben voorspeld dat AI-werklasten in 2027 net zoveel energie zullen verbruiken als een klein land, en het is moeilijk om precies te zien hoe redelijkerwijs aan deze eisen zal worden voldaan.<\/p>\n

Waterverbruik is ook een kolossaal probleem, met Microsoft die enorme stijgingen bekendmaakt in hun waterverbruik van 2022 tot 2023<\/a>die correleerde met AI-model training en de vraag naar datacenters.<\/p>\n

Delen van de VS hebben al te maken gehad met watertekorten door het verbruik van datacenters.<\/p>\n

Als er geen betere manieren worden gevonden om AI-hardware op basis van hernieuwbare energiebronnen te laten draaien, zullen de CO2-uitstoot en het waterverbruik van door Blackwell aangedreven AI enorm zijn, waarbij NVIDIA het 'hyperscale' tijdperk van AI-modeltraining versnelt.<\/p>\n

En naast het energieverbruik alleen, is het essentieel om andere milieukosten in overweging te nemen, zoals de zeldzame aardmineralen en andere hulpbronnen die nodig zijn om geavanceerde chips zoals Blackwell op schaal te produceren en het afval dat ontstaat wanneer ze het einde van hun levensduur bereiken.<\/span><\/p>\n

Dit wil niet zeggen dat de maatschappelijke voordelen van de AI-mogelijkheden die door Blackwell worden ontsloten niet opwegen tegen deze milieukosten.<\/span><\/p>\n

Maar het betekent wel dat de gevolgen voor het milieu zorgvuldig beheerd en beperkt moeten worden als onderdeel van een verantwoord Blackwell implementatieplan. Het is nog maar de vraag of dat mogelijk of realistisch is.\u00a0\u00a0<\/span><\/p>\n

Blackwells potenti\u00eble impact<\/h2>\n

Laten we eens kijken hoe de wereld eruit zou kunnen zien in een tijdperk waarin Blackwell op grote schaal wordt gebruikt.<\/span><\/p>\n

Enkele schattingen achteraf geven een idee van de mogelijkheden en risico's:<\/span><\/p>\n