NVIDIA CEO Jensen Huang beschreef onlangs in detail de nieuwste AI-acceleratorchip van het bedrijf, Blackwell genaamd, tijdens de Computex 2024 keynote van het bedrijf.
Met Blackwell wil NVIDIA haar dominantie in de opkomende AI-hardwareruimte verstevigen en tegelijkertijd bewijzen dat ze in staat is om steeds verder te innoveren.
Met een marktkapitalisatie van het bedrijf die de grens van $3 biljoen nadert, is NVIDIA's opkomst tot opperbevelhebber van AI-infrastructuur niets minder dan verbazingwekkend.
Huang ziet geen tekenen dat de vooruitgang stokt terwijl het bedrijf blijft de verwachtingen van analisten overtreffen.
Maar wat vertellen de specificaties en cijfers ons nu echt over de capaciteiten en potentiële impact van Blackwell?
Laten we eens kijken naar de mogelijke gevolgen voor de AI-industrie en de maatschappij in het algemeen.
Ruw rekenvermogen
Het belangrijkste cijfer is dat één Blackwell "superchip - bestaande uit twee GPU-diesels verbonden door een hogesnelheidsverbinding - bevat maar liefst 208 miljard transistors.
Dat is bijna een 3X toename ten opzichte van NVIDIA's vorige generatie Hopper-chip. NVIDIA claimt dat dit zich vertaalt in een 30X snelheidsboost op AI-inferentietaken vergeleken met Hopper.
Laten we, om dat in perspectief te plaatsen, eens kijken naar een voorbeeld van een groot taalmodel (LLM) met 100 miljard parameters, vergelijkbaar in schaal met GPT-3.
Voor het trainen van een dergelijk model op NVIDIA's vorige generatie A100 GPU's zouden ongeveer 1.024 A100-chips een maand lang moeten draaien.
Met Blackwell beweert NVIDIA dat hetzelfde model in iets meer dan een week kan worden getraind met 256 Blackwell-chips - een 4X kortere trainingstijd.
Energie-efficiëntie
Ondanks de dramatische prestatiewinst stelt NVIDIA dat Blackwell de kosten en het energieverbruik tot 25X kan verlagen in vergelijking met Hopper voor bepaalde AI-workloads.
Het bedrijf gaf het voorbeeld van het trainen van een model met 1,8 biljoen parameters, waarvoor voorheen 8000 Hopper GPU's nodig waren die 15 megawatt aan stroom verbruikten.
Met Blackwell kan dit volgens NVIDIA worden bereikt met 2.000 GPU's die slechts 4 megawatt verbruiken.
Hoewel een stroomverbruik van 4 megawatt voor een enkele AI-training nog steeds aanzienlijk is, is het indrukwekkend dat Blackwell een bijna 4X boost in energie-efficiëntie kan bieden voor zo'n veeleisende taak.
Laten we de cijfers niet onderschatten. Om dat cijfer van 4 megawatt in perspectief te plaatsen: het staat gelijk aan het gemiddelde stroomverbruik van meer dan 3.000 huishoudens in de VS.
Dus een enkele AI-supercomputer met Blackwell-vermogen die een geavanceerd model traint, zou net zoveel energie verbruiken als een hele stad tijdens de trainingsrun.
En dat is maar voor één trainingsrun - organisaties die grote AI-modellen ontwikkelen verfijnen hun modellen vaak via vele iteraties, en dan moeten we bedenken dat er honderden organisaties zijn die grote modellen ontwikkelen.
Milieukosten
Zelfs met verbeterde energie-efficiëntie kan wijdverspreide toepassing van Blackwell het totale energieverbruik van de industrie nog steeds aanzienlijk verhogen.
Laten we bijvoorbeeld aannemen dat er momenteel wereldwijd zo'n 100.000 krachtige GPU's worden gebruikt voor AI-training en inferentie.
Als Blackwell een 10X toename in AI-toepassingen mogelijk maakt in de komende jaren, wat geen buitengewoon getal lijkt om uit de lucht te plukken, zou dat betekenen dat er 1 miljoen Blackwell GPU's in gebruik zijn.
Met de 1,875 kilowatt stroomafname per GPU die Huang noemde, zouden 1 miljoen Blackwell GPU's 1,875 gigawatt aan stroom verbruiken - bijna het vermogen van twee gemiddelde kerncentrales.
Kerncentrales bouwen duurt jaren en kost triljoenen. Ze zijn in de eerste plaats ontworpen om de landelijke infrastructuur te ondersteunen, niet alleen om AI-modellen te trainen.
Vorige analyses hebben voorspeld dat AI-werklasten in 2027 net zoveel energie zullen verbruiken als een klein land, en het is moeilijk om precies te zien hoe redelijkerwijs aan deze eisen zal worden voldaan.
Waterverbruik is ook een kolossaal probleem, met Microsoft die enorme stijgingen bekendmaakt in hun waterverbruik van 2022 tot 2023die correleerde met AI-model training en de vraag naar datacenters.
Delen van de VS hebben al te maken gehad met watertekorten door het verbruik van datacenters.
Als er geen betere manieren worden gevonden om AI-hardware op basis van hernieuwbare energiebronnen te laten draaien, zullen de CO2-uitstoot en het waterverbruik van door Blackwell aangedreven AI enorm zijn, waarbij NVIDIA het 'hyperscale' tijdperk van AI-modeltraining versnelt.
En naast het energieverbruik alleen, is het essentieel om andere milieukosten in overweging te nemen, zoals de zeldzame aardmineralen en andere hulpbronnen die nodig zijn om geavanceerde chips zoals Blackwell op schaal te produceren en het afval dat ontstaat wanneer ze het einde van hun levensduur bereiken.
Dit wil niet zeggen dat de maatschappelijke voordelen van de AI-mogelijkheden die door Blackwell worden ontsloten niet opwegen tegen deze milieukosten.
Maar het betekent wel dat de gevolgen voor het milieu zorgvuldig beheerd en beperkt moeten worden als onderdeel van een verantwoord Blackwell implementatieplan. Het is nog maar de vraag of dat mogelijk of realistisch is.
Blackwells potentiële impact
Laten we eens kijken hoe de wereld eruit zou kunnen zien in een tijdperk waarin Blackwell op grote schaal wordt gebruikt.
Enkele schattingen achteraf geven een idee van de mogelijkheden en risico's:
- Taalmodellen die 10x zo groot zijn als GPT-3 kunnen worden getraind in een vergelijkbaar tijdsbestek en met een vergelijkbare hoeveelheid rekenkracht als GPT-3 oorspronkelijk deed. Dit zal een grote sprong voorwaarts betekenen in de AI-capaciteiten voor natuurlijke talen.
- Zoals beschreven tijdens de keynoteDigitale assistenten met capaciteiten die in de buurt komen van die van mensen zouden mogelijk kosteneffectief kunnen worden bij het ontwikkelen en op grote schaal inzetten. Een AI die 80% van de taken van een typische kennisbaan kan uitvoeren tegen 1/10 van de kosten van een menselijke medewerker, zou alleen al in de VS tot 45 miljoen banen kunnen vervangen.
- De rekencapaciteit om een AI-systeem te trainen met een algemene intelligentie die gelijk is aan of groter dan die van het menselijk brein kan binnen bereik komen. Schattingen voor de rekencapaciteit van het brein variëren van 10^13 tot 10^16 neurale verbindingen. Een supercomputer van Blackwell met maximaal 1 miljoen GPU's zou naar schatting 10^18 flops aan rekenkracht hebben - mogelijk voldoende om aspecten van het menselijk brein in real-time te simuleren.
Natuurlijk zijn dit zeer speculatieve scenario's die met een grote korrel zout genomen moeten worden. Technische haalbaarheid hoeft zich niet noodzakelijkerwijs te vertalen naar toepassing in de echte wereld.
Ze benadrukken echter wel het enorme en ontwrichtende potentieel van de AI-versnelling die NVIDIA mogelijk maakt met Blackwell.
Huang beschreef Blackwell als "een nieuw computerplatform voor een nieuw computertijdperk". Op basis van de cijfers is het moeilijk om die omschrijving te weerleggen.
Blackwell lijkt klaar om de volgende grote fase van de AI-revolutie in te luiden - in goede en slechte tijden.
Hoe indrukwekkend de specificaties van de chip ook zijn, de maatschappij zal meer dan hardware-innovaties nodig hebben om de implicaties van de technologie te doorgronden.
Een zorgvuldige afweging van de gevolgen en inspanningen voor het milieu moet deel uitmaken van de vergelijking en de kosten-batenanalyse.
Hoewel chips zoals Blackwell energiezuiniger worden, is dat alleen waarschijnlijk onvoldoende om de huidige vooruitgang te ondersteunen.
Zal de industrie een manier vinden? Waarschijnlijk wel.
Maar we hebben nog een paar jaar om te ontdekken hoe de risico's en voordelen van AI uitpakken voor de maatschappij en zelfs voor de planeet zelf.
