NVIDIA CEO Jensen Huang beskrev nyligen i detalj företagets senaste AI-acceleratorchip, kallat Blackwell, vid företagets keynote på Computex 2024.
Med Blackwell siktar NVIDIA på att befästa sin dominans inom det spirande AI-hårdvaruområdet samtidigt som man bevisar sin förmåga till progressiv innovation.
Med ett börsvärde som närmar sig $3 biljoner har NVIDIAs väg till överlägsen kontroll över AI-infrastrukturen varit inget annat än häpnadsväckande.
Huang ser inga tecken på att framstegen skulle avstanna när företaget fortsätter att överträffa analytikernas förväntningar.
Men vad säger egentligen specifikationerna och siffrorna om Blackwells kapacitet och potentiella påverkan?
Låt oss ta en närmare titt på hur det kan påverka AI-industrin och samhället i stort.
Rå beräkningskraft
Huvudsiffran är att en enda Blackwell "superchip" - som består av två GPU-dies som är sammankopplade med en höghastighetslänk - har hela 208 miljarder transistorer.
Det är nästan en 3X ökning jämfört med NVIDIAs tidigare generation Hopper-chip. NVIDIA hävdar att detta innebär en 30-faldig hastighetsökning på AI-inferensuppgifter jämfört med Hopper.
För att sätta det i perspektiv kan vi ta ett exempel på en stor språkmodell (LLM) med 100 miljarder parametrar, i samma storleksordning som GPT-3.
Att träna en sådan modell på NVIDIAs tidigare generation A100 GPU:er skulle kräva att cirka 1.024 A100-chip körs i en månad.
Med Blackwell hävdar NVIDIA att samma modell kan tränas på drygt en vecka med hjälp av 256 Blackwell-chip - en fyrfaldig minskning av träningstiden.
Energieffektivitet
Trots de dramatiska prestandavinsterna uppger NVIDIA att Blackwell kan minska kostnaderna och energiförbrukningen med upp till 25 gånger jämfört med Hopper för vissa AI-arbetsbelastningar.
Företaget gav ett exempel på träning av en modell med 1,8 biljoner parametrar, vilket tidigare skulle ha krävt 8.000 Hopper GPU:er med en effekt på 15 megawatt.
Med Blackwell säger NVIDIA att detta kan åstadkommas med 2 000 GPU:er som drar bara 4 megawatt.
Även om ett effektuttag på 4 megawatt för en enda AI-träningskörning fortfarande är betydande, är det imponerande att Blackwell kan ge en nästan fyrfaldig ökning av energieffektiviteten för en så krävande uppgift.
Låt oss inte underskatta siffrorna här. För att sätta siffran 4 megawatt i perspektiv motsvarar det den genomsnittliga energiförbrukningen i mer än 3 000 amerikanska hushåll.
En enda Blackwell-driven AI-superdator som tränar en toppmodern modell skulle alltså förbruka lika mycket energi som en hel stad under träningsperioden.
Och det är bara för en träningskörning - organisationer som utvecklar stora AI-modeller förfinar ofta sina modeller genom många iterationer, och då måste vi tänka på att det finns hundratals organisationer som utvecklar stora modeller.
Miljökostnader
Även med förbättrad energieffektivitet kan ett utbrett införande av Blackwell fortfarande leda till en betydande ökning av branschens totala energianvändning.
Låt oss till exempel anta att det för närvarande finns 100.000 högpresterande GPU:er som används för AI-träning och inferens världen över.
Om Blackwell möjliggör en 10X ökning av AI-användningen under de kommande åren, vilket inte verkar vara en extraordinär siffra att plocka fram ur luften, skulle det innebära att 1 miljon Blackwell GPU:er används.
Med det effektuttag på 1,875 kilowatt per GPU som Huang angav skulle 1 miljon Blackwell GPU:er förbruka 1,875 gigawatt - nästan lika mycket som två genomsnittliga kärnkraftverk.
Kärnkraftverk tar många år att bygga och kostar biljoner. De är främst utformade för att stödja rikstäckande infrastruktur, inte bara för att träna AI-modeller.
Tidigare analyser har förutspått att AI-arbetsbelastningar kan komma att förbruka lika mycket kraft som ett litet land 2027, och det är svårt att se exakt hur dessa krav ska kunna uppfyllas på ett rimligt sätt.
Vattenförbrukningen är också en kolossal fråga, och Microsoft avslöjar enorma ökningar i sina vattenförbrukning från 2022 till 2023vilket korrelerade med utbildning i AI-modeller och efterfrågan på datacenter.
Delar av USA har redan drabbats av vattenbrist på grund av datacenters förbrukning.
Om vi inte hittar bättre sätt att driva AI-hårdvara från förnybara energikällor kommer koldioxidutsläppen och vattenförbrukningen från Blackwell-driven AI att bli enorma, och NVIDIA påskyndar "hyperscale"-eran för AI-modellutbildning.
Och utöver energianvändningen är det viktigt att ta hänsyn till andra miljökostnader, t.ex. de sällsynta jordartsmetaller och andra resurser som krävs för att tillverka avancerade chip som Blackwell i stor skala och det avfall som genereras när de är uttjänta.
Därmed inte sagt att de samhälleliga fördelarna med de AI-kapaciteter som Blackwell frigör inte skulle kunna uppväga dessa miljökostnader.
Men det innebär att miljöpåverkan måste hanteras noggrant och mildras som en del av en ansvarsfull Blackwell-distributionsplan. Det finns ett kvardröjande frågetecken kring om det är möjligt eller realistiskt.
Blackwells potentiella påverkan
Låt oss fundera på hur världen skulle kunna se ut i en tid då Blackwell används i stor utsträckning.
Några "back-of-the-envelope"-uppskattningar ger en uppfattning om möjligheterna och riskerna:
- Språkmodeller som är 10 gånger större än GPT-3 kan tränas inom en liknande tidsram och med samma mängd dataresurser som GPT-3 ursprungligen gjorde. Detta kommer att möjliggöra ett stort språng i AI-kapaciteten för naturliga språk.
- Som beskrivet vid huvudföreläsningendigitala assistenter med förmågor som närmar sig människans skulle potentiellt kunna bli kostnadseffektiva att utveckla och använda i stor skala. En AI som kan hantera 80% av arbetsuppgifterna i ett typiskt kunskapsjobb till 1/10 av kostnaden för en mänsklig medarbetare skulle kunna ersätta upp till 45 miljoner jobb bara i USA.
- Beräkningskapaciteten för att träna ett AI-system med allmän intelligens som är lika stor som eller större än den mänskliga hjärnan kan komma inom räckhåll. Uppskattningar av hjärnans beräkningskapacitet sträcker sig från 10^13 till 10^16 neurala anslutningar. En Blackwell-driven superdator med maximalt 1 miljon GPU:er skulle ha en beräknad beräkningskapacitet på 10^18 flops - potentiellt tillräckligt för att simulera aspekter av den mänskliga hjärnan i realtid.
Naturligtvis är detta mycket spekulativa scenarier och bör tas med en stor nypa salt. Teknisk genomförbarhet behöver inte nödvändigtvis översättas till verklig driftsättning.
De belyser dock den enorma och omvälvande potentialen i den AI-acceleration som NVIDIA möjliggör med Blackwell.
Huang beskrev Blackwell som "en ny datorplattform för en ny datorera". Baserat på siffrorna är det svårt att argumentera mot den beskrivningen.
Blackwell ser ut att vara redo att inleda nästa stora fas i AI-revolutionen - på gott och ont.
Även om chipets specifikationer är imponerande kommer samhället att behöva mer än hårdvaruinnovationer för att hantera teknikens konsekvenser.
Noggrann hänsyn till miljöpåverkan och miljöinsatser måste vara en del av ekvationen och kostnads- och nyttoanalysen.
Även om chip som Blackwell blir allt mer energieffektiva är det förmodligen inte tillräckligt för att upprätthålla den nuvarande utvecklingen.
Kommer branschen att hitta ett sätt? Förmodligen.
Men vi har några år på oss att upptäcka hur riskerna och fördelarna med AI kommer att påverka samhället, och faktiskt planeten i sig.
