{"id":12757,"date":"2024-06-06T11:08:08","date_gmt":"2024-06-06T11:08:08","guid":{"rendered":"https:\/\/dailyai.com\/?p=12757"},"modified":"2024-06-06T15:07:56","modified_gmt":"2024-06-06T15:07:56","slug":"nvidia-blackwell-by-the-numbers-the-potential-impact-of-nvidias-new-ai-superchip","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nb\/2024\/06\/nvidia-blackwell-by-the-numbers-the-potential-impact-of-nvidias-new-ai-superchip\/","title":{"rendered":"NVIDIA Blackwell i tall - den potensielle effekten av NVIDIAs nye AI-superchip"},"content":{"rendered":"

NVIDIA CEO Jensen Huang<\/span> beskrev nylig selskapets nyeste AI-akseleratorbrikke, Blackwell, i detalj p\u00e5 selskapets Computex 2024-keynote.\u00a0<\/strong><\/p>\n

Med Blackwell tar NVIDIA sikte p\u00e5 \u00e5 sementere sin dominans p\u00e5 det voksende AI-maskinvareomr\u00e5det og samtidig bevise sin evne til \u00e5 innovere. <\/span><\/p>\n

Med en markedsverdi som n\u00e6rmer seg $3 billioner dollar, har NVIDIAs vei til suveren kontroll over AI-infrastrukturen v\u00e6rt intet mindre enn forbl\u00f8ffende. <\/span><\/p>\n

Huang ser ingen tegn til at fremgangen vil stoppe opp, ettersom selskapet fortsetter \u00e5 knuse analytikernes forventninger<\/a>.\u00a0<\/span><\/p>\n

Men hva forteller egentlig spesifikasjonene og tallene oss om Blackwells evner og potensielle gjennomslagskraft?\u00a0<\/span><\/p>\n

La oss se n\u00e6rmere p\u00e5 hvordan det kan p\u00e5virke AI-bransjen og samfunnet som helhet.\u00a0<\/span><\/p>\n

R\u00e5 datakraft<\/h2>\n

Hovedtallet er at en enkelt Blackwell \"superchip\"<\/a> - som best\u00e5r av to GPU-dies som er koblet sammen med en h\u00f8yhastighetskobling - har hele 208 milliarder transistorer.\u00a0<\/span><\/p>\n

Det er nesten en tredobling i forhold til NVIDIAs forrige generasjon Hopper-chip. NVIDIA hevder at dette gir en 30 ganger h\u00f8yere hastighet p\u00e5 AI-inferensoppgaver sammenlignet med Hopper.<\/span><\/p>\n

For \u00e5 sette dette i perspektiv kan vi se p\u00e5 et eksempel p\u00e5 en stor spr\u00e5kmodell (LLM) med 100 milliarder parametere, i samme st\u00f8rrelsesorden som GPT-3.\u00a0<\/span><\/p>\n

\u00c5 trene opp en slik modell p\u00e5 NVIDIAs forrige generasjon A100 GPU-er ville kreve at rundt 1024 A100-brikker kj\u00f8rte i en m\u00e5ned.<\/span><\/p>\n

Med Blackwell hevder NVIDIA at den samme modellen kan trenes opp p\u00e5 litt over en uke ved hjelp av 256 Blackwell-brikker - en firedobling av oppl\u00e6ringstiden.<\/span><\/p>\n

Energieffektivitet<\/h2>\n

Til tross for de dramatiske ytelsesgevinstene, oppgir NVIDIA at Blackwell kan redusere kostnadene og energiforbruket med opptil 25 ganger sammenlignet med Hopper for visse AI-arbeidsbelastninger.\u00a0<\/span><\/p>\n

Selskapet ga et eksempel p\u00e5 trening av en modell med 1,8 billioner parametere, noe som tidligere ville ha krevd 8000 Hopper GPU-er med en effekt p\u00e5 15 megawatt. <\/span><\/p>\n

Med Blackwell sier NVIDIA at dette kan oppn\u00e5s med 2000 GPU-er som bare bruker 4 megawatt.<\/span><\/p>\n

Selv om et str\u00f8mforbruk p\u00e5 4 megawatt for en enkelt AI-treningskj\u00f8ring fortsatt er betydelig, er det imponerende at Blackwell kan gi en nesten firedobling av energieffektiviteten for en s\u00e5 krevende oppgave.<\/span><\/p>\n

La oss ikke undervurdere tallene her. For \u00e5 sette tallet p\u00e5 4 megawatt i perspektiv, tilsvarer det det gjennomsnittlige str\u00f8mforbruket til mer enn 3000 amerikanske husholdninger.<\/p>\n

En enkelt Blackwell-drevet AI-superdatamaskin som trener opp en toppmoderne modell, vil alts\u00e5 bruke like mye energi som en hel by i l\u00f8pet av treningsperioden.<\/p>\n

Og det er bare for \u00e9n treningskj\u00f8ring - organisasjoner som utvikler store AI-modeller, forbedrer ofte modellene sine gjennom mange iterasjoner, og da m\u00e5 vi ta i betraktning at det finnes hundrevis av organisasjoner som utvikler store modeller.<\/p>\n

Milj\u00f8kostnader<\/h2>\n

Selv med forbedret energieffektivitet vil en utstrakt bruk av Blackwell fortsatt kunne \u00f8ke bransjens samlede energiforbruk betydelig.<\/span><\/p>\n

La oss for eksempel anta at det i dag finnes 100 000 GPU-er med h\u00f8y ytelse som brukes til AI-trening og inferens p\u00e5 verdensbasis.\u00a0<\/span><\/p>\n

Hvis Blackwell muliggj\u00f8r en 10-dobling av AI-bruken i l\u00f8pet av de kommende \u00e5rene, noe som ikke virker som et ekstraordin\u00e6rt tall \u00e5 plukke ut av luften, vil det bety at 1 million Blackwell-GPU-er er i bruk.<\/p>\n

Med det str\u00f8mforbruket p\u00e5 1,875 kilowatt per GPU som Huang oppga, vil 1 million Blackwell GPU-er forbruke 1,875 gigawatt str\u00f8m - nesten like mye som to gjennomsnittlige kjernekraftverk. <\/span><\/p>\n

Det tar mange \u00e5r \u00e5 bygge kjernekraftverk, og de koster billioner. De er f\u00f8rst og fremst designet for \u00e5 st\u00f8tte landsdekkende infrastruktur, ikke bare for \u00e5 trene AI-modeller.\u00a0<\/span><\/p>\n

Tidligere analyser<\/a> har sp\u00e5dd at AI-arbeidsbelastningen kan komme til \u00e5 forbruke like mye str\u00f8m som et lite land innen 2027, og det er vanskelig \u00e5 se n\u00f8yaktig hvordan disse kravene skal kunne oppfylles p\u00e5 en rimelig m\u00e5te.<\/p>\n

Vannforbruket er ogs\u00e5 et kolossalt problem, og Microsoft har avsl\u00f8rt en enorm \u00f8kning i vannforbruk fra 2022 til 2023<\/a>som korrelerte med oppl\u00e6ring i AI-modeller og ettersp\u00f8rsel etter datasentre.<\/p>\n

Deler av USA har allerede opplevd vannmangel p\u00e5 grunn av datasentrenes forbruk.<\/p>\n

Hvis vi ikke finner bedre m\u00e5ter \u00e5 drive AI-maskinvare fra fornybar energi p\u00e5, vil karbonutslippene og vannforbruket fra Blackwell-drevet AI bli enorme, og NVIDIA vil akselerere \"hyperscale\"-\u00e6raen for AI-modelltrening.<\/p>\n

Og i tillegg til energiforbruket er det viktig \u00e5 ta hensyn til andre milj\u00f8kostnader, som for eksempel de sjeldne jordartene og andre ressurser som trengs for \u00e5 produsere avanserte brikker som Blackwell i stor skala, og avfallet som genereres n\u00e5r de er utrangerte.<\/span><\/p>\n

Det betyr ikke at de samfunnsmessige fordelene ved AI-mulighetene som Blackwell \u00e5pner opp for, ikke kan oppveie disse milj\u00f8kostnadene.<\/span><\/p>\n

Men det betyr at milj\u00f8konsekvensene m\u00e5 h\u00e5ndteres n\u00f8ye og avb\u00f8tes som en del av enhver ansvarlig Blackwell-distribusjonsplan. Det er et vedvarende sp\u00f8rsm\u00e5lstegn ved om det er mulig eller realistisk.\u00a0\u00a0<\/span><\/p>\n

Blackwells potensielle innvirkning<\/h2>\n

La oss se p\u00e5 hvordan verden kan se ut i en tid med utbredt bruk av Blackwell.<\/span><\/p>\n

Noen overslag gir en pekepinn p\u00e5 muligheter og risiko:<\/span><\/p>\n