{"id":12757,"date":"2024-06-06T11:08:08","date_gmt":"2024-06-06T11:08:08","guid":{"rendered":"https:\/\/dailyai.com\/?p=12757"},"modified":"2024-06-06T15:07:56","modified_gmt":"2024-06-06T15:07:56","slug":"nvidia-blackwell-by-the-numbers-the-potential-impact-of-nvidias-new-ai-superchip","status":"publish","type":"post","link":"https:\/\/dailyai.com\/da\/2024\/06\/nvidia-blackwell-by-the-numbers-the-potential-impact-of-nvidias-new-ai-superchip\/","title":{"rendered":"NVIDIA Blackwell i tal - den potentielle effekt af NVIDIA's nye AI-superchip"},"content":{"rendered":"

NVIDIA CEO Jensen Huang<\/span> beskrev for nylig i detaljer virksomhedens nyeste AI-acceleratorchip, kaldet Blackwell, p\u00e5 virksomhedens Computex 2024 keynote.\u00a0<\/strong><\/p>\n

Med Blackwell sigter NVIDIA mod at cementere sin dominans p\u00e5 det spirende AI-hardwareomr\u00e5de og samtidig bevise sin evne til progressiv innovation. <\/span><\/p>\n

Med en markedsv\u00e6rdi, der n\u00e6rmer sig $3 billioner, har NVIDIA's opstigning til den \u00f8verste ledelse af AI-infrastrukturen v\u00e6ret intet mindre end forbl\u00f8ffende. <\/span><\/p>\n

Huang ser ingen tegn p\u00e5, at udviklingen g\u00e5r i st\u00e5, da virksomheden forts\u00e6tter med at smadre analytikernes forventninger<\/a>.\u00a0<\/span><\/p>\n

Men hvad fort\u00e6ller specifikationerne og tallene os egentlig om Blackwells evner og potentielle indflydelse?\u00a0<\/span><\/p>\n

Lad os se n\u00e6rmere p\u00e5, hvordan det kan p\u00e5virke AI-industrien og samfundet som helhed.\u00a0<\/span><\/p>\n

R\u00e5 regnekraft<\/h2>\n

Hovedtallet er, at en enkelt Blackwell \"superchip\"<\/a> - som best\u00e5r af to GPU-dies, der er forbundet med et h\u00f8jhastighedslink - indeholder hele 208 milliarder transistorer.\u00a0<\/span><\/p>\n

Det er n\u00e6sten en tredobling i forhold til NVIDIAs tidligere generation af Hopper-chippen. NVIDIA h\u00e6vder, at det betyder en 30 gange h\u00f8jere hastighed p\u00e5 AI-inferensopgaver sammenlignet med Hopper.<\/span><\/p>\n

For at s\u00e6tte det i perspektiv, s\u00e5 lad os se p\u00e5 et eksempel p\u00e5 en stor sprogmodel (LLM) med 100 milliarder parametre, i samme st\u00f8rrelsesorden som GPT-3.\u00a0<\/span><\/p>\n

At tr\u00e6ne en s\u00e5dan model p\u00e5 NVIDIA's tidligere generation af A100 GPU'er ville kr\u00e6ve, at omkring 1.024 A100-chips k\u00f8rte i en m\u00e5ned.<\/span><\/p>\n

Med Blackwell h\u00e6vder NVIDIA, at den samme model kan tr\u00e6nes p\u00e5 lidt over en uge ved hj\u00e6lp af 256 Blackwell-chips - en firedobling af tr\u00e6ningstiden.<\/span><\/p>\n

Energieffektivitet<\/h2>\n

P\u00e5 trods af de dramatiske pr\u00e6stationsforbedringer siger NVIDIA, at Blackwell kan reducere omkostninger og energiforbrug med op til 25 gange sammenlignet med Hopper for visse AI-arbejdsbelastninger.\u00a0<\/span><\/p>\n

Virksomheden gav et eksempel p\u00e5 tr\u00e6ning af en model med 1,8 billioner parametre, som tidligere ville have kr\u00e6vet 8.000 Hopper GPU'er, der trak 15 megawatt str\u00f8m. <\/span><\/p>\n

Med Blackwell siger NVIDIA, at dette kan opn\u00e5s med 2.000 GPU'er, der kun bruger 4 megawatt.<\/span><\/p>\n

Selv om et str\u00f8mforbrug p\u00e5 4 megawatt til en enkelt AI-tr\u00e6ningsk\u00f8rsel stadig er betydeligt, er det imponerende, at Blackwell kan give et n\u00e6sten firedobbelt l\u00f8ft i energieffektiviteten til en s\u00e5 kr\u00e6vende opgave.<\/span><\/p>\n

Lad os ikke undervurdere tallene her. For at s\u00e6tte tallet p\u00e5 4 megawatt i perspektiv svarer det til det gennemsnitlige str\u00f8mforbrug i mere end 3.000 amerikanske husstande.<\/p>\n

S\u00e5 en enkelt Blackwell-drevet AI-supercomputer, der tr\u00e6ner en topmoderne model, vil bruge lige s\u00e5 meget energi som en hel by i l\u00f8bet af tr\u00e6ningsk\u00f8rslen.<\/p>\n

Og det er kun for \u00e9n tr\u00e6ningsk\u00f8rsel - organisationer, der udvikler store AI-modeller, forfiner ofte deres modeller gennem mange iterationer, og s\u00e5 skal vi t\u00e6nke p\u00e5, at der er hundredvis af organisationer, der udvikler store modeller.<\/p>\n

Milj\u00f8m\u00e6ssige omkostninger<\/h2>\n

Selv med forbedret energieffektivitet kan en udbredt anvendelse af Blackwell stadig \u00f8ge industriens samlede energiforbrug betydeligt.<\/span><\/p>\n

Lad os for eksempel antage, at der i \u00f8jeblikket er 100.000 h\u00f8jtydende GPU'er, der bruges til AI-tr\u00e6ning og inferens p\u00e5 verdensplan.\u00a0<\/span><\/p>\n

Hvis Blackwell muligg\u00f8r en 10X stigning i anvendelsen af AI i de kommende \u00e5r, hvilket ikke virker som et us\u00e6dvanligt tal at hive ud af luften, vil det betyde, at 1 million Blackwell GPU'er er i brug.<\/p>\n

Med det str\u00f8mforbrug p\u00e5 1,875 kilowatt pr. GPU, som Huang n\u00e6vnte, ville 1 million Blackwell GPU'er forbruge 1,875 gigawatt str\u00f8m - n\u00e6sten det samme som to gennemsnitlige atomkraftv\u00e6rker. <\/span><\/p>\n

Atomkraftv\u00e6rker tager mange \u00e5r at bygge og koster billioner. De er prim\u00e6rt designet til at underst\u00f8tte landsd\u00e6kkende infrastruktur, ikke bare til at tr\u00e6ne AI-modeller.\u00a0<\/span><\/p>\n

Tidligere analyser<\/a> har forudset, at AI-arbejdsbelastninger kan forbruge lige s\u00e5 meget str\u00f8m som et lille land i 2027, og det er sv\u00e6rt at se pr\u00e6cist, hvordan disse krav med rimelighed skal opfyldes.<\/p>\n

Vandforbruget er ogs\u00e5 et kolossalt problem, og Microsoft har afsl\u00f8ret enorme stigninger i deres vandforbrug fra 2022 til 2023<\/a>som korrelerede med tr\u00e6ning af AI-modeller og eftersp\u00f8rgsel efter datacentre.<\/p>\n

Dele af USA har allerede oplevet vandmangel p\u00e5 grund af datacentrenes forbrug.<\/p>\n

Hvis vi ikke finder bedre m\u00e5der at drive AI-hardware p\u00e5 med vedvarende energi, vil CO2-udledningen og vandforbruget fra Blackwell-drevet AI v\u00e6re enormt, og NVIDIA vil fremskynde \"hyperscale\"-\u00e6raen for AI-modeltr\u00e6ning.<\/p>\n

Og ud over energiforbruget alene er det vigtigt at overveje andre milj\u00f8omkostninger, som f.eks. de sj\u00e6ldne jordarter og andre ressourcer, der er n\u00f8dvendige for at fremstille avancerede chips som Blackwell i stor skala, og det affald, der genereres, n\u00e5r de er udtjente.<\/span><\/p>\n

Det betyder ikke, at de samfundsm\u00e6ssige fordele ved de AI-kapaciteter, som Blackwell \u00e5bner op for, ikke kan opveje de milj\u00f8m\u00e6ssige omkostninger.<\/span><\/p>\n

Men det betyder, at milj\u00f8p\u00e5virkningen skal styres omhyggeligt og afb\u00f8des som en del af enhver ansvarlig Blackwell-implementeringsplan. Der er stadig et stort sp\u00f8rgsm\u00e5lstegn ved, om det er muligt eller realistisk.\u00a0\u00a0<\/span><\/p>\n

Blackwells potentielle indflydelse<\/h2>\n

Lad os se p\u00e5, hvordan verden kunne se ud i en tid med udbredt brug af Blackwell.<\/span><\/p>\n

Nogle \"back-of-the-envelope\"-overslag giver en fornemmelse af muligheder og risici:<\/span><\/p>\n