{"id":12757,"date":"2024-06-06T11:08:08","date_gmt":"2024-06-06T11:08:08","guid":{"rendered":"https:\/\/dailyai.com\/?p=12757"},"modified":"2024-06-06T15:07:56","modified_gmt":"2024-06-06T15:07:56","slug":"nvidia-blackwell-by-the-numbers-the-potential-impact-of-nvidias-new-ai-superchip","status":"publish","type":"post","link":"https:\/\/dailyai.com\/sv\/2024\/06\/nvidia-blackwell-by-the-numbers-the-potential-impact-of-nvidias-new-ai-superchip\/","title":{"rendered":"NVIDIA Blackwell i siffror - den potentiella effekten av NVIDIA:s nya AI-superchip"},"content":{"rendered":"

NVIDIA CEO Jensen Huang<\/span> beskrev nyligen i detalj f\u00f6retagets senaste AI-acceleratorchip, kallat Blackwell, vid f\u00f6retagets keynote p\u00e5 Computex 2024.\u00a0<\/strong><\/p>\n

Med Blackwell siktar NVIDIA p\u00e5 att bef\u00e4sta sin dominans inom det spirande AI-h\u00e5rdvaruomr\u00e5det samtidigt som man bevisar sin f\u00f6rm\u00e5ga till progressiv innovation. <\/span><\/p>\n

Med ett b\u00f6rsv\u00e4rde som n\u00e4rmar sig $3 biljoner har NVIDIAs v\u00e4g till \u00f6verl\u00e4gsen kontroll \u00f6ver AI-infrastrukturen varit inget annat \u00e4n h\u00e4pnadsv\u00e4ckande. <\/span><\/p>\n

Huang ser inga tecken p\u00e5 att framstegen skulle avstanna n\u00e4r f\u00f6retaget forts\u00e4tter att \u00f6vertr\u00e4ffa analytikernas f\u00f6rv\u00e4ntningar<\/a>.\u00a0<\/span><\/p>\n

Men vad s\u00e4ger egentligen specifikationerna och siffrorna om Blackwells kapacitet och potentiella p\u00e5verkan?\u00a0<\/span><\/p>\n

L\u00e5t oss ta en n\u00e4rmare titt p\u00e5 hur det kan p\u00e5verka AI-industrin och samh\u00e4llet i stort.\u00a0<\/span><\/p>\n

R\u00e5 ber\u00e4kningskraft<\/h2>\n

Huvudsiffran \u00e4r att en enda Blackwell \"superchip\"<\/a> - som best\u00e5r av tv\u00e5 GPU-dies som \u00e4r sammankopplade med en h\u00f6ghastighetsl\u00e4nk - har hela 208 miljarder transistorer.\u00a0<\/span><\/p>\n

Det \u00e4r n\u00e4stan en 3X \u00f6kning j\u00e4mf\u00f6rt med NVIDIAs tidigare generation Hopper-chip. NVIDIA h\u00e4vdar att detta inneb\u00e4r en 30-faldig hastighets\u00f6kning p\u00e5 AI-inferensuppgifter j\u00e4mf\u00f6rt med Hopper.<\/span><\/p>\n

F\u00f6r att s\u00e4tta det i perspektiv kan vi ta ett exempel p\u00e5 en stor spr\u00e5kmodell (LLM) med 100 miljarder parametrar, i samma storleksordning som GPT-3.\u00a0<\/span><\/p>\n

Att tr\u00e4na en s\u00e5dan modell p\u00e5 NVIDIAs tidigare generation A100 GPU:er skulle kr\u00e4va att cirka 1.024 A100-chip k\u00f6rs i en m\u00e5nad.<\/span><\/p>\n

Med Blackwell h\u00e4vdar NVIDIA att samma modell kan tr\u00e4nas p\u00e5 drygt en vecka med hj\u00e4lp av 256 Blackwell-chip - en fyrfaldig minskning av tr\u00e4ningstiden.<\/span><\/p>\n

Energieffektivitet<\/h2>\n

Trots de dramatiska prestandavinsterna uppger NVIDIA att Blackwell kan minska kostnaderna och energif\u00f6rbrukningen med upp till 25 g\u00e5nger j\u00e4mf\u00f6rt med Hopper f\u00f6r vissa AI-arbetsbelastningar.\u00a0<\/span><\/p>\n

F\u00f6retaget gav ett exempel p\u00e5 tr\u00e4ning av en modell med 1,8 biljoner parametrar, vilket tidigare skulle ha kr\u00e4vt 8.000 Hopper GPU:er med en effekt p\u00e5 15 megawatt. <\/span><\/p>\n

Med Blackwell s\u00e4ger NVIDIA att detta kan \u00e5stadkommas med 2 000 GPU:er som drar bara 4 megawatt.<\/span><\/p>\n

\u00c4ven om ett effektuttag p\u00e5 4 megawatt f\u00f6r en enda AI-tr\u00e4ningsk\u00f6rning fortfarande \u00e4r betydande, \u00e4r det imponerande att Blackwell kan ge en n\u00e4stan fyrfaldig \u00f6kning av energieffektiviteten f\u00f6r en s\u00e5 kr\u00e4vande uppgift.<\/span><\/p>\n

L\u00e5t oss inte underskatta siffrorna h\u00e4r. F\u00f6r att s\u00e4tta siffran 4 megawatt i perspektiv motsvarar det den genomsnittliga energif\u00f6rbrukningen i mer \u00e4n 3 000 amerikanska hush\u00e5ll.<\/p>\n

En enda Blackwell-driven AI-superdator som tr\u00e4nar en toppmodern modell skulle allts\u00e5 f\u00f6rbruka lika mycket energi som en hel stad under tr\u00e4ningsperioden.<\/p>\n

Och det \u00e4r bara f\u00f6r en tr\u00e4ningsk\u00f6rning - organisationer som utvecklar stora AI-modeller f\u00f6rfinar ofta sina modeller genom m\u00e5nga iterationer, och d\u00e5 m\u00e5ste vi t\u00e4nka p\u00e5 att det finns hundratals organisationer som utvecklar stora modeller.<\/p>\n

Milj\u00f6kostnader<\/h2>\n

\u00c4ven med f\u00f6rb\u00e4ttrad energieffektivitet kan ett utbrett inf\u00f6rande av Blackwell fortfarande leda till en betydande \u00f6kning av branschens totala energianv\u00e4ndning.<\/span><\/p>\n

L\u00e5t oss till exempel anta att det f\u00f6r n\u00e4rvarande finns 100.000 h\u00f6gpresterande GPU:er som anv\u00e4nds f\u00f6r AI-tr\u00e4ning och inferens v\u00e4rlden \u00f6ver.\u00a0<\/span><\/p>\n

Om Blackwell m\u00f6jligg\u00f6r en 10X \u00f6kning av AI-anv\u00e4ndningen under de kommande \u00e5ren, vilket inte verkar vara en extraordin\u00e4r siffra att plocka fram ur luften, skulle det inneb\u00e4ra att 1 miljon Blackwell GPU:er anv\u00e4nds.<\/p>\n

Med det effektuttag p\u00e5 1,875 kilowatt per GPU som Huang angav skulle 1 miljon Blackwell GPU:er f\u00f6rbruka 1,875 gigawatt - n\u00e4stan lika mycket som tv\u00e5 genomsnittliga k\u00e4rnkraftverk. <\/span><\/p>\n

K\u00e4rnkraftverk tar m\u00e5nga \u00e5r att bygga och kostar biljoner. De \u00e4r fr\u00e4mst utformade f\u00f6r att st\u00f6dja rikst\u00e4ckande infrastruktur, inte bara f\u00f6r att tr\u00e4na AI-modeller.\u00a0<\/span><\/p>\n

Tidigare analyser<\/a> har f\u00f6rutsp\u00e5tt att AI-arbetsbelastningar kan komma att f\u00f6rbruka lika mycket kraft som ett litet land 2027, och det \u00e4r sv\u00e5rt att se exakt hur dessa krav ska kunna uppfyllas p\u00e5 ett rimligt s\u00e4tt.<\/p>\n

Vattenf\u00f6rbrukningen \u00e4r ocks\u00e5 en kolossal fr\u00e5ga, och Microsoft avsl\u00f6jar enorma \u00f6kningar i sina vattenf\u00f6rbrukning fr\u00e5n 2022 till 2023<\/a>vilket korrelerade med utbildning i AI-modeller och efterfr\u00e5gan p\u00e5 datacenter.<\/p>\n

Delar av USA har redan drabbats av vattenbrist p\u00e5 grund av datacenters f\u00f6rbrukning.<\/p>\n

Om vi inte hittar b\u00e4ttre s\u00e4tt att driva AI-h\u00e5rdvara fr\u00e5n f\u00f6rnybara energik\u00e4llor kommer koldioxidutsl\u00e4ppen och vattenf\u00f6rbrukningen fr\u00e5n Blackwell-driven AI att bli enorma, och NVIDIA p\u00e5skyndar \"hyperscale\"-eran f\u00f6r AI-modellutbildning.<\/p>\n

Och ut\u00f6ver energianv\u00e4ndningen \u00e4r det viktigt att ta h\u00e4nsyn till andra milj\u00f6kostnader, t.ex. de s\u00e4llsynta jordartsmetaller och andra resurser som kr\u00e4vs f\u00f6r att tillverka avancerade chip som Blackwell i stor skala och det avfall som genereras n\u00e4r de \u00e4r uttj\u00e4nta.<\/span><\/p>\n

D\u00e4rmed inte sagt att de samh\u00e4lleliga f\u00f6rdelarna med de AI-kapaciteter som Blackwell frig\u00f6r inte skulle kunna uppv\u00e4ga dessa milj\u00f6kostnader.<\/span><\/p>\n

Men det inneb\u00e4r att milj\u00f6p\u00e5verkan m\u00e5ste hanteras noggrant och mildras som en del av en ansvarsfull Blackwell-distributionsplan. Det finns ett kvardr\u00f6jande fr\u00e5getecken kring om det \u00e4r m\u00f6jligt eller realistiskt.\u00a0\u00a0<\/span><\/p>\n

Blackwells potentiella p\u00e5verkan<\/h2>\n

L\u00e5t oss fundera p\u00e5 hur v\u00e4rlden skulle kunna se ut i en tid d\u00e5 Blackwell anv\u00e4nds i stor utstr\u00e4ckning.<\/span><\/p>\n

N\u00e5gra \"back-of-the-envelope\"-uppskattningar ger en uppfattning om m\u00f6jligheterna och riskerna:<\/span><\/p>\n