Nvidia har presenterat H200, sitt senaste high-end-chip som är utformat för att träna AI-modeller.
Den nya GPU:n, som tillkännages måndagen den 13 november 2023, kommer att ge AI-modellerna ännu större kapacitet genom att integrera 141 GB av nästa generations "HBM3"-minne.
H200 är en utveckling av föregångaren H100, som har haft en avgörande betydelse för AI-ekosystemet.
Denna upphetsning kring Nvidias AI GPU:er har ökat aktien med en fenomen 230% år 2023och bolaget prognostiserar cirka $16 miljarder i intäkter för sitt tredje kvartal, vilket innebär en ökning med 170% jämfört med föregående år.
En viktig egenskap hos H200 är dess förbättrade prestanda inom inferens, vilket avser processen att använda en tränad AI-modell för att göra förutsägelser eller fatta beslut baserat på nya, osedda data.
Detta skiljer sig från modellens träningsfas, där AI:n lär sig mönster från ett stort dataset.
Aktuella data tyder på att H200:s prestanda är nästan dubbelt så hög som H100:s, vilket framgår av Metas Llama 2 Large Language Model (LLM) benchmarks.
H200, som förväntas levereras under andra kvartalet 2024, kommer sannolikt att börja samla på sig enorma beställningar från AI-företag runt om i världen, förutom i Kina, Iran och Ryssland, till vilka Export av amerikansk AI-hårdvara förbjuds.
H200 kommer att vara kompatibel med befintliga system som använder H100, vilket gör att AI-företag kan uppgradera utan att behöva ändra sina serversystem eller sin programvara.
Den kommer att finnas tillgänglig i serverkonfigurationer med fyra eller åtta GPU:er på Nvidias HGX-komplettsystem och även som ett separat chip kallat GH200, som parar ihop H200 GPU med en Arm-baserad processor.
H200:s position som Nvidias snabbaste AI-chip kan dock bli kortlivad. På grund av den höga efterfrågan på sina GPU:er planerar Nvidia att övergå till årliga lanseringsmönster i ett försök att hålla AI-industrin ordentligt i fickan.
Det finns ytterligare ett chip på gång, B100-chippet, som bygger på en helt ny Blackwell-arkitektur och som kan komma att lanseras 2024.
