Nvidia har afsløret H200, deres nyeste high-end chip, der er designet til at træne AI-modeller.
Denne nye GPU, som blev annonceret mandag den 13. november 2023, vil give AI-modellerne endnu større kapacitet ved at inkorporere 141 GB næste generations "HBM3"-hukommelse.
H200 er en videreudvikling af forgængeren H100, som har spillet en vigtig rolle i AI-økosystemet.
Denne begejstring for Nvidias AI GPU'er har fået aktien til at stige med en fænomenal 230% i 2023og virksomheden forudser en omsætning på omkring $16 milliarder i sit tredje kvartal, hvilket er en stigning på 170% i forhold til året før.
Et vigtigt træk ved H200 er dens forbedrede ydeevne inden for inferens, som henviser til processen med at bruge en trænet AI-model til at komme med forudsigelser eller beslutninger baseret på nye, usete data.
Dette adskiller sig fra træningsfasen af en model, hvor AI'en lærer mønstre fra et stort datasæt.
Aktuelle data tyder på, at H200's ydeevne er næsten dobbelt så høj som H100's, hvilket fremgår af Metas Llama 2-benchmarks for store sprogmodeller (LLM).
H200 forventes at blive sendt i andet kvartal af 2024 og vil sandsynligvis begynde at samle enorme ordrer fra AI-virksomheder over hele verden, undtagen i Kina, Iran og Rusland, som... Eksport af amerikansk AI-hardware er forbudt.
H200 vil være kompatibel med eksisterende systemer, der bruger H100, så AI-virksomheder kan opgradere uden at skulle ændre deres serversystemer eller software.
Den vil være tilgængelig i serverkonfigurationer med fire eller otte GPU'er på Nvidias komplette HGX-systemer og også som en separat chip kaldet GH200, der parrer H200 GPU'en med en Arm-baseret processor.
Men H200's position som den hurtigste Nvidia AI-chip kan være kortvarig. På grund af den store efterspørgsel efter sine GPU'er planlægger Nvidia at skifte til årlige udgivelsesmønstre i et forsøg på at holde AI-industrien grundigt i lommen.
Der er endnu en chip på vej, B100-chippen, som er baseret på en helt ny Blackwell-arkitektur, og som måske vil blive annonceret og udgivet i 2024.
