Nvidia har avduket H200, den nyeste high-end-brikken som er utviklet for trening av AI-modeller.
Denne nye GPU-en, som ble kunngjort mandag 13. november 2023, skal gi AI-modeller enda større kapasitet ved å innlemme 141 GB neste generasjons "HBM3"-minne.
H200 representerer en videreutvikling av forgjengeren H100, som har spilt en viktig rolle i AI-økosystemet.
Denne begeistringen rundt Nvidias AI-GPUer har økt aksjen med en fenomenal 230% i 2023og selskapet forventer en omsetning på rundt $16 milliarder i tredje kvartal, en økning på 170% fra året før.
En viktig egenskap ved H200 er den forbedrede ytelsen innen inferens, som refererer til prosessen med å bruke en opplært AI-modell til å komme med spådommer eller beslutninger basert på nye, usette data.
Dette skiller seg fra modellens opplæringsfase, der den kunstige intelligensen lærer seg mønstre fra et stort datasett.
Aktuelle data tyder på at ytelsen til H200 er nesten dobbelt så høy som for H100, noe som fremgår av Metas Llama 2 Large Language Model (LLM)-benchmarks.
H200 forventes å bli levert i andre kvartal 2024, og vil sannsynligvis begynne å samle enorme bestillinger fra AI-selskaper over hele verden, bortsett fra i Kina, Iran og Russland, som Eksport av amerikansk AI-maskinvare er forbudt.
H200 vil være kompatibel med eksisterende systemer som bruker H100, slik at AI-bedrifter kan oppgradere uten å måtte endre serversystemene eller programvaren.
Den vil være tilgjengelig i serverkonfigurasjoner med fire eller åtte GPU-er på Nvidias HGX-komplettsystemer, og også som en separat brikke kalt GH200, som kombinerer H200 GPU-en med en Arm-basert prosessor.
H200s posisjon som den raskeste Nvidia AI-brikken kan imidlertid være kortvarig. På grunn av den høye etterspørselen etter GPU-ene planlegger Nvidia å gå over til årlige lanseringsmønstre i et forsøk på å holde AI-industrien grundig i lommen.
Det er en annen brikke på gang, B100-brikken, basert på en helt ny Blackwell-arkitektur, som kan bli annonsert og lansert i 2024.
