Nvidia heeft de H200 onthuld, zijn nieuwste high-end chip die is ontworpen voor het trainen van AI-modellen.
Deze nieuwe GPU, die is aangekondigd op maandag 13 november 2023, zal de mogelijkheden van AI-modellen superchargen door 141 GB next-generation 'HBM3'-geheugen te bevatten.
De H200 is een evolutie ten opzichte van zijn voorganger, de H100, die een belangrijke rol heeft gespeeld in het AI-ecosysteem.
Deze opwinding rond Nvidia's AI GPU's heeft de aandelen van het bedrijf met een fenomenaal 230% in 2023en het bedrijf voorspelt ongeveer $16 miljard aan inkomsten voor het fiscale derde kwartaal, een stijging van 170% ten opzichte van vorig jaar.
Een belangrijk kenmerk van de H200 zijn de verbeterde prestaties op het gebied van inferentie, wat verwijst naar het proces waarbij een getraind AI-model wordt gebruikt om voorspellingen te doen of beslissingen te nemen op basis van nieuwe, ongeziene gegevens.
Dit is te onderscheiden van de trainingsfase van een model, waarin de AI patronen leert van een grote dataset.
Huidige gegevens suggereren dat de H200 bijna dubbel zo goed presteert als de H100, zoals blijkt uit Meta's Llama 2 large language model (LLM) benchmarks.
De H200 wordt naar verwachting in het tweede kwartaal van 2024 verscheept en zal waarschijnlijk beginnen met het verzamelen van immense orders van AI-bedrijven over de hele wereld, behalve in China, Iran en Rusland. VS export van AI-hardware verboden.
De H200 zal compatibel zijn met bestaande systemen die de H100 gebruiken, waardoor AI-bedrijven kunnen upgraden zonder hun serversystemen of software te hoeven veranderen.
Het zal beschikbaar zijn in vier-GPU of acht-GPU serverconfiguraties op Nvidia's HGX complete systemen en ook als een afzonderlijke chip met de naam GH200, waarbij de H200 GPU wordt gekoppeld aan een Arm-gebaseerde processor.
De positie van de H200 als snelste Nvidia AI-chip zou echter wel eens van korte duur kunnen zijn. Vanwege de grote vraag naar zijn GPU's is Nvidia van plan om over te stappen op jaarlijkse uitgavepatronen in een poging om de AI-industrie grondig in zijn zak te houden.
Er is nog een chip in de maak, de B100-chip, gebaseerd op een geheel nieuwe Blackwell-architectuur, die mogelijk in 2024 wordt aangekondigd en uitgebracht.
