Nvidia ha presentato l'H200, il suo nuovo chip di fascia alta progettato per l'addestramento di modelli AI.
Annunciata lunedì 13 novembre 2023, questa nuova GPU è destinata a potenziare le capacità dei modelli AI incorporando 141 GB di memoria "HBM3" di nuova generazione.
L'H200 rappresenta un'evoluzione rispetto al suo predecessore, l'H100, che è stato fondamentale nell'ecosistema dell'IA.
L'entusiasmo per le GPU AI di Nvidia ha fatto salire le sue azioni di una fenomenale 230% nel 2023L'azienda prevede un fatturato di circa $16 miliardi per il terzo trimestre fiscale, con un aumento del 170% rispetto all'anno precedente.
Una caratteristica fondamentale dell'H200 è il miglioramento delle prestazioni nell'inferenza, che si riferisce al processo di utilizzo di un modello di intelligenza artificiale addestrato per fare previsioni o prendere decisioni sulla base di nuovi dati non visti.
Questa fase è diversa da quella di addestramento di un modello, in cui l'IA apprende modelli da un ampio set di dati.
I dati attuali indicano che le prestazioni dell'H200 sono quasi doppie rispetto a quelle dell'H100, come dimostrano i benchmark Llama 2 large language model (LLM) di Meta.
Previsto per il secondo trimestre del 2024, l'H200 inizierà probabilmente a raccogliere immensi ordini da parte delle aziende di AI di tutto il mondo, ad eccezione di Cina, Iran e Russia, a cui è destinato. Vietate le esportazioni di hardware AI negli Stati Uniti.
L'H200 sarà compatibile con i sistemi esistenti che utilizzano l'H100, consentendo alle aziende di AI di effettuare l'aggiornamento senza dover cambiare i sistemi server o il software.
Sarà disponibile in configurazioni server a quattro o otto GPU sui sistemi completi HGX di Nvidia e anche come chip separato chiamato GH200, che abbina la GPU H200 a un processore basato su Arm.
Tuttavia, la posizione dell'H200 come chip Nvidia AI più veloce potrebbe avere vita breve. A causa dell'elevata domanda delle sue GPU, Nvidia ha intenzione di passare a un modello di rilascio annuale nel tentativo di mantenere il settore dell'IA completamente in tasca.
È in lavorazione un altro chip, il chip B100, basato su un'architettura Blackwell completamente nuova, che potrebbe essere annunciato e rilasciato nel 2024.
