Nvidia a mis à l'échelle et optimisé son supercalculateur d'IA Eos pour établir de nouveaux records de référence en matière d'apprentissage de l'IA MLPerf.
Lorsque Nvidia a allumé son supercalculateur d'IA Eos en mai, 10 752 GPU NVIDIA H100 Tensor Core ont pris vie et viennent d'être soumis à des tests en conditions réelles.
Cette puissance de traitement sans précédent, associée à de nouvelles optimisations logicielles, a permis à Eos de repousser les limites de la technologie MLPerf repère en territoire record.
Le benchmark MLPerf open-source est un ensemble de tests de formation et d'inférence conçus pour mesurer les performances des charges de travail d'apprentissage automatique sur des ensembles de données du monde réel.
L'un des résultats les plus remarquables est qu'Eos a été en mesure d'entraîner un modèle GPT-3 avec 175 milliards de paramètres sur un milliard de jetons en seulement 3,9 minutes.
Lorsque Nvidia a établi le record sur ce benchmark il y a moins de 6 mois, il a fallu presque 3 fois plus de temps avec un temps de 10,9 minutes.
Nvidia a également réussi à atteindre un taux d'efficacité de 93% pendant les tests, ce qui signifie qu'elle a utilisé presque toute la puissance de calcul théoriquement disponible dans Eos.
Microsoft Azure, qui utilise pratiquement la même configuration H100 qu'Eos dans sa machine virtuelle ND H100 v5, est arrivé à 2% des résultats de Nvidia dans ses tests MLPerf.
En 2018, Jensen Huang, PDG de Nvidia, a déclaré que les performances des GPU allaient plus que doubler tous les deux ans. Cette affirmation a été baptisée "loi de Haung" et s'est avérée exacte puisqu'elle laisse Disparition de la loi de Moore dans le rétroviseur informatique.
Et alors ?
Le test d'entraînement MLPerf que Nvidia a réussi n'utilise qu'une partie de l'ensemble des données sur lesquelles GPT-3 a été entraîné. Si l'on prend la durée fixée par Eos pour le test MLPerf et que l'on extrapole pour l'ensemble du jeu de données GPT-3, il est possible d'entraîner le modèle complet en seulement 8 jours.
Si vous essayez de le faire en utilisant son ancien système de pointe composé de 512 GPU A100, cela prendrait environ 170 jours.
Si vous deviez former un nouveau modèle d'IA, pouvez-vous imaginer la différence de délai de mise sur le marché et de coût que représente un délai de 8 jours par rapport à un délai de 170 jours ?
Les GPU H100 ne sont pas seulement beaucoup plus puissants que les GPU A100, ils sont jusqu'à 3,5 fois plus économes en énergie. Consommation d'énergie et L'empreinte carbone de l'IA sont des questions réelles qui doivent être abordées.
Pour avoir une idée de la rapidité avec laquelle le traitement de l'IA s'améliore, il suffit de penser à ChatGPT, qui a été mis en service il y a un peu moins d'un an. Le modèle sous-jacent, GPT-3, a été entraîné sur 10 240 GPU Nvidia V100.
Moins d'un an plus tard, l'Eos dispose d'une puissance de traitement 28 fois supérieure à celle de cette configuration et d'une efficacité 3,5 fois supérieure.
Lorsque Sam Altman, d'OpenAI, a conclu le récent DevDay, il a déclaré que les projets sur lesquels OpenAI travaillait feraient paraître ses dernières versions désuètes.
Compte tenu des progrès réalisés par des entreprises comme Nvidia en matière de puissance de traitement, l'affirmation de M. Altman résume probablement l'avenir de l'industrie de l'IA dans son ensemble.
