Les nouveaux GPU H100 de NVIDIA ont établi de nouvelles références pour les tâches d'apprentissage de l'IA, battant au passage plusieurs records.
MLPerf a été fondé par un consortium de chercheurs, d'universitaires et d'autres spécialistes qui ont élaboré des critères de référence pour tester la rapidité avec laquelle les systèmes peuvent déployer et exécuter des modèles d'intelligence artificielle. Essentiellement, MLPerf est une série de tests conçus pour mesurer la vitesse et l'efficacité du matériel, des logiciels et des services d'apprentissage machine (ML).
Nvidia, le leader mondial du matériel d'IA, a testé un système d'intelligence artificielle. cluster de 3 584 GPU H100 pour faire preuve d'une rapidité redoutable.
Le cluster, co-développé par la startup Inflection AI et géré par CoreWeave, un fournisseur de services en nuage spécialisé dans les charges de travail basées sur le GPU, a réalisé un benchmark d'entraînement basé sur le modèle GPT-3 en moins de 11 minutes.
En d'autres termes, le cluster a entraîné un modèle équivalent à GPT-3 avec quelque 175 milliards de paramètres en à peu près le même temps qu'il faut pour préparer un café ou promener le chien. Bien que nous ne sachions pas combien de temps il a fallu à OpenAI pour entraîner GPT-3, ce n'était certainement pas 11 minutes.
Les GPU H100 ont établi des records dans 8 autres tests MLPerf, démontrant leur puissance brute et leur polyvalence. Voici quelques-uns des résultats :
- Grand modèle linguistique (GPT-3): 10,9 minutes
- Traitement du langage naturel (BERT): 0,13 minute (8 secondes)
- Recommandation (DLRMv2): 1,61 minute
- Détection d'objets, poids lourd (Mask R-CNN): 1.47 minutes
- Détection d'objets, légère (RetinaNet): 1,51 minutes
- Classification d'images (ResNet-50 v1.5): 0,18 minute (11 secondes)
- Segmentation d'images (3D U-Net): 0,82 minute (49 secondes)
- Reconnaissance vocale (RNN-T): 1,65 minutes
Dans son dernier cycle d'évaluation comparative, baptisé v3.0, MLPerf a également mis à jour son test pour les systèmes de recommandation, qui sont des algorithmes qui suggèrent des produits ou des services aux utilisateurs sur la base de leur comportement antérieur.
Le nouveau test utilise un ensemble de données plus important et un modèle d'IA plus récent afin de mieux reproduire les défis auxquels sont confrontés les fournisseurs de services. Nvidia est la seule entreprise à avoir soumis des résultats pour ce test de référence.
Benchmarking MLPerf
MLCommonsun consortium spécialisé dans l'IA et la technologie, a récemment annoncé les derniers résultats de ses tests d'évaluation comparative de l'IA.
La première série de tests s'appelle v3.0 et évalue l'efficacité de la formation des modèles d'apprentissage automatique. Une autre série, appelée Tiny v1.1, examine les applications d'apprentissage automatique pour les appareils ultra-compacts et à faible consommation d'énergie.
Le MLPerf round v3.0 a vu la participation d'entreprises telles que ASUSTek, Azure, Dell, Fujitsu, GIGABYTE, H3C, IEI, Intel & Habana Labs, Krai, Lenovo, NVIDIA, NVIDIA + CoreWeave, Quanta Cloud Technology, Supermicro, et xFusion.
Dans l'ensemble, les modèles ont montré des améliorations de performance allant jusqu'à 1,54 fois au cours des six derniers mois ou 33 à 49 fois depuis le premier tour, v0.5en 2019, ce qui illustre le rythme de progression des systèmes d'apprentissage automatique.
Nvidia s'est adjugé le scalp du round v3.0 grâce à ses puces H100 ultra-haut de gamme, qu'elle conservera probablement dans un avenir proche.
