NVIDIA CEO Jensen Huang a récemment décrit en détail la dernière puce d'accélération de l'IA de l'entreprise, baptisée Blackwell, lors de la keynote Computex 2024 de l'entreprise.
Avec Blackwell, NVIDIA vise à consolider sa position dominante dans l'espace matériel de l'IA en plein essor, tout en prouvant sa capacité à innover progressivement.
Avec une capitalisation boursière de l'entreprise qui se rapproche des $3 trillions, l'ascension de NVIDIA à la tête de l'infrastructure de l'IA a été tout simplement stupéfiante.
Huang ne voit aucun signe de ralentissement de la progression de l'entreprise. continue de dépasser les attentes des analystes.
Mais qu'est-ce que les spécifications et les chiffres nous apprennent réellement sur les capacités et l'impact potentiel de Blackwell ?
Examinons de plus près l'impact qu'elle pourrait avoir sur le secteur de l'IA et sur la société en général.
Puissance de calcul brute
Le chiffre le plus important est qu'un seul Blackwell "superchip" (puce) - qui se compose de deux GPU connectés par un lien à grande vitesse, contient un nombre impressionnant de 208 milliards de transistors.
Cela représente une augmentation de près de 3 fois par rapport à la précédente génération de puce Hopper de NVIDIA. NVIDIA affirme que cela se traduit par un gain de vitesse de 30 fois sur les tâches d'inférence IA par rapport à Hopper.
Pour mettre cela en perspective, considérons un exemple de grand modèle linguistique (LLM) avec 100 milliards de paramètres, similaire à l'échelle du GPT-3.
L'entraînement d'un tel modèle sur les GPU A100 de la génération précédente de NVIDIA nécessiterait environ 1 024 puces A100 fonctionnant pendant un mois.
Avec Blackwell, NVIDIA affirme que le même modèle pourrait être formé en un peu plus d'une semaine en utilisant 256 puces Blackwell, soit une réduction par 4 du temps de formation.
Efficacité énergétique
Malgré ses gains de performances spectaculaires, NVIDIA affirme que Blackwell peut réduire les coûts et la consommation d'énergie jusqu'à 25 fois par rapport à Hopper pour certaines charges de travail d'IA.
L'entreprise a donné l'exemple de l'entraînement d'un modèle de 1,8 trillion de paramètres, qui aurait auparavant nécessité 8 000 GPU Hopper consommant 15 mégawatts de puissance.
Avec Blackwell, NVIDIA affirme que cela pourrait être réalisé avec 2 000 GPU consommant seulement 4 mégawatts.
Bien qu'une consommation d'énergie de 4 mégawatts pour une seule exécution d'entraînement à l'IA reste importante, il est impressionnant que Blackwell puisse multiplier par près de 4 l'efficacité énergétique pour une tâche aussi exigeante.
Il ne faut pas sous-estimer les chiffres. Pour mettre ce chiffre de 4 mégawatts en perspective, il équivaut à la consommation électrique moyenne de plus de 3 000 ménages américains.
Ainsi, un seul superordinateur d'IA alimenté par Blackwell et entraînant un modèle de pointe consommerait autant d'énergie qu'une ville entière pendant la durée de l'entraînement.
Les organisations qui développent de grands modèles d'IA les affinent souvent par de nombreuses itérations, et il faut tenir compte du fait qu'il y a des centaines d'organisations qui développent de grands modèles.
Coûts environnementaux
Même avec une meilleure efficacité énergétique, l'adoption généralisée de Blackwell pourrait encore augmenter de manière significative la consommation d'énergie globale de l'industrie.
Par exemple, supposons qu'il y ait actuellement dans le monde 100 000 GPU haute performance utilisés pour l'entraînement et l'inférence de l'IA.
Si Blackwell permet de multiplier par 10 l'adoption de l'IA au cours des prochaines années, ce qui ne semble pas être un chiffre extraordinaire, cela signifierait qu'un million de GPU Blackwell sont utilisés.
Avec la consommation de 1,875 kilowatt par GPU citée par Huang, 1 million de GPU Blackwell consommeraient 1,875 gigawatt d'énergie, soit presque la production de deux centrales nucléaires moyennes.
La construction des centrales nucléaires prend de nombreuses années et coûte des milliers de milliards d'euros. Elles sont conçues principalement pour soutenir l'infrastructure nationale, et pas seulement pour former des modèles d'IA.
Analyses précédentes ont prévu que les charges de travail de l'IA pourraient consommer autant d'énergie qu'un petit pays d'ici 2027, et il est difficile de voir précisément comment ces demandes seront raisonnablement satisfaites.
La consommation d'eau est également un problème colossal, Microsoft ayant révélé des augmentations considérables de sa consommation d'eau. consommation d'eau de 2022 à 2023qui est en corrélation avec la formation au modèle d'IA et la demande de centres de données.
Certaines régions des États-Unis ont déjà été confrontées à des pénuries d'eau en raison de la consommation des centres de données.
Si l'on ne trouve pas de meilleurs moyens de faire fonctionner le matériel d'IA à partir d'énergies renouvelables, les émissions de carbone et la consommation d'eau de l'IA alimentée par Blackwell seront considérables, NVIDIA accélérant l'ère "hyperscale" de l'apprentissage des modèles d'IA.
Au-delà de la seule consommation d'énergie, il est essentiel de prendre en compte d'autres coûts environnementaux, tels que les minéraux de terres rares et les autres ressources nécessaires à la fabrication à grande échelle de puces avancées telles que Blackwell, ainsi que les déchets générés lorsqu'elles arrivent en fin de vie.
Cela ne veut pas dire que les avantages sociétaux des capacités d'IA débloquées par Blackwell ne pourraient pas compenser ces coûts environnementaux.
Mais cela signifie que l'impact sur l'environnement devra être soigneusement géré et atténué dans le cadre de tout plan de déploiement responsable de Blackwell. Un point d'interrogation persiste quant à la possibilité ou au réalisme d'une telle démarche.
L'impact potentiel de Blackwell
Voyons à quoi pourrait ressembler le monde à l'ère de l'adoption généralisée de Blackwell.
Quelques estimations sommaires donnent une idée des possibilités et des risques :
- Des modèles de langage 10 fois plus grands que le GPT-3 pourraient être formés dans un délai similaire et en utilisant une quantité de ressources informatiques similaire à celle du GPT-3 à l'origine. Cela permettra de faire un bond en avant dans les capacités de l'IA en langage naturel.
- Tel que décrit lors de la conférence de presseLes assistants numériques dotés de capacités proches de celles des humains pourraient devenir rentables en termes de développement et de déploiement à grande échelle. Une IA capable de gérer 80% des tâches d'un travail intellectuel typique à un dixième du coût d'un travailleur humain pourrait remplacer jusqu'à 45 millions d'emplois rien qu'aux États-Unis.
- La capacité de calcul nécessaire pour former un système d'IA doté d'une intelligence générale égale ou supérieure à celle du cerveau humain est peut-être à portée de main. Les estimations de la capacité de calcul du cerveau vont de 10^13 à 10^16 connexions neuronales. Un superordinateur alimenté par Blackwell et doté d'un million de GPU aurait une capacité de calcul estimée à 10^18 flops, ce qui est potentiellement suffisant pour simuler certains aspects du cerveau humain en temps réel.
Bien entendu, il s'agit là de scénarios hautement spéculatifs qu'il convient de prendre avec des pincettes. La faisabilité technique ne se traduit pas nécessairement par un déploiement dans le monde réel.
Elles mettent toutefois en évidence le potentiel énorme et perturbateur de l'accélération de l'IA que NVIDIA permet avec Blackwell.
Huang a décrit Blackwell comme "une nouvelle plate-forme informatique pour une nouvelle ère informatique". Au vu des chiffres, il est difficile de contester cette caractérisation.
Blackwell semble prêt à inaugurer la prochaine grande phase de la révolution de l'IA - pour le meilleur ou pour le pire.
Aussi impressionnantes que soient les caractéristiques de la puce, la société aura besoin de plus que des innovations matérielles pour faire face aux implications de la technologie.
La prise en compte de l'impact et des efforts environnementaux doit faire partie de l'équation et de l'analyse coût-bénéfice.
Bien que les puces comme Blackwell soient de plus en plus économes en énergie, cela ne suffira probablement pas à maintenir les progrès actuels.
L'industrie trouvera-t-elle une solution ? Probablement.
Mais nous avons encore quelques années devant nous pour découvrir comment les risques et les avantages de l'IA se répercutent sur la société, voire sur la planète elle-même.
