Les entreprises technologiques du monde entier sont avides de puces GPU haut de gamme, et les fabricants ne parviennent pas à en produire suffisamment pour répondre à la demande.
Derrière chaque modèle d'IA de haut niveau se cache une légion de GPU qui travaillent sans relâche - et même les acteurs les plus en vue de l'industrie ne peuvent s'en passer.
L'entraînement des modèles d'IA nécessite d'immenses ressources informatiques, mais les fabricants sont relativement peu nombreux, et les GPU haut de gamme ne se créent pas du jour au lendemain. La grande majorité de la demande est tombée sur les épaules du vétéran Nvidia, ce qui a fait grimper sa capitalisation boursière à $1tn cette année.
À l'heure actuelle, peu de pays semblent à l'abri de la pénurie de GPU - et plus vous êtes éloigné de Nvidia, plus vos chances de les obtenir sont faibles.
En mai, Sam Altman, PDG d'OpenAI, a déclaré au Sénat américain : "Nous manquons tellement de GPU que moins il y a de gens qui utilisent l'outil, mieux c'est."
Un récent baisse des performances du GPT-4 a conduit de nombreuses personnes à se demander si OpenAI n'était pas incapable de répondre à la demande, ce qui l'aurait obligée à modifier et à ajuster certains aspects de ses modèles.
Entre-temps, en Chine, la pénurie de GPU a créé une situation d'urgence. un marché noir plutôt bizarre où les acheteurs doivent se livrer à des transactions louches pour les puces A100 et H100 de Nvidia dans les étages du gratte-ciel SEG à Shenzhen - un scénario cyberpunk-esque tout droit sorti d'un jeu vidéo Deus Ex.
Le site de Microsoft rapport annuel a récemment souligné que la pénurie prolongée de puces d'IA constituait un facteur de risque potentiel pour les investisseurs.
Le rapport indique : "Nous continuons à identifier et à évaluer les opportunités d'expansion de nos centres de données et d'augmentation de la capacité de nos serveurs afin de répondre à l'évolution des besoins de nos clients, en particulier compte tenu de la demande croissante de services d'IA."
Et de poursuivre : "Nos centres de données dépendent de la disponibilité de terrains autorisés et constructibles, d'une énergie prévisible, de fournitures de réseau et de serveurs, y compris d'unités de traitement graphique ("GPU") et d'autres composants".
L'appétit insatiable pour les GPU
La puissance de calcul est un goulot d'étranglement important pour le développement de l'IA, mais rares sont ceux qui prévoient une demande de cette ampleur.
Si ce niveau de demande était prévisible, il y aurait plus de fabricants de puces d'IA que Nvidia et une poignée de startups, Nvidia contrôlant au moins 84% du marché selon certaines estimations. AMD et Intel commencent à peine à entrer dans le jeu.
Raj Joshi, vice-président senior de Moody's Investors Service, a déclaré : "Personne n'aurait pu modéliser la vitesse et l'ampleur de l'augmentation de la demande", "Je ne pense pas que l'industrie était prête à faire face à une telle augmentation de la demande".
Lors de sa conférence téléphonique sur les résultats de mai, Nvidia a annoncé qu'elle s'était "procurée un approvisionnement nettement plus important pour le second semestre" afin de répondre à la demande croissante de puces d'intelligence artificielle.
AMD, quant à lui, a déclaré qu'il était prêt à dévoiler sa réponse aux GPU AI de Nvidia vers la fin de l'année. "Nos solutions d'IA suscitent un très vif intérêt de la part des clients dans tous les domaines". a déclaré le PDG d'AMD Lisa Su.
Certains experts du secteur estiment que la pénurie de puces pourrait s'atténuer d'ici deux à trois ans, à mesure que les concurrents de Nvidia élargiront leur offre. Plusieurs startups travaillent aujourd'hui jour et nuit pour répondre à cette demande explosive.
Toutes les entreprises capables de fabriquer des puces haut de gamme adaptées aux charges de travail de l'IA tireront leur épingle du jeu, mais il s'agit d'une catégorie rare, car la recherche et la fabrication des GPU sont exceptionnellement longues.
L'IA doit s'alléger
Des développeurs d'IA relativement récents comme Inflection se précipitent pour construire des piles de formation colossales.
Après avoir soulevé une puissant $1.3bnInflection prévoit d'assembler une grappe de GPU composée de 22 000 puces H100 haut de gamme.
À titre d'exemple, Nvidia, en collaboration avec CoreWeave, a récemment a pulvérisé les critères de référence en matière d'entraînement à l'IA avec une grappe de 3 584 puces - y compris l'apprentissage d'un grand modèle linguistique (LLM) tel que GPT-3.5 en 10 minutes environ.
Alors que la quête de puissance des principaux acteurs de l'IA tourne autour de l'empilement des GPU dans ce qui commence à ressembler à un accaparement féodal des terres, d'autres se concentrent sur l'amélioration des modèles d'IA afin d'obtenir un meilleur rendement de la technologie actuelle.
Par exemple, les développeurs de la communauté open-source ont récemment trouvé des moyens d'exécuter des LLM sur des appareils compacts tels que les MacBooks.
"La nécessité est la mère de l'invention, n'est-ce pas ? Sid Sheth, fondateur et PDG de la startup d'IA d-Matrix a déclaré à CNN. "Maintenant que les gens n'ont plus accès à des quantités illimitées de puissance de calcul, ils trouvent des moyens ingénieux d'utiliser ce qu'ils ont de manière beaucoup plus intelligente.
En outre, la pénurie de GPU est une bonne nouvelle pour ceux qui souhaitent un ralentissement du développement de l'IA : la technologie doit-elle vraiment aller plus vite qu'elle ne le fait déjà ?
Probablement pas. Comme le dit Sheth, "net-net, ce sera une bénédiction déguisée".
