La startup xAI d'Elon Musk a dévoilé sa dernière création : un supercalculateur baptisé Colossus.
Ce système d'entraînement massif à l'IA compte actuellement 100 000 processeurs Nvidia Hopper H100.
Situé à Memphis, dans le Tennesse, Colossus devrait s'agrandir avec 50 000 des nouvelles puces de la série H200 de Nvidia, plus avancées, qui sont environ deux fois plus puissantes que les puces H100.
Cela ferait certainement de Colossus l'ordinateur le plus puissant de la planète, si ce n'est déjà le cas.
Pour situer le contexte, Meta a annoncé son intention d'accumuler 350 000 GPU H100 d'ici à la fin de 2024, tandis qu'OpenAI n'utiliserait qu'environ 25 000 GPU pour GPT-4, bien qu'il puisse y en avoir beaucoup plus.
Musk a annoncé le lancement de Colossus lui-même sur X pendant le week-end de la fête du travail, en déclarant : "Du début à la fin, cela a été fait en 122 jours. Colossus est le système d'entraînement à l'IA le plus puissant au monde. De plus, il doublera de taille pour atteindre 200k (50k H200s) dans quelques mois."
Ce week-end, la @xAI a mis en ligne notre cluster de formation Colossus 100k H100. Du début à la fin, l'opération a été réalisée en 122 jours.
Colossus est le système d'entraînement à l'IA le plus puissant au monde. De plus, il doublera sa taille pour atteindre 200k (50k H200s) dans quelques mois.
Excellent...
- Elon Musk (@elonmusk) 2 septembre 2024
L'avenir de Grok en marche
L'objectif immédiat de Colossus est d'entraîner le grand modèle linguistique (LLM) de xAI, connu sous le nom de Grok.
Actuellement, Grok n'est accessible qu'aux abonnés payants de la plateforme de médias sociaux X de Musk. L'entreprise a déjà publié une première version bêta de Grok-2, qui a été entraînée sur environ 15 000 Nvidia H100.
Malgré cet ensemble de données de formation relativement restreint, Grok-2 est déjà considéré comme l'un des modèles linguistiques les plus performants en matière d'IA, selon les classements des chatbots concurrents.
Il s'agit également d'un logiciel libre, ce qui va à l'encontre de la tendance des modèles à code source fermé des concurrents OpenAI, Anthropic et Google.
Les ambitions de Musk pour Grok sont extravagantes. Il pense déjà à Grok-3, dont la sortie est prévue pour décembre 2024.
Lors d'une interview accordée en juillet à Jordan Peterson, Musk a affirmé avec audace que "Grok-3 devrait être l'IA la plus puissante du monde à ce moment-là".
L'augmentation massive du nombre de GPU pour l'entraînement de Grok-3 suggère que Musk est sérieux à ce sujet.
Qu'en est-il des autres objectifs de la xAI ?
Fondée en juillet 2023, xAI souhaite en fin de compte savoir "Qu'est-ce qui se passe vraiment ?" En Les mots de MuskIl s'agit de répondre à des questions fondamentales sur la réalité, la matière noire, l'environnement et le développement durable. Paradoxe de Fermiet d'autres mystères cosmiques.
L'équipe fondatrice de xAI a été choisie pour poursuivre cette vision. Igor Babouchkine, qui a déjà travaillé sur le Grand collisionneur de hadrons au CERN, a déclaré que l'entreprise voulait "vraiment faire un pas en avant dans notre compréhension de l'univers".
Jimmy Ba, chercheur en IA à l'université de Toronto, a expliqué que l'objectif était de construire une "machine à résoudre les problèmes à usage général" pour s'attaquer aux problèmes les plus difficiles de l'humanité.
Pour alimenter sa recherche et son développement, xAI garanti $6 milliards lors d'un tour de table de série B en mai 2024, soutenu par des sociétés de capital-risque comme Andreessen Horowitz et Sequoia Capital, ainsi que par des investisseurs fortunés comme Fidelity et Kingdom Holding du prince saoudien Alwaleed bin Talal.
De nombreux experts de Tesla pensent que Grok pourrait éventuellement alimenter l'IA derrière le robot humanoïde de Tesla, Optimus. Musk a affirmé qu'Optimus pourrait générer $1 trillion de bénéfices annuels pour Tesla. Musk a également laissé entendre qu'il pourrait proposer un investissement de $5 milliards de Tesla dans xAI, ce que certains actionnaires ont accueilli favorablement.
Avec la mise en ligne de Colossus, la société xAI pourrait-elle s'apprêter à aller au-delà de la création de nouveaux LLM et à tenter quelque chose d'audacieux et de nouveau ?
Bien sûr, Grok-3 sera probablement très puissant. Il ne sera probablement que légèrement plus puissant que ses pairs, et seulement pour une courte période, jusqu'à ce que quelque chose le surpasse.
Il convient de s'interroger sur les objectifs fondamentaux à long terme. Les entreprises spécialisées dans l'IA se livrent à une concurrence acharnée avec des modèles similaires formés à l'aide d'un matériel pratiquement identique. C'est coûteux, et l'innovation risque de plafonner avec des gains faibles et incrémentaux.
Cela laisse le champ libre à l'un des principaux acteurs pour dépasser l'ère des LLM. Avec Colossus, xAI sera-t-elle la première à s'imposer, comme Musk l'a laissé entendre lors de sa création ?
