Elon Musks startup xAI heeft zijn nieuwste creatie onthuld: een supercomputer met de naam Colossus.
Dit enorme AI-trainingssysteem beschikt momenteel over 100.000 Nvidia Hopper H100-processors.
Colossus is gevestigd in Memphis, Tennesse en zal worden uitgebreid met 50.000 van Nvidia's nieuwe, meer geavanceerde H200-serie chips, ruwweg twee keer zo krachtig als de H100's.
Dat zou Colossus bijna zeker de krachtigste computer op aarde maken, als hij dat al niet was.
Voor de context: Meta had plannen aangekondigd om 350.000 H100 GPU's te verzamelen tegen het einde van 2024, terwijl OpenAI slechts ongeveer 25.000 GPU's zou gebruiken voor GPT-4, hoewel het er veel meer zouden kunnen zijn.
Musk kondigde de lancering van Colossus zelf aan op X tijdens het Labor Day-weekend en zei: "Van begin tot eind is het in 122 dagen gedaan. Colossus is het krachtigste AI-trainingssysteem ter wereld. Bovendien zal het binnen een paar maanden in omvang verdubbelen tot 200k (50k H200's)."
Dit weekend is de @xAI team ons Colossus 100k H100 trainingscluster online gebracht. Van begin tot eind was het klaar in 122 dagen.
Colossus is het krachtigste AI-trainingssysteem ter wereld. Bovendien zal het binnen een paar maanden in omvang verdubbelen tot 200k (50k H200's).
Uitstekend...
- Elon Musk (@elonmusk) 2 september 2024
De toekomst van Grok
Het directe doel van Colossus is het trainen van xAI's grote taalmodel (LLM), bekend als Grok.
Op dit moment is Grok alleen beschikbaar voor betalende abonnees van Musk's X sociale mediaplatform. Het bedrijf heeft al een vroege bèta van Grok-2 uitgebracht, die is getraind op ongeveer 15.000 Nvidia H100's.
Ondanks deze relatief kleine trainingsdataset, wordt Grok-2 al beschouwd als een van de meest capabele AI grote taalmodellen volgens concurrerende chatbot leaderboards.
Het is ook open-source, in tegenstelling tot de trend van closed-source modelreleases van concurrenten OpenAI, Anthropic en Google.
Musks ambities voor Grok zijn extravagant. Hij kijkt al vooruit naar Grok-3, die in december 2024 moet uitkomen.
In een interview met Jordan Peterson in juli beweerde Musk stoutmoedig: "Grok-3 zou op dat moment de krachtigste AI ter wereld moeten zijn."
De enorme toename van het aantal GPU's voor het trainen van Grok-3 suggereert dat Musk deze claim serieus meent.
Hoe zit het met de andere doelen van xAI?
Opgericht in juli 2023, xAI wil er uiteindelijk achter komen "Wat is er echt aan de hand?" In Musk's woordendat betekent fundamentele vragen onderzoeken over de werkelijkheid, donkere materie, de Fermi-paradoxen andere kosmische mysteries.
Het oprichtersteam van xAI werd gekozen om die visie na te streven. Igor Babuschkin, die eerder werkte aan de Large Hadron Collider bij CERN, verklaarde dat het bedrijf "echt een deuk wil slaan in ons begrip van het universum".
Jimmy Ba, een AI-onderzoeker van de Universiteit van Toronto, legde het doel uit van het bouwen van een "probleemoplossende machine voor algemene doeleinden" om de meest uitdagende problemen van de mensheid aan te pakken.
Om zijn onderzoek en ontwikkeling te voeden, heeft xAI veiliggesteld $6 miljard in een Serie B-financieringsronde in mei 2024, gesteund door durfkapitaalfirma's zoals Andreessen Horowitz en Sequoia Capital, maar ook door investeerders met veel geld, zoals Fidelity en de Kingdom Holding van de Saoedische prins Alwaleed bin Talal.
Veel Tesla-experts geloven dat Grok uiteindelijk de AI achter Tesla's humanoïde robot Optimus zou kunnen aansturen. Musk beweerde dat Optimus Tesla $1 biljoen aan jaarlijkse winst zou kunnen opleveren. Musk heeft ook gezinspeeld op een mogelijke investering van $5 miljard van Tesla in xAI, wat sommige aandeelhouders hebben toegejuicht.
Nu Colossus online is, is xAI misschien klaar om verder te gaan dan het creëren van meer LLM's en iets gewaagds en nieuws te proberen?
Natuurlijk zal Grok-3 waarschijnlijk erg krachtig zijn. Hij zal waarschijnlijk maar een klein beetje krachtiger zijn dan zijn soortgenoten, en alleen voor een korte tijd totdat iets hem inhaalt.
Je moet je afvragen wat hier de fundamentele langetermijndoelen zijn. AI-bedrijven concurreren op grimmige wijze met vergelijkbare modellen die met vrijwel identieke hardware zijn getraind. Het is duur en innovatie dreigt te stagneren met kleine, incrementele winsten.
Dit laat het veld open voor een van de belangrijkste spelers om verder te kijken dan het tijdperk van LLM's. Zal xAI met Colossus de eerste zijn die de stap zet die Musk al liet doorschemeren bij de oprichting?
