Elon Musks startupbolag xAI har avslöjat sin senaste skapelse: en superdator vid namn Colossus.
Detta massiva AI-utbildningssystem har för närvarande 100.000 Nvidia Hopper H100-processorer.
Colossus, som är beläget i Memphis, Tennesse, kommer att utökas med 50.000 av Nvidias nya, mer avancerade chip i H200-serien, som är ungefär dubbelt så kraftfulla som H100-chipen.
Det skulle med största sannolikhet göra Colossus till den mest kraftfulla datorn på planeten, om den inte redan är det.
För sammanhanget hade Meta meddelat planer på att samla 350 000 H100 GPU: er i slutet av 2024, medan OpenAI tros använda bara cirka 25 000 GPU: er för GPT-4, även om det kan vara många fler.
Musk tillkännagav lanseringen av Colossus själv på X under Labor Day-helgen och sa: "Från början till slut gjordes det på 122 dagar. Colossus är det mest kraftfulla AI-utbildningssystemet i världen. Dessutom kommer det att fördubblas i storlek till 200k (50k H200s) om några månader."
I helgen kommer @xAI team tog vårt träningskluster Colossus 100k H100 online. Från början till slut gjordes det på 122 dagar.
Colossus är det mest kraftfulla AI-utbildningssystemet i världen. Dessutom kommer det att fördubblas i storlek till 200k (50k H200s) om några månader.
Utmärkt...
- Elon Musk (@elonmusk) 2 september 2024
Drivkraft för framtidens Grok
Det omedelbara syftet med Colossus är att träna xAI:s stora språkmodell (LLM) som kallas Grok.
För närvarande är Grok endast tillgängligt för betalande prenumeranter på Musks sociala medieplattform X. Företaget har redan släppt en tidig betaversion av Grok-2, som tränades på cirka 15 000 Nvidia H100.
Trots denna relativt lilla uppsättning träningsdata anses Grok-2 redan vara bland de mest kapabla stora AI-språkmodellerna enligt konkurrenskraftiga chatbot-ledartavlor.
Den är också öppen källkod, vilket går emot trenden med modellversioner med sluten källkod från konkurrenterna OpenAI, Anthropic och Google.
Musks ambitioner för Grok är extravaganta. Han ser redan fram emot Grok-3, som är planerad att släppas i december 2024.
I en intervju med Jordan Peterson i juli hävdade Musk djärvt att "Grok-3 borde vara den mest kraftfulla AI:n i världen vid den tidpunkten".
Den massiva ökningen av GPU-antalet för träning av Grok-3 tyder på att Musk menar allvar med detta påstående.
Hur är det med xAI:s övriga mål?
Grundades i juli 2023, xAI vill i slutändan ta reda på det "Vad fan är det egentligen som händer?" I Musks ordDet betyder att man måste undersöka fundamentala frågor om verkligheten, mörk materia Fermis paradox...och andra kosmiska mysterier.
xAI:s grundarteam valdes ut för att förverkliga den visionen. Igor Babuschkin, som tidigare arbetat med Large Hadron Collider vid CERN, sade att företaget vill "verkligen göra ett avtryck i vår förståelse av universum".
Jimmy Ba, en AI-forskare från University of Toronto, förklarade målet att bygga en "generell problemlösningsmaskin" för att ta itu med mänsklighetens mest utmanande problem.
För att driva sin forskning och utveckling, xAI säkrad $6 miljarder i en serie B-finansieringsrunda i maj 2024, med stöd av riskkapitalbolag som Andreessen Horowitz och Sequoia Capital, samt kapitalstarka investerare som Fidelity och den saudiske prinsen Alwaleed bin Talals Kingdom Holding.
Många Tesla-experter tror att Grok så småningom skulle kunna driva AI bakom Teslas humanoidrobot, Optimus. Musk hävdade att Optimus kunde generera $1 biljoner i årliga vinster för Tesla. Musk har också antytt att han potentiellt kan föreslå en investering på $5 miljarder från Tesla i xAI, vilket vissa aktieägare har välkomnat.
Med Colossus nu online, kan xAI vara redo att gå vidare från att skapa fler LLM och försöka något djärvt och nytt?
Visst, Grok-3 kommer förmodligen att vara mycket kraftfull. Den kommer förmodligen bara att vara något mer kraftfull än sina motsvarigheter, och bara under en kort tid tills något går förbi den.
Man måste ifrågasätta de grundläggande långsiktiga målen här. AI-företagen konkurrerar med liknande modeller som tränats med praktiskt taget identiska hårdvarustackar. Det är dyrt och innovationen riskerar att stanna vid små, inkrementella vinster.
Detta lämnar fältet öppet för en av de viktigaste aktörerna att se bortom LLM-eran. Med Colossus, kommer xAI att vara den första som tar steget upp som Musk antydde att det skulle göra när det grundades?
