Elon Musks startup xAI har afsløret sin seneste kreation: en supercomputer ved navn Colossus.
Dette massive AI-træningssystem har i øjeblikket 100.000 Nvidia Hopper H100-processorer.
Colossus ligger i Memphis, Tennessee, og skal udvides med 50.000 af Nvidias nye, mere avancerede chips i H200-serien, der er omtrent dobbelt så kraftige som H100'erne.
Det ville næsten helt sikkert gøre Colossus til den mest kraftfulde computer på planeten, hvis den ikke allerede var det.
Meta havde annonceret planer om at samle 350.000 H100 GPU'er inden udgangen af 2024, mens OpenAI menes at bruge lige omkring 25.000 GPU'er til GPT-4, selv om det kan være mange flere.
Musk annoncerede selv lanceringen af Colossus på X i Labor Day-weekenden og sagde: "Fra start til slut blev det gjort på 122 dage. Colossus er det mest kraftfulde AI-træningssystem i verden. Desuden vil det blive fordoblet til 200.000 (50.000 H200'ere) i løbet af få måneder."
I denne weekend er @xAI team bragte vores Colossus 100k H100-træningsklynge online. Fra start til slut blev det gjort på 122 dage.
Colossus er det mest kraftfulde AI-træningssystem i verden. Desuden vil det blive fordoblet til 200.000 (50.000 H200) i løbet af et par måneder.
Fremragende...
- Elon Musk (@elonmusk) 2. september 2024
Styrer fremtiden for Grok
Det umiddelbare formål med Colossus er at træne xAI's store sprogmodel (LLM), kendt som Grok.
I øjeblikket er Grok kun tilgængelig for betalende abonnenter på Musks sociale medieplatform X. Virksomheden har allerede udgivet en tidlig betaversion af Grok-2, som blev trænet på omkring 15.000 Nvidia H100.
På trods af dette relativt lille træningsdatasæt anses Grok-2 allerede for at være blandt de dygtigste store AI-sprogmodeller ifølge konkurrencedygtige chatbot-ranglister.
Den er også open source og går dermed imod trenden med closed source-modeludgivelser fra konkurrenterne OpenAI, Anthropic og Google.
Musks ambitioner for Grok er ekstravagante. Han ser allerede frem til Grok-3, som efter planen skal frigives i december 2024.
I et interview med Jordan Peterson i juli hævdede Musk dristigt, at "Grok-3 burde være den mest kraftfulde AI i verden på det tidspunkt."
Den massive stigning i antallet af GPU'er til træning af Grok-3 tyder på, at Musk mener denne påstand alvorligt.
Hvad med xAI's andre mål?
Grundlagt i juli 2023, xAI ønsker i sidste ende at finde ud af "Hvad fanden er det egentlig, der foregår?" I Musks ordDet betyder, at man skal undersøge fundamentale spørgsmål om virkeligheden, det mørke stof og Fermi-paradoksetog andre kosmiske mysterier.
xAI's grundlæggerteam blev valgt til at forfølge den vision. Igor Babuschkin, som tidligere har arbejdet på Large Hadron Collider på CERN, har udtalt, at virksomheden ønsker at "gøre et stort indhug i vores forståelse af universet".
Jimmy Ba, en AI-forsker fra University of Toronto, forklarede målet om at bygge en "generel problemløsningsmaskine" til at tackle menneskehedens mest udfordrende problemer.
For at drive sin forskning og udvikling har xAI sikret $6 milliarder kroner i en serie B-finansieringsrunde i maj 2024, støttet af venturekapitalfirmaer som Andreessen Horowitz og Sequoia Capital samt pengestærke investorer som Fidelity og den saudiske prins Alwaleed bin Talals Kingdom Holding.
Mange Tesla-eksperter mener, at Grok i sidste ende kan drive AI'en bag Teslas humanoide robot, Optimus. Musk hævdede, at Optimus kunne generere $1 billion i årligt overskud for Tesla. Musk har også antydet, at han potentielt vil foreslå en investering på $5 milliarder fra Tesla i xAI, hvilket nogle aktionærer har hilst velkommen.
Nu hvor Colossus er online, er xAI måske klar til at gå videre end at skabe flere LLM'er og forsøge sig med noget modigt og nyt?
Ja, Grok-3 bliver sikkert meget kraftfuld. Den vil sandsynligvis kun være lidt mere kraftfuld end sine jævnaldrende, og kun i kort tid, indtil noget overhaler den.
Man må sætte spørgsmålstegn ved de grundlæggende langsigtede mål her. AI-virksomheder konkurrerer hårdt med lignende modeller, der er trænet med stort set identiske hardwarestakke. Det er dyrt, og innovationen risikerer at ende på et plateau med små, trinvise gevinster.
Det giver mulighed for, at en af hovedaktørerne kan kigge ud over LLM-æraen. Vil xAI med Colossus være den første til at træde i karakter, som Musk antydede, at det ville, da virksomheden blev grundlagt?
