Elon Musks oppstartsbedrift xAI har avslørt sin nyeste kreasjon: en superdatamaskin ved navn Colossus.
Dette massive AI-treningssystemet har for tiden 100 000 Nvidia Hopper H100-prosessorer.
Colossus ligger i Memphis, Tennessee, og skal utvides med 50 000 av Nvidias nye og mer avanserte H200-serie, som er omtrent dobbelt så kraftige som H100-brikkene.
Det ville nesten helt sikkert gjøre Colossus til den kraftigste datamaskinen på planeten, om den ikke allerede var det.
Meta hadde kunngjort planer om å samle 350 000 H100 GPU-er innen utgangen av 2024, mens OpenAI ble antatt å bruke bare rundt 25 000 GPU-er for GPT-4, selv om det kan være mange flere.
Musk kunngjorde lanseringen av Colossus selv på X i løpet av Labor Day-helgen, og uttalte: "Fra start til slutt ble det gjort på 122 dager. Colossus er det kraftigste AI-treningssystemet i verden. Dessuten vil det doble seg i størrelse til 200 000 (50 000 H200) i løpet av noen måneder."
Denne helgen vil @xAI teamet vårt Colossus 100k H100-treningsklyngen vår på nett. Fra start til slutt ble det gjort på 122 dager.
Colossus er det kraftigste AI-treningssystemet i verden. I løpet av noen få måneder vil det dessuten dobles til 200 000 (50 000 H200).
Utmerket...
- Elon Musk (@elonmusk) 2. september 2024
Drivkraften bak fremtidens Grok
Det umiddelbare formålet med Colossus er å trene opp xAIs store språkmodell (LLM), kjent som Grok.
Foreløpig er Grok bare tilgjengelig for betalende abonnenter på Musks sosiale medieplattform X. Selskapet har allerede gitt ut en tidlig betaversjon av Grok-2, som ble trent på rundt 15 000 Nvidia H100-maskiner.
Til tross for dette relativt lille treningsdatasettet regnes Grok-2 allerede som en av de dyktigste store AI-språkmodellene ifølge konkurrerende chatbot-topplister.
Den er også åpen kildekode, noe som går imot trenden med lukkede modellutgivelser fra konkurrentene OpenAI, Anthropic og Google.
Musks ambisjoner for Grok er ekstravagante. Han ser allerede fremover mot Grok-3, som etter planen skal lanseres i desember 2024.
I et intervju med Jordan Peterson i juli hevdet Musk frimodig at "Grok-3 burde være den kraftigste AI-en i verden på det tidspunktet".
Den massive økningen i antall GPU-er for trening av Grok-3 tyder på at Musk mener alvor med denne påstanden.
Hva med xAIs andre mål?
Grunnlagt i juli 2023, xAI ønsker til syvende og sist å finne ut "Hva i helvete er det egentlig som foregår?" I Musks ordDet betyr å undersøke fundamentale spørsmål om virkeligheten, mørk materie, den Fermi-paradokset...og andre kosmiske mysterier.
xAIs grunnleggerteam ble valgt for å forfølge denne visjonen. Igor Babuschkin, som tidligere har jobbet med Large Hadron Collider ved CERN, uttalte at selskapet ønsker å "virkelig gjøre et innhugg i vår forståelse av universet".
Jimmy Ba, en AI-forsker fra University of Toronto, forklarte målet om å bygge en "generell problemløsningsmaskin" for å takle menneskehetens mest utfordrende problemer.
For å drive forskning og utvikling, har xAI sikret $6 milliarder kroner i en serie B-finansieringsrunde i mai 2024, støttet av risikokapitalselskaper som Andreessen Horowitz og Sequoia Capital, samt kapitalsterke investorer som Fidelity og den saudiske prinsen Alwaleed bin Talals Kingdom Holding.
Mange Tesla-eksperter mener at Grok til slutt kan drive AI-en bak Teslas humanoide robot, Optimus. Musk hevdet at Optimus kunne generere $1 billioner i årlig fortjeneste for Tesla. Musk har også antydet at han potensielt vil foreslå en investering på $5 milliarder fra Tesla i xAI, noe noen aksjonærer har ønsket velkommen.
Nå som Colossus er på nett, er xAI kanskje klar til å gå fra å skape flere LLM-er til å prøve seg på noe nytt og dristig?
Grok-3 vil nok bli veldig kraftig. Men den vil sannsynligvis bare være litt kraftigere enn de andre, og bare i en kort periode før noe annet tar den igjen.
Man må stille spørsmål ved de grunnleggende langsiktige målene her. AI-selskaper konkurrerer med lignende modeller som er opplært med praktisk talt identisk maskinvare. Det er dyrt, og innovasjonen risikerer å flate ut med små, inkrementelle gevinster.
Dette åpner for at en av de viktigste aktørene kan se forbi LLM-æraen. Vil xAI med Colossus være den første til å ta steget opp, slik Musk antydet da selskapet ble grunnlagt?
