La startup xAI di Elon Musk ha svelato la sua ultima creazione: un supercomputer chiamato Colossus.
Questo enorme sistema di addestramento dell'intelligenza artificiale vanta attualmente 100.000 processori Nvidia Hopper H100.
Situato a Memphis, nel Tennesse, Colossus è destinato ad essere ampliato con 50.000 chip della nuova e più avanzata serie H200 di Nvidia, più o meno due volte più potenti degli H100.
Ciò renderebbe quasi certamente Colossus il computer più potente del pianeta, se già non lo fosse.
Per contestualizzare, Meta aveva annunciato l'intenzione di accumulare 350.000 GPU H100 entro la fine del 2024, mentre si ritiene che OpenAI utilizzi solo circa 25.000 GPU per GPT-4, anche se potrebbero essere molte di più.
Musk stesso ha annunciato il lancio di Colossus su X durante il weekend del Labor Day, dichiarando: "Dall'inizio alla fine, è stato realizzato in 122 giorni. Colossus è il sistema di addestramento AI più potente al mondo. Inoltre, raddoppierà le sue dimensioni fino a 200k (50k H200) in pochi mesi".
Questo fine settimana, il @xAI ha portato online il cluster di formazione Colossus 100k H100. Dall'inizio alla fine, il tutto è stato realizzato in 122 giorni.
Colossus è il sistema di addestramento AI più potente al mondo. Inoltre, raddoppierà le sue dimensioni fino a 200k (50k H200) in pochi mesi.
Eccellente...
- Elon Musk (@elonmusk) 2 settembre 2024
Il futuro di Grok
Lo scopo immediato di Colossus è quello di addestrare il modello linguistico di grandi dimensioni (LLM) di xAI, noto come Grok.
Attualmente Grok è disponibile solo per gli abbonati paganti della piattaforma di social media X di Musk. L'azienda ha già rilasciato una prima beta di Grok-2, che è stata addestrata su circa 15.000 Nvidia H100.
Nonostante questo set di dati di addestramento relativamente piccolo, Grok-2 è già considerato tra i modelli linguistici AI di grandi dimensioni più capaci secondo le classifiche dei chatbot della concorrenza.
È anche open-source, in controtendenza rispetto ai modelli closed-source rilasciati dai concorrenti OpenAI, Anthropic e Google.
Le ambizioni di Musk per Grok sono stravaganti. Sta già guardando a Grok-3, il cui rilascio è previsto per il dicembre 2024.
In un'intervista rilasciata a luglio a Jordan Peterson, Musk ha affermato con coraggio: "Grok-3 dovrebbe essere l'IA più potente del mondo a quel punto".
Il massiccio aumento del numero di GPU per l'addestramento di Grok-3 suggerisce che Musk fa sul serio.
E gli altri obiettivi di xAI?
Fondata nel luglio 2023, xAI in definitiva vuole scoprire "Cosa diavolo sta succedendo davvero?". In Le parole di MuskCiò significa sondare le domande fondamentali sulla realtà, sulla materia oscura, sul Paradosso di Fermie altri misteri cosmici.
Il team fondatore di xAI è stato scelto per perseguire questa visione. Igor Babuschkin, che in precedenza ha lavorato al Large Hadron Collider del CERN, ha dichiarato che l'azienda vuole "dare una svolta alla nostra comprensione dell'universo".
Jimmy Ba, ricercatore di intelligenza artificiale dell'Università di Toronto, ha spiegato l'obiettivo di costruire una "macchina per la risoluzione di problemi di carattere generale" per affrontare i problemi più impegnativi dell'umanità.
Per alimentare la ricerca e lo sviluppo, xAI ha garantito $6 miliardi in un round di finanziamento di Serie B nel maggio 2024, sostenuto da società di venture capital come Andreessen Horowitz e Sequoia Capital, oltre che da investitori di grande spessore come Fidelity e la Kingdom Holding del principe saudita Alwaleed bin Talal.
Molti esperti di Tesla ritengono che Grok potrebbe infine alimentare l'intelligenza artificiale alla base del robot umanoide di Tesla, Optimus. Musk ha affermato che Optimus potrebbe generare $1 trilione di profitti annuali per Tesla. Musk ha anche accennato alla possibilità di proporre un investimento di $5 miliardi da parte di Tesla in xAI, che alcuni azionisti hanno accolto con favore.
Con Colossus ora online, xAI potrebbe essere pronta a passare oltre la creazione di altri LLM e tentare qualcosa di audace e nuovo?
Certo, Grok-3 sarà probabilmente molto potente. Probabilmente sarà solo leggermente più potente dei suoi simili, e solo per un breve periodo, finché qualcosa non lo supererà.
Bisogna interrogarsi sugli obiettivi fondamentali a lungo termine. Le aziende che si occupano di IA si trovano a competere con modelli simili addestrati con stack hardware praticamente identici. È costoso e l'innovazione rischia di fermarsi a piccoli guadagni incrementali.
Questo lascia il campo libero a uno dei principali attori che si affaccia oltre l'era dei LLM. Con Colossus, xAI sarà il primo a farsi avanti, come Musk ha lasciato intendere al momento della sua fondazione?
