La startup xAI de Elon Musk ha revelado su última creación: un superordenador llamado Colossus.
Este enorme sistema de entrenamiento de IA cuenta actualmente con 100.000 procesadores Nvidia Hopper H100.
Situado en Memphis, Tennesse, Colossus se ampliará con 50.000 de los nuevos y más avanzados chips de la serie H200 de Nvidia, aproximadamente el doble de potentes que los H100.
Esto convertiría a Colossus en el ordenador más potente del planeta, si es que no lo es ya.
Para contextualizar, Meta había anunciado sus planes de acumular 350.000 GPU H100 para finales de 2024, mientras que se creía que OpenAI utilizaría unas 25.000 GPU para GPT-4, aunque podrían ser muchas más.
El propio Musk anunció el lanzamiento de Colossus en X durante el fin de semana del Día del Trabajo, afirmando: "De principio a fin, se hizo en 122 días". Colossus es el sistema de entrenamiento de IA más potente del mundo. Además, duplicará su tamaño a 200k (50k H200s) en unos meses".
Este fin de semana, el @xAI puso en línea nuestro clúster de formación Colossus 100k H100. De principio a fin, se hizo en 122 días.
Colossus es el sistema de entrenamiento de IA más potente del mundo. Además, duplicará su tamaño hasta los 200k (50k H200s) en unos meses.
Excelente...
- Elon Musk (@elonmusk) 2 de septiembre de 2024
Impulsando el futuro de Grok
El objetivo inmediato de Colossus es entrenar el gran modelo lingüístico (LLM) de xAI conocido como Grok.
Actualmente, Grok sólo está disponible para los suscriptores de pago de la plataforma de medios sociales X de Musk. La empresa ya ha lanzado una primera versión beta de Grok-2, que se entrenó en unas 15.000 Nvidia H100.
A pesar de este conjunto de datos de entrenamiento relativamente pequeño, Grok-2 ya se considera uno de los modelos lingüísticos de gran tamaño más capaces según las clasificaciones de chatbot de la competencia.
También es de código abierto, en contra de la tendencia de los modelos de código cerrado de los competidores OpenAI, Anthropic y Google.
Las ambiciones de Musk para Grok son extravagantes. Ya está pensando en Grok-3, cuyo lanzamiento está previsto para diciembre de 2024.
En una entrevista en julio con Jordan Peterson, Musk afirmó audazmente: "Grok-3 debería ser la IA más potente del mundo en ese momento".
El enorme aumento del número de GPU para entrenar a Grok-3 sugiere que Musk habla en serio.
¿Y los demás objetivos de xAI?
Fundada en julio de 2023, xAI en última instancia quiere averiguar "¿Qué demonios está pasando realmente?" En Palabras de MuskEsto significa sondear cuestiones fundamentales sobre la realidad, la materia oscura, la Paradoja de Fermiy otros misterios cósmicos.
El equipo fundador de xAI fue elegido para perseguir esa visión. Igor Babuschkin, que anteriormente trabajó en el Gran Colisionador de Hadrones del CERN, declaró que la empresa quiere "hacer mella de verdad en nuestra comprensión del universo".
Jimmy Ba, investigador de IA de la Universidad de Toronto, explicó el objetivo de construir una "máquina de resolución de problemas de propósito general" para abordar los problemas más difíciles de la humanidad.
Para impulsar su investigación y desarrollo, xAI asegurados $6 mil millones en una ronda de financiación de serie B en mayo de 2024, respaldada por empresas de capital riesgo como Andreessen Horowitz y Sequoia Capital, así como inversores con mucho dinero como Fidelity y Kingdom Holding del príncipe saudí Alwaleed bin Talal.
Muchos expertos de Tesla creen que Grok podría llegar a ser la IA del robot humanoide de Tesla, Optimus. Musk afirmó que Optimus podría generar $1 billón de beneficios anuales para Tesla. Musk también ha insinuado que podría proponer una inversión de $5.000 millones de Tesla en xAI, algo que algunos accionistas han acogido con satisfacción.
Con Colossus ya en línea, ¿podría xAI estar preparada para ir más allá de la creación de más LLM e intentar algo nuevo y audaz?
Claro, Grok-3 probablemente será muy poderoso. Probablemente sólo será ligeramente más poderoso que sus congéneres, y sólo por poco tiempo hasta que algo lo supere.
Hay que cuestionarse los objetivos fundamentales a largo plazo. Las empresas de IA compiten con modelos similares entrenados con pilas de hardware prácticamente idénticas. Es caro y la innovación corre el riesgo de estancarse en pequeños avances incrementales.
Esto deja el campo libre para que uno de los principales actores se asome más allá de la era de los LLM. Con Colossus, ¿será xAI la primera en dar el paso, como insinuó Musk cuando se fundó?
