Das von Elon Musk gegründete Unternehmen xAI hat seine neueste Kreation vorgestellt: einen Supercomputer namens Colossus.
Dieses massive KI-Trainingssystem verfügt derzeit über 100.000 Nvidia Hopper H100-Prozessoren.
Das in Memphis, Tennessee, gelegene Colossus soll um folgende Elemente erweitert werden 50.000 Chips der neuen, fortschrittlicheren H200-Serie von Nvidia, die etwa doppelt so leistungsfähig sind wie die H100-Chips.
Damit wäre Colossus mit ziemlicher Sicherheit der leistungsstärkste Computer der Welt, wenn er es nicht schon wäre.
Zum Vergleich: Meta hatte angekündigt, bis Ende 2024 350.000 H100-GPUs anzusammeln, während OpenAI vermutlich nur etwa 25.000 GPUs für GPT-4 verwenden wird, obwohl es viel mehr sein könnten.
Musk kündigte den Start von Colossus selbst über das Labor Day-Wochenende auf X an und erklärte: "Von Anfang bis Ende wurde es in 122 Tagen fertiggestellt. Colossus ist das leistungsstärkste KI-Trainingssystem der Welt. Außerdem wird es sich in wenigen Monaten auf 200k (50k H200s) verdoppeln."
Dieses Wochenende wird die @xAI Team hat unseren Colossus 100k H100 Trainingscluster online gestellt. Von Anfang bis Ende wurde dies in 122 Tagen erledigt.
Colossus ist das leistungsfähigste KI-Trainingssystem der Welt. Außerdem wird sich seine Größe in einigen Monaten auf 200k (50k H200) verdoppeln.
Ausgezeichnet...
- Elon Musk (@elonmusk) 2. September 2024
Energie für die Zukunft von Grok
Der unmittelbare Zweck von Colossus besteht darin, das große Sprachmodell (LLM) von xAI zu trainieren, das als Grok.
Derzeit ist Grok nur für zahlende Abonnenten von Musks Social-Media-Plattform X verfügbar. Das Unternehmen hat bereits eine frühe Beta-Version von Grok-2 veröffentlicht, die auf rund 15.000 Nvidia H100-Rechnern trainiert wurde.
Trotz dieses relativ kleinen Trainingsdatensatzes zählt Grok-2 bereits zu den leistungsfähigsten KI-Großsprachmodellen, wie die Chatbot-Ranglisten der Konkurrenz zeigen.
Außerdem ist es quelloffen und widersetzt sich damit dem Trend zu Closed-Source-Modellversionen der Konkurrenten OpenAI, Anthropic und Google.
Die Ambitionen von Musk für Grok sind extravagant. Er blickt bereits auf Grok-3 voraus, das im Dezember 2024 auf den Markt kommen soll.
In einem Interview mit Jordan Peterson im Juli behauptete Musk kühn: "Grok-3 sollte zu diesem Zeitpunkt die leistungsfähigste KI der Welt sein."
Die massive Erhöhung der GPU-Anzahl für das Training von Grok-3 deutet darauf hin, dass Musk diese Behauptung ernst meint.
Was ist mit den anderen Zielen von xAI?
Gegründet im Juli 2023, xAI will letztlich herausfinden "Was zum Teufel ist hier wirklich los?" Unter Moschus' WorteDas bedeutet, dass wir grundlegende Fragen über die Realität, die dunkle Materie, die Fermi-Paradoxonund andere kosmische Geheimnisse.
Das Gründungsteam von xAI wurde ausgewählt, um diese Vision zu verfolgen. Igor Babuschkin, der zuvor am Large Hadron Collider am CERN gearbeitet hat, erklärte, das Unternehmen wolle "wirklich einen Beitrag zu unserem Verständnis des Universums leisten".
Jimmy Ba, ein KI-Forscher von der Universität Toronto, erläuterte das Ziel, eine "Allzweck-Problemlösungsmaschine" zu bauen, um die schwierigsten Probleme der Menschheit zu lösen.
Um seine Forschung und Entwicklung voranzutreiben, hat xAI $6 Milliarden gesichert in einer Serie-B-Finanzierungsrunde im Mai 2024, die von Risikokapitalfirmen wie Andreessen Horowitz und Sequoia Capital sowie von hochkarätigen Investoren wie Fidelity und der Kingdom Holding des saudischen Prinzen Alwaleed bin Talal unterstützt wird.
Viele Tesla-Experten sind der Meinung, dass Grok schließlich die KI hinter Teslas humanoidem Roboter Optimus antreiben könnte. Musk behauptete, Optimus könnte $1 Billionen an jährlichen Gewinnen für Tesla generieren. Musk hat auch angedeutet, dass er möglicherweise eine Investition von $5 Mrd. von Tesla in xAI vorschlagen könnte, was einige Aktionäre begrüßt haben.
Da Colossus jetzt online ist, könnte xAI bereit sein, über die Schaffung weiterer LLMs hinauszugehen und etwas Kühnes und Neues zu wagen?
Sicher, Grok-3 wird wahrscheinlich sehr mächtig sein. Es wird wahrscheinlich nur geringfügig mächtiger sein als die anderen, und das auch nur für eine kurze Zeit, bis es von etwas anderem überholt wird.
Hier muss man die grundlegenden langfristigen Ziele in Frage stellen. KI-Unternehmen konkurrieren mit ähnlichen Modellen, die mit praktisch identischer Hardware trainiert wurden. Das ist teuer, und die Innovation läuft Gefahr, mit kleinen, inkrementellen Gewinnen zu stagnieren.
Damit ist das Feld für einen der Hauptakteure offen, der die Ära der LLMs hinter sich lässt. Wird xAI mit Colossus der erste sein, der aufsteigt, wie Musk es bei seiner Gründung angedeutet hat?
