NVIDIA Blackwell in Zahlen - die potenziellen Auswirkungen des neuen KI-Superchips von NVIDIA

NVIDIA CEO Jensen Huang hat kürzlich auf der Computex 2024 Keynote des Unternehmens den neuesten KI-Beschleunigerchip namens Blackwell im Detail beschrieben. 

Mit Blackwell will NVIDIA seine Vormachtstellung im aufstrebenden Bereich der KI-Hardware festigen und gleichzeitig seine Fähigkeit zu fortlaufender Innovation unter Beweis stellen.

Mit einer Marktkapitalisierung, die auf die Marke von $3 Billionen zusteuert, ist der Aufstieg von NVIDIA zum obersten Befehlshaber der KI-Infrastruktur nichts weniger als erstaunlich.

Huang sieht keine Anzeichen für einen Stillstand, da das Unternehmen übertrifft weiterhin die Erwartungen der Analysten. 

Aber was sagen uns die Spezifikationen und Zahlen wirklich über Blackwells Fähigkeiten und potenzielle Auswirkungen? 

Werfen wir einen genaueren Blick darauf, wie sich dies auf die KI-Branche und die Gesellschaft insgesamt auswirken könnte. 

Rohe Rechenleistung

Die wichtigste Zahl ist, dass ein einziger Blackwell "Superchip" - bestehend aus zwei GPU-Dies, die über eine Hochgeschwindigkeitsverbindung miteinander verbunden sind - verfügt über satte 208 Milliarden Transistoren. 

Das ist eine fast 3-fache Steigerung gegenüber der vorherigen Hopper-Chipgeneration von NVIDIA. NVIDIA behauptet, dies bedeute einen 30-fachen Geschwindigkeitsschub bei KI-Inferenzaufgaben im Vergleich zu Hopper.

Um dies zu verdeutlichen, betrachten wir ein Beispiel für ein großes Sprachmodell (LLM) mit 100 Milliarden Parametern, das in seiner Größenordnung mit GPT-3 vergleichbar ist. 

Um ein solches Modell auf NVIDIAs A100-Grafikprozessoren der vorherigen Generation zu trainieren, müssten etwa 1.024 A100-Chips einen Monat lang laufen.

Mit Blackwell behauptet NVIDIA, dass dasselbe Modell mit 256 Blackwell-Chips in etwas mehr als einer Woche trainiert werden könnte - eine vierfache Reduzierung der Trainingszeit.

Energie-Effizienz

Trotz der drastischen Leistungssteigerung gibt NVIDIA an, dass Blackwell bei bestimmten KI-Workloads Kosten und Energieverbrauch im Vergleich zu Hopper um das bis zu 25-fache senken kann. 

Das Unternehmen führte als Beispiel das Training eines Modells mit 1,8 Billionen Parametern an, wofür zuvor 8.000 Hopper-GPUs mit einer Leistung von 15 Megawatt erforderlich gewesen wären.

Mit Blackwell könnte dies laut NVIDIA mit 2.000 GPUs erreicht werden, die nur 4 Megawatt benötigen.

Obwohl eine Leistungsaufnahme von 4 Megawatt für einen einzigen KI-Trainingslauf immer noch beträchtlich ist, ist es beeindruckend, dass Blackwell eine fast 4-fache Steigerung der Energieeffizienz für eine solch anspruchsvolle Aufgabe bieten kann.

Wir sollten die Zahlen nicht unterbewerten. Die 4-Megawatt-Zahl entspricht dem durchschnittlichen Stromverbrauch von mehr als 3.000 US-Haushalten.

Ein einziger von Blackwell betriebener KI-Supercomputer, der ein hochmodernes Modell trainiert, würde also so viel Energie verbrauchen wie eine ganze Stadt im Laufe des Trainingslaufs.

Und das ist nur für einen Trainingslauf - Unternehmen, die große KI-Modelle entwickeln, verfeinern ihre Modelle oft in vielen Iterationen, und dann müssen wir bedenken, dass es Hunderte von Unternehmen gibt, die große Modelle entwickeln.

Umweltkosten

Selbst bei verbesserter Energieeffizienz könnte die breite Einführung von Blackwell den Gesamtenergieverbrauch der Branche noch erheblich steigern.

Nehmen wir zum Beispiel an, dass derzeit weltweit etwa 100.000 Hochleistungs-GPUs für KI-Training und -Inferenz verwendet werden. 

Wenn Blackwell in den kommenden Jahren eine 10-fache Steigerung des KI-Einsatzes ermöglicht, was nicht gerade eine aus der Luft gegriffene Zahl zu sein scheint, würde das bedeuten, dass 1 Million Blackwell-GPUs im Einsatz sind.

Bei der von Huang genannten Leistungsaufnahme von 1,875 Kilowatt pro GPU würden 1 Million Blackwell-GPUs 1,875 Gigawatt verbrauchen - das entspricht fast der Leistung von zwei durchschnittlichen Kernkraftwerken.

Der Bau von Kernkraftwerken dauert viele Jahre und kostet Billionen. Sie sind in erster Linie zur Unterstützung der landesweiten Infrastruktur gedacht, nicht nur zum Training von KI-Modellen. 

Frühere Analysen haben prognostiziert, dass KI-Workloads bis 2027 so viel Strom wie ein kleines Land verbrauchen könnten, und es ist schwer vorstellbar, wie diese Anforderungen vernünftig erfüllt werden sollen.

Auch der Wasserverbrauch ist ein riesiges Problem: Microsoft hat einen enormen Anstieg seiner Wasserverbrauch von 2022 bis 2023die mit dem Training von KI-Modellen und der Nachfrage nach Rechenzentren korreliert.

In Teilen der USA kam es aufgrund des Verbrauchs von Rechenzentren bereits zu Wasserknappheit.

Wenn keine besseren Möglichkeiten gefunden werden, KI-Hardware mit erneuerbaren Energien zu betreiben, werden die Kohlendioxidemissionen und der Wasserverbrauch von Blackwell-getriebener KI enorm sein, wobei NVIDIA die "Hyperscale"-Ära des KI-Modelltrainings beschleunigt.

Neben dem reinen Energieverbrauch müssen auch andere Umweltkosten berücksichtigt werden, z. B. die Mineralien der Seltenen Erden und andere Ressourcen, die für die Herstellung fortschrittlicher Chips wie Blackwell in großem Maßstab benötigt werden, sowie die Abfälle, die am Ende des Lebenszyklus anfallen.

Das soll nicht heißen, dass der gesellschaftliche Nutzen der von Blackwell erschlossenen KI-Fähigkeiten diese Umweltkosten nicht aufwiegen könnte.

Das bedeutet jedoch, dass die Umweltauswirkungen im Rahmen eines verantwortungsvollen Blackwell-Einsatzplans sorgfältig gesteuert und gemildert werden müssen. Ob das möglich oder realistisch ist, bleibt fraglich.  

Blackwells mögliche Auswirkungen

Stellen wir uns vor, wie die Welt in einer Ära der weit verbreiteten Blackwell-Übernahme aussehen könnte.

Einige ungefähre Schätzungen vermitteln ein Gefühl für die Möglichkeiten und Risiken:

• Sprachmodelle, die 10-mal so groß sind wie GPT-3, könnten in einem ähnlichen Zeitrahmen und mit ähnlichen Rechenressourcen trainiert werden wie GPT-3 ursprünglich. Dies wird einen großen Sprung in den Fähigkeiten der KI für natürliche Sprache ermöglichen.
• Wie beschrieben bei der KeynoteDigitale Assistenten mit Fähigkeiten, die denen von Menschen nahe kommen, könnten potenziell kostengünstig entwickelt und auf breiter Basis eingesetzt werden. Eine KI, die 80% der Aufgaben einer typischen Wissensarbeit zu einem Zehntel der Kosten eines menschlichen Arbeiters erledigen könnte, könnte allein in den USA bis zu 45 Millionen Arbeitsplätze ersetzen.
• Die Rechenkapazität zur Ausbildung eines KI-Systems mit einer allgemeinen Intelligenz, die der des menschlichen Gehirns entspricht oder diese übertrifft, könnte in greifbare Nähe rücken. Die Schätzungen für die Rechenkapazität des Gehirns reichen von 10^13 bis 10^16 neuronalen Verbindungen. Ein von Blackwell betriebener Supercomputer mit maximal 1 Million Grafikprozessoren hätte eine geschätzte Rechenleistung von 10^18 Flops - möglicherweise ausreichend, um Aspekte des menschlichen Gehirns in Echtzeit zu simulieren.

Natürlich sind diese Szenarien höchst spekulativ und sollten mit Vorsicht genossen werden. Technische Machbarkeit bedeutet nicht zwangsläufig, dass sie auch in der Praxis umgesetzt wird.

Sie unterstreichen jedoch das enorme und bahnbrechende Potenzial der KI-Beschleunigung, die NVIDIA mit Blackwell ermöglicht.

Huang beschrieb Blackwell als "eine neue Computing-Plattform für eine neue Computing-Ära". Basierend auf den Zahlen ist es schwer, dieser Charakterisierung zu widersprechen. 

Blackwell ist bereit, die nächste große Phase der KI-Revolution einzuleiten - im Guten wie im Schlechten.

So beeindruckend die Spezifikationen des Chips auch sind, die Gesellschaft wird mehr als nur Hardware-Innovationen benötigen, um die Auswirkungen der Technologie zu bewältigen. 

Eine sorgfältige Abwägung der Umweltauswirkungen und -bemühungen muss Teil der Gleichung und der Kosten-Nutzen-Analyse sein. 

Chips wie Blackwell werden zwar immer energieeffizienter, aber das allein reicht wahrscheinlich nicht aus, um den derzeitigen Fortschritt aufrechtzuerhalten.

Wird die Industrie einen Weg finden? Wahrscheinlich schon.

Aber wir müssen noch einige Jahre abwarten, um herauszufinden, wie sich die Risiken und Vorteile der KI für die Gesellschaft und sogar für den Planeten selbst auswirken.