Die Technologieunternehmen der Welt sind hungrig nach High-End-GPU-Chips, und die Hersteller können scheinbar nicht genug produzieren, um die Nachfrage zu decken.
Hinter jedem hochkarätigen KI-Modell steht eine Legion von Grafikprozessoren, die unermüdlich arbeiten - und selbst die Top-Akteure der Branche können nicht genug von ihnen bekommen.
Für das Training von KI-Modellen sind immense Rechenressourcen erforderlich, aber die Hersteller sind relativ dünn gesät, und High-End-Grafikprozessoren kann man nicht von heute auf morgen auf die Beine stellen. Der Großteil der Nachfrage entfällt auf den Branchenveteranen Nvidia, dessen Marktkapitalisierung in diesem Jahr auf $1tn angestiegen ist.
Im Moment scheinen nur wenige vor dem GPU-Mangel sicher zu sein - und je weiter Sie von Nvidia entfernt sind, desto geringer sind Ihre Chancen, sie zu bekommen.
Im Mai sagte der CEO von OpenAI, Sam Altman, vor dem US-Senat: "Wir haben so wenig GPUs, dass es umso besser ist, je weniger Leute das Tool benutzen."
Eine aktuelle Verschlechterung der Leistung von GPT-4 veranlasste viele zu Spekulationen darüber, ob OpenAI nicht in der Lage war, die Nachfrage zu befriedigen, so dass sie gezwungen waren, Aspekte ihres Modells zu ändern und zu optimieren.
In China hat die GPU-Knappheit inzwischen zu einem ziemlich bizarrer Schwarzmarkt in dem Geschäftskunden in den Etagen des SEG-Wolkenkratzers in Shenzhen zwielichtige Geschäfte für Nvidias A100- und H100-Chips abschließen müssen - ein Cyberpunk-Szenario, das direkt aus einem Deus Ex-Videospiel stammt.
Microsofts Jahresbericht wies kürzlich auf die anhaltende Verknappung von KI-Chips als potenziellen Risikofaktor für Investoren hin.
In dem Bericht heißt es: "Wir identifizieren und bewerten weiterhin Möglichkeiten, unsere Rechenzentrumsstandorte zu erweitern und unsere Serverkapazitäten zu erhöhen, um die sich entwickelnden Anforderungen unserer Kunden zu erfüllen, insbesondere angesichts der wachsenden Nachfrage nach KI-Diensten."
Weiter heißt es: "Unsere Rechenzentren sind abhängig von der Verfügbarkeit von genehmigten und bebaubaren Grundstücken, vorhersehbarer Energie, Netzwerkversorgung und Servern, einschließlich Grafikprozessoren (GPUs) und anderen Komponenten."
Der unstillbare Appetit auf GPUs
Die Rechenleistung ist ein erheblicher Engpass für die KI-Entwicklung, aber nur wenige haben einen Bedarf in dieser Größenordnung vorhergesagt.
Wäre eine derartige Nachfrage vorhersehbar, gäbe es mehr KI-Chiphersteller als Nvidia und eine Handvoll Start-ups, wobei Nvidia nach einigen Schätzungen mindestens 84% des Marktes kontrolliert. AMD und Intel steigen gerade erst in das Spiel ein.
Raj Joshi, Senior Vice President bei Moody's Investors Service, sagte: "Niemand konnte vorhersehen, wie schnell und wie stark die Nachfrage steigen würde", "ich glaube nicht, dass die Branche auf diese Art von Nachfrageschub vorbereitet war".
In seiner Gewinnbenachrichtigung im Mai gab Nvidia bekannt, dass das Unternehmen "für die zweite Jahreshälfte ein wesentlich höheres Angebot beschafft" hat, um die steigende Nachfrage nach KI-Chips zu decken.
AMD erklärte unterdessen, dass es seine Antwort auf die KI-GPUs von Nvidia gegen Ende des Jahres vorstellen wird. "Es gibt ein sehr starkes Kundeninteresse an unseren KI-Lösungen". sagte AMD-CEO Lisa Su.
Einige Branchenexperten gehen davon aus, dass sich die Chip-Knappheit in zwei bis drei Jahren entspannen könnte, wenn die Konkurrenten von Nvidia ihr Angebot erweitern. Mehrere Start-ups arbeiten jetzt Tag und Nacht daran diese explosive Nachfrage decken.
Alle Unternehmen, die in der Lage sind, High-End-Chips für KI-Workloads herzustellen, werden gut abschneiden, aber es handelt sich um eine seltene Kategorie, da die Erforschung und Herstellung von GPUs außergewöhnlich langwierig ist.
KI muss schlanker werden
Relativ frischgebackene KI-Entwickler wie Inflection stürzen sich darauf, riesige Trainingsstacks zu bauen.
Nach der Erhebung einer mächtig $1.3bnInflection plant, einen GPU-Cluster aus 22.000 High-End-H100-Chips zusammenzustellen.
Zum Vergleich: Nvidia hat kürzlich in Zusammenarbeit mit CoreWeave KI-Trainingsbenchmarks gebrochen mit einem Cluster von 3.584 Chips - einschließlich des Trainings eines großen Sprachmodells (LLM) wie GPT-3.5 in etwa 10 Minuten.
Während sich das Streben nach Macht unter den führenden KI-Akteuren um das Stapeln von Grafikprozessoren dreht, was langsam wie eine feudale Landnahme aussieht, konzentrieren sich andere darauf, die KI-Modelle zu verschlanken, um mehr Nutzen aus der aktuellen Technologie zu ziehen.
So haben beispielsweise Entwickler in der Open-Source-Gemeinschaft vor kurzem Wege gefunden, LLMs auf kompakten Geräten wie MacBooks auszuführen.
"Not macht erfinderisch, nicht wahr?" Sid Sheth, Gründer und CEO des KI-Start-ups d-Matrix gegenüber CNN. "Da die Menschen nun nicht mehr über unbegrenzte Mengen an Rechenleistung verfügen, finden sie einfallsreiche Wege, um das, was sie haben, auf viel intelligentere Weise zu nutzen.
Darüber hinaus ist der Mangel an Grafikprozessoren eine willkommene Nachricht für diejenigen, die sich eine Verlangsamung der KI-Entwicklung wünschen - muss die Technologie wirklich noch schneller werden, als sie ohnehin schon ist?
Wahrscheinlich nicht. Wie Sheth es ausdrückt: "Unterm Strich wird das ein Segen sein".
