's Werelds techbedrijven zijn hongerig naar high-end GPU-chips en fabrikanten kunnen er blijkbaar niet genoeg produceren om aan de vraag te voldoen.
Achter elk spraakmakend AI-model zit een legioen GPU's die onvermoeibaar doorwerken - en zelfs de topspelers in de sector kunnen er geen genoeg van krijgen.
Voor het trainen van AI-modellen zijn enorme rekenkrachtbronnen nodig, maar fabrikanten zijn relatief dun gezaaid en high-end GPU's zijn niet iets dat je van de ene op de andere dag kunt maken. Het overgrote deel van de vraag is terechtgekomen op de schouders van industrieveteraan Nvidia, waardoor zijn marktkapitalisatie dit jaar naar $1tn is gestegen.
Op dit moment lijken maar weinigen veilig voor het GPU-tekort - en hoe verder je van Nvidia af zit, hoe kleiner de kans dat je ze te pakken krijgt.
In mei zei OpenAI CEO Sam Altman tegen de Amerikaanse Senaat: "We hebben zo'n tekort aan GPU's, hoe minder mensen het gereedschap gebruiken, hoe beter."
Een recente afname van de prestaties van GPT-4 Velen speculeerden dat OpenAI niet aan de vraag kon voldoen, waardoor ze gedwongen werden om aspecten van hun modellen aan te passen en af te stemmen.
Ondertussen heeft het tekort aan GPU's in China geleid tot een nogal bizarre zwarte markt waar zakelijke kopers zich moeten inlaten met duistere deals voor Nvidia's A100 en H100 chips op de verdiepingen van de SEG wolkenkrabber in Shenzhen - een cyberpunk-achtig scenario rechtstreeks uit een Deus Ex videogame.
Microsoft jaarverslag benadrukte onlangs het verlengde tekort aan AI-chips als een potentiële risicofactor voor beleggers.
In het rapport staat: "We blijven mogelijkheden identificeren en evalueren om onze datacenterlocaties uit te breiden en onze servercapaciteit te vergroten om te voldoen aan de veranderende behoeften van onze klanten, met name gezien de groeiende vraag naar AI-diensten."
Het gaat verder: "Onze datacenters zijn afhankelijk van de beschikbaarheid van toegestane en bebouwbare grond, voorspelbare energie, netwerkvoorzieningen en servers, inclusief grafische verwerkingseenheden ('GPU's') en andere componenten."
De onverzadigbare honger naar GPU's
Rekenkracht is een belangrijk knelpunt voor de ontwikkeling van AI, maar slechts weinigen voorspelden een vraag van deze omvang.
Als dit niveau van vraag voorspelbaar was, zouden er meer AI-chipfabrikanten zijn dan Nvidia en een handvol startups, waarbij Nvidia volgens sommige schattingen ten minste 84% van de markt in handen heeft. AMD en Intel zijn nog maar net begonnen.
Raj Joshi, een senior vicepresident bij Moody's Investors Service, zei: "Niemand had kunnen voorspellen hoe snel of hoeveel deze vraag zal toenemen", "Ik denk niet dat de sector klaar was voor dit soort stijging van de vraag".
In zijn winstcall van mei kondigde Nvidia aan dat het "aanzienlijk meer voorraad had ingekocht voor de tweede helft van het jaar" om te voldoen aan de stijgende vraag naar AI-chips.
AMD verklaarde ondertussen dat het zijn antwoord op Nvidia's AI GPU's tegen het einde van het jaar zal onthullen. "Er is over de hele linie veel interesse van klanten in onze AI-oplossingen", aldus AMD. zei AMD CEO Lisa Su.
Sommige industrie-experts suggereren dat het tekort aan chips over twee tot drie jaar kan afnemen als de concurrenten van Nvidia hun aanbod uitbreiden. Verschillende startups zijn nu dag en nacht bezig om aansluiten op deze explosieve vraag.
Alle bedrijven die high-end chips kunnen maken die geschikt zijn voor AI workloads zullen het goed doen, maar het is een zeldzame categorie, omdat GPU's uitzonderlijk veel tijd kosten om te onderzoeken en te bouwen.
AI moet slanker worden
Relatief frisse AI-ontwikkelaars zoals Inflection haasten zich om kolossale trainingsstacks te bouwen.
Na het verhogen van een machtig $1,3bnInflection is van plan om een GPU-cluster van 22.000 high-end H100-chips samen te stellen.
Ter vergelijking: Nvidia heeft onlangs in samenwerking met CoreWeave Verbrijzelde AI-trainingsbenchmarks met een cluster van 3.584 chips - inclusief het trainen van een groot taalmodel (LLM) zoals GPT-3.5 in ongeveer 10 minuten.
Terwijl de zoektocht naar macht onder AI-spelers draait om het stapelen van GPU's in wat begint te lijken op een feodale landjepik, richten anderen zich op het uitlijnen van AI-modellen om meer uit de huidige technologie te halen.
Zo hebben ontwikkelaars in de open-source gemeenschap onlangs manieren gevonden om LLM's uit te voeren op compacte apparaten zoals MacBooks.
"Noodzaak is de moeder van de uitvinding, toch?" Sid Sheth, oprichter en CEO van AI-startup d-Matrix vertelde aan CNN. "Dus nu mensen geen toegang hebben tot onbeperkte hoeveelheden rekenkracht, vinden ze vindingrijke manieren om wat ze hebben op een veel slimmere manier te gebruiken."
Bovendien is het tekort aan GPU's welkom nieuws voor diegenen die willen dat de ontwikkeling van AI vertraagt - moet de technologie echt sneller gaan dan nu al het geval is?
Waarschijnlijk niet. Zoals Sheth het zegt: "Netto zal dit een vermomde zegen zijn."
