Världens teknikföretag är hungriga efter avancerade GPU-chip, och tillverkarna verkar inte kunna producera tillräckligt för att möta efterfrågan.
Bakom varje högprofilerad AI-modell finns en legion av GPU:er som arbetar outtröttligt - och inte ens branschens A-listespelare kan få nog av dem.
Att träna AI-modeller kräver enorma dataresurser, men tillverkarna är relativt få och avancerade GPU:er är inget man kan snurra fram över en natt. Den stora majoriteten av efterfrågan har fallit på branschveteranen Nvidias axlar, vilket har drivit företagets marknadsvärde till $1 ton i år.
Just nu verkar få gå säkra från GPU-bristen - och ju längre bort från Nvidia du är, desto mindre är dina chanser att få tag på dem.
I maj sa OpenAI:s VD Sam Altman till den amerikanska senaten: "Vi har så ont om GPU:er att ju färre som använder verktyget, desto bättre."
En ny försämring av GPT-4:s prestanda fick många att spekulera i om OpenAI inte kunde möta efterfrågan, vilket tvingade dem att ändra och justera aspekter av sina modeller.
Samtidigt har GPU-bristen i Kina skapat ett stort ganska bisarr blackmarket där företagsköpare måste delta i skumma affärer för Nvidias A100- och H100-chip på våningarna i SEG-skyskrapan i Shenzhen - ett cyberpunkliknande scenario som hämtat direkt från ett Deus Ex-videospel.
Microsofts årsredovisning lyfte nyligen fram den förlängda bristen på AI-chip som en potentiell riskfaktor för investerare.
I rapporten står det: "Vi fortsätter att identifiera och utvärdera möjligheter att expandera våra datacenter och öka vår serverkapacitet för att möta våra kunders förändrade behov, särskilt med tanke på den växande efterfrågan på AI-tjänster."
Vidare står det: "Våra datacenter är beroende av tillgången på tillåten och byggbar mark, förutsägbar energi, nätverkstillbehör och servrar, inklusive grafikprocessorer (GPU:er) och andra komponenter."
Den omättliga aptiten på GPU:er
Datorkraft är en betydande flaskhals för AI-utvecklingen, men få har förutspått en efterfrågan av den här storleken.
Om denna efterfrågenivå var förutsägbar skulle det finnas fler tillverkare av AI-chip än Nvidia och en handfull nystartade företag, där Nvidia enligt vissa uppskattningar kontrollerar minst 84% av marknaden. AMD och Intel har bara precis kommit in i spelet.
Raj Joshi, senior vice president på Moody's Investors Service, sa: "Ingen kunde ha modellerat hur snabbt eller hur mycket efterfrågan kommer att öka", "Jag tror inte att branschen var redo för den här typen av kraftig ökning av efterfrågan."
I sitt vinstsamtal i maj meddelade Nvidia att man hade "upphandlat ett väsentligt högre utbud för andra halvåret" för att möta den ökande efterfrågan på AI-chip.
AMD uppgav under tiden att de kommer att presentera sitt svar på Nvidias AI GPU:er närmare slutet av året. "Det finns ett mycket starkt kundintresse över hela linjen för våra AI-lösningar," sa AMD:s VD och koncernchef Lisa Su.
Vissa branschexperter menar att bristen på chip kan komma att minska om två till tre år i takt med att Nvidias konkurrenter utökar sina erbjudanden. Flera nystartade företag arbetar nu dag och natt för att tillgodose denna explosiva efterfrågan.
Alla företag som kan tillverka avancerade chip som lämpar sig för AI-arbetsbelastningar kommer att klara sig bra, men det är en sällsynt kategori, eftersom GPU:er är exceptionellt omständliga att forska fram och bygga.
AI måste bli mer slimmat
Relativt nystartade AI-utvecklare som Inflection skyndar sig att bygga kolossala utbildningspaket.
Efter att ha tagit upp en mäktig $1,3 miljarderplanerar Inflection att sätta ihop ett GPU-kluster med 22.000 avancerade H100-chip.
Som exempel kan nämnas att Nvidia, i samarbete med CoreWeave, nyligen krossade riktmärken för AI-utbildning med ett kluster på 3.584 chip - inklusive träning av en stor språkmodell (LLM) som GPT-3.5 på cirka 10 minuter.
Medan maktjakten bland AI:s ledande aktörer kretsar kring att stapla GPU:er i vad som börjar likna ett feodalt markövertagande, fokuserar andra på att luta ut AI-modeller för att få ut mer av den nuvarande tekniken.
Till exempel har utvecklare i open source-communityn nyligen hittat sätt att köra LLM på kompakta enheter som MacBooks.
"Nödvändighet är uppfinningarnas moder, eller hur?" Sid Sheth, grundare och VD för AI-startupen d-Matrix berättade för CNN. "Så nu när människor inte har tillgång till obegränsade mängder datorkraft hittar de påhittiga sätt att använda det de har på ett mycket smartare sätt."
Bristen på GPU:er är dessutom en välkommen nyhet för dem som vill att AI-utvecklingen ska gå långsammare - behöver tekniken verkligen gå snabbare än den redan gör?
Förmodligen inte. Som Sheth uttrycker det: "Netto kommer det här att bli en förklädd välsignelse."
