Verdens teknologiselskaper er sultne på avanserte GPU-brikker, og produsentene ser ikke ut til å klare å produsere nok til å dekke etterspørselen.
Bak hver eneste høyprofilerte AI-modell står en legion av GPU-er som jobber utrettelig - og selv bransjens A-liste-aktører kan ikke få nok av dem.
Opplæring av AI-modeller krever enorme databehandlingsressurser, men produsentene er relativt tynt bemannet, og avanserte GPU-er er ikke noe du kan spinne opp over natten. Det store flertallet av etterspørselen har falt på bransjeveteranen Nvidias skuldre, noe som har presset markedsverdien til $1tonn i år.
Akkurat nå er det få som ser ut til å være trygge for GPU-mangelen - og jo lenger unna Nvidia du er, jo mindre er sjansene dine for å få tak i dem.
I mai sa OpenAI-sjef Sam Altman til det amerikanske senatet: "Vi har så lite GPU-er at jo færre som bruker verktøyet, desto bedre."
En nylig nedgang i GPT-4s ytelse fikk mange til å spekulere i om OpenAI ikke klarte å møte etterspørselen, noe som tvang dem til å endre og justere deler av modellene sine.
I Kina har GPU-mangelen i mellomtiden skapt en ganske bisarr blackmarket der forretningskjøpere må inngå lyssky avtaler om Nvidias A100- og H100-brikker i etasjene i SEG-skyskraperen i Shenzhen - et cyberpunk-aktig scenario som er som tatt rett ut av et Deus Ex-videospill.
Microsofts årsrapport fremhevet nylig den langvarige mangelen på AI-brikker som en potensiell risikofaktor for investorer.
I rapporten står det: "Vi fortsetter å identifisere og evaluere muligheter for å utvide datasentrene våre og øke serverkapasiteten for å møte kundenes skiftende behov, særlig med tanke på den økende etterspørselen etter AI-tjenester."
Videre står det: "Datasentrene våre er avhengige av tilgjengeligheten av tillatte og byggbare tomter, forutsigbar energi, nettverksforsyning og servere, inkludert grafikkprosessorenheter ('GPU-er') og andre komponenter."
Den umettelige appetitten på GPU-er
Datakraft er en betydelig flaskehals for utviklingen av kunstig intelligens, men det er få som har prognostisert en etterspørsel i denne størrelsesordenen.
Hvis denne etterspørselen var forutsigbar, ville det vært flere produsenter av AI-brikker enn Nvidia og en håndfull nystartede selskaper, og Nvidia kontrollerer minst 84% av markedet, ifølge enkelte estimater. AMD og Intel er bare så vidt kommet inn i spillet.
Raj Joshi, senior visepresident i Moody's Investors Service, sa: "Ingen kunne ha modellert hvor raskt eller hvor mye denne etterspørselen kommer til å øke," "Jeg tror ikke bransjen var klar for denne typen kraftig økning i etterspørselen."
I inntjeningssamtalen i mai kunngjorde Nvidia at de hadde "anskaffet et betydelig høyere tilbud for andre halvår" for å møte den økende etterspørselen etter AI-brikker.
AMD uttalte i mellomtiden at de er innstilt på å avduke sitt svar på Nvidias AI GPUer nærmere slutten av året. "Det er veldig sterk kundeinteresse over hele linjen i våre AI-løsninger," sa AMDs administrerende direktør Lisa Su.
Noen bransjeeksperter antyder at mangelen på chip kan avta i løpet av to til tre år etter hvert som Nvidias konkurrenter utvider tilbudet sitt. Flere nystartede selskaper jobber nå dag og natt for å tette denne eksplosive etterspørselen.
Alle bedrifter som er i stand til å lage avanserte brikker som egner seg for AI-arbeidsbelastninger, vil gjøre det bra, men det er en sjelden kategori, ettersom GPU-er er usedvanlig tidkrevende å forske på og bygge.
AI må bli slankere
Relativt ferske AI-utviklere som Inflection skynder seg å bygge kolossale opplæringsstabler.
Etter å ha hevet en mektig $1,3 milliarderInflection planlegger å sette sammen en GPU-klynge med 22 000 avanserte H100-brikker.
For å sette det i perspektiv, har Nvidia, i samarbeid med CoreWeave, nylig knuste benchmarks for AI-trening med en klynge på 3584 brikker - inkludert opplæring av en stor språkmodell (LLM) som GPT-3.5 på ca. 10 minutter.
Mens jakten på makt blant de ledende aktørene innen AI dreier seg om å stable GPU-er i det som begynner å ligne et føydalt landran, fokuserer andre på å lene ut AI-modeller for å få mer ut av dagens teknologi.
For eksempel har utviklere i open source-miljøet nylig funnet måter å kjøre LLM-er på kompakte enheter som MacBooks.
"Nødvendighet er oppfinnelsens mor, ikke sant?" Sid Sheth, grunnlegger og administrerende direktør i AI-oppstartsbedriften d-Matrix fortalte CNN. "Så nå som folk ikke har tilgang til ubegrensede mengder datakraft, finner de ressurssterke måter å bruke det de har på en mye smartere måte."
Mangelen på GPU-er er dessuten en god nyhet for dem som ønsker at AI-utviklingen skal gå saktere - trenger teknologien virkelig å utvikle seg raskere enn den allerede gjør?
Sannsynligvis ikke. Som Sheth sier det: "Netto kommer dette til å bli en velsignelse i forkledning."
