As empresas tecnológicas mundiais estão ávidas de chips GPU de topo de gama e os fabricantes não conseguem produzir o suficiente para satisfazer a procura.
Por detrás de cada modelo de IA de alto nível está uma legião de GPUs a trabalhar incansavelmente - e mesmo os jogadores da lista A da indústria não se fartam delas.
O treino de modelos de IA requer imensos recursos de computação, mas os fabricantes são relativamente escassos e as GPUs topo de gama não são algo que se possa criar de um dia para o outro. A grande maioria da procura recaiu sobre os ombros da veterana da indústria Nvidia, elevando a sua capitalização de mercado para $1tn este ano.
Atualmente, poucos parecem estar a salvo da escassez de GPU - e quanto mais longe da Nvidia estivermos, menores são as nossas hipóteses de os obter.
Em maio, o diretor executivo da OpenAI, Sam Altman, disse ao Senado dos EUA: "Temos tão poucas GPUs que quanto menos pessoas utilizarem a ferramenta, melhor".
Um recente diminuição do desempenho da GPT-4 levou muitos a especular se a OpenAI não conseguiu satisfazer a procura, obrigando-a a alterar e a afinar aspectos dos seus modelos.
Entretanto, na China, a escassez de GPU criou um mercado negro bastante bizarro onde os compradores de empresas têm de se envolver em negócios obscuros para os chips A100 e H100 da Nvidia nos andares do arranha-céus SEG em Shenzhen - um cenário ciberpunk retirado diretamente de um jogo de vídeo Deus Ex.
Microsoft relatório anual destacou recentemente a escassez prolongada de chips de IA como um potencial fator de risco para os investidores.
O relatório afirma: "Continuamos a identificar e a avaliar oportunidades para expandir as localizações dos nossos centros de dados e aumentar a nossa capacidade de servidor para satisfazer as necessidades em evolução dos nossos clientes, em especial tendo em conta a procura crescente de serviços de IA."
E prossegue: "Os nossos centros de dados dependem da disponibilidade de terrenos autorizados e edificáveis, de energia previsível, de fornecimentos de rede e de servidores, incluindo unidades de processamento gráfico ('GPUs') e outros componentes."
O apetite insaciável por GPUs
A capacidade de computação é um estrangulamento significativo para o desenvolvimento da IA, mas poucos previram uma procura desta magnitude.
Se este nível de procura fosse previsível, haveria mais fabricantes de chips de IA do que a Nvidia e uma mão-cheia de startups, com a Nvidia a controlar pelo menos 84% do mercado, segundo algumas estimativas. A AMD e a Intel estão apenas a entrar no jogo.
Raj Joshi, vice-presidente sénior da Moody's Investors Service, afirmou que "ninguém poderia ter calculado a rapidez e o volume do aumento da procura" e que "não creio que o sector estivesse preparado para este tipo de aumento da procura".
Na sua chamada de resultados de maio, a Nvidia anunciou que tinha "adquirido uma oferta substancialmente maior para a segunda metade do ano" para satisfazer a procura crescente de chips de IA.
A AMD, por sua vez, afirmou que está pronta para revelar sua resposta às GPUs de IA da Nvidia mais perto do final do ano. "Há um interesse muito forte do cliente em todas as áreas em nossas soluções de IA" afirmou o CEO da AMD Lisa Su.
Alguns especialistas do sector sugerem que a escassez de chips pode diminuir dentro de dois a três anos, à medida que os concorrentes da Nvidia expandem as suas ofertas. Várias empresas em fase de arranque estão agora a trabalhar dia e noite para colmatar esta procura explosiva.
Toda e qualquer empresa capaz de fabricar chips topo de gama adequados a cargas de trabalho de IA terá bons resultados, mas trata-se de uma categoria rara, uma vez que a investigação e a construção de GPUs são excecionalmente morosas.
A IA tem de se tornar mais simples
Os criadores de IA relativamente recentes, como a Inflection, estão a apressar-se a construir pilhas de formação colossais.
Depois de levantar uma poderoso $1.3bnA Inflection planeia montar um cluster de GPU com 22.000 chips H100 topo de gama.
Para ter uma perspetiva, a Nvidia, em colaboração com a CoreWeave, recentemente esmagou os valores de referência de formação em IA com um cluster de 3.584 chips - incluindo o treino de um modelo de linguagem de grande dimensão (LLM) como o GPT-3.5 em cerca de 10 minutos.
Enquanto a procura de poder entre os principais intervenientes na IA gira em torno do empilhamento de GPUs, naquilo que começa a parecer uma apropriação feudal de terras, outros estão a concentrar-se na flexibilização dos modelos de IA para tirar mais partido da tecnologia atual.
Por exemplo, os programadores da comunidade de código aberto descobriram recentemente formas de executar LLMs em dispositivos compactos como os MacBooks.
"A necessidade é a mãe da invenção, certo?" Sid Sheth, fundador e diretor executivo da empresa de IA d-Matrix disse à CNN. "Agora que as pessoas não têm acesso a quantidades ilimitadas de capacidade de computação, estão a encontrar formas engenhosas de utilizar o que têm de uma forma muito mais inteligente".
Além disso, a escassez de GPUs é uma boa notícia para aqueles que desejam que o desenvolvimento da IA abrande - será que a tecnologia precisa mesmo de avançar mais depressa do que já está a avançar?
Provavelmente não. Como diz Sheth, "em termos líquidos, isto vai ser uma bênção disfarçada".
