Las empresas tecnológicas de todo el mundo están ávidas de chips GPU de gama alta y los fabricantes no consiguen producir suficientes para satisfacer la demanda.
Detrás de cada modelo de IA de alto perfil hay una legión de GPU trabajando sin descanso, e incluso los jugadores de la lista A de la industria no se cansan de ellas.
El entrenamiento de modelos de IA requiere inmensos recursos informáticos, pero los fabricantes son relativamente escasos y las GPU de gama alta no son algo que se pueda fabricar de la noche a la mañana. La mayor parte de la demanda ha recaído sobre los hombros de Nvidia, veterana del sector, lo que ha elevado su capitalización bursátil a $1tn este año.
En estos momentos, pocos parecen estar a salvo de la escasez de GPU. - y cuanto más lejos de Nvidia estés, menos posibilidades tendrás de hacerte con ellos.
En mayo, el consejero delegado de OpenAI, Sam Altman, declaró ante el Senado de EE.UU.: "Estamos tan escasos de GPU que cuanta menos gente utilice la herramienta, mejor".
Un reciente disminución del rendimiento de GPT-4 llevó a muchos a especular sobre si OpenAI era incapaz de satisfacer la demanda, lo que les obligó a modificar y ajustar aspectos de sus modelos.
Mientras tanto, en China, la escasez de GPU ha creado un mercado negro bastante extraño en el que los compradores de las empresas tienen que participar en turbios tratos para conseguir los chips A100 y H100 de Nvidia en las plantas del rascacielos SEG de Shenzhen, un escenario ciberpunk sacado directamente de un videojuego Deus Ex.
Microsoft informe anual destacó recientemente la prolongada escasez de chips de IA como un posible factor de riesgo para los inversores.
El informe dice: "Seguimos identificando y evaluando oportunidades para ampliar las ubicaciones de nuestros centros de datos y aumentar nuestra capacidad de servidores para satisfacer las necesidades cambiantes de nuestros clientes, en particular dada la creciente demanda de servicios de IA."
Continúa: "Nuestros centros de datos dependen de la disponibilidad de terrenos permitidos y edificables, energía predecible, suministros de red y servidores, incluidas las unidades de procesamiento gráfico ('GPU') y otros componentes".
El insaciable apetito por las GPU
La potencia de cálculo es un importante cuello de botella para el desarrollo de la IA, pero pocos preveían una demanda de esta magnitud.
Si este nivel de demanda fuera predecible, habría más fabricantes de chips de IA que Nvidia y un puñado de empresas emergentes, y Nvidia controlaría al menos 84% del mercado según algunas estimaciones. AMD e Intel acaban de entrar en el juego.
Raj Joshi, vicepresidente senior de Moody's Investors Service, dijo: "Nadie podía haber modelado lo rápido o lo mucho que esta demanda va a aumentar", "No creo que la industria estuviera preparada para este tipo de aumento de la demanda".
En su presentación de resultados de mayo, Nvidia anunció que había "procurado un suministro sustancialmente mayor para la segunda mitad del año" con el fin de satisfacer la creciente demanda de chips de IA.
AMD, por su parte, declaró que está a punto de presentar su respuesta a las GPU de IA de Nvidia a finales de año. "Nuestros clientes están muy interesados en nuestras soluciones de IA". dijo el CEO de AMD Lisa Su.
Algunos expertos del sector sugieren que la escasez de chips podría remitir en dos o tres años a medida que los competidores de Nvidia amplíen su oferta. Varias startups trabajan ahora día y noche para cubrir esta demanda explosiva.
Todas y cada una de las empresas capaces de fabricar chips de gama alta aptos para cargas de trabajo de IA obtendrán buenos resultados, pero se trata de una categoría poco frecuente, ya que la investigación y fabricación de GPU es excepcionalmente larga.
La IA tiene que ser más ágil
Desarrolladores de IA relativamente novatos como Inflection se apresuran a construir pilas de entrenamiento colosales.
Después de plantear un poderoso $1,3bnInflection tiene previsto montar un clúster de GPU de 22.000 chips H100 de gama alta.
Por ejemplo, recientemente Nvidia, en colaboración con CoreWeave ha batido los récords de entrenamiento de IA con un clúster de 3.584 chips, incluido el entrenamiento de un gran modelo lingüístico (LLM) como GPT-3.5 en unos 10 minutos.
Mientras la búsqueda de poder entre los principales protagonistas de la IA gira en torno al apilamiento de GPU en lo que empieza a parecer una apropiación feudal de tierras, otros se centran en perfeccionar los modelos de IA para sacar más partido a la tecnología actual.
Por ejemplo, los desarrolladores de la comunidad de código abierto han encontrado recientemente formas de ejecutar LLM en dispositivos compactos como los MacBook.
"La necesidad es la madre de la invención, ¿verdad?". Sid Sheth, fundador y consejero delegado de la empresa de IA d-Matrix dijo a CNN. "Así que ahora que la gente no tiene acceso a cantidades ilimitadas de potencia de cálculo, están encontrando formas ingeniosas de utilizar lo que tienen de una manera mucho más inteligente".
Además, la escasez de GPU es una buena noticia para quienes desean que el desarrollo de la IA se ralentice: ¿realmente es necesario que la tecnología avance más rápido de lo que ya lo está haciendo?
Probablemente no. Como dice Sheth: "Net-net, esto va a ser una bendición disfrazada".
