NVIDIA CEO Jensen Huang describió recientemente en detalle el último chip acelerador de IA de la empresa, denominado Blackwell, en la keynote de Computex 2024.
Con Blackwell, NVIDIA pretende consolidar su dominio en el floreciente espacio del hardware de IA y demostrar al mismo tiempo su capacidad para innovar progresivamente.
Con la capitalización bursátil de la compañía acercándose a la marca de los $3 billones, el ascenso de NVIDIA al mando supremo de la infraestructura de IA ha sido poco menos que asombroso.
Huang no ve signos de estancamiento en el progreso de la empresa. sigue superando las expectativas de los analistas.
Pero, ¿qué nos dicen realmente las especificaciones y las cifras sobre las capacidades y el impacto potencial de Blackwell?
Veamos cómo puede afectar a la industria de la IA y a la sociedad en general.
Potencia de cálculo bruta
La cifra principal es que un solo Blackwell "superchip" - que consta de dos GPU conectadas por un enlace de alta velocidad, contiene la friolera de 208.000 millones de transistores.
Esto supone un incremento de casi 3 veces con respecto a la anterior generación del chip Hopper de NVIDIA. NVIDIA afirma que esto se traduce en un aumento de la velocidad de 30 veces en tareas de inferencia de IA en comparación con Hopper.
Para ponerlo en perspectiva, consideremos un ejemplo de gran modelo lingüístico (LLM) con 100.000 millones de parámetros, similar en escala a GPT-3.
Para entrenar un modelo de este tipo con la anterior generación de GPU A100 de NVIDIA se necesitarían unos 1.024 chips A100 funcionando durante un mes.
Con Blackwell, NVIDIA afirma que el mismo modelo podría entrenarse en poco más de una semana utilizando 256 chips Blackwell, lo que supone multiplicar por 4 el tiempo de entrenamiento.
Eficiencia energética
A pesar de su espectacular aumento del rendimiento, NVIDIA afirma que Blackwell puede reducir el coste y el consumo de energía hasta 25 veces en comparación con Hopper para determinadas cargas de trabajo de IA.
La compañía puso como ejemplo el entrenamiento de un modelo de 1,8 billones de parámetros, que antes habría requerido 8.000 GPU Hopper con 15 megavatios de potencia.
Con Blackwell, NVIDIA afirma que esto podría lograrse con 2.000 GPU que consumieran sólo 4 megavatios.
Aunque un consumo de 4 megavatios para una sola ejecución de entrenamiento de IA sigue siendo considerable, es impresionante que Blackwell pueda multiplicar casi por 4 la eficiencia energética para una tarea tan exigente.
No subestimemos las cifras. Para poner esa cifra de 4 megavatios en perspectiva, equivale al consumo medio de energía de más de 3.000 hogares estadounidenses.
Así, un solo superordenador de inteligencia artificial de Blackwell para entrenar un modelo de última generación consumiría tanta energía como toda una ciudad durante el proceso de entrenamiento.
Las organizaciones que desarrollan grandes modelos de IA suelen perfeccionar sus modelos a través de muchas iteraciones, y hay que tener en cuenta que hay cientos de organizaciones que desarrollan grandes modelos.
Costes medioambientales
Incluso con una mayor eficiencia energética, la adopción generalizada de Blackwell podría aumentar significativamente el consumo total de energía de la industria.
Por ejemplo, supongamos que en todo el mundo se utilizan unas 100.000 GPU de alto rendimiento para el entrenamiento y la inferencia de inteligencia artificial.
Si Blackwell permite multiplicar por 10 la adopción de la IA en los próximos años, lo que no parece una cifra extraordinaria, eso significaría que se utilizarían un millón de GPU Blackwell.
Con el consumo de 1,875 kilovatios por GPU citado por Huang, un millón de GPU Blackwell consumirían 1,875 gigavatios de energía, casi la producción de dos centrales nucleares medias.
Las centrales nucleares tardan muchos años en construirse y cuestan billones. Están diseñadas principalmente para apoyar la infraestructura nacional, no solo para entrenar modelos de IA.
Análisis anteriores han pronosticado que las cargas de trabajo de IA podrían consumir tanta energía como un país pequeño en 2027, y es difícil ver con precisión cómo se satisfarán razonablemente estas demandas.
El consumo de agua también es un problema colosal, y Microsoft ha revelado enormes aumentos en su consumo de agua. consumo de agua de 2022 a 2023que se correlacionan con la formación de modelos de IA y la demanda de centros de datos.
Algunas partes de Estados Unidos ya han sufrido escasez de agua debido al consumo de los centros de datos.
Si no se encuentran mejores formas de hacer funcionar el hardware de IA a partir de energías renovables, las emisiones de carbono y el consumo de agua de la IA impulsada por Blackwell serán enormes, y NVIDIA acelerará la era de la "hiperescala" en el entrenamiento de modelos de IA.
Y más allá del consumo de energía, es esencial tener en cuenta otros costes medioambientales, como los minerales de tierras raras y otros recursos necesarios para fabricar chips avanzados como Blackwell a gran escala y los residuos generados cuando llegan al final de su vida útil.
Esto no quiere decir que los beneficios sociales de las capacidades de IA desbloqueadas por Blackwell no puedan compensar estos costes medioambientales.
Pero sí significa que habrá que gestionar y mitigar cuidadosamente el impacto medioambiental como parte de cualquier plan de despliegue responsable de Blackwell. Queda la duda de si eso es posible o realista.
El impacto potencial de Blackwell
Pensemos en cómo sería el mundo en una era de adopción generalizada de Blackwell.
Algunos cálculos aproximados dan una idea de las posibilidades y los riesgos:
- Se podrían entrenar modelos lingüísticos 10 veces más grandes que GPT-3 en un plazo de tiempo similar y utilizando una cantidad de recursos informáticos similar a la de GPT-3 originalmente. Esto supondrá un gran salto en las capacidades de la IA del lenguaje natural.
- Como se describe en el discurso de aperturaLos asistentes digitales con capacidades cercanas a las humanas podrían llegar a ser rentables en su desarrollo e implantación generalizada. Una IA capaz de realizar 80% de las tareas típicas de un trabajo del conocimiento a una décima parte del coste de un trabajador humano podría desplazar hasta 45 millones de puestos de trabajo solo en Estados Unidos.
- La capacidad computacional para entrenar un sistema de IA con una inteligencia general igual o superior a la del cerebro humano puede estar al alcance de la mano. Se calcula que la capacidad de cálculo del cerebro oscila entre 10^13 y 10^16 conexiones neuronales. Un superordenador Blackwell equipado con un millón de GPU tendría una capacidad de cálculo estimada de 10^18 flops, lo que podría bastar para simular aspectos del cerebro humano en tiempo real.
Por supuesto, se trata de escenarios altamente especulativos y deben tomarse con un gran grano de sal. La viabilidad técnica no se traduce necesariamente en un despliegue en el mundo real.
No obstante, ponen de manifiesto el enorme potencial de la aceleración de la IA que NVIDIA está haciendo posible con Blackwell.
Huang describió Blackwell como "una nueva plataforma informática para una nueva era informática". A la vista de las cifras, es difícil rebatir esa caracterización.
Blackwell parece estar a punto de marcar el comienzo de la próxima gran fase de la revolución de la IA, para bien o para mal.
Por impresionantes que sean las especificaciones del chip, la sociedad necesitará algo más que innovaciones de hardware para asimilar las implicaciones de la tecnología.
La ecuación y el análisis coste-beneficio deben incluir una cuidadosa consideración del impacto y los esfuerzos medioambientales.
Aunque los chips como Blackwell son cada vez más eficientes desde el punto de vista energético, es probable que por sí solos no basten para mantener el progreso actual.
¿Encontrará la industria la manera? Probablemente.
Pero aún nos quedan algunos años para descubrir los riesgos y beneficios de la IA para la sociedad y, de hecho, para el propio planeta.
