As novas GPUs H100 da NVIDIA estabeleceram novos padrões de referência para tarefas de treino de IA, batendo vários recordes no processo.
O MLPerf foi fundado por um consórcio de investigadores, académicos e outros especialistas que criaram referências para testar a rapidez com que os sistemas podem implementar e executar modelos de IA. Essencialmente, o MLPerf é uma série de testes concebidos para medir a velocidade e a eficiência do hardware, software e serviços de aprendizagem automática (ML).
A Nvidia, líder mundial em hardware de IA, testou um cluster de 3.584 GPUs H100 para flexibilizar a sua formidável velocidade.
O cluster, co-desenvolvido pela startup de IA Inflection AI e gerido pela CoreWeave, um fornecedor de serviços na nuvem especializado em cargas de trabalho baseadas em GPU, completou um benchmark de treino baseado no modelo GPT-3 em menos de 11 minutos.
Por outras palavras, o cluster treinou um modelo equivalente ao GPT-3 com cerca de 175 mil milhões de parâmetros no mesmo tempo que demora a preparar um café ou a passear o cão. Embora não saibamos quanto tempo a OpenAI levou para treinar o GPT-3, certamente não foram 11 minutos.
As GPUs H100 estabeleceram recordes em 8 outros testes MLPerf, demonstrando a sua potência bruta e versatilidade. Aqui estão alguns dos resultados:
- Modelo de língua grande (GPT-3): 10,9 minutos
- Processamento de linguagem natural (BERT): 0,13 minutos (8 segundos)
- Recomendação (DLRMv2): 1,61 minutos
- Deteção de objectos, peso pesado (Máscara R-CNN): 1.47 minutos
- Deteção de objectos, leve (RetinaNet): 1,51 minutos
- Classificação de imagens (ResNet-50 v1.5): 0,18 minutos (11 segundos)
- Segmentação de imagens (3D U-Net): 0,82 minutos (49 segundos)
- Reconhecimento do discurso (RNN-T): 1,65 minutos
Na sua última ronda de avaliação comparativa, denominada v3.0, o MLPerf também actualizou o seu teste para sistemas de recomendação, que são algoritmos que sugerem produtos ou serviços aos utilizadores com base no seu comportamento passado.
O novo teste utiliza um conjunto de dados maior e um modelo de IA mais atual para emular melhor os desafios enfrentados pelos fornecedores de serviços. A Nvidia é a única empresa a apresentar resultados neste teste de referência.
Avaliação comparativa do MLPerf
MLCommonsum consórcio de IA e tecnologia, anunciou recentemente os mais recentes resultados dos seus testes de aferição de desempenho de IA.
A ronda de referência principal foi designada v3.0, que avalia a eficiência da formação de modelos de aprendizagem automática. Outra ronda, denominada Tiny v1.1, examina as aplicações de aprendizagem automática para dispositivos ultra-compactos e de baixo consumo.
A ronda MLPerf v3.0 contou com a participação de empresas como a ASUSTek, Azure, Dell, Fujitsu, GIGABYTE, H3C, IEI, Intel & Habana Labs, Krai, Lenovo, NVIDIA, NVIDIA + CoreWeave, Quanta Cloud Technology, Supermicro e xFusion.
Globalmente, os modelos apresentaram melhorias de desempenho até 1,54x nos últimos 6 meses ou 33 a 49x desde a primeira ronda, v0.5em 2019, o que ilustra o ritmo de progresso dos sistemas de aprendizagem automática.
A Nvidia conquistou o escalpe da ronda v3.0 graças aos seus chips H100 ultra-ultra-altos, que provavelmente manterão num futuro próximo.
