Le nuove GPU H100 di NVIDIA hanno stabilito nuovi parametri di riferimento per le attività di formazione dell'intelligenza artificiale, battendo diversi record.
MLPerf è stato fondato da un consorzio di ricercatori, accademici e altri specialisti che hanno creato dei benchmark per testare la velocità con cui i sistemi possono distribuire ed eseguire modelli di intelligenza artificiale. In sostanza, MLPerf è una serie di test progettati per misurare la velocità e l'efficienza di hardware, software e servizi di apprendimento automatico (ML).
Nvidia, leader mondiale nell'hardware per l'intelligenza artificiale, ha testato una cluster di 3.584 GPU H100 per sfruttare la loro formidabile velocità.
Il cluster, co-sviluppato dalla startup Inflection AI e gestito da CoreWeave, un provider di servizi cloud specializzato in carichi di lavoro basati su GPU, ha completato un benchmark di allenamento basato sul modello GPT-3 in meno di 11 minuti.
In altre parole, il cluster ha addestrato un modello equivalente a GPT-3 con circa 175 miliardi di parametri nello stesso tempo necessario per preparare un caffè o portare a spasso il cane. Non sappiamo quanto tempo abbia impiegato OpenAI per addestrare GPT-3, ma sicuramente non sono stati 11 minuti.
Le GPU H100 hanno stabilito record in altri 8 test MLPerf, dimostrando la loro potenza e versatilità. Ecco alcuni dei risultati:
- Modello linguistico di grandi dimensioni (GPT-3): 10,9 minuti
- Elaborazione del linguaggio naturale (BERT): 0,13 minuti (8 secondi)
- Raccomandazione (DLRMv2): 1,61 minuti
- Rilevamento di oggetti, peso massimo (Maschera R-CNN): 1,47 minuti
- Rilevamento degli oggetti, leggero (RetinaNet): 1,51 minuti
- Classificazione delle immagini (ResNet-50 v1.5): 0,18 minuti (11 secondi)
- Segmentazione dell'immagine (U-Net 3D): 0,82 minuti (49 secondi)
- Riconoscimento vocale (RNN-T): 1,65 minuti
Nell'ultima tornata di benchmark, denominata v3.0, MLPerf ha aggiornato anche il test per i sistemi di raccomandazione, ovvero gli algoritmi che suggeriscono prodotti o servizi agli utenti in base al loro comportamento passato.
Il nuovo test utilizza un set di dati più ampio e un modello di intelligenza artificiale più attuale per emulare meglio le sfide affrontate dai fornitori di servizi. Nvidia è l'unica azienda a presentare i risultati di questo benchmark.
Analisi comparativa di MLPerf
MLCommons, un consorzio di AI e tecnologia, ha recentemente annunciato i nuovi risultati dei suoi test di benchmarking sull'AI.
Il primo round di benchmark è stato chiamato v3.0, che valuta l'efficienza dell'addestramento dei modelli di apprendimento automatico. Un altro round, chiamato Tiny v1.1, esamina le applicazioni di ML per dispositivi ultracompatti e a basso consumo.
Il round MLPerf v3.0 ha visto la partecipazione di aziende come ASUSTek, Azure, Dell, Fujitsu, GIGABYTE, H3C, IEI, Intel & Habana Labs, Krai, Lenovo, NVIDIA, NVIDIA + CoreWeave, Quanta Cloud Technology, Supermicro e xFusion.
Complessivamente, i modelli hanno mostrato miglioramenti delle prestazioni fino a 1,54x negli ultimi 6 mesi o da 33 a 49x dal primo round, v0.5nel 2019, a dimostrazione del ritmo dei progressi dei sistemi di apprendimento automatico.
Nvidia si è aggiudicata lo scalpo del round v3.0 grazie ai suoi chip H100 di fascia altissima, che probabilmente manterrà per il prossimo futuro.
