NVIDIA's nieuwe H100 GPU's hebben nieuwe benchmarks gezet voor AI-trainingstaken en daarbij verschillende records gebroken.
MLPerf is opgericht door een consortium van onderzoekers, academici en andere specialisten die benchmarks hebben gebouwd om te testen hoe snel systemen AI-modellen kunnen implementeren en uitvoeren. In essentie is MLPerf een reeks tests die zijn ontworpen om de snelheid en efficiëntie van machine learning (ML) hardware, software en diensten te meten.
Nvidia, de wereldleider in AI-hardware, testte een cluster van 3.584 H100 GPU's om hun formidabele snelheid te laten zien.
Het cluster, mede ontwikkeld door AI startup Inflection AI en beheerd door CoreWeave, een cloud service provider gespecialiseerd in GPU-gebaseerde workloads, voltooide een trainingsbenchmark gebaseerd op het GPT-3 model in minder dan 11 minuten.
Met andere woorden, het cluster trainde een GPT-3 equivalent model met ongeveer 175 miljard parameters in ongeveer dezelfde tijd die nodig is om koffie te zetten of de hond uit te laten. Hoewel we niet weten hoe lang OpenAI erover deed om GPT-3 te trainen, was het zeker geen 11 minuten.
De H100 GPU's vestigden records in 8 andere MLPerf-tests en toonden hun ruwe kracht en veelzijdigheid. Hier zijn enkele van de resultaten:
- Groot taalmodel (GPT-3): 10,9 minuten
- Natuurlijke taalverwerking (BERT): 0,13 minuten (8 seconden)
- Aanbeveling (DLRMv2): 1.61 minuten
- Objectdetectie, zwaargewicht (masker R-CNN): 1.47 minuten
- Objectdetectie, lichtgewicht (RetinaNet): 1.51 minuten
- Beeldclassificatie (ResNet-50 v1.5): 0,18 minuten (11 seconden)
- Beeldsegmentatie (3D U-Net): 0,82 minuten (49 seconden)
- Spraakherkenning (RNN-T): 1.65 minuten
In hun laatste benchmarkronde, genaamd v3.0, heeft MLPerf ook zijn test voor aanbevelingssystemen bijgewerkt. Dit zijn algoritmen die producten of diensten voorstellen aan gebruikers op basis van hun gedrag in het verleden.
De nieuwe test maakt gebruik van een grotere dataset en een actueler AI-model om de uitdagingen waarmee serviceproviders te maken hebben beter na te bootsen. Nvidia is het enige bedrijf dat resultaten voor deze benchmark heeft ingediend.
MLPerf-benchmarking
MLCommons, een AI- en technologieconsortium, kondigde onlangs de nieuwste bevindingen van hun AI-benchmarkingtests aan.
De primaire benchmarkronde heette v3.0 en beoordeelt de efficiëntie van het trainen van modellen voor machinaal leren. Een andere ronde, genaamd Tiny v1.1, onderzoekt ML-toepassingen voor ultracompacte apparaten met een laag stroomverbruik.
Bij de MLPerf ronde v3.0 waren bedrijven betrokken als ASUSTek, Azure, Dell, Fujitsu, GIGABYTE, H3C, IEI, Intel & Habana Labs, Krai, Lenovo, NVIDIA, NVIDIA + CoreWeave, Quanta Cloud Technology, Supermicro en xFusion.
Over het geheel genomen lieten de modellen prestatieverbeteringen zien tot 1,54x in de laatste 6 maanden of 33 tot 49x sinds de eerste ronde, v0.5in 2019, wat het tempo van de vooruitgang in machine-leersystemen illustreert.
Nvidia eiste de scalp van ronde v3.0 op dankzij hun ultra-high-end H100-chips, die ze waarschijnlijk voor de nabije toekomst zullen behouden.
