NVIDIA:s nya H100 GPU:er har satt nya riktmärken för AI-träningsuppgifter och slagit flera rekord i processen.
MLPerf grundades av ett konsortium av forskare, akademiker och andra specialister som byggde benchmarks för att testa hur snabbt system kan distribuera och köra AI-modeller. I grund och botten är MLPerf en serie tester som är utformade för att mäta hastigheten och effektiviteten hos maskininlärning (ML) hårdvara, programvara och tjänster.
Nvidia, världsledande inom AI-hårdvara, testade en kluster med 3.584 H100 GPU:er för att visa upp sin formidabla snabbhet.
Klustret, som utvecklats av AI-startupen Inflection AI och hanteras av CoreWeave, en molntjänstleverantör som specialiserar sig på GPU-baserade arbetsbelastningar, klarade ett träningsriktmärke baserat på GPT-3-modellen på mindre än 11 minuter.
Med andra ord tränade klustret en GPT-3-ekvivalent modell med cirka 175 miljarder parametrar på ungefär samma tid som det tar att brygga ett kaffe eller gå ut med hunden. Även om vi inte vet hur lång tid det tog OpenAI att träna GPT-3, var det verkligen inte 11 minuter.
H100 GPU:erna satte rekord i 8 andra MLPerf-tester, vilket visar deras råa kraft och mångsidighet. Här är några av resultaten:
- Stor språkmodell (GPT-3): 10,9 minuter
- Behandling av naturligt språk (BERT): 0,13 minuter (8 sekunder)
- Rekommendation (DLRMv2): 1,61 minuter
- Objektdetektering, tungviktare (Mask R-CNN): 1,47 minuter
- Objektdetektering, lättviktig (RetinaNet): 1,51 minuter
- Klassificering av bilder (ResNet-50 v1.5): 0,18 minuter (11 sekunder)
- Bildsegmentering (3D U-Net): 0,82 minuter (49 sekunder)
- Taligenkänning (RNN-T): 1,65 minuter
I sin senaste omgång av benchmarking, kallad v3.0, uppdaterade MLPerf också sitt test för rekommendationssystem, vilket är algoritmer som föreslår produkter eller tjänster till användare baserat på deras tidigare beteende.
Det nya testet använder ett större dataset och en mer aktuell AI-modell för att bättre efterlikna de utmaningar som tjänsteleverantörer står inför. Nvidia är det enda företaget som har lämnat in resultat på detta benchmark.
MLPerf-benchmarking
MLCommonsett konsortium för AI och teknik, presenterade nyligen de senaste resultaten från sina AI-benchmarkingtester.
Den primära benchmarkrundan kallades v3.0, som utvärderar effektiviteten i träningen av maskininlärningsmodeller. En annan omgång, kallad Tiny v1.1, undersöker ML-applikationer för ultrakompakta enheter med låg effekt.
I MLPerf-rundan v3.0 deltog företag som ASUSTek, Azure, Dell, Fujitsu, GIGABYTE, H3C, IEI, Intel & Habana Labs, Krai, Lenovo, NVIDIA, NVIDIA + CoreWeave, Quanta Cloud Technology, Supermicro och xFusion.
Sammantaget visade modellerna prestandaförbättringar på upp till 1,54 gånger under de senaste 6 månaderna eller 33 till 49 gånger sedan den första omgången, v0.5under 2019, vilket illustrerar takten i utvecklingen av system för maskininlärning.
Nvidia tog hem skalpen i round v3.0 tack vare sina ultra-high-end H100-chip, som de sannolikt kommer att behålla under överskådlig framtid.
