NVIDIAs nye H100-GPU-er har satt nye referanser for AI-treningsoppgaver, og har slått flere rekorder i prosessen.
MLPerf ble grunnlagt av et konsortium av forskere, akademikere og andre spesialister som utviklet benchmarks for å teste hvor raskt systemer kan distribuere og kjøre AI-modeller. MLPerf er i hovedsak en serie tester som er utformet for å måle hastigheten og effektiviteten til maskinvare, programvare og tjenester for maskinlæring (ML).
Nvidia, verdensledende innen AI-maskinvare, testet en klynge med 3 584 H100 GPU-er for å vise sin formidable fart.
Klyngen, som er utviklet av AI-oppstartsbedriften Inflection AI og administrert av CoreWeave, en skytjenesteleverandør som spesialiserer seg på GPU-baserte arbeidsbelastninger, fullførte en treningsreferanse basert på GPT-3-modellen på mindre enn 11 minutter.
Med andre ord trente klyngen en GPT-3-ekvivalent modell med rundt 175 milliarder parametere på omtrent samme tid som det tar å koke kaffe eller gå tur med hunden. Vi vet ikke hvor lang tid det tok OpenAI å trene opp GPT-3, men det var i hvert fall ikke 11 minutter.
H100-GPU-ene satte rekorder i åtte andre MLPerf-tester, og viste sin rå kraft og allsidighet. Her er noen av resultatene:
- Stor språkmodell (GPT-3): 10,9 minutter
- Naturlig språkbehandling (BERT): 0,13 minutter (8 sekunder)
- Anbefaling (DLRMv2): 1.61 minutter
- Objektdeteksjon, tungvekt (Mask R-CNN): 1.47 minutter
- Objektdeteksjon, lettvekt (RetinaNet): 1.51 minutter
- Klassifisering av bilder (ResNet-50 v1.5): 0,18 minutter (11 sekunder)
- Bildesegmentering (3D U-Net): 0,82 minutter (49 sekunder)
- Talegjenkjenning (RNN-T): 1,65 minutter
I den siste runden med benchmarking, kalt v3.0, oppdaterte MLPerf også sin test for anbefalingssystemer, som er algoritmer som foreslår produkter eller tjenester til brukere basert på deres tidligere atferd.
Den nye testen bruker et større datasett og en mer oppdatert AI-modell for bedre å etterligne utfordringene som tjenesteleverandører står overfor. Nvidia er det eneste selskapet som har levert resultater på denne referanseindeksen.
MLPerf-benchmarking
MLCommons, et konsortium for AI og teknologi, offentliggjorde nylig de nyeste resultatene fra sine AI-benchmarkingtester.
Den første benchmarkrunden ble kalt v3.0, som vurderer effektiviteten ved opplæring av maskinlæringsmodeller. En annen runde, kalt Tiny v1.1, undersøker ML-applikasjoner for ultrakompakte enheter med lavt strømforbruk.
I MLPerf-runden v3.0 deltok selskaper som ASUSTek, Azure, Dell, Fujitsu, GIGABYTE, H3C, IEI, Intel & Habana Labs, Krai, Lenovo, NVIDIA, NVIDIA + CoreWeave, Quanta Cloud Technology, Supermicro og xFusion.
Samlet sett viste modellene ytelsesforbedringer på opptil 1,54 ganger i løpet av de siste seks månedene, eller 33 til 49 ganger siden første runde, v0.5, i 2019, noe som illustrerer tempoet i utviklingen av maskinlæringssystemer.
Nvidia tok skalpen i runde v3.0 takket være deres ultra-high-end H100-brikker, som de sannsynligvis vil beholde i overskuelig fremtid.
