Die neuen H100-Grafikprozessoren von NVIDIA haben neue Maßstäbe für KI-Trainingsaufgaben gesetzt und dabei mehrere Rekorde gebrochen.
MLPerf wurde von einem Konsortium aus Forschern, Akademikern und anderen Spezialisten gegründet, die Benchmarks entwickelt haben, um zu testen, wie schnell Systeme KI-Modelle einsetzen und ausführen können. MLPerf ist im Wesentlichen eine Reihe von Tests, die die Geschwindigkeit und Effizienz von Hardware, Software und Diensten für maschinelles Lernen (ML) messen sollen.
Nvidia, der weltweit führende Anbieter von KI-Hardware, testete eine Cluster aus 3.584 H100-GPUs um ihre beeindruckende Geschwindigkeit auszuspielen.
Der vom KI-Startup Inflection AI mitentwickelte und von CoreWeave, einem auf GPU-basierte Workloads spezialisierten Cloud-Service-Anbieter, verwaltete Cluster absolvierte einen auf dem GPT-3-Modell basierenden Trainingsbenchmark in weniger als 11 Minuten.
Mit anderen Worten: Der Cluster hat ein GPT-3-äquivalentes Modell mit etwa 175 Mrd. Parametern in etwa der gleichen Zeit trainiert, die man braucht, um einen Kaffee zu kochen oder mit dem Hund spazieren zu gehen. Wir wissen zwar nicht, wie lange OpenAI gebraucht hat, um GPT-3 zu trainieren, aber es waren sicherlich keine 11 Minuten.
Die H100-GPUs haben in 8 weiteren MLPerf-Tests Rekorde aufgestellt und dabei ihre rohe Leistung und Vielseitigkeit unter Beweis gestellt. Hier sind einige der Ergebnisse:
- Großes Sprachmodell (GPT-3): 10,9 Minuten
- Verarbeitung natürlicher Sprache (BERT): 0,13 Minuten (8 Sekunden)
- Empfehlung (DLRMv2): 1.61 Minuten
- Objekterkennung, schwergewichtig (Maske R-CNN): 1.47 Minuten
- Objekterkennung, leichtgewichtig (RetinaNet): 1.51 Minuten
- Bildklassifizierung (ResNet-50 v1.5): 0,18 Minuten (11 Sekunden)
- Bildsegmentierung (3D U-Netz): 0,82 Minuten (49 Sekunden)
- Spracherkennung (RNN-T): 1.65 Minuten
In seiner neuesten Benchmarking-Runde, die den Namen v3.0 trägt, hat MLPerf auch seinen Test für Empfehlungssysteme aktualisiert, bei denen es sich um Algorithmen handelt, die Nutzern auf der Grundlage ihres bisherigen Verhaltens Produkte oder Dienstleistungen vorschlagen.
Der neue Test verwendet einen größeren Datensatz und ein aktuelleres KI-Modell, um die Herausforderungen von Dienstanbietern besser zu simulieren. Nvidia ist das einzige Unternehmen, das Ergebnisse zu diesem Benchmark vorgelegt hat.
MLPerf-Benchmarking
MLCommons, ein KI- und Technologiekonsortium, hat kürzlich die neuesten Ergebnisse seiner KI-Benchmarking-Tests bekannt gegeben.
Die erste Benchmark-Runde trug die Bezeichnung v3.0, mit der die Effizienz des Trainings von Modellen des maschinellen Lernens bewertet wird. Eine weitere Runde, Tiny v1.1, untersucht ML-Anwendungen für ultrakompakte Geräte mit geringem Stromverbrauch.
An der MLPerf-Runde v3.0 waren Unternehmen wie ASUSTek, Azure, Dell, Fujitsu, GIGABYTE, H3C, IEI, Intel & Habana Labs, Krai, Lenovo, NVIDIA, NVIDIA + CoreWeave, Quanta Cloud Technology, Supermicro und xFusion beteiligt.
Insgesamt zeigten die Modelle Leistungsverbesserungen von bis zu 1,54x in den letzten 6 Monaten oder 33 bis 49x seit der ersten Runde, v0.5im Jahr 2019, was das Tempo des Fortschritts bei maschinellen Lernsystemen verdeutlicht.
Nvidia gewann die Runde v3.0 dank seiner Ultra-High-End-H100-Chips, die sie wahrscheinlich auch in absehbarer Zukunft beibehalten werden.
