AMD annoncerede, at deres MI325X GPU ville blive udgivet senere på året, og at den slår NVIDIAs H200 GPU'er på flere fronter.
NVIDIA er den nuværende leder inden for salg af datacenterchips og anslås at have over 70% af markedsandelen for AI-chips, men Intel og AMD gør fremskridt med deres egne tilbud.
På Taiwans Computex 2024-event annoncerede AMD's CEO Lisa Su, at Instinct MI325X GPU'en ville blive frigivet senere i år. AMD siger, at efterfølgeren til MI300 vil have mere hukommelse og hurtigere datagennemstrømning.
AMD vinder større indpas med sine datacenterchips, og virksomheder som Microsoft indarbejder dem i deres Azure-cloudtjenester, mens Microsoft, Meta og Oracle alle har taget MI300-platformen i brug. Virksomheden sigter mod et salg på $4b i 2024.
Su sagde, at MI325X overgår NVIDIA's populære H200 GPU betydeligt i hukommelseskapacitet, båndbredde og ydeevne.
MI325X har op til 288 GB HBM3e-hukommelse og 6 TBps båndbredde. Det er mere end dobbelt så meget hukommelse som NVIDIAs H200 har med 30% hurtigere datagennemstrømning.
Den opnår 2,6 petaflops teoretisk peak throughput for 8-bit floating point (FP8) og 1,3 petaflops med 16-bit floating point (FP16). Det er 30% højere end H200.
En enkelt server bestående af otte af disse GPU'er kombineret på Instinct MI325X-platformen vil have nok hukommelse til at køre avancerede AI-modeller med op til 1 billion parametre, hvilket er dobbelt så meget som en H200-server.
I dag på Computex afslørede vi en flerårig, udvidet AMD Instinct-acceleratorkøreplan, som vil give en årlig kadence af førende AI-ydeevne og hukommelsesfunktioner i hver generation. pic.twitter.com/PQKyVAnAVW
- AMD (@AMD) 3. juni 2024
Mens NVIDIA's H200 er dens flagskibs-GPU, der er tilgængelig i øjeblikket, nævnte Su ikke, hvordan MI325X ville klare sig i forhold til Blackwell GPU'er, som NVIDIA vil begynde at levere senere i år.
Blackwell-topmodellerne vil have op til 192 GB HBM3e-hukommelse med 8 TB/s båndbredde. Det er en hel del mindre hukommelse, men mere båndbredde end AMD's toptilbud.
AMD siger, at de vil øge udviklingen af nye GPU'er med en ny familie af GPU'er, der forventes at blive udgivet hvert år. Det er den Samme rytme som NVIDIAs CEO Jensen Huang sagde, at NVIDIA sigter efter.
I 2050 vil AMD frigive MI350, som vil bruge en 3nm-proces og bruge AMD's CDNA 4-arkitektur.
Su siger, at CDNA 4-arkitekturen vil være et generationsspring inden for AI-computing, som vil give en 35 gange højere inferensydelse end den nuværende CDNA 3-arkitektur.
At flytte alle disse data mellem GPU-klynger og servere kræver højhastighedsnetværk. Su afsluttede sin tale med at sige, at "fremtiden for AI-netværk skal være åben."
Hun meddelte, at AMD i sidste uge sluttede sig til et konsortium af high computing-virksomheder med det formål at udvikle en netværksstandard med høj båndbredde og lav latenstid til at forbinde hundredvis af AI-acceleratorer.
NVIDIA blev ikke inviteret til at deltage i projektet og har sin egen proprietære standard. Su sagde, at UALink-standarden vil være et "godt alternativ til proprietære muligheder."
AI GPU-kamplinjerne er blevet trukket op med meget lidt subtilitet, og NVIDIA må begynde at føle varmen fra AMD og Intel.
