AMD meddelade att deras MI325X GPU skulle lanseras senare i år och att den slår NVIDIAs H200 GPU på flera fronter.
NVIDIA är den nuvarande ledaren inom försäljning av chip för datacenter och beräknas ha över 70% av marknadsandelen för AI-chip, men Intel och AMD gör framsteg med sina egna erbjudanden.
På Taiwans Computex 2024-event meddelade AMD:s VD Lisa Su att Instinct MI325X GPU kommer att släppas senare i år. AMD säger att efterföljaren till MI300 kommer att ha mer minne och snabbare dataflöde.
AMD får allt större genomslag för sina datacenterchip, med företag som Microsoft som införlivar dem i sina Azure-molntjänster medan Microsoft, Meta och Oracle alla har antagit MI300-plattformen. Företaget siktar på en försäljning på $4b för 2024.
Su säger att MI325X är betydligt bättre än NVIDIAs populära H200 GPU när det gäller minneskapacitet, bandbredd och prestanda.
MI325X har upp till 288 GB HBM3e-minne och en bandbredd på 6 TBps. Det är mer än dubbelt så mycket minne som NVIDIAs H200 har med 30% snabbare dataflöde.
Den uppnår 2,6 petaflops maximal teoretisk genomströmning för 8-bitars flyttal (FP8) och 1,3 petaflops med 16-bitars flyttal (FP16). Det är 30% högre än H200.
En enda server med åtta av dessa GPU:er kombinerade på Instinct MI325X-plattformen har tillräckligt med minne för att köra avancerade AI-modeller med upp till 1 biljon parametrar, vilket är dubbelt så mycket som en H200-server klarar av.
Idag på Computex presenterade vi en flerårig, utökad färdplan för AMD Instinct-acceleratorer som kommer att ge en årlig kadens av ledande AI-prestanda och minneskapacitet i varje generation. pic.twitter.com/PQKyVAnAVW
- AMD (@AMD) 3 juni 2024
Medan NVIDIA:s H200 är dess flaggskepps-GPU som för närvarande är tillgänglig, nämnde Su inte hur MI325X skulle stå sig mot Blackwell GPU:er NVIDIA kommer att börja leverera senare i år.
Blackwells toppmodeller kommer att ha upp till 192 GB HBM3e-minne med en bandbredd på 8 TB/s. Det är en hel del mindre minne men mer bandbredd än AMD: s bästa erbjudande.
AMD säger att de kommer att öka utvecklingen av nya GPU:er med en ny familj av GPU:er som förväntas lanseras varje år. Det är den samma takt som NVIDIA:s VD Jensen Huang sa att NVIDIA siktar på.
År 2050 kommer AMD att lansera MI350 som kommer att använda en 3nm-process och använda AMD:s CDNA 4-arkitektur.
Su säger att CDNA 4-arkitekturen kommer att innebära ett generationssprång inom AI-beräkningar och kommer att ge 35 gånger högre inferensprestanda jämfört med den nuvarande CDNA 3-arkitekturen.
För att flytta alla dessa data mellan GPU-kluster och servrar krävs höghastighetsnätverk. Su avslutade sitt anförande med att säga att "framtiden för AI-nätverk måste vara öppen".
Hon meddelade att AMD förra veckan gick med i ett konsortium av företag som sysslar med avancerade datorsystem i syfte att utveckla en nätverksstandard med hög bandbredd och låg latens för att ansluta hundratals AI-acceleratorer.
NVIDIA bjöds inte in att delta i projektet och har sin egen standard. Su sa att UALink-standarden kommer att vara ett "bra alternativ till proprietära alternativ".
Stridslinjerna för AI GPU:er har dragits upp med mycket liten subtilitet och NVIDIA måste börja känna av hettan från AMD och Intel.
