AMD kondigde aan dat zijn MI325X GPU later dit jaar zou worden uitgebracht en dat het de H200 GPU's van NVIDIA op verschillende fronten zou verslaan.
NVIDIA is de huidige leider in de verkoop van datacenterchips en heeft naar schatting meer dan 70% van het marktaandeel voor AI-chips in handen, maar Intel en AMD boeken vooruitgang met hun eigen aanbod.
Tijdens het Computex 2024-evenement in Taiwan kondigde AMD CEO Lisa Su aan dat de Instinct MI325X GPU later dit jaar op de markt zou komen. AMD zegt dat de opvolger van de MI300 meer geheugen en een snellere gegevensdoorvoer zal hebben.
AMD wordt steeds meer gebruikt voor zijn datacenterchips. Bedrijven als Microsoft nemen ze op in hun Azure-clouddiensten, terwijl Microsoft, Meta en Oracle allemaal het MI300-platform hebben geadopteerd. Het bedrijf mikt op een omzet van $4b in 2024.
Su zei dat de MI325X aanzienlijk beter presteert dan de populaire H200 GPU van NVIDIA op het gebied van geheugencapaciteit, bandbreedte en prestaties.
De MI325X heeft tot 288 GB HBM3e geheugen en 6 TBps aan bandbreedte. Dat is meer dan twee keer het geheugen dat NVIDIA's H200 heeft met 30% snellere gegevensdoorvoer.
Hij haalt 2,6 petaflops piek theoretische doorvoer voor 8-bits floating point (FP8), en 1,3 petaflops met 16-bits floating point (FP16). Dat is 30% hoger dan de H200.
Een enkele server met acht van deze GPU's gecombineerd op het Instinct MI325X Platform heeft genoeg geheugen om geavanceerde AI-modellen met maximaal 1 biljoen parameters uit te voeren, het dubbele van de grootte die door een H200 server wordt ondersteund.
Vandaag hebben we op Computex een meerjarige, uitgebreide AMD Instinct accelerator roadmap onthuld die een jaarlijkse cadans van toonaangevende AI-prestaties en geheugenmogelijkheden bij elke generatie zal brengen. pic.twitter.com/PQKyVAnAVW
- AMD (@AMD) 3 juni 2024
Terwijl NVIDIA's H200 haar vlaggenschip GPU is die momenteel beschikbaar is, heeft Su niet vermeld hoe de MI325X het zou opnemen tegen de Blackwell GPU's die NVIDIA later dit jaar zal gaan uitbrengen.
De topmodellen van Blackwell hebben tot 192 GB HBM3e geheugen met 8 TB/s bandbreedte. Dat is een behoorlijke hoeveelheid minder geheugen maar meer bandbreedte dan AMD's topaanbod.
AMD zegt dat het de ontwikkeling van nieuwe GPU's zal versnellen met een nieuwe GPU-familie die naar verwachting elk jaar zal worden uitgebracht. Dat is de dezelfde cadans waarvan NVIDIA CEO Jensen Huang zei dat NVIDIA er naar streeft.
In 2050 zal AMD de MI350 uitbrengen, die gebruik zal maken van een 3nm-proces en AMD's CDNA 4-architectuur zal gebruiken.
Su zegt dat de CDNA 4-architectuur een generatiesprong zal zijn in AI-computing die een 35x hogere inferentieprestatie zal leveren ten opzichte van de huidige CDNA 3-architectuur.
Voor het verplaatsen van al die gegevens tussen GPU-clusters en servers zijn snelle netwerken nodig. Su sloot haar toespraak af met de opmerking dat "de toekomst van AI-netwerken open moet zijn".
Ze kondigde aan dat AMD zich vorige week heeft aangesloten bij een consortium van high computing-bedrijven met als doel een netwerkstandaard met hoge bandbreedte en lage latentie te ontwikkelen om honderden AI-versnellers met elkaar te verbinden.
NVIDIA werd niet uitgenodigd om deel te nemen aan het project en heeft zijn eigen propriëtaire standaard. Su zei dat de UALink-standaard een "geweldig alternatief zal zijn voor propriëtaire opties".
De AI GPU-strijdlijnen zijn met weinig subtiliteit getrokken en NVIDIA moet de hitte van AMD en Intel beginnen te voelen.
