Helios-Server: AMD greift Nvidia mit Instinct MI455X an

AMD-Chefin Lisa Su hat das riesige Chipkonstrukt Instinct MI455X schon gezeigt, jetzt kommen technische Details zum Innenleben. Zudem erklärt die Firma das Zusammenspiel aus Prozessoren, Beschleunigern und Netzwerk-Hardware im eigenen Server-Rackdesign Helios. Die Parallelen zu Nvidias Server Vera Rubin NVL72 sind nicht zufällig; AMD tritt in direkte Konkurrenz.

Eine komplette Instinct-MI455X-GPU besteht aus insgesamt 24 Chip-Bausteinen, die auf einem Package vereint sind. Zwölf stellt der Chipauftragsfertiger TSMC her, dazu gesellen sich zwölf High-Bandwidth-Memory-4-Stapel (HBM4). Die sogenannten „Accelerator Complex Dies“ (XCDs) enthalten die eigentlichen Rechenwerke. Vier Stück sitzen auf jedem der beiden „Fabric and Cache Dies“ (FCDs), die den zweigeteilten Level-2-Cache, die Leitungen zum HBM4-Speicher und die Verbindungen zur Kommunikation untereinander enthalten. Die I/O-Dies enthalten die PCI-Express-6.0-Links, die in Helios-Servern zur Anbindung der Netzwerk-Controller per Ultra Accelerator Link (UALink) dienen.

Darüber hinaus befinden sich in den I/O-Dies (IODs) Infinity-Fabric-Links zur Anbindung eines Epyc-9006-Prozessors mit direktem GPU-Speicherzugriff. 256 GByte/s bidirektionale Transferrate stehen hier zur Verfügung.

2 + 3 nm

Die Accelerator Complex Dies stellt TSMC mit aktueller 2-Nanometer-Technik (N2) her, die schlechter skalierenden Fabric and Cache Dies und I/O-Dies mit 3-Nanometer-Strukturen (N3P). Zusammen kommen sie auf etwa 320 Milliarden Transistoren. Die HBM4-Bausteinen haben eine Kapazität von je 32 GByte. Das ergibt 432 GByte Speicher mit einer Transferrate von 23,3 TByte/s pro GPU-Package.

Aus 256 Compute Units (CUs) bei der Vorgängerin MI355X werden bei der MI455X ebenso viele Work Group Processors (WGPs). AMD sagt es nicht direkt, aber das müsste eine Verdoppelung der Rechenwerke bedeuten. Bei Radeon-Grafikkarten enthielt ein Work Group Processor bisher immer zwei Compute Units.

Das erklärt auch die verdoppelte Rechenleistung bei 32 sowie 16 Bit breiten Datenformaten: Bei FP32-Operationen soll eine MI455X jetzt 315 Billionen Operationen pro Sekunde (315 Teraflops) schaffen. Ab 16 Bit steigt die Rechenleistung dank der integrierten Matrix-Einheiten erheblich an, bei FP16 und BF16 auf nunmehr fünf Billiarden Operationen pro Sekunde (5,03 Petaflops).

AMD Instinct MI455X im Detail (9 Bilder)

Bis zu 80 KI-Petaflops

Bei 8 und 4 Bit nennt AMD gut 20 beziehungsweise 40 Petaflops. Gemeint ist die Rechenleistung bei sogenannten dichten (dense) Matrizen. Mit dünn besetzten Matrizen sind maximal 80 Petaflops drin, da die GPU Rechenoperationen mit Nullwerten überspringen kann. Diese Sparsity genannte Funktion ist bei KI-Beschleunigern firmenübergreifend verbreitet.

Gegenüber der Instinct MI355X entspricht die Rechenleistung bei 8- und 4-Bit-Operationen einer Vervierfachung. AMD schafft das vermutlich durch breitere Matrizen bei gleichzeitiger Verdoppelung der Matrix-Einheiten.

Nvidia gibt bei seiner aktuellen Rubin-GPU je nach Workload 35 bis 50 Petaflops inklusive Sparsity an, womit AMDs Beschleuniger zumindest auf dem Papier flotter ist. Das sollen auch eigene Benchmarks beweisen, allerdings stellen sich firmen gern im bestmöglichen licht dar. Die Hersteller-Benchmarks sind daher wie immer mit Vorsicht zu betrachten. Insbesondere KI-Workloads hängen stark davon ab, wie die Rechenwerke angesprochen werden.

AMD geht derweil den branchenweiten Trend zu sogenannten Microscaling-Formaten wie MXFP8 und MXFP4 mit – spezielle Varianten der weiterhin unterstützten FP8- und FP4-Datenformate.

Interner Umbau für mehr Auslastung

Zahlreiche GPU-interne Anpassungen sollen die Auslastung und damit etwa den Token-Output von KI-Modellen verbessern. Der bisherige Infinity Cache fällt weg, dafür vergrößert AMD den Level-2-Cache mit 192 MByte pro Beschleuniger erheblich, der jetzt auch global und nicht mehr pro Compute Unit gefasst ist. Gleichzeitig wachsen die lokalen Caches der Rechenwerke.

Hervorzuheben ist der Multicast einzelner Speicher-Leseoperationen auf mehrere Work Group Processors. Da KI-Modelle häufig dieselben Gewichte und Aktivierungen wiederverwenden, spart die GPU damit Rechenzeit.

Helios-Server mit 72 Beschleunigern

In einem Helios-Server stecken insgesamt 72 Instinct-MI455X-Beschleuniger. 18 Epyc-Venice-Prozessoren übernehmen die Arbeits-Orchestrierung an jeweils vier GPUs. AMD verfolgt das gleiche Ziel wie Nvidia, ein komplettes Serverrack möglichst wie eine einzelne Recheneinheit arbeiten zu lassen.

AMD sieht dafür drei Network Interface Controller (NICs) pro GPU vor, die per UALink mit 256 GByte/s angebunden sind. AMD setzt hier auf Netzwerktechnik der übernommenen Firma Pensando. Nach außen verbindet sich jeder Tray über 12 × 800-Gigabit-Ethernet.

Insbesondere bei der Verkabelung zeigt sich AMDs Rückstand gegenüber Nvidia, der mit dem GB200 NVL72 sein erstes vergleichbares System im Jahr 2024 vorgestellt hat. Zwei Jahre später hat Nvidia die meisten Kabel durch feste Steckverbindungen ersetzt, um die Inbetriebnahme zu beschleunigen und Fehlerquellen zu minimieren.

AMDs Helios-Serverdesign (5 Bilder)

Schweigen über Leistungsaufnahme

Eine Angabe fehlt derweil auffällig in AMDs Dokumentation: Wie viel elektrische Leistung eine Instinct MI455X oder ein ganzes Helios-System aufnimmt. Die Werte können sich je nach Konfiguration erheblich unterscheiden, allerdings nennt die Firma auch keine Spanne. Bereits die Vorgängerin MI355X schluckt bis zu 1,4 kW. Mehr als 200 Kilowatt für einen Helios-Rack wären durchaus denkbar. Der Kaufpreis dürfte bei mehreren Millionen US-Dollar liegen.

(mma)