Architektur Deep Dive: So sollen AMDs CDNA-5-GPUs Platzhirsch Nvidia Paroli bieten

AMD hat für Server die neue GPU-Architektur CDNA 5 vorgestellt. Sie bietet neben dem typischen „von allem mehr“ auch einige Überraschungen. So wird einiges am internen Aufbau an RDNA angeglichen, gleichzeitig werden Neuerungen wie der Infinity-Cache wieder aufgegeben. CDNA 5 macht vieles anders CDNA 5 ist mehr als eine lineare Weiterentwicklung der CDNA-Architektur. Seit ihrer Einführung als Weiterentwicklung der GCN-Architektur vergangener Tage stand das C in CDNA für Compute und unterschied sich so von RDNA (Radeon DNA) nur dahingehend, dass man sich von den Optimierungen für Spiele abgrenzte. GCN war bereits für hohe Rechenlasten in Servern und im Forschungsumfeld ausgelegt und so sollte es auch bleiben. CDNA behielt die Nutzung von HBM als Grafikspeicher bei, bekam KI-Kerne ähnlich den Tensor-Kernen von Nvidia und wurde auf Durchsatz und Rechenleistung optimiert. RDNA hingegen ging einen anderen Weg, wurde auf Spieleleistung optimiert sowie darauf, in Spielen die Ressourcen optimal auszunutzen. Die Entwicklung von AMDs Compute-Architektur Als die KI-Entwicklung 2024 den Durchbruch mit ChatGPT & Co erlebte, wurde CDNA in der dritten Generation mit einer Reihe neuer Datenformate erweitert, um im neuen Umfeld, dem Training von Large Language Models (LLMs), mithalten zu können. War zuvor FP16 das kleinste unterstützte Format, konnten nun auch INT8 und FP8 insbesondere bei der Matrizenrechnung beschleunigt werden. Außerdem kam die von Nvidia bekannte Sparsity-Funktion hinzu, die Matrizen mit vielen Leerstellen noch einmal um den Faktor zwei beschleunigen kann. CDNA 3 erhielt auch den bei RDNA erfolgreich eingesetzten Infinity-Cache, einen L3-Cache, der ähnlich wie bei CPUs Zugriffe auf den Grafikspeicher puffert und so die effektive Bandbreite erhöht. Außerdem brachte AMD die bahnbrechende Chiplet-Technologie in die Server-GPUs, bei der Chiplets mit den Rechenkernen auf IO-Dies gestapelt werden, in denen dann der L3-Cache sitzt. CDNA 4 war in erster Linie ein Shrink, weswegen AMD die Produktnummer von MI300 nur auf MI350 erhöhte. Das Chiplet mit den Rechenkernen wurde anstatt in N5 nun in TSMCs N3P gefertigt. Der Shrink bedeutete für AMD kleinere Herausforderungen. Anstatt 38 von 40 aktiven CUs pro Chiplet waren bei CDNA 4 nur 32 von 36 CUs aktiv. Die Ausbeute des N3P-Prozesses war etwas schlechter. Dahingegen blieben Stapeltechnik, Aufbau und Architektur weitgehend gleich. Die Liste der unterstützten Datenformate wurde erweitert und enthielt einige Spezialformate, die heute noch einmal für CDNA 5 beworben werden. Gut möglich, dass AMD dort einige Neuerungen, die ursprünglich für CDNA 5 gedacht waren, vorgezogen hat. Kleiner, schneller, mehr Bei CDNA 5 geht AMD hingegen in die Vollen. Alle Chiplets erleben einen Shrink, gleichzeitig wird die Architektur massiv verbessert und Speicherzugriffe werden beschleunigt. Die Gesamtheit der Veränderungen bei CDNA 5 hat AMD in einem Whitepaper veröffentlicht. Eine Übersicht gab es bereits in der Berichterstattung zu AMDs Hausmesse Advancing AI. Die neuen Work Group Processors Das Chiplet mit den GPU-Rechenkernen ist der XCD, der Accelerator Complex Die. Jedes Chiplet enthält 32 Rechenkerne, die bei CDNA 4 noch Compute Units (CU) hießen, jetzt aber Work Group Processors (WGP) genannt werden. Wem das bekannt vorkommt, der hat bei der Einführung von RDNA aufgepasst. Dort wurden 2 CUs zu einem WGP zusammengefasst, um komplexe Aufgaben schneller erledigen zu können und die übergeordnete Struktur einfacher zu halten. Es ist nicht ganz klar, ob AMD bei CDNA jetzt exakt den gleichen Weg gegangen ist. Aber die knapp doppelte Anzahl verbauter Transistoren bei gleicher Anzahl an WGPs wie zuvor CUs, gepaart mit AMDs Aussage, dass die WGPs doppelt so viel Durchsatz liefern wie zuvor die CUs, verleitet den Autor zu der Vermutung, dass genau das geschehen ist. AMD liefert in den neuen XCDs also wahrscheinlich doppelt so viele Rechenkerne wie zuvor. Die neue Fertigung in TSMCs N2 liefert passend dazu insbesondere Vorteile beim Stromverbrauch, aber weniger Vorteile bei Takt oder Transistordichte. Nimmt man größere Chiplets in Kauf, kommt man wenigstens mit dem Stromverbrauch nicht in Bedrängnis. Und CDNA 5 ist groß. Eine komplette MI455X beherbergt 320 Milliarden Transistoren, über 50 % mehr als Nvidias B200 mit 208 Milliarden, welcher allerdings noch in 4NP gefertigt wird, Nvidias Name für einen angepassten N5-Prozess. AMD ist hier, zumindest fertigungstechnisch und bis zum Erscheinen von Vera Rubin, Nvidia gegenüber um mehrere Schritte voraus. Eine weitere Sache wurde von RDNA übernommen: Wie GCN rechneten die CUs von CDNA in Wave64, also einer Rechenoperation, die gleichzeitig auf 64 Werte angewandt wurde und die Rechenwerke wie eine Welle durchlief. Da es nicht immer einfach ist, 64 Werte zu sammeln, auf die gerade exakt die gleiche Rechenoperation angewandt werden muss, wurde bei RDNA auf Wave32 umgestellt. Nun wird das gleiche bei CDNA 5 gemacht, mit dem Versprechen, Overhead zu verringern und die Auslastung zu erhöhen. Insbesondere wenn zwischen den vielen verfügbaren Datenformaten gewechselt wird, werden sich hier Vorteile zeigen. Alles muss raus: die neue Cache-Struktur Um die XCDs miteinander zu verbinden, werden zwei Fabric and Cache Dies (FCD) verwendet. Je vier XCDs werden auf einen FDC gestapelt. Das Besondere dabei: Während zuvor jeder XCD über L2-Cache verfügte, ist dieser jetzt komplett auf die FCDs ausgelagert worden. Gleichzeitig gibt es keinen Infinity-Cache mehr, der den VRAM puffert, sondern der L2-Cache wird in seiner Größe mal eben auf 192 MB pro GPU versechsfacht. Der Wegfall einer zusätzlichen Cache-Stufe verringert die bei KI-Aufgaben wichtigen Latenzen. Der L2-Cache hat eine Geschwindigkeit von 27 TB/s, was deutlich höher ist als die des Infinity-Caches. Dabei teilen sich je vier XCDs 96 MB L2-Cache und können nicht auf den Cache des anderen FCDs zugreifen. Das ist übrigens ähnlich dem Weg, den Nvidia bisher bei GPUs eingeschlagen hat. Dort gab es nie einen L3-Cache, der L2-Cache wurde allerdings bei Ada Lovelace auf 96 MB pro GPU erhöht. Die FCDs haben eine weitere Besonderheit: Sie werden in N3P gefertigt, dem fortschrittlichsten Node für ein sekundäres Chiplet. Die IO-Dies von Zen 6 werden aktuellen Erkenntnissen nach noch in N4 gefertigt. Da Cache seit N5 nicht mehr in der Größe mit kleineren Fertigungen skaliert, wird es die Geschwindigkeit des Caches sein, auf die AMD hier Wert gelegt hat. Die Auslagerung des L2-Caches in ein zweites Chiplet fordert hier Tribut. Wie es in einem WGP aussieht, lässt AMD etwas unklar. Der L1-Cache scheint sich verdoppelt zu haben, der Instruction Cache aber nicht. Kennzahlen wie die zuvor beliebten Flops/Takt/CU, ebenso wie die bisher stets genannte Zahl von vier Matrix-Cores pro CU werden bei CDNA 5 nicht mehr genannt. Unter Umständen möchte man den exakten internen Aufbau noch nicht preisgeben. Insbesondere mit Bezug auf Matrixaufgaben gibt es daher mehrere Möglichkeiten, wie sich CDNA 5 verhält. Ähnlich wie bei RDNA 3 und RDNA 4 könnten die Shader selbst Matrixaufgaben übernehmen, wodurch entweder mehr Aufgaben übernommen werden können als Matrix-Cores vorhanden sind oder die Matrix-Cores gar ersetzt wurden. Die Zeit wird zeigen, was stimmt. Um KI-Daten schnell vom Speicher in die Caches bewegen zu können, gibt es den neuen Tensor Data Mover. Er ist eine intelligente Recheneinheit in jeder WGP und kann Daten aus dem VRAM direkt in den Local Data Storage laden, ohne irgendwelche Zwischenschritte einzulegen, die die Latenzen erhöhen könnten. Es gibt auch noch einen IO-Die AMD hat den IO-Die, ebenfalls in N3P gefertigt, stark beschnitten. Vorher hatte er die Aufgabe, die XCDs aufzunehmen und den L3-Cache zu beherbergen, was jetzt entweder vom FCD übernommen wird oder weggefallen ist. Der IO-Die ist jetzt nur noch das, was der Name sagt: eine Schnittstelle für Inputs und Outputs nach draußen, d.h. zum VRAM. Er ist deswegen deutlich kleiner als zuvor und befindet sich auf dem Die-Shot oben und unten neben den FCDs. Rechts und links angeordnet sind 12 HBM-Chips des Typs HBM4, die eine deutlich gesteigerte Bandbreite von 23,3 TB/s erlauben. Die Speichergröße steigt dabei moderat von 288 GB auf 432 GB. Ermöglicht werden die 12 Stacks von CoWoS-L, dem neuen Packaging von TSMC, das nicht mehr auf einen Silizium-Interposer setzt, sondern einen sogenannten Redistribution Layer, der deutlich größer gebaut werden kann als der Interposer zuvor. Wem 432 GB nicht genug sind, der findet bei AMD nun die Möglichkeit, den Grafikspeicher aller GPUs zu vereinen um z.B. im Helios-Rack auf die vollen 31 TB HBM4 zugreifen zu können. Der Zugriff ist dann auf die Geschwindigkeit der Netzwerkverbindungen von 100GB/s begrenzt, dafür ist durch die eingebauten Switches jede GPU 1:1 mit jeder anderen verbunden. Wie gewohnt versuchen die Chiphersteller bei den Datentypen mit der aktuellen Entwicklung im Bereich KI mitzuhalten. Datentypen werden dabei benannt nach ihrer Größe in Bits, wobei sich die Größe in ein Bit für das Vorzeichen, einige Bits für den Exponenten (bestimmt die Größe der Zahl) und einige Bits für die Mantisse (bestimmt die Genauigkeit der Zahl) aufteilt. Neu dabei sind diesmal die sogenannten micro-scale Datentypen MXFP4-MXFP8, wobei sie bei CDNA 4 schon in leicht anderer Form vorkamen. Sie erlauben einen gemeinsamen Exponenten für alle Zahlen zu definieren, der dann nicht mehr einzeln bei jeder Zahl mitgegeben werden muss. Das spart Speicherplatz und Durchsatz. Bei MXFP4 ist sogar eine gemeinsam definierbare Mantisse möglich. Auch neu und in dem Zusammenhang etwas ungewöhnlich: AMD unterstützt jetzt die Funktion Tangens Hyperbolicus (tanh) in Hardware. Tanh ist eine Exponentialfunktion, die bei Machine Learning zum Aktivieren des nächsten „Nachdenkschritts“ genutzt wird und eine von mehreren Möglichkeiten ist, dieses Aktivieren mathematisch zu realisieren. Da sie sehr rechenintensiv ist, hat AMD jetzt eine Hardwarebeschleunigung eingebaut, die den Durchsatz bei tanh verdoppelt. Der Wettstreit mit Nvidia AMD ist bei GPUs im Serversegment Nvidia erstmalig in einigen Bereichen zuvorgekommen. Sie nutzen, bis zum Erscheinen von Vera Rubin im zweiten Halbjahr 2026, die modernere Fertigung, haben die größere GPU, die modernere Infrastruktur und den schnelleren HBM. Das ist sehr stark. Lange war CUDA das Totschlagargument für Nvidias Ökosystem, bot es doch den einfachsten Einstieg in Machine Learning gepaart mit allen Optimierungen für die Hardware. Aber nicht nur hat AMD mit ROCm aufgeholt, sie nennen mittlerweile Kunden, für die CUDA keine Rolle spielt. Angeblich arbeiten diese auf einer niedrigeren Abstraktionsebene oder lassen sich so von KI-Agenten helfen, dass der Unterschied minimal ist. Die Chance für AMD, den technischen Vorsprung in steigende Marktanteile umzusetzen, ist definitiv da. Die Frage ist, wie lange Nvidia wartet, bis ihr neues Produkt vorgestellt ist und wie viel AMD bis dahin liefern kann.