Arm Mali G2 NX: GPUs rendern nur noch ein Achtel der Grafik, der Rest ist KI

Arm stattet die GPUs der Mali-G2-NX-Generation erstmals mit dedizierten Neural-Beschleunigern aus, die Aufgaben wie Upscaling, Frame Generation und Denoising übernehmen. Damit lassen sich höhere Frameraten, ein niedrigerer Verbrauch oder eine höhere Bildqualität erreichen. Die GPUs gehören zum neuen Arm CSS for Mobile 2.

Von Desktop-Grafikkarten bekannte Technologien wie Raytracing und jetzt auch Upscaling, Frame Generation und Denoising machen nicht halt vor Grafikeinheiten, die für mobile SoCs in Smartphones bestimmt sind. Vor mittlerweile vier Jahren zog in die Mali-GPUs von Arm (damals noch Immortalis) erstmals eine dedizierte Ray Tracing Unit (RTU) für Hardware-basiertes Raytracing ein. Nach einer Verdoppelung der Raytracing-Leistung im letzten Jahr sind jetzt erstmals Neural-Beschleuniger an der Reihe.

Mali-G2-Familie gehört zum Arm CSS for Mobile 2

Als Bestandteil des Arm CSS for Mobile 2 sind die neuen GPUs von Arm in erster Linie für Spiele zuständig, sie sind zugleich aber ein Beschleuniger außerhalb der CPU und damit neben weiteren externen Beschleunigern wie einer NPU positioniert.

Spiele stehen jedoch im Zentrum der Mali-G2-NX-Generation, die aus den Ausbaustufen Mali G2-Ultra NX, Mali G2-Premium NX und Mali G2-Pro NX besteht, die darüber hinaus in unterschiedlich großen Abstufungen angeboten werden, um den SoC-Herstellern eine möglichst breite Auswahl zur Verfügung stellen zu können. Wann welcher Name berechtigt ist, wird später im Artikel erläutert.

Neural-Beschleuniger für neue Mali-G2-GPUs

Das „NX“ in der GPU-Bezeichnung steht für die neuen dedizierten Neural-Beschleuniger, die erstmals in mobilen Grafikeinheiten von Arm angeboten werden. Zur Fachmesse SIGGRAPH hatte Arm letztes Jahr aber bereits ein entsprechendes Vorhaben bekannt gegeben, ohne Details zur Hardware zu nennen. Ziel der frühen Ankündigung war es, Spiele- und Engine-Entwicklern Vorlaufzeit für den Aufbau eines darauf angepassten Software-Ökosystems zu geben. Gemeinsam mit dem britischen Entwicklerstudio Sumo Digital ließ Arm im Juni dieses Jahres zudem eine Vorschau auf das Spiel Neural Dawn folgen, das Gebrauch von Arms „Neural Technology“ und den MegaLights der Unreal Engine 5.6.1 macht.

NX übernehmen NSS, NFRU und NSSD

Die Neural-Beschleuniger sind in Spielen für drei Aufgaben zuständig: Neural Super Sampling (NSS), Neural Frame Rate Upscaling (NFRU) und Neural Super Sampling and Denoising (NSSD). Arm will damit den in Mobilgeräten omnipräsenten Konflikt aus Power-Budget, Bildqualität und Leistung angehen, um durch eine Verringerung der tatsächlich klassisch gerenderten Pixel und Frames eine Desktop-ähnliche Grafik auf Geräte wie Smartphones zu bringen, die mit einem Power-Budget von nur 1 bis 2 Watt auf der GPU auskommen müssen, während parallel dazu immer neue Methoden zur Steigerung der Qualität eingeführt werden, etwa höher aufgelöste Texturen, Raytracing und Pathtracing.

Nur noch ein Achtel natives Rendering

Arm strebt deshalb an, dass mit der „Neural Technology“ lediglich noch bis zu ein Achtel der ursprünglichen Szene nativ gerendert werden muss, während die restlichen sieben Achtel durch AI-Rekonstruktion auf dem Bildschirm des Spielers erzeugt werden.

Neural Super Sampling (NSS) and Denoising (NSSD)

Neural Super Sampling (NSS) ist dabei die Bezeichnung für das von Arm entwickelte Upscaling-Verfahren, das in seiner ersten Ausführung ein 2×2-Upsampling unterstützt, also zum Beispiel von 540p auf 1080p. NSS ist ein temporales, neuronales Verfahren zur Rekonstruktion und Hochskalierung von Bildern. Statt ein Spiel direkt in der Zielauflösung zu rendern, wird zunächst ein Bild mit geringerer Auflösung erzeugt. Dieses dient zusammen mit Bewegungsvektoren, Tiefeninformationen und der Bildhistorie aus vorherigen Frames als Eingabe für ein neuronales Netzwerk.

NSS kombiniert die Informationen aus diesen unterschiedlichen Datenquellen, um fehlende Bilddetails zu rekonstruieren und dabei auch Informationen aus vergangenen Frames zu berücksichtigen. Dadurch soll die zeitliche Stabilität verbessert und störendes Flimmern reduziert werden. Gleichzeitig übernimmt das neuronale Netzwerk das Anti-Aliasing direkt im Rekonstruktions­prozess, sodass ein separater Anti-Aliasing-Pass entfallen kann. Das Ergebnis soll ein hochskaliertes Bild mit höherer Detail­qualität liefern, obwohl die eigentliche Szene mit einer geringeren Auflösung gerendert wurde.

Arm verspricht „Best-in-class visuals“ als Endergebnis, das auf Desktop-Niveau liege. In zwei internen Grafikdemos kann NSS die FPS im selben Power-Budget verdoppeln sowie die benötigte DRAM-Bandbreite und Energie pro Frame halbieren. Darüber hinaus wird auch Neural Super Sampling and Denoising (NSSD) unterstützt, das KI-gestütztes Echtzeit-Pathtracing mit weniger Rays pro Pixel für Mobilgeräte ermöglichen soll.

Neural Frame Rate Upscaling (NFRU)

NFRU ist ein Verfahren zur Erhöhung der Bildrate durch künstlich erzeugte Zwischenbilder. Dafür werden zwei tatsächlich gerenderte Frames – der vorherige Frame T−1 und der nachfolgende Frame T+1 – zusammen mit deren Farbinformationen, Tiefendaten und Bewegungs­informationen analysiert. Eine Besonderheit ist die auf der GPU im Neural-Beschleuniger integrierte Motion Engine, die tatsächliche Bewegung von Objekten zwischen den beiden Bildern ermittelt (Optical Flow) und damit über die klassischen aus der Spiele-Engine stammenden Motion Vectors hinausgeht.

Diese Informationen werden anschließend dem neuronalen Netzwerk zugeführt, das daraus den fehlenden Zwischenframe T rekonstruiert. So muss beispielsweise bei einer Ausgabe von 60 FPS oder 120 FPS nicht jedes einzelne Bild vollständig gerendert werden: Ein Teil der Frames kann von der GPU klassisch berechnet werden, während NFRU die dazwischen­liegenden Bilder erzeugt. Das soll die wahrgenommene Bildrate erhöhen, ohne die Renderlast auf der GPU proportional zur höheren Bildrate zu steigern, und ist laut Arm speziell auf die Anforderungen mobiler GPUs zugeschnitten.

Shader Cores mit NX, Motion Engine und RTUv3

Die angesprochene Motion Engine ist Bestandteil der Neural-Beschleuniger, die wiederum gemeinsam mit der Execution Engine und der Ray Tracing Unit (RTU) in ausgewählten Shader Cores der GPU sitzen. Während die RTUs linear mit den Shader Cores skalieren, sitzt nicht unbedingt in jedem Shader Core auch ein NX. In der Referenzplattform CSS for Mobile 2 sind acht Shader Cores mit NX bestückt, sechs weitere kommen ohne und nehmen damit auch etwas weniger Die-Fläche ein, wobei Arm den Flächenverlust pro NX nicht beziffert. Bei den RTUs der ersten Generation hatte Arm mal „weniger als 4 Prozent der Shader-Core-Fläche“ angegeben.

Dieser Aufbau soll die Speicher- und Steuerungs­infrastruktur der GPU für KI-Berechnungen wiederverwenden und dadurch Datenbewegungen reduzieren. Der Neural-Beschleuniger unterstützt INT8- und INT16-Berechnungen sowie komplette Tensor-Operationen und kann laut Arm mit bis zu dem Doppelten des GPU-Takts arbeiten – auf der Referenz­plattform sind es 2,33 GHz. Ergänzt wird die Architektur durch die Unterstützung für komprimierte Gewichte und die Motion Engine zur Beschleunigung von Optical Flow. Grafik-, Compute- und KI-Aufgaben können über eine gemeinsame Infrastruktur feingranular geplant werden. Arm zielt damit insbesondere auf eine hohe Rechenleistung bei möglichst geringer Chipfläche und Leistungsaufnahme ab.

Wann trägt eine Mali G2 welchen Namen?

Wann eine Mali-G2 welchen Namen tragen darf, also Ultra, Premium oder Pro, hängt von der Anzahl der Shader Cores und der Anzahl der NX- und RTU-Einheiten ab. Eine Mali G2-Ultra NX muss zum Beispiel immer mit mindestens sechs NX-Einheiten und einer RTU in jedem der mindestens zehn Shader Cores kommen. Bei der Mali G2-Premium sind die NX-Einheiten (und damit das „NX“ im Namen) sowie die RTU optional, gleiches gilt für die Mali G2-Pro.

Mali G2-Ultra NX

10 Shader Cores oder mehr

6 NX oder mehr

RTU in jedem Shader Core

Mali G2-Premium (NX)

6 bis 9 Shader Cores

0 oder mehr NX (nicht mehr als Anzahl der Shader Cores)

RTU in jedem Shader Core oder keine RTU

Mali G2-Pro (NX)

1 bis 5 Shader Cores

0 oder mehr NX (nicht mehr als Anzahl der Shader Cores)

RTU in jedem Shader Core oder keine RTU

Raytracing soll günstiger werden

Darüber hinaus bietet Arm exklusiv für die Mali G2-Premium (NX) und Mali G2-Pro (NX) eine in der Siliziumfläche optimierte Implementierung einer weniger leistungsstarken Ray Tracing Unit an, damit Partner mehr Flexibilität erhalten und Raytracing aus Silizium-Perspektive günstiger integrieren können.

Ray Tracing Unit der 3. Generation

Neu innerhalb des Shader Cores ist mit der Mali-G2-Familie aber auch die Ray Tracing Unit der mittlerweile dritten Generation. Die neueste Iteration soll insbesondere die Verarbeitung komplexer Geometrie effizienter machen. Ein Ansatz ist dabei eine kompaktere Repräsentation der Dreiecksgeometrie: Während die vorherige Mali-G1-Generation bei benachbarten Dreiecken teilweise gemeinsame Kanten mehrfach speichert, kann die neue RTU diese Kanten gemeinsam nutzen. Dadurch werden redundante Geometriedaten vermieden, sodass mehr Informationen in den Cache passen und weniger Daten aus dem DRAM nachgeladen werden müssen. Laut Arm kann der DRAM-Datenverkehr bei entsprechenden Raytracing-Benchmarks durch diese Maßnahme um bis zu 13 Prozent sinken. Die geringere Speicherbandbreite entlastet das Gesamtsystem und schafft gleichzeitig mehr Spielraum für einen höheren Raytracing-Durchsatz.

Hardware Opacity Micromaps

Eine weitere Neuerung ist der Support von Hardware Opacity Micromaps (OMM), mit denen sich insbesondere komplexe transparente oder teilweise transparente Geometrien effizienter per Raytracing verarbeiten lassen. Die RTU kann dabei detaillierter bestimmen, ob ein Strahl auf eine Oberfläche trifft, sie verfehlt oder diese Information zunächst unklar ist. Dadurch muss die Raytracing-Hardware weniger unnötige Berechnungen durchführen. Arm sieht darin einen wesentlichen Baustein, um auf Smartphones komplexere Szenen mit Raytracing zu ermöglichen: Entwickler können die geometrische Komplexität erhöhen und damit reichhaltigere Umgebungen darstellen, ohne dass die Raytracing-Leistung proportional einbricht. Zusammen mit der effizienteren Geometrie­darstellung soll die dritte RTU-Generation damit laut Arm Raytracing-Szenarien ermöglichen, die sich hinsichtlich ihrer visuellen Komplexität stärker der Desktop-Grafikqualität annähern.

Neue Execution Engine für komplexere Shader

Bei der Execution Engine selbst spricht Arm von dem größten ISA-Upgrade innerhalb von sieben Mali-Generationen – und dieses Upgrade sei vor allem durch Lumen und Nanite der Unreal Engine 5 inspiriert worden. Die neue Execution Engine wurde für komplexere Shader ausgelegt. Während der Vorgänger pro Warp 32 oder 64 Register bereitstellen konnte, reicht die Bandbreite bei der neuen Architektur von 16 bis 128 Register pro Warp. Dadurch können besonders aufwendige moderne Shader mehr lokale Daten direkt in den Registern halten, anstatt diese bei knappem Registerplatz in den langsameren Speicher auslagern zu müssen – ein Vorgang, den Arm als Register Spilling bezeichnet.

Die neue Execution Engine kann bis zu doppelt so viele Register pro Warp verwalten und unterstützt eine dynamische Registerverteilung in feineren Stufen von 16 Warps. Es können somit mehr und zugleich feiner unterteilt Register zur Verfügung gestellt werden. Das reduziert unnötige Speicherzugriffe und ermöglicht größere Shader-Programme, was insbesondere bei komplexen, auf Desktop-Engines basierenden Spielen wie solchen mit Unreal Engine 5 zu einer höheren und konstanteren Leistung führe.

Die Leistung der Mali G2-Ultra NX

In Summe sollen alle im Artikel erläuterten Maßnahmen zu einem deutlichen Performance-Uplift führen, der aber je nach verwendeten Grafiktechnologien unterschiedlich hoch ausfällt. Bei „AI-native graphics“ könne die Mali G2-Ultra NX aus ehemals 15 FPS nun 60 FPS machen, die Leistung und Effizienz pro Frame demnach vervierfachen und zugleich den DRAM-Traffic um 70 Prozent reduzieren. Die Kombination aus neuer Execution Unit und RTUv3 führe darüber hinaus zu 24 Prozent mehr Leistung in entsprechenden Benchmarks sowie zu einem Non-AI-Gaming-Uplift von 14 Prozent und zu 70 Prozent geringeren RT-Workloads.

Plug-in für die Unreal Engine

Arms Neural Technology lässt sich in allgemein verfügbaren Engines wie der Unreal Engine über ein Plug-in integrieren. Bei Custom-Engines, die ein Studio exklusiv nutzt, wird die Integration über ein Neural Graphics SDK und Beispiel-Code auf GitHub ermöglicht. Bestehende Titel sollen sich innerhalb von drei bis sechs Monaten um die neuen Features ergänzen lassen, für neu entwickelte Spiele nennt Arm 18 Monate.

Erste SoCs mit den neuen Grafikeinheiten Mali G2-Ultra NX, Mali G2-Premium NX und Mali G2-Pro NX dürften im Verlauf der nächsten Wochen angekündigt werden.

ComputerBase hat Informationen zu diesem Artikel von Arm unter NDA erhalten. Die einzige Vorgabe war der frühestmögliche Veröffentlichungszeitpunkt.