Nvidia DLSS 5: Drei KI-Modelle und nur noch eine Grafikkarte nötig

Nvidia hat DLSS 5 auf der Siggraph 2026 erstmals im Detail erklärt: Drei KI-Modelle, Masken für einzelne Objekte und der Betrieb auf nur einer Grafikkarte sind gesetzt. Besitzer einer Geforce RTX 5000 sollen im Herbst starten.

Hinweis: Wir haben nun auch eine neue Umfrage zu DLSS 5 in den Artikel integriert. Danke für Ihre Teilnahme.

---

Unter dem Titel "Next Era of Graphics: Neural Rendering, World Models & Simulation" hat Nvidia seine Research-Keynote im Rahmen der SIGGRAPH 2026 in Los Angeles dazu genutzt, die im März dieses Jahres angekündigte Technologie erstmalig im Detail technisch aufzuschlüsseln. Dabei gab das US-Unternehmen einen sehr weitreichenden Einblick in das, was Spieler ab diesem Herbst erwartet.

Es findet ein kompletter Neustart der Computergrafik statt.

— Jensen Huang, Nvidia-CEO

Nachdem Chefentwickler Edward Liu die Grundidee hinter DLSS 5 bereits im Vorfeld der Konferenz eingeordnet hatte und Neural Rendering bereits im Mai im Grafiktreiber aufgetaucht war, folgen nun konkrete Eckdaten zu Modell, Werkzeugen und Hardware. Wer wissen will, wie viel Kontrolle Entwickler tatsächlich behalten und ob die eigene Geforce-Grafikkarte genügt, findet nachfolgend alle Antworten aus der Keynote.

Neural Rendering in Spielen: So funktioniert DLSS 5 im Detail

Im Zentrum der Präsentation standen drei Themen: die Architektur des KI-Modells, die Steuerwerkzeuge für Entwickler und die Frage nach der nötigen Hardware. Vorgestellt wurden die Details von Edward Liu, Director of Applied Deep Learning Research, und Gabriele Leone, welcher das Team aus Technical Artists und Art Directors leitet.

Empfohlener redaktioneller Inhalt [EMBED_URL] An dieser Stelle finden Sie externe Inhalte von [PLATTFORM]. Zum Schutz Ihrer persönlichen Daten werden externe Einbindungen erst angezeigt, wenn Sie dies durch Klick auf "Alle externen Inhalte laden" bestätigen:

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit werden personenbezogene Daten an Drittplattformen übermittelt. Mehr dazu in unserer Datenschutzerklärung.

Nvidia spricht dabei von insgesamt drei Herausforderungen, welche es mit DLSS 5 zu meistern gelte: die künstlerische Absicht zu bewahren, die Stabilität von Frame zu Frame zu gewährleisten und die höchstmögliche Performance in 4K/UHD mit Echtzeitgrafiken zu erzielen.

Die erste Herausforderung besteht darin, die künstlerische Absicht zu bewahren.

Selbst wenn wir einem generativen Modell einen gerenderten Frame geben, wird es das Bild verändern. Genau das ist schließlich seine Aufgabe.

Jede Veränderung birgt jedoch die Gefahr, sich von der ursprünglichen Absicht zu entfernen.

Angenommen, eine Spielfigur hat eine Narbe. Vielleicht gefällt dem Modell die Narbe nicht und es entfernt sie. Das Bild sieht danach möglicherweise sauberer aus, aber es zeigt nicht mehr die richtige Figur.

Deshalb haben wir eine klare Grenze gezogen. Wir trainieren das Modell so, dass es diese künstlerischen Vorgaben respektiert.

Dafür verwenden wir interne Informationen des Renderers, beispielsweise Albedo-Daten, Oberflächennormalen und Beleuchtungsinformationen. Dadurch versteht das Modell, welche Elemente unverändert bleiben müssen.

Innerhalb dieser Grenzen darf es diejenigen Eigenschaften verbessern, die den Realismus erhöhen:

• realistischere Streuung von Licht unter der Haut,
• feinere Materialreaktionen,
• bessere Lichtdurchlässigkeit bei Haaren und Blättern,
• realistischere Kontaktschatten,
• bessere Umgebungsbeleuchtung.

Die Narbe kann also eine realistischere Hautschattierung erhalten. Sie darf aber niemals verschwinden.

DLSS 5 muss das Bild verändern, ohne dabei die Geschichte zu verändern.

Das ist die erste Herausforderung.

One-Step-Diffusion: So rechnet das KI-Modell von DLSS 5

DLSS 5 basiert auf einem kompakten One-Step-Pixel-Space-Diffusion-Transformer, der aus deutlich größeren Basismodellen destilliert wurde und jedes Bild kausal nach dem Prinzip "One Frame in, One Frame out" verarbeitet. Das neue Modell blickt also nicht in kommende Frames voraus, sondern veredelt jedes gerenderte Bild einzeln in Echtzeit.

DLSS 5

Als Grundlage dienen der gerenderte Frame sowie zusätzliche Engine-Daten wie Bewegungsvektoren, sogenanntes Albedo, Oberflächennormalen, Beleuchtungsinformationen und optionale Objektmasken, wodurch die Ausgabe an den originalen 3D-Inhalten verankert bleibt. Die Geometrie einer Szene tastet DLSS 5 nach Angaben von Edward Liu nicht an. Stattdessen wertet die Technik Kontrast, Ambient Occlusion, Kontaktschatten, Reflexionen und Subsurface Scattering auf, und das in 4K/UHD ("2160p") und in Echtzeit.

Die zweite Herausforderung ist das zeitliche Streaming.

Die meisten Videogeneratoren arbeiten mit mehreren Frames gleichzeitig. Sie analysieren eine Gruppe von Frames und erzeugen anschließend mehrere neue Bilder als Paket.

Beim Echtzeit-Rendering ist das nicht möglich. Das Spiel muss sofort auf Eingaben reagieren und jeden Frame einzeln darstellen.

In einer Spiele-Engine haben wir jedoch Zugriff auf Bewegungsvektoren. Sie werden von DLSS bereits seit der ersten Version verwendet.

Bewegungsvektoren zeigen dem Modell, wie sich Objekte zwischen aufeinanderfolgenden Frames bewegen. Das Modell muss diese Bewegung daher nicht selbst anhand der Pixel erraten.

Dadurch und mithilfe weiterer Verfahren konnten wir das Modell kausal und Frame für Frame arbeiten lassen:

Ein Frame hinein, ein Frame heraus.

Das Modell muss nicht in zukünftige Frames schauen. Trotzdem bleibt das Bild zeitlich stabil und kohärent.

Kein Flimmern, kein Driften und kein Schwimmen von Details.

Drei KI-Modelle und Objekt-Masken für Entwickler

Entwickler können bei DLSS 5 zwischen drei KI-Modellen wählen und diese pro Szene oder Zwischensequenz umschalten. Hinzu kommen die Regler für "Structure Intensity" und "Tone Intensity" sowie Masken, mit denen sich der Effekt auf einzelne Figuren, Objekte oder Umgebungsdetails begrenzen lässt.

Generative Modelle können erstaunlich fotorealistische Bilder erzeugen. Doch ein Spiel braucht mehr als nur ein schönes Bild. Jeder einzelne Frame muss mit der von den Entwicklern erschaffenen Spielwelt übereinstimmen. — Edward Liu, Nvidia

Vorgeführt hat die Werkzeuge Gabriele Leone anhand mehrerer Spielfiguren, die mit kontrastreicherer Beleuchtung und feineren Kontaktschatten sichtbar realistischer wirkten als die zugrunde liegende Render-Version.

Quelle: Nvidia

Quelle: Nvidia

Auffällig war indes die Inszenierung: Statt des umstrittenen Vergleichsvideos von der GTC zeigte Nvidia diesmal einen knapp 30-sekündigen Clip und demonstrierte live, wie sich die KI im Detail steuern lässt.

Die Reaktion auf den Shitstorm aus dem März, als die per Neural Rendering erzeugten "KI-Gesichter" eine hitzige Debatte über künstlerische Kontrolle ausgelöst hatten, ist unverkennbar. Die Integration in Spiele erfolgt auch weiterhin über das etablierte Streamline-SDK.

Die dritte Herausforderung ist die Geschwindigkeit.

Ein 4K-Bild besteht aus rund acht Millionen Pixeln. Bei mehr als 60 Bildern pro Sekunde stehen weniger als 16 Millisekunden pro Frame zur Verfügung. Den größten Teil dieser Zeit benötigt bereits das Spiel selbst.

Die grundlegenden generativen Modelle, die fotorealistische Bilder erzeugen können, sind groß und langsam. Sie können nahezu beliebige Inhalte generieren, benötigen dafür aber mehrere Sekunden.

Echtzeit-Rendering braucht etwas Spezifischeres: ein Modell, das kleiner, effizienter und auf eine einzige Aufgabe spezialisiert ist.

Wir haben deshalb das Wissen großer generativer Modelle über das Erscheinungsbild der Welt in ein deutlich kleineres Modell übertragen.

Es handelt sich um einen einstufigen Diffusion-Transformer, der direkt im Pixelraum arbeitet und nur eine Aufgabe besitzt:

Echtzeit-Rendering realistischer aussehen zu lassen.

Das Modell ist trotzdem kein gewöhnlicher Bildfilter. Es hat das umfassende Wissen großer Foundation Models über die Welt geerbt.

Es versteht Figuren, Beleuchtung, Materialien und den Kontext eines Bildes. Was es verloren hat, ist die allgemeine Vielseitigkeit. Es kann beispielsweise keine lustigen Katzenvideos mehr generieren.

Weil es aber nur diese eine Aufgabe erfüllen muss, konnten wir es kompakt und effizient genug machen, um parallel zu einem Spiel zu laufen, ohne dass das Erlebnis aufhört, sich wie ein Spiel anzufühlen.

Damit haben wir alle drei Probleme gelöst:

• die Bewahrung der erzählerischen und künstlerischen Absicht,
• die zeitliche Kohärenz von Frame zu Frame,
• die Einhaltung des verfügbaren Zeitbudgets.

Generative KI kann damit direkt Bestandteil eines Renderers werden.

DLSS 5 startet im Herbst für Geforce RTX 5000

DLSS 5 erscheint im Herbst 2026 und soll zum Marktstart mit einer Grafikkarte auskommen. Die erste Demo lief auf der GTC noch auf zwei Geforce RTX 5090, von denen eine ausschließlich das KI-Modell berechnete. Zum Release will Nvidia die Technik hingegen für den Betrieb auf nur einer Grafikkarte optimiert haben.

Konkrete Systemanforderungen und Leistungsdaten bleibt der Hersteller bislang schuldig; als Basis gelten derzeit die Geforce RTX 5000 ("Blackwell"). Zu den ersten unterstützten Titeln zählen Starfield, Assassin's Creed Shadows, Hogwarts Legacy und The Elder Scrolls IV: Oblivion Remastered.

Rückendeckung kommt von Publishern wie Bethesda, Capcom und Ubisoft, welche die Unterstützung bereits zugesagt haben. Die vollständige Research-Session ist im Keynote-Programm der SIGGRAPH 2026 gelistet.

Mitmachen und kommentieren

Wie stehen Sie zu diesem Thema? Die PCGH-Redaktion freut sich schon über Ihre Meinung in den Kommentaren zu dieser Meldung. Sollten Sie hingegen noch keinen Extreme-Account haben, laden wir Sie zu einer Registrierung im Forum ein. Beachten Sie beim Kommentieren aber bitte die gültigen Forenregeln. Folgen Sie gerne PCGH bei 🔈 YouTube oder 💬 WhatsApp und erhalten Sie Neuigkeiten zu CPUs, Grafikkarten und Gaming direkt in Ihrem Feed.

Quelle: Nvidia