Also über dieses DLLS bin ich teils mehr als nur erstaunt und frage mich wie das technisch überhaupt so richtig funktioniert. Also wie kann es sein das mit einem Trick die ganzen Spiele so unglaublich schneller laufen und das bei schaubarer gleich guter Grafik. Wieso kann man sowas nicht gleich reinprogrammieren? Irgendwie, obwohl ich ja nicht ganz so weit weg bin verstehe ich da manchmal so einiges nicht und frage mich manchmal wer da seine Hausaufgaben macht und wer nicht?
Also über dieses DLLS bin ich teils mehr als nur erstaunt und frage mich wie das technisch überhaupt so richtig funktioniert. Also wie kann es sein das mit einem Trick die ganzen Spiele so unglaublich schneller laufen und das bei schaubarer gleich guter Grafik. Wieso kann man sowas nicht gleich reinprogrammieren? Irgendwie, obwohl ich ja nicht ganz so weit weg bin verstehe ich da manchmal so einiges nicht und frage mich manchmal wer da seine Hausaufgaben macht und wer nicht?
Ich selbst kann ja nur FSR auf dem Steam Deck. Und das ist durchaus ein Lebensretter für aufwendige Games.
DLSS funktioniert ja genauso. Es ist praktisch nur ein Upscaler, das Spiel läuft in Wirklichkeit in 720p statt in 1080p oder in 1080p statt in 4k und die Grafik wird einfach hochskaliert, was eben enorm Resourcen spart im Vergleich zu nativer Auflösung.
Der Nachteil ist in der Regel, dass gelegentlich im Hintergrund Grafikfehler etc. auftauchen, gerade bei animierten Hintergrundobjekten oder Schatten. Das sieht man natürlich nur, wenn man stehen bleibt und das Bild ganz genau anschaut.
Deswegen sind die Werbevideos auch meist sehr schnelle Szenen, wo durch das Tempo eh ein Verwischeffekt auftritt bzw. man kleine Details gar nicht richtig wahrnehmen kann.
Also über dieses DLLS bin ich teils mehr als nur erstaunt und frage mich wie das technisch überhaupt so richtig funktioniert. Also wie kann es sein das mit einem Trick die ganzen Spiele so unglaublich schneller laufen und das bei schaubarer gleich guter Grafik. Wieso kann man sowas nicht gleich reinprogrammieren? Irgendwie, obwohl ich ja nicht ganz so weit weg bin verstehe ich da manchmal so einiges nicht und frage mich manchmal wer da seine Hausaufgaben macht und wer nicht?
Marketing macht das! Wie schon im PC Build Thread erklärt, kann die derzeitige Framegeneration die FPS maximal um 50% erhöhen, da immer nur ein gefakter Frame, zwischen zwei echten Frames eingefügt wird, so wird niemals aus 16 FPS, 131 FPS oder so. Der Trick hier ist das die Zusätzlich andere ihrer DLSS-Features ein und ausschalten. Es ist eine RTX 4090 die einmal in 4K Auflösung das Spiel mit Path-Tracing ohne irgendein DLSS-Feature zu nutzen rendert und dann nochmal in 4K Auflösung mit allen derzeitigen DLSS 3 Features. Dazu gehört primär das SS Super-Sampling das Quasi das Spiel nicht mehr in 4K rendert, sondern je nach DLSS-Stufe(Ultra, Quality, Performance, ect.) die Render-Auflösung schrittweise runterschraubt bis 720p(Ist abhängig von der Ausgangsauflösung wer nur in FullHD spielt bei dem geht es noch niedriger, weswegen sich das da nimmer so lohnt, und in 1440p nur die beiden höchsten Stufen nutzbar sind))
Da kommt der größte Teil des FPS-Zuwachs her jetzt packt da DLSS-Framegenaration noch mal so 40+% drauf und Pathtraycing ohne zwingt halt auch die RTX 4090 in die Knie^^
Also über dieses DLLS bin ich teils mehr als nur erstaunt und frage mich wie das technisch überhaupt so richtig funktioniert.
Stell es Dir einfach so vor:
Es wird unaufwändiger berechnet und dann beim hochskalieren nicht einfach größer gezogen sondern durch eine "aus Erfahrung" glaubwürdige Variante einer Bildpunktkombi ersetzt.
Es ist nicht echt, könnte es aber sein und damit ist die Wahrnehmung zufrieden gestellt. 
Das ist ähnlich wie bei den Schreiben von rechtschreiblich vollkommenen falschen Texten die sich aber trotzdem bequem lesen lassen weil das Gehirn eben nicht alles ließt sondern eher rät. 
Wenn man so will das genaue Gegenteil zum "Uncanny Valley" wo vieles das nahe dran ist aber eben doch etwas anders ein Knoten in den Kopf verursacht. 
Hier ist das neue Video non CD Projekt Red, dann kannst du sehen ne RTX 4090 in 4K Pathtracing All DLSS off<-> DLSS On, DLSS-Framegenration Off<-> DLSS on, DLSS-Framegeneration on.
Hmm, hab ich was verpasst oder sind sie nicht näher auf das Hochskalieren bei DLSS eingegangen sondern nur das es geschieht und zusätzlich Zwischenbilder berechnet werden um es flüssiger zu gestalten.
Bislang ging ich davon aus das die Extraframes durch den verminderten Aufwand der kleineren Berechnungsmenge entstehen.
Die Berechnung der Extraframes an sich sind ja eine recht überschaubare Technik.
Dazu dann halt noch den Extraverbrauch durch die neue bessere Lichtberechnung aka Pathtracing der wieder Performance weghappert. 
Interessant wären mal die Hintergründe wie die "real empfundenen" Skalierungspatterns entstehen, KI ist ja so ein Modewort zumal ja auch diese "Patternregeln" irgendwie zeitnah berechnet und gespeichert werden müssen.
Klar, die Daten dafür werden durch viel Übungsmaterial irgendwie abgeleitet, aber wie das eingesetzt wird würde mich mal interessieren, es dürfte da ja einige Fälle geben je nach Beleuchtung und Farbsituation.
Auf jeden Fall erklärt so einiges warum die Treiber sich so "aufblasen".
Es wird doch direkt als erstes, nach der Begrüßung/Vorstellung erklärt.
DLSS(Deep Learning Super Sampling) ist ein upscaler, der das Bild in niedriger Auflösung rendert als dargestellt wird und versucht die bei der Verringerung der Auflösung Bildinformationen zu ergänzen. DLSS nutzt dazu ein KI Netzwerk um den Algorithmus zu trainieren das Spiele auf deren Server in 16K rendert und und die Bildunterschiede zu niedrigeren Auflösungen versucht zu kompensieren. So das es sogar in Death Stranding Pixel wiederherstellt die in nativer 4K Auflösung gar nicht sichtbar sind! Zudem lernt der Algorithmuss sich über die Zeit zu verbessern, allerdings müssen die neuen Versionen von DLSS auch irgendwie in die Spiele kommen(Devs patchen, Spieler können es stellenweise durch Austausch der dlss.dll reinhacken)
FSR (AMD FidelityFX Super Resulotion) benutzt wie XeSS(X e Super Sampling) haben einen von Menschen erdachten Upscaling Algorithmus laufen auf allen GPUs nur INTEL Arcs Nutzt einen Teilbereich wofür die Karten einen HW-Beschleuniger haben, andere GPUs nutzen den Bereich halt gar nicht. Zudem haben sie wesentlich später mit der Entwicklung angefangen und sind daher imo in der Qualitäts Aufholjagd. Der Performance-Zugewinn ist grob gleich.
Die Wurzeln der SS-Technik liegen im AA(Anti Aliasing), wo wir ja den Mangel an Pixeln zur Kreisdarstellung/Rundungen und Schrägen dadurch umgehen wollten das an diesen stellen das Bild in höheren Auflösung gerendert wurde und mit dem nativen Bild überlagert wurde. Das führte und führt heute immer noch oft zum Flimmern bei feinen Details!
Deswegen wird TAA (Temporales Anti Ailiasing) immer oft mit in die SS Vergleiche mit reingeworfen.
Zusätzliche Bilder(Frames) werden nicht berechnet das macht eben Framegeneration. Der Zugewinn an FPS kommt durch die Auflösungsverringerung und somit kann die GPU halt mehr FPS berechnen.
Was Pathtracing angeht sind wir wieder im selben Dilemma wie bei der RTX Einführung, das frisst so viel Performance das man DLSS und Framegeneration nutzen muss um nicht in einer DIA-Show zu landen.
Es wird doch direkt als erstes, nach der Begrüßung/Vorstellung erklärt.
DLSS(Deep Learning Super Sampling) ist ein upscaler, der das Bild in niedriger Auflösung rendert als dargestellt wird und versucht die bei der Verringerung der Auflösung Bildinformationen zu ergänzen.
Nö, das "Wie" ist bei mir die Frage, das es stattfindet ist klar weil "Upscaling"
Und ein Weiteres mal "KI" zu lesen hilft da auch nicht weiter.
Aber auch das hatte ich geschrieben.
Das die Basis eine "verbesserte Form" vom AA ist war klar, das generische Upscaling macht ja nichts anderes als einfach "Zwischenpixel" auf Basis der Nachbarn zu errechnen, was AA ebenfalls in zumindest ähnlicher Form treibt.
Und ja, diese Form fängt an zu flimmern wenn die Scalingerhöhung nicht pixelgenau ist, auch das ist nichts neues.
Zusätzliche Bilder(Frames) werden nicht berechnet das macht eben Framegeneration. Der Zugewinn an FPS kommt durch die Auflösungsverringerung und somit kann die GPU halt mehr FPS berechnen.
Dachte ich ja such erst, allerdings passt das nicht, denn das Verhältnis von 1080p zu z.B. 720p ist nicht so groß das es den Framezuwachs erklären würde.
Bei dem Beitrag hab ich dann herausgehört, das sie auch Extraframes berechnen was aber wie gesagt auch kein Hexenwerk ist, wenn man es nicht übertreibt.
Mich würde das Datenaufkommen (lokal auf den Rechner) für die Scalingpattern interessieren und wie sie das Flimmern verhindern.
Ich könnte mir aber vorstellen das sie einfach verhindern, das von Frame zu Frame Kontrastwechsel überschaubar bleiben.
Was Pathtracing angeht sind wir wieder im selben Dilemma wie bei der RTX Einführung, das frisst so viel Performance das man DLSS und Framegeneration nutzen muss um nicht in einer DIA-Show zu landen.
Tja, das übliche Problem das man Extras gleich wieder anderweitig verheizen "muß", das hat was von Glücksspiel im Kasino wo Leute nach einer Glückssträhne nicht aufghören können. 
Nö, das "Wie" ist bei mir die Frage, das es stattfindet ist klar weil "Upscaling"
Und ein Weiteres mal "KI" zu lesen hilft da auch nicht weiter.
Dann kannst du ja mal bei NVidia nachfragen was du zahlen musst damit sie Dir erklären wie ihr NGX mit den Tensor-Cores arbeitet.
denn das Verhältnis von 1080p zu z.B. 720p ist nicht so groß das es den Framezuwachs erklären würde.
Laut NVIDIA schafft DLSS bis zu 400% Leistungszuwachs und Framegeration bis zu 50%, imo schaffen sie im gezeigten Video nur ca. 250% mit DLSS und dann ca. 28% mit Framegeneration. Zudem rendern sie mit DLSS Performance das bedeute im schlimmsten Fall von 4K auf 720p (3840*2160 <-> 1280*720) also fast 8,3 Millionen Pixel zu 1 Millionen. Ich denke da sollten 280% mehr Frames schon drin sein.
Das die Basis eine "verbesserte Form" vom AA ist war klar, das generische Upscaling macht ja nichts anderes als einfach "Zwischenpixel" auf Basis der Nachbarn zu errechnen, was AA ebenfalls in zumindest ähnlicher Form treibt.
Und ja, diese Form fängt an zu flimmern wenn die Scalingerhöhung nicht pixelgenau ist, auch das ist nichts neues.
Bin mir nicht ganz sicher aber fürchte du vermixt hier TAA mit AA und Upscaling, dabei wird das Wording schwierig was ist bei dir der "Zwischenpixel", der Pixel zwischen zwei Auflösungen oder zwischen zwei Frames oder gar beides?
AA ist eine Technik die im Grunde etwas das zu korrekteren Darstellung vom Frame mit mehr Pixeln auf das Bild mit weniger Pixeln interpoliert. Da aber der Blickwinkel nicht statisch ist sondern sich mit jedem Frame ändern kann, kann/muss sich auch der Pixel ändern, daher das flimmern in AA es wird ständig ein leicht andere Farbwert ermittelt. Zudem sind in den Puffern aus dem Multisampling jeweils andere Farbwerte und welcher wird jetzt für den Pixel im Frame verwendet?
Das war ja was TAA soweit gefixed hat. Upgescaled wurde hier nichts sondern Downgescaled.
Bei dem Beitrag hab ich dann herausgehört, das sie auch Extraframes berechnen was aber wie gesagt auch kein Hexenwerk ist, wenn man es nicht übertreibt.
Ja mit Framegeneration
Mich würde das Datenaufkommen (lokal auf den Rechner) für die Scalingpattern interessieren und wie sie das Flimmern verhindern.
Ich könnte mir aber vorstellen das sie einfach verhindern, das von Frame zu Frame Kontrastwechsel überschaubar bleiben.
Das läuft immer lokal die AI verbessert den Algorithmus, der dann von den Tensor-Einheiten ausgeführt wird. In jedem Treiberupdate steckt das Update mit den Daten für die ganzen DLSS-Spielen drin, die die AI trainiert hat.
Das macht ja schon das SS es ignoriert einige Pufferdaten vom Multisampling bzw. legt weniger an. DL entscheidet dann welche generell davon verwendet werden sollten und welche nicht in welchen Situationen.
