NVIDIA ujawniła, jak DLSS 5 „dopracowuje” obraz, opierając się wyłącznie na klatce 2D i wektorach ruchu.

Jak działa DLSS 5: wyjaśnienie pracownika Nvidia

W niedawnym wywiadzie Jacob Freeman z Nvidia wyjaśnił zasadę działania nowej technologii skalowania obrazów — DLSS 5, wykorzystującej sztuczną inteligencję.

Co podawane jest do systemu
* Ramka 2‑D – zwykły narysowany obraz.

* Wektory ruchu – informacje o tym, jak obiekty poruszają się między klatkami.

Nie używa się żadnych danych trójwymiarowych: model nie odczytuje geometrii sceny, głębokości, materiałów ani map normalnych. Oznacza to, że DLSS 5 opiera się wyłącznie na informacji 2‑D i ruchu.

Jak „rozumie” scenę
* Semantyka – AI rozpoznaje obiekty typu włosy, tkanina, skóra oraz warunki oświetlenia.

* Do tego wystarcza tylko jedna klatka; model nie uwzględnia metaliczności, szorstkości ani innych właściwości materiałów.

Dlatego czasami wyniki mogą wydawać się „nieprzewidywalne”:
- postać ma włosy tam, gdzie ich nie ma;
- zmieniają się cechy twarzy.

Nie dochodzi do żadnych zmian w podstawowej geometrii – to tylko wizualna interpretacja AI.

Ograniczenia i możliwości dla deweloperów
* Deweloperzy mogą regulować intensywność efektu, korekcję kolorów, kontrast, nasycenie, gamę.

* Można używać masek, aby wykluczyć określone obiekty z przetwarzania.

* Jednak nie mogą bezpośrednio zmienić korekcji cech twarzy lub usunąć efekt „makijażu” – jedynym sposobem jest zmniejszenie intensywności, nałożenie maski lub całkowite wyłączenie algorytmu.

W rezultacie twarz generowana jest przez AI, ale jej wygląd można tylko pośrednio korygować.