Apple ujawniło metodę szybkiego i skutecznego tworzenia scen trójdniowych przy pomocy sztucznej inteligencji

Apple i Uniwersytet w Hongkongu zaprezentowali technologię LGTM – bardziej efektywne renderowanie scen 3‑D

Naukowcy z Apple we współpracy z badaczami Uniwersytetu w Hongkongu opracowali system o nazwie LGTM (Less Gaussians, Texture More). Pozwala on znacznie podnieść jakość renderowania trójwymiarowych przestrzeni wysokiej rozdzielczości bez konieczności zwiększania zasobów obliczeniowych.

Jak działa LGTM
1. Rozdzielenie złożoności

Tradycyjne metody renderowania scen 3‑D, oparte na funkcjach Gaussa lub innych podejściach, wymagają kwadratowego wzrostu kosztów przy zwiększaniu rozdzielczości. LGTM „oddziela” strukturę geometryczną sceny od jej wizualnych detali.

2. Dwa etapy uczenia

* Pierwszy krok – model buduje prostą geometrię (szkielet) na obrazach niskiej rozdzielczości.
* Drugi krok – porównuje szkielet z oryginalnymi wysokiej jakości obrazami, a następnie uczy się tworzyć szczegółowe tekstury, które nakładają się na prosty szkielet.

3. Wynik

Przy renderowaniu w rozdzielczościach 2 K i 4 K uzyskujemy dokładny rezultat bez artefaktów i „pustych” obszarów, przy czym zasoby nie rosną kwadratowo.

Znaczenie praktyczne
* VR/AR – technologia jest szczególnie przydatna dla systemów wirtualnej i rozszerzonej rzeczywistości.
* Apple Vision Pro ma łączną rozdzielczość wyświetlaczy wynoszącą 23 megapikseli, co zwykle wymaga ogromnych mocy obliczeniowych. LGTM pozwala odtwarzać szczegółowe sceny w 4K bez takiego wzrostu zasobów, umożliwiając bardziej płynną i wysokiej jakości pracę.

W ten sposób LGTM stanowi znaczący krok naprzód w renderowaniu wysokiej jakości scen 3‑D, zachowując przy tym efektywność obliczeń.