Kompresja tekstur neuronowych: 96% mniej pamięci VRAM! 🧠💾

Technologia Neural Texture Compression (NTC) firmy Nvidia została w końcu przetestowana, co pozwoliło na zaprezentowanie możliwości tej technologii w rzeczywistych zadaniach 3D. Złożyć na YouTube przetestowano technologię kompresji pamięci firmy Nvidia na karcie RTX 4090 w rozdzielczościach 1440p i 4K, ujawniając imponującą redukcję rozmiaru pamięci tekstur dzięki NTC w porównaniu do konwencjonalnych technik kompresji tekstur. 🚀

Compusemble przetestował NTC w dwóch trybach: „NTC transkodowane do BCn” i „Wnioskowanie w próbce”. Pierwsza z nich transkoduje tekstury do formatu BCn w momencie ich załadowania, natomiast druga dekompresuje tylko poszczególne teksele potrzebne do wyrenderowania konkretnego widoku, co jeszcze bardziej zmniejsza rozmiar pamięci tekstur. 🎮

W rozdzielczości 1440p z włączonym skalowaniem DLSS tryb „NTC transkodowany do BCn” zmniejszył rozmiar pamięci testu aplikacji w modelu 64%, z 272 MB do 98 MB. Jednak tryb „wnioskowania NTC na podstawie próbki” znacząco zmniejszył rozmiar tekstury do zaledwie 11,37 MB, co stanowi redukcję o 95,8% w porównaniu do kompresji bez użycia neuronów i o 88% w porównaniu do poprzedniego trybu kompresji neuronowej. 😲

Pomiary Compusemble wykazały niewielki spadek wydajności po włączeniu kompresji tekstur neuronowych RTX. «Tryb NTC przekodowany do BCn wykazał minimalną redukcję średniej liczby klatek na sekundę (FPS) w porównaniu z trybem z wyłączonym NTC, aczkolwiek najniższa wartość 1% FPS była zauważalnie lepsza niż w przypadku konwencjonalnej kompresji tekstur z wyłączonym NTC. W trybie wnioskowania NTC zaobserwowano gwałtowny spadek liczby próbek, ze średniej liczby FPS wynoszącej 1600 do około 1500 FPS. Niski poziom 1% spadł znacząco do około 840 FPS. 📉

Zmniejszenie rozmiaru pamięci jest takie samo w rozdzielczości 1440p z wykorzystaniem TAA zamiast skalowania DLSS, ale zachowanie wydajnościowe Procesor graficzny różnie. Wszystkie tryby działały znacznie szybciej niż DLSS, osiągając niemal 2000 FPS. Najniższa wartość 1% w trybie „NTC Inference on Sample” osiągnęła wartość około 1300 FPS, co stanowi duży skok w porównaniu do 840 FPS. 🎉

Nic dziwnego, że zwiększenie rozdzielczości do 4K sprawia, że wydajność drastycznie spaść. Przy włączonym skalowaniu DLSS, średnia liczba klatek na sekundę (FPS) wynosi około 1100 FPS w trybie „NTC Transcoded to BCn” i nieco poniżej 1000 FPS w trybie „NTC Inference On-Sample”. Najniższe wyniki 1% dla obu trybów mieściły się w zakresie 500 FPS.

Wyłączenie DLSS na rzecz rozdzielczości natywnej z TAA pokazuje średni wzrost liczby klatek na sekundę (FPS) rzędu 1700 w trybie „NTC Transcoded to BCn” i średni wzrost liczby klatek na sekundę (FPS) rzędu 1500 w trybie „NTC Inference On-Sample”. Najniższa wartość 1% dla poprzedniego trybu NTC wynosiła nieco poniżej 1100 FPS, podczas gdy w późniejszym trybie najniższa wartość 1% wynosiła nieco poniżej 800 FPS. 📊

Na koniec Compusemble przetestował wektory kooperacyjne w trybie „wnioskowania NTC na próbce” przy Rozdzielczość 4K z TAA. Włączenie wektorów kooperacyjnych spowodowało, że średnia liczba klatek na sekundę wynosiła około 1500, natomiast ich wyłączenie spowodowało spadek średniej liczby klatek na sekundę do nieco poniżej 650 klatek na sekundę. Najniższe 1% osiągały także nieco poniżej 750 FPS przy włączonych wektorach kooperacyjnych; po wyłączeniu najniższe 1% wynosiły odpowiednio nieco powyżej 400 FPS. 🔄

Testy RTX NTC firmy Compusemble pokazują, że technologia Kompresja neuronowa firmy Nvidia może znacznie zmniejszyć ilość pamięci potrzebnej do przetwarzania tekstur w aplikacjach 3D, ale dzieje się to kosztem wydajności, zwłaszcza w trybie „wnioskowania w trakcie próbki”. ⚠️

Najciekawszym aspektem wyników wydajność to DLSS w porównaniu do rozdzielczości natywnej. Znaczny wzrost liczby klatek na sekundę przy rozdzielczości natywnej pokazuje, że jądra tensorowe wykorzystywane do przetwarzania NTC są obciążane, prawdopodobnie do tego stopnia, że wydajność skalowania DLSS jest utrudniona, na tyle, że może to ograniczyć rdzenie shaderów. Jeśli tak się nie stanie, powinniśmy zobaczyć tryb DLSS działający z większą liczbą klatek na sekundę niż w natywnych testach TAA w rozdzielczości 4K. 🔍

Technologia kompresji tekstur neuronowych RTX jest rozwijana od co najmniej kilku lat. Nowy technologia Wykorzystuje rdzenie tensorowe nowoczesnych procesorów graficznych Nvidia do kompresji tekstur w aplikacjach i grach 3D zamiast tradycyjnego kodu Block Truncation Code. RTX NTC stanowi pierwszą znaczącą poprawę w technologia kompresji tekstur od lat 90. XX wieku, co pozwala na przetwarzanie tekstur o rozdzielczości czterokrotnie wyższej od tej, jaką obecnie są w stanie przetwarzać procesory graficzne. 📈

Ten technologia Jest to wersja beta i nie ma jeszcze daty premiery. Co ciekawe, minimalne wymagania w przypadku NTC wydają się być zaskakująco niskie. Strona GitHub Nvidia dla RTX NTC potwierdza, że minimalnym wymaganiem GPU jest GPU serii RTX 20. Jednakże technologia Potwierdzono również jego działanie na kartach graficznych GTX serii 10, AMD Radeon RX 6000 i Arc serii A, co sugeruje, że technologia ta może stać się powszechna na kartach graficznych innych niż RTX, a nawet na konsolach. 🎉