Сжатие нейронных текстур: на 96% меньше видеопамяти! 🧠💾

Технология Neural Texture Compression (NTC) от Nvidia наконец-то прошла испытания, продемонстрировав возможности технологии в реальных 3D-нагрузках. Сочинять на YouTube провели тесты технологии сжатия памяти Nvidia на RTX 4090 при разрешениях 1440p и 4K, показав впечатляющее сокращение размера текстуры памяти 96% с NTC по сравнению с традиционными методами сжатия текстур. 🚀

Compusemble протестировал NTC в двух режимах: «NTC, транскодированный в BCn» и «Внутривыборочный вывод». Первый метод перекодирует текстуры в BCn при загрузке, тогда как второй только распаковывает отдельные текселы, необходимые для рендеринга определенного вида, что еще больше уменьшает размер памяти текстур. 🎮

При разрешении 1440p с включенным масштабированием DLSS режим «NTC, транскодированный в BCn» снизил размер памяти для тестирования приложения на 64% — с 272 МБ до 98 МБ. Однако режим «вывод NTC на основе выборки» значительно уменьшил размер текстуры до всего лишь 11,37 МБ, что на 95,8% меньше по сравнению с не-нейронным сжатием и на 88% меньше по сравнению с предыдущим режимом нейронного сжатия. 😲

Метрики Compusemble выявили небольшое падение производительности при включении нейронного сжатия текстур RTX. «Режим NTC, транскодированный в BCn, показал минимальное снижение среднего FPS по сравнению с отключенным NTC, хотя самый низкий FPS 1% был заметно лучше, чем обычное сжатие текстур с отключенным NTC. Режим вывода NTC в образцах показал более резкое падение: средний показатель FPS снизился со 1600 до примерно 1500 FPS. Низкий 1% значительно упал до примерно 840 FPS.» 📉

Уменьшение размера памяти такое же при разрешении 1440p с TAA вместо масштабирования DLSS, но поведение производительности графический процессор варьируется. Все режимы работали значительно быстрее, чем DLSS, со скоростью около 2000 кадров в секунду. Самый низкий показатель 1% в режиме «вывод NTC на основе выборки» составил 1300 кадров в секунду, что является большим скачком по сравнению с 840 кадрами в секунду. 🎉

Неудивительно, что увеличение разрешения до 4K делает производительность резко упасть. При включенном масштабировании DLSS средний FPS составляет 1100 FPS в режиме «NTC транскодирован в BCn» и чуть менее 1000 FPS в режиме «NTC inference on sample». Самый низкий показатель 1% для обоих режимов находился в диапазоне 500 FPS.

Отключение DLSS в пользу собственного разрешения с TAA показывает среднее увеличение FPS в диапазоне 1700 FPS в режиме «NTC transcoded to BCn» и среднее увеличение FPS в диапазоне 1500 FPS в режиме «NTC inference on sample». Самый низкий показатель 1% для более раннего режима NTC составлял чуть менее 1100 FPS, тогда как для более позднего режима низкие показатели 1% составляли чуть менее 800 FPS. 📊

Наконец, Compusemble протестировал кооперативные векторы с режимом «вывод NTC в образце» на Разрешение 4К с ТАА. При включенных векторах кооперативного режима средняя частота кадров находилась в диапазоне 1500 кадров в секунду, а при их отключении средний FPS падал до чуть менее 650 кадров в секунду. Самые низкие показатели 1% также были чуть ниже 750 FPS с включенными векторами кооперативного режима; отключены самые низкие 1% были чуть выше 400 FPS соответственно. 🔄

Тесты Compusemble RTX NTC показывают, что технология Нейронная компрессия Nvidia может значительно сократить объем памяти текстур, занимаемый 3D-приложениями, но за счет производительности, особенно в режиме «вывода на основе выборки». ⚠️

Самый интересный аспект результатов производительность DLSS по сравнению с собственным разрешением. Значительное увеличение частоты кадров при собственном разрешении показывает, что тензорные ядра используемые для обработки NTC облагаются высокими налогами, вероятно, до такой степени, что производительность масштабирования DLSS снижается настолько, что это может потенциально ограничить ядра шейдеров. Если этого не произойдет, мы должны увидеть режим DLSS, работающий с более высокой частотой кадров, чем собственные тесты TAA 4K. 🔍

Технология RTX Neural Texture Compression находится в разработке уже как минимум несколько лет. Новый технология использует тензорные ядра современных графических процессоров Nvidia для сжатия текстур в 3D-приложениях и играх вместо традиционного кода усечения блоков. RTX NTC представляет собой первое крупное усовершенствование технология сжатие текстур с 1990-х годов, что позволяет обрабатывать текстуры в четыре раза более высокого разрешения, чем способны обрабатывать современные графические процессоры. 📈

La технология Находится в стадии бета-тестирования, дата релиза неизвестна. Интересно, что минимальные требования для NTC кажутся на удивление низкими. Страница GitHub Nvidia для RTX NTC подтверждает, что минимальным требованием к графическому процессору является графический процессор серии RTX 20. Однако технология Также была подтверждена работа на графических процессорах серии GTX 10, AMD Radeon RX 6000 и Arc A, что позволяет предположить, что эта технология станет распространенной на графических процессорах без RTX и даже на консолях. 🎉