У відповідь на широку критику новітньої версії апскейлера NVIDIA DLSS 5, ютубер Деніел Оуен звернувся до компанії з рядом запитань про те, як працює ця технологія.
Речник NVIDIA, Джейкоб Фрімен, надав відповіді на запитання Оуена. Одне з головних питань стосувалося того, чи дійсно DLSS 5 просто використовує зображення у поєднанні з векторами руху, щоб створити підсумковий результат.
Це викликало сумніви щодо розуміння DLSS 5 складних обчислень на зразок рейтрейсингу. Оуен підняв питання, чому гравцям варто активувати цю функцію, якщо вона не враховує ці численні обчислювальні завдання, які потребують значної потужності.
Фрімен не надав прямих відповідей на це питання. Він зазначив, що базова геометрія залишається незмінною, і що представлена версія DLSS 5 — це лише попередня демонстрація. Оуен припустив, що хоча геометрія залишається такою ж, кінцевий результат залежить від того, як DLSS 5 його інтерпретує.
Згідно з офіційним керівництвом NVIDIA, DLSS 5 покращує властивості PBR-матеріалів. Оуен поцікавився, чи дійсно апскейлер використовує специфікації PBR, вбудовані в ігровий рушій, такі як властивості матеріалів, шорсткість і карти нормалей, або просто виводить покращені властивості PBR.
Фрімен підтвердив, що так і є. DLSS 5 пропускає вихідне зображення через генеративну модель ШІ для поліпшення якості, і кінцевий результат рендериться поверх ігрового рушія. Оуен також запитав, чи аналізує DLSS 5 3D-геометрію та глибину, або просто обробляє скриншот для покращення.
“DLSS 5 навчається від кінця до кінця, щоб зрозуміти складну семантику сцени, включаючи персонажі, волосся, тканини та напівпрозору шкіру, а також умови освітлення, такі як фронтальне та заднє освітлення або похмура погода, через аналіз одного кадру”, пояснив Фрімен.
Із цієї непрямої відповіді Оуен дійшов висновку, що DLSS 5 не пов’язаний з 3D-геометрією. Однак, якщо вихідна геометрія та текстури незмінні, чому іноді текстури виглядають зміненими? Як приклад, Оуен зауважив, що персонаж зі Starfield після обробки DLSS 5 мав більше волосся на лівій скроні.
Фрімен пояснив, що DLSS 5 використовує лише відрендерені кадри та вектори руху для створення кінцевого результату. Оуен вважає, що це пояснення робить офіційні заяви про поліпшення PBR властивостей дещо оманливими.
Оуен також запитав, чи можуть розробники ігор контролювати щось крім кольорокорекції, зменшення впливу DLSS 5 або приховування результатів апскейлінгу в певних випадках. Наприклад, Грейс Ешкрофт з RE: Requiem в оригіналі не має макіяжу, але DLSS 5 додає його. Чи можуть розробники керувати цим?
NVIDIA не надала чіткої відповіді. Напевно, на цьому етапі не можна вказати DLSS 5 специфічним чином. Фрімен підтвердив, що DLSS 5 обмежується простором оригінального зображення і не враховує зовнішні джерела світла, такі як заломлення, затінення та тіні.
Раніше повідомлялося, що DLSS 5 викликала занепокоєння серед розробників Resident Evil Requiem. DLSS 5 не лише рендерить кожен кадр, але і працює з освітленням, приймаючи кольорові та динамічні вектори, використовуючи ШІ для створення фотореалістичного освітлення та підвищеної деталізації.
Голова компанії Дженсен Хуанг відповів геймерам: DLSS 5 — це не просто халтура від ШІ.
“DLSS 5 навчається від самого початку, щоб розуміти складну семантику сцени, включаючи персонажі, волосся, тканини та умови освітлення”, — пояснює речник NVIDIA.