Позначка: апскейлер

У відповідь на широку критику новітньої версії апскейлера NVIDIA DLSS 5, ютубер Деніел Оуен звернувся до компанії з рядом запитань про те, як працює ця технологія.

Речник NVIDIA, Джейкоб Фрімен, надав відповіді на запитання Оуена. Одне з головних питань стосувалося того, чи дійсно DLSS 5 просто використовує зображення у поєднанні з векторами руху, щоб створити підсумковий результат.

Це викликало сумніви щодо розуміння DLSS 5 складних обчислень на зразок рейтрейсингу. Оуен підняв питання, чому гравцям варто активувати цю функцію, якщо вона не враховує ці численні обчислювальні завдання, які потребують значної потужності.

Фрімен не надав прямих відповідей на це питання. Він зазначив, що базова геометрія залишається незмінною, і що представлена версія DLSS 5 — це лише попередня демонстрація. Оуен припустив, що хоча геометрія залишається такою ж, кінцевий результат залежить від того, як DLSS 5 його інтерпретує.

Згідно з офіційним керівництвом NVIDIA, DLSS 5 покращує властивості PBR-матеріалів. Оуен поцікавився, чи дійсно апскейлер використовує специфікації PBR, вбудовані в ігровий рушій, такі як властивості матеріалів, шорсткість і карти нормалей, або просто виводить покращені властивості PBR.

Фрімен підтвердив, що так і є. DLSS 5 пропускає вихідне зображення через генеративну модель ШІ для поліпшення якості, і кінцевий результат рендериться поверх ігрового рушія. Оуен також запитав, чи аналізує DLSS 5 3D-геометрію та глибину, або просто обробляє скриншот для покращення.

“DLSS 5 навчається від кінця до кінця, щоб зрозуміти складну семантику сцени, включаючи персонажі, волосся, тканини та напівпрозору шкіру, а також умови освітлення, такі як фронтальне та заднє освітлення або похмура погода, через аналіз одного кадру”, пояснив Фрімен.

Із цієї непрямої відповіді Оуен дійшов висновку, що DLSS 5 не пов’язаний з 3D-геометрією. Однак, якщо вихідна геометрія та текстури незмінні, чому іноді текстури виглядають зміненими? Як приклад, Оуен зауважив, що персонаж зі Starfield після обробки DLSS 5 мав більше волосся на лівій скроні.

Фрімен пояснив, що DLSS 5 використовує лише відрендерені кадри та вектори руху для створення кінцевого результату. Оуен вважає, що це пояснення робить офіційні заяви про поліпшення PBR властивостей дещо оманливими.

Оуен також запитав, чи можуть розробники ігор контролювати щось крім кольорокорекції, зменшення впливу DLSS 5 або приховування результатів апскейлінгу в певних випадках. Наприклад, Грейс Ешкрофт з RE: Requiem в оригіналі не має макіяжу, але DLSS 5 додає його. Чи можуть розробники керувати цим?

NVIDIA не надала чіткої відповіді. Напевно, на цьому етапі не можна вказати DLSS 5 специфічним чином. Фрімен підтвердив, що DLSS 5 обмежується простором оригінального зображення і не враховує зовнішні джерела світла, такі як заломлення, затінення та тіні.

Раніше повідомлялося, що DLSS 5 викликала занепокоєння серед розробників Resident Evil Requiem. DLSS 5 не лише рендерить кожен кадр, але і працює з освітленням, приймаючи кольорові та динамічні вектори, використовуючи ШІ для створення фотореалістичного освітлення та підвищеної деталізації.

Голова компанії Дженсен Хуанг відповів геймерам: DLSS 5 — це не просто халтура від ШІ.

“DLSS 5 навчається від самого початку, щоб розуміти складну семантику сцени, включаючи персонажі, волосся, тканини та умови освітлення”, — пояснює речник NVIDIA.

На тлі активної критики новітньої версії апскейлера NVIDIA DLSS 5, ютубер Деніел Оуен вирішив звернутися до компанії, щоб роз’яснити деталі функціонування цієї технології.

Представник NVIDIA Джейкоб Фрімен відповів на запитання Оуена, зокрема про те, чи дійсно DLSS 5 оперує лише скріншотом зображення разом з векторами руху для створення фінального результату. Це викликало питання щодо розуміння алгоритмами рейтрейсингу, оскільки, згідно з цим, апскейлер не враховує складні обчислення, на які геймери сподіваються при його активації.

Фрімен уникав прямої відповіді, зазначивши, що базова геометрія залишається незмінною, а те, що було представлено компанією, лише попередня версія. На думку Оуена, хоча геометрія може залишитися такою ж, остаточний вигляд залежить від оптимізації DLSS 5.

У офіційному посібнику NVIDIA зазначено, що DLSS 5 підвищує якість PBR-матеріалів. Оуен запитав, чи апскейлер враховує специфікації PBR, як-от властивості матеріалів, шорсткість і карти нормалей, чи лише покращує їх на виході. Фрімен підтвердив, що так і є, пояснивши, що DLSS 5 застосовує генеративну модель ШІ для покращення зображення, яке потім накладається на ігровий рушій.

Далі Оуен поцікавився, чи DLSS 5 аналізує 3D-геометрію і глибину, чи просто обробляє скріншот для поліпшення на основі аналізу? Представник NVIDIA пояснив, що DLSS 5 навчається, щоб розуміти складну семантику сцени, включаючи персонажів, волосся, тканини та умови освітлення.

Оуен звернув увагу на зміни у текстурах, що відрізняються від оригіналу після обробки DLSS 5. Наприклад, у грі Starfield персонаж після обробки мав більше волосся на лівій скроні.

Фрімен уточнив, що DLSS 5 працює лише з відрендереними кадрами і векторами руху, що ставить під сумнів твердження про покращення PBR. Ютубер також запитав, чи мають розробники ігор можливість контролювати інші аспекти рендерингу через DLSS 5, наприклад, приховувати його ефекти на окремих персонажах. Фрімен пояснив, що апскейлер обмежений простором оригінального зображення і не враховує зовнішні джерела освітлення.

Раніше повідомлялося, що DLSS 5 викликала занепокоєння серед розробників Resident Evil Requiem через спосіб роботи з освітленням та деталізацією. Дженсен Хуанг, представник NVIDIA, запевнив, що DLSS 5 — це не просто автоматизована робота, а результат навчання для розуміння сцен.

Що ви думаєте про цю статтю? Чи задоволені ви роботою DLSS 5? Ваші думки важливі для нас.