benzionovna
Попробуйте 2к сравнить, будете приятно удивлены.
Если в кадре много деталей, то будет ровно то же самое, вне зависимости от разрешения.
Это просто алгоритмы по которым работают TAA и TAAU - слишком яркие пиксели отсекаются, если пиксели сильно меняют свой цвет от кадра к кадру (specular highlights) - они тоже отсекаются, субпиксельные детали - усредняются с соседними пикселями и исчезают, в результате мы имеет темпорально стабильный видеоряд, в котором отрезали кучу пикселей, т.к. они мешались. Задача нейронки в DLSS - сохранять эти пиксели, а не резать. Почему режут? Потому что это самый простой и понятный для человека вариант - написать простую эвристику, которая будет работать в 95% случаев, даже если при этом исчезает куча мелких деталей. Нейронка хороша тем, что заменяет 1-2 простые эвристики TAA для валидации корректных пикселей на тысячи автоматизированных эвристик для частных случаев (полученных путем минимизации отклонения от изображений и видеоряда эталонного качества, за счет чего и сохраняются детали) - это именно то, благодаря чему нейронные сети уже давно победили экспертные системы на базе эвристик в машинном зрении.

XSol
Ок. Спасибо за разьяснения.

Немного оффтопик.
Не понимаю тогда компании, которые гонятся за мегапикселями в матрицах. Гнались бы лучше за ДД, сложной ГРИП, цветом.
Да, они сейчас делают сдвиг матрицы , на пол/четверть пикселя, что бы словить эти сверхвысокие разрешения, но если подумать, то хороший AI, достроит их не сильно хуже. Да, в фотоаппарат не засунуть большущий чип, и сильно его не прокормишь от батарейки. Забавно, но Сони и Олимпус, уже выпускали свои объективы для смартфонов.
Получается, что победит тот, у кого будет лучшая оптика, и лучшее ПО, для построения итогового кадра.

Например, так

Ну превратить молодого морпеха в 50 летнего пердуна, это наверное очень долго щиталось в шейдерах, персонаж успел постареть.
Вычислительная фотография в другом отделе, сходите в телефоны, фан-арт тоже в другом.

Domin1c
Ты и не понял.

Там в принципе необучаемая нейросеть из одного нейрона:
Увидел "Хуанг" - АААААА!!!!
Увидел "АМДа" - ЫЫЫЫЫ!!!

с чем мы его и поздравляем.

DLSS-видео бороды - Video unavailable
Чё, авторы хайпанули, лопухнулись и концы в воду? Смешная шутка вышла

YgriK
Чё, авторы хайпанули, лопухнулись и концы в воду? Смешная шутка вышла


Так они отписались, что вышла лажа и представитель Нвидии им объяснил в чем они лопухнулись.

Зато есть и полезный эффект - Ореадеро порвался.

Нормальные сми при таких казусах выпускают новый материал, где говорят, что облажались. Может не успел просто

Исправлено: vania z, 28.04.2020 11:02

Напомнило:

"- а потом плакал и клялся, что в душе он сам почвовед." (с)

Донкий_ХОД
Зато есть и полезный эффект - Ореадеро порвался.
а t0st0 мощно стартовав на ракетных ускорителях, уже шлет нам радиосигнал из пояса Койпера

benzionovna
Да, они сейчас делают сдвиг матрицы , на пол/четверть пикселя, что бы словить эти сверхвысокие разрешения, но если подумать, то хороший AI, достроит их не сильно хуже.
Кстати, сдвиг камеры на субпиксельную величину от кадра к кадру по позициям хорошо распределенной псевдослучайной последовательности, например, Холтона - это именно то, что позволяет DLSS и другим темпоральным алгоритмам восстанавливать все мелкие текстурные и геометрические детали в более высоком разрешении, чем разрашение рендеринга. Алгоритм простой - от кадра к кадру смещаем позицию камеры на небольшую величину по позициям какой-либо последовательности (обычно подобная последовательность включает до 16 позиций - "cэмплов"), берем предыдущий кадр в высоком разрешении, искажаем его при помощи векторов движения чтобы все пиксели предыдущего кадра (сэмплы) стали на нужные позиции в текущем кадре, берем апскейл текущего кадра и при помощи эвристики, либо нейронной сети проверяем пиксели предыдущего кадра относительно текущего (это основной шаг, который больше всего влияет на качество), если пиксель проходит валидацию - смешиваем его с текущим кадром, если не проходит - не смешиваем, используем экспоненциальное скользящее среднее для смешивания двух кадров чтобы старые пиксели (добавленные несколько итераций назад) постепенно затухали и вносили меньший вклад в изображение (имели меньший вес), в случае нейронных сетей величину смешивания может определять сама сеть попиксельно в зависимости от контента, после смешивания и прохода по всем 16 позициям получаем кадры в более высоком разрешением (обычно аккумулируют в 4х разрешение по числу пикселей) со сглаживанием, текстурные лоды рендерим как в более высоком разрешении - соответственно все мелкие текстурные детали тоже восстанавливаются.

Raytracer77
так стартонул то - ты, почитай что вытекло с тебя
и для этого было достаточно слов инженера нвидиа_Рус

XSol
Описанный тобой механизм, если не ошибаюсь, использовали в новой Gears5 на движке UT.
Там апскейл на основе предыдущего кадра строился.

Добавление от 28.04.2020 13:06:

XSol
в случае нейронных сетей величину смешивания может определять сама сеть попиксельно в зависимости от контента, после смешивания и прохода по всем 16 позициям получаем кадры в более высоком разрешением (обычно аккумулируют в 4х разрешение по числу пикселей) со сглаживанием, текстурные лоды рендерим как в более высоком разрешении - соответственно все мелкие текстурные детали тоже восстанавливаются.

То есть смысл нейронки- найти оптимальный путь для восстановления кадра ?

Rust_lang

Ты не понял. Это еще одно доказательство, что у Хуанга - кошерные карты, а не какая-то халяльная АМДа.

benzionovna
Описанный тобой механизм, если не ошибаюсь, использовали в новой Gears5 на движке UT.
В UE4 есть TAAU - https://docs.unrealengine.com/en-US/Engine/Rendering…entage/index.html
Результат его работы в Deliver Us the Moon здесь - http://forum.ixbt.com/topic.cgi?id=10:63039:69112#69112
Про эвристики с моей стороны - http://forum.ixbt.com/topic.cgi?id=10:63039:69114#69114
Принцип работы Neighborhood clamping (эвристика для валидации сэмплов) - http://advances.realtimerendering.com/s2014/epic/TemporalAA.pptx (Neighborhood clamping)
Сравнение эвристик (Neighborhood clamping) против нейронных сетей можно посмотреть здесь - https://youtu.be/d5knHzv0IQE?t=1623

То есть смысл нейронки- найти оптимальный путь для восстановления кадра?
Именно. Нейронная сеть может аппроксимировать любые математические функции на участке функции (если она дифференцируема).
По сути, в весах нейронной сети вырабатывается множество функций по ходу обучения сети - минимизации отклонения от эталонных примеров на которых обучают сеть при помощи обратного распространения ошибки. На выходе изображение после обработки нейронной сетью сравнивается с эталонными изображениями с каким-нибудь 64х суперсэмплингом, затем для каждого пикселя рассчитывается либо абсолютная разность между изображениями, либо евклидово расстояние, либо еще какая-либо целевая функция, которая будет нам указывать на величину ошибки нейронной сети. Далее мы минимизируем величину ошибки, распространяя эту ошибку обратно по сети при помощи правила дифференцирования сложной функции и частных производных (которые указывают на сколько необходимо поправить тот или иной вес), это гарантирует сходимость сети к какому-либо локальному или глобальному минимуму функции ошибки, нейронная сеть считается обученной, когда результаты перестают улучшаться (достигается глобальный минимуму функции ошибки)

Т.к. сеть обучается на куче примеров, то в весах вырабатывается множество аппроксимаций разных функций, трансформирующих входные значения пикселей по разному в зависимости от контента. Например, при обычном апскейлинге (не временной реконструкции как в случае DLSS), нейронные сети обрабатывают края объектов по разному в зависимости от их положения и ориентации в пространстве, тогда как бикубическая фильтрация не учитывает положение и ориентацию ребер объектов и т.д., за счет этого при использовании сверточных нейросетей для пространственного апскелинга достигается значительно более высокое качество по сравнению с бикубической, либо другой фиксированной интерполяцией.

То есть в случае нейронной сети это не просто одна эвристика, которая работает всегда одинаково вне зависимости от контента, который поступает на вход. В случае нейронной сети это набор таких эвристик (функций трансформации, закодированных в весах сети), которые отрабатывают по разному в зависимости от тех или иных частных случаев (адаптивны с т.з. контента). Именно поэтому нейронную сеть иногда приходится дообучать и в этом ее основное преимущество относительно негибкого Neighborhood clamping и других простых эвристик, которые портят мелкие, контрастные и прочие детали.

XSol
А вот про это что скажешь :

https://docs.microsoft.com/en-us/windows/win32/direct3d12/dml-intro

benzionovna
А вот про это что скажешь
АПИ для инференса нейронных сетей в играх, что про это можно еще сказать?

Достаточно высокоуровневый АПИ с поддержкой тензорных ядер через метакомманды и целочисленных операций с низкой точностью для инференса квантизированных сетей (не для графики, т.к. в графике все вычисления в FP32, минимум FP16)

Ну это команды int4 и int8 ? Верно ?

Я не очень хочу здесь устраивать срач и биливы, но кмк, старые карточки поколения Vega при использовании этого АПИ - должны ещё неплохо себя показать.
Да, это не специально отведённые тензорный ядра, но все же.
Вопрос только в том, когда начнут все повсеместно использовать этот АПИ.

Domin1c
Так они отписались, что вышла лажа и представитель Нвидии им объяснил в чем они лопухнулись.
А где про это почитать-посмотреть ?Крайне интересно

benzionovna
Ну это команды int4 и int8 ? Верно?
Да

старые карточки поколения Vega при использовании этого АПИ - должны ещё неплохо себя показать.
В Вегах есть 2х FP16, что в 6 раз медленнее FP16 на тензорных ядрах в 2080 Ti. В риалтайме 2х FP16 хватит только для чего-то очень простого, например, обычного апскейлинга без временной аккумуляции, но и качество будет соответствующее. Для каких-нибудь простеньких локальных аппроксимаций физики, например, физики тканей, FP16 тоже должно хватить. У Юбиков на этой GDC была целая сессия посвященная этой теме) С другой стороны, Веги не поддерживают dp4a инструкции (4х int8) как Паскали, поэтому для чего-то не требующего высокой точности вроде ИИ противников они уже будет не очень (новый ящик на RDNA2 поддерживает эти инструкции).

Вопрос только в том, когда начнут все повсеместно использовать этот АПИ.
Когда его начнут повсеместно использовать, про Вегу все давно забудут)

Исправлено: XSol, 28.04.2020 16:18

cypher1999
А где про это почитать-посмотреть ?Крайне интересно

В данный момент я так понимаю нигде. Ролик с канала убрали, на втором канале он тоже не появился.

XSol
В Вегах есть 2х FP16, что в 6 раз медленнее FP16 на тензорных ядрах в 2080 Ti. В риалтайме 2х FP16 хватит только для чего-то очень простого, например, обычного апскейлинга без временной аккумуляции, но и качество будет соответствующее. Для каких-нибудь простеньких локальных аппроксимаций физики, например, физики тканей, FP16 тоже должно хватить. У Юбиков на этом GDC была целая сессия посвященная этой теме) С другой стороны, Веги не поддерживают dp4a инструкции (4х int8) как Паскали, поэтому для чего-то не требующего высокой точности вроде ИИ противников они уже будет не очень (новый ящик на RDNA2 поддерживает эти инструкции).

Сузим круг ещё : Radeon vii


Поговорим о более явных улучшениях, среди которых — нескольких новых инструкций и типов данных для ускорения задач машинного обучения. Особых деталей AMD публике не выдает, но в Vega 20 они добавили типы данных INT8 и INT4, востребованные в некоторых задачах глубокого обучения, не требующих высокой точности вычислений. Также к возможностям нового GPU добавлена новая инструкция FP16 dot product, предназначенная для алгоритмов глубокого обучения, которая накапливает результат в формате FP32 — с большей точностью по сравнению с типичной инструкцией FP16 dot product.


Это были зачатки ?
Я так понимаю - для этого надо ещё драйвера специально сделанные ?

Я так понимаю - для этого надо ещё драйвера специально сделанные ?
Для этого нужен драйвер и компилятор с поддержкой DirectML и соответствующих инструкций.
Не знаю, сделали ли что-то из этого в АМД для Radeon VII, учитывая популярность карты.

XSol
так понимаю - для этого надо ещё драйвера специально сделанные ?
Для этого нужен драйвер и компилятор с поддержкой DirectML и соответствующих инструкций.
Не знаю, сделали ли что-то из этого в АМД для Radeon VII, учитывая популярность карты.

вроде как есть поддержка :
https://www.overclock3d.net/news/gpu_displays/amd_s_…rnative_to_dlss/1
https://www.highperformancegraphics.org/wp-content/u…2018_DirectML.pdf
получается, что NVIDIA со своими универсальными ядрами просто отлично поддержали начинания Майкрасофт, а когда ML будет повсеместно - карточки нвидия будут давать очень хорошую производительность.
а поддержка со стороны игроделов пойдет массово с выходом нового ящика.

XSol
Ну а зачем нужен DirectML только на интах? Ну типа tier1 это инты, а будущие tier2 это будет фп16/фп32. Какой смысл в АПИ с таким ограниченным функционалом на картах, которые можно сказать канули в лету?

YgriK
Ну а зачем нужен DirectML только на интах?
Тут скорее по другому вопрос нужно ставить - зачем DirectML что-то отличное от интов? Вроде ж весь ML на текущий момент это именно инты, и достаточно низкой разрядности - т.е высокая точность или FP даблы там просто не нужны.