Предлагаю обсудить Стабилизация видео: сравнение трёх инструментов (Warp Stabilizer, proDAD Mercalli, Deshaker)

Вот оно торжество разума, во истину старина Гюннарт рвёт коммерческие плагины аки тузик грелку.
(Хотя видел я стабилизацию и по круче, но не по отношению качества и производительности.)
Не так давно я по случаю попробовал ворп и мераклю, на одной студии, много матерился, и забил...

Дело в том, что есть ситуации, когда в их работе обнаруживается бездна разницы, например актёр в театре, на равномерном фоне...
Только дешейкер Гюнарта, реализует такую простую и очевидную вещь, как статистическое сравнение выявленных векторов движения.
Прочие же "стабилизаторы" пытаются скомпенсировать движения актёра. В итоге, применяя стабилизатор для сглаживания панорамирования камеры штативе, мы получим субъективную (или следящую если зафиксируем одну ось) камеру, из абсолютно стабильного материала.
Я иногда даже пользуюсь теперь этим, специально, когда хочу получить "чувственную" субъективную камеру.
Собственно исключительно ради этого досадного "бага" я и посвятил некоторое время изучению документации на мираклю.
Но тем не менее смешно, то что плагины для стабилизации порою работают с точностью до наоборот.

Ни в коем случае, не хочу оспорить результаты сравнения и выводы этого обзора, ибо согласен с ними, но не могу не заметить, что вы не раскрыли потенциал меракли, а он есть.
Вы щёлкали переключатель пресетов, но активна была лишь компенсация поворота камеры, а сглаживание панорамирования там начинает работать только когда это панорамирование будет определено, по некоторым признакам. Кроме того у вас было разрешено сохранение динамики камеры, которое оказывает сильное влияние, даже на при включённой горизонтальной и вертикальной стабилизации. И необходимо тогда, когда мы хотим сочетать большую инерцию камеры, и сложную траекторию движения камеры, что в вашем случае, излишне, ибо камера бежит во вполне конкретном направлении...

В общем, условия тестирования не равны, а тестовый материал выбирался так что судить о точности прогнозирования движения и адекватности решений, принимаемых различными стабилизаторами не представляется возможным. В итоге, правильность ваших выводов, по сути чистая случайность. Mercalli не так плох, как вы его представляете.

А можно исправить линк на сайте со второй части теста на первую?

Zemskov
старина Гюннарт рвёт коммерческие плагины
А чего там рвать-то... Сам принцип - известен, сравнение серий кадров. Если обладаешь даром программирования - вперёд за клавиатуру. С песней. Жаль только, что никто из CUDAписцев ещё не воплотил стабилизацию на этой архитектуре. Или воплотил, но молчит, как шпион.

не раскрыли потенциал меракли, а он есть
А уж какой потенциал скрывает дешейкер - и представить страшно. Но, чтобы его раскрыть... В общем, надо работать, и много. И на постоянной основе. В статье же упор на обычного человека, днём на заводе, вечером за монтажом.

Кроме того у вас было разрешено сохранение динамики камеры
Если её отключить - тихий ужас получался на моём материале. Материал материалу рознь, так ведь?

Mercalli не так плох, как вы его представляете
Хм, я-то лично как раз думаю, что он лучше всех. Странно, что от статьи впечатление обратное

Andrey_lawyer
А можно исправить линк на сайте со второй части теста на первую?
Спасибо, исправлено.

Отличная статья, очень наглядные сравнения.
Результаты с моими совпадают, только вот дубом стабилизировать AVCHD это гимор изрядный.
ИМХО жаль, что забыли такой мощный стаб, как optical stabilizer из пакета Boris Continuum.
Настроек море и результат получается шикарный. У меня в нем лучше результат чем в меркали. Конкретизирую:
- можно указать в кадре стабильные изначально зоны - типа горы или дома, анализ идет быстрее и результат намного лучше
- можно накладывать этот стаб на один и тот же ролик много раз. В этом случае можно сначала сделать грубую стабилизацию с одними настройками, а затем уже более точную, с другими.
- если анализ клипа меркалей уже сделан, а затем клип подрезается\растягивается хоть на 1 кадр, то придется заново анализировать ВЕСЬ клип, в случае бориски - только добавленные кадры или стыки клипов, то есть работа идет заметно быстрее.
- можно указать конкретный объект, относительно которого надо стабилизировать картинку. Зум при этом само собой сильнее, но зато ОЧЕНЬ плавно все. Бывает, когда именно так нужно сделать.
- встроенный хорошо настраиваемый шарп

Так, непорядок. Вижу что мой Warp Stabilizer сильно обидели, надо защищать Щас прочту полностью и наконец поставлю себе Mercalli 2, посмотрю что там и отпишусь.

Добавление от 17.11.2011 13:43:

Yakudza77 На меня он не произвел впечатление особо мощного пока, но достойный как минимум, да. Он похож на тот стабилизатор что был ранее в AE.

по поводу выбора тестовых вариантов - не вполне понятно, зачем с пляжем выбран такой экстрим - при том, что всего 2 варианта тестируется... Всё-таки надо бы тестировать (если уж так ограничены во времени) наиболее распространенные шаблоны съёмок... А такой экстрим при тестировании оправдан, если у вас уже есть оттестированное что-то более "нормальное". Просто одна и та же программа может быть хорошей в обычном режиме и плохой в экстриме...

2 B.i.g.B.r.a.i.n Попробуйте! На первый взгляд, там всё настроено правильно, НО может быть по аналогии с миракли, есть какие-то фишки не очевидные при беглом осмотре, которые будет легче заметить Вам...Это только на первый взгляд всё так просто, в действительности же, есть масса вариантов: можно сравнивать полные кадры, можно сравнивать отдельные блоки в кадрах, можно выделять и сравнивать фичи в кадрах, можно это всё комбинировать, да и само сравнение можно практически выполнять очень даже по разному и это решительным образом влияет на результат. CUDA тут полезна разве что для предварительной подготовки изображения, а дальше от неё мало прока, в логику на ней не поиграешь, да и не больно интересно. В активе студии эффективней показывают себя кластеры. Да и простого пользователя i7 2500k сделает гораздо счастливей чем GPU эквивалентной цены, если не работать с 3D и 2k.

А если по теме, то если на том же материале, в миракли включить стабилизацию по горизонтали и вертикали, просто две галочки поставить, всё станет гораздо лучше лучше, и мне странно что этого не было сделано...
И аналогично если дешейкеру, оставить только наклон, а время горизонтали, вертикали и зума поставить в 0, результат будет не менее удручающий.
У вас же, вышло сравнение, включённого стабилизатора, с выключенным и на этом основании делаются какие то выводы о качестве работы стабилизаторов.

PS. И вот ещё один момент, если мы говорим про пользователя не профессионала, переключающего пресеты, не надо было ставить галочку фьюча сеттингс, ибо по умолчанию, отображенные там значения включены! А с открытыми настройками включена только горизонталь, ибо предполагается что если человек туда полез, он знает что делает. Те, паттерн поведения среднестатистического пользователя, у вас тоже воспроизведен не корректно.

А время, потраченное каждым фильтром и конфигурацией, никак нельзя узнать?

santal123
Что считать будем? Время, затраченное только на просчёт? А экспорт? И как быть с первым и вторым проходами в Dub-е?
Если сравнивать только время анализа в Mercalli и Warp-е (и только первый проход в дешейкере), то оталкиваться можно, наверное, от Mercalli, он самый быстрый оказался - анализирует по 30-50 кадров в секунду на хорошем компьютере (но опять же, всё очень зависит от характера видео). Deshaker на моём ПК анализирует медленнее раза в два-три. Но Warp Stabilizer, увы, считает дольше в разы - сильно зависит от настроек. Может, и в 10, а может, и в 20 раз медленнее, чем Mercalli. Он же фактически не потребляет машинных ресурсов.

Кватр скейл и только каждый 16 пиксель разгонят Deshaker ещё быстрее!
Без ущерба качеству, в сравнении с миракли. И более того, для некоторых источников изображения, кватерскейл ещё точность и повысит.
В общем считать тут действительно нечего, всё зависит от конкретных настроек.

Раньше использовал меркалли в премьере, отказался в пользу дешейкера. Гибкость настроек и возможность стабилизации без кропа победили юзабилити.
А в дешейкере не пробовали использовать поле "ignore pixels"?
В принципе если оставить для анализа только дальние горы и небо слева сверху, должно получиться гораздо лучше, без этих раздражающих рывков и гуляния зума.
Кроме того момент прохода под мостом можно проанализировать отдельно, со своими настройками.
И спасибо за сравнение.

Wapr Old
А как потом эти отдельно проанализированные куски срастутся?

khizhiy
А как потом эти отдельно проанализированные куски срастутся?
Хм, резонный вопрос

Wapr Old
отказался в пользу дешейкера
Я - пас. С AVI DV - да, возможно, т.к. не надо ничего мудрить с импортом-экспортом. Но AVC... Мало кому нравится возиться с многократным перекодированием, сохранением промежуточных результатов просчёта, со скриптами, сплиттерами, логами какими-то... Гораздо удобнее делать всё, не покидая монтажки. Изредка, быть может, через динамик линк что-то в AE похимичить. Никаких промежуточных файлов, и результат видишь тут же, в окне предпросмотра.

khizhiy
А как потом эти отдельно проанализированные куски срастутся?
Нормально срастутся, это штатная возможность дешейкера, анализировать разные куски с разными настройками.

Mercoff
Гораздо удобнее делать всё, не покидая монтажки. Изредка, быть может, через динамик линк что-то в AE похимичить.
Да я только за, но к сожалению даже через динамик линк не всегда нормально выходит. Последний раз пришлось в АЕ делать полный рендер в некомпресс и совать в премьер, иначе жесть как медленно работало(я попробовал тамошний шумодав вместо неата).

Я, само собой, буду утверждать, что потенциал Deshaker'a не полностью раскрыт
в такого рода сюжетах, как движение вперёд с некоторым неподвижным фоном вдалеке (горы) можно либо привязываться к движущейся нижней части кадра, либо к неподвижной верхней. Второе проще и в данном случае, вероятно, надёжнее сработает, но вообще deshaker достаточно умный, чтобы в большинстве случаев правильно выбрать нужную часть кадра (даже если она по площади меньше половины). Рывки связаны с тем, что некоторые соседние кадры слишком сильно отличаются и т.о. считаются началом новой сцены, что можно отрегулировать или отключить в графе detect scene threshold. Далее, рывки по зуму почти наверняка уберутся, если отключить галку detect zoom или поставить в motion smoothness / zoom значение 0 (т.к. реально зуммирования камерой не происходит, то нечего его и сглаживать).
С компенсацией границ в этом ролике, конечно, добра не получишь, но в более традиционных случаях, когда кадры отличаются по времени на 1/25-1/60 с, это работает лучше (в других программах такой опции нет).
Наконец, ещё одно принципиальное преимущество дешейкера - возможность хоть как-то справляться с последствиями rolling shutter. Правда, в клинических случаях, когда частота дрожания камеры сравнима с частотой кадров, искажения заметны и в пределах одного кадра, но в более спокойной ситуации их можно в значительной степени устранить. Пока я не видел в других стабилизаторах такой возможности.
Конечно, по удобству работы "не выходя из монтажки" workflow, основанный на VirtualDub и Avisynth, никогда не достигнет идеала, но с другой стороны, это всё легко автоматизируется и можно в пакетном режиме прогнать все исходные файлы ещё до начала работы над проектом, а затем переделать отдельные с другими настройками, если что-то не устраивает. Теперь это ещё проще, чем три года назад - нет заморочек с future frames.

Добавление от 17.11.2011 23:04:

в общем, я готов повторить свою фразу из статьи почти четырёхлетней давности: "Если вас интересует качественный результат любой ценой и вы готовы возиться с настройками, то Deshaker — лучший выбор."

Lagarith Lossless Codec (правда, впоследствии оказалось, что видео, перекодированное в него, приобрело блекловатый вид в сравнении с оригиналом — что ж, будет наукой на будущее).

Автор, а настройки на что даны? Lagarith позволяет выбирать цветовое пространство, RGB либо YV12. Не надо выбирать YUV и проблем не будет. Более того, Lagarith единственный сжимает RGBA, то есть с сохранением альфа-канала. Кодек просто незаменимый для всех, кто занимается композитингом.

Максим Лядов
Это не относится к теме статьи, свистопляска на тему промежуточных форматов. Кому нравится колдовать - пущай Можно вообще вывести в некомпресс, диски-то нынче резиновые, дешёвые

После наводнения в Тайланде - я бы не сказал. Цены подскочили на 130%, опять делая Blu-ray самым дешевым носителем.

По своему личному опыту сравню Меркалли с Дешейкером вот так:
Меркалли:
1) Мылит слишком заметно, годится только на стабилизацию HD, если потом ресайзить в SD.
2) Имеет тенденцию стабилизироваться по более контрастным объектам в центре кадра. Например, если вы снимаете выступающего на более-менее гладком фоне, то выступающий будет "как вкопанный", а фон за ним начинает плясать в такт его наклонам, покачиваниям головой и размахиванию руками.
Дешейкер:
1) Прекрасно работает с lossless-форматами, давая возможность перед монтажом подготовить нужные клипы.
2) Не мылит, картинка остается четкой после стабилизации.
3) Алгоритм стабилизации оставляет желать лучшего, потому как анализируются соседние кадры, а не вся цепочка. В итоге интегральная ошибка вычисления векторов смещений, незаметная на двух соседних кадрах, по ходу клипа накапливается и случаются медленные завалы горизонта то влево, то вправо даже там, где горизонт нормальный, но есть мелкая дрожь вокруг оптической оси. Пока не знаю, как с этим бороться. Если бы была трассировка объектов от их появления в кадре до исчезновения, был бы качественно другой результат.

За неимением лучшего побеждает Дешейкер.

Кстати, раньше в Премьере была хорошая программа стабилизации от компании 2d3.com SteadyMove Pro. К сожалению, она не получила развития и так и осталась в первой версии. Тоже мылила изрядно, как Меркалли, но стабилизировала замечательно, потому что трассировала объекты, пытаясь выстроить их в 3D пространстве, и также трассировала 3D-путь камеры. В результате получался математически смоделированный стедикам - приятно посмотреть. Сейчас 2d3 полностью отдалась разработке следящих приложений для спецслужб с акцентом на наблюдения с воздуха и использует в них свои разработки в области стабилизации изображения.

Здорово, полезная статья ! Словно по заказу. У меня как раз сейчас встала задача выбора оптимального стабилизатора.

Можно ссылку на оригинал пляжного ролика?

djonline
Можно ссылку на оригинал пляжного ролика?
Ага, щазз
Впрочем я помучал в дешейкере хотя бы то, что выложено. Легко добиться лучшего результата если чуть-чуть подумать.

eugvas
я готов повторить свою фразу из статьи почти четырёхлетней давности

По ней изучал Deshaker, спасибо, был бы рад обновлению ..

djonline
ссылку на оригинал пляжного ролика?
Сейчас сделаю, жалко, что ли... Вот. 78 МБ, продолжительность 45 сек. Для стабилизации взять первые 37 сек, дальше не надо
Будет здорово, если энтузиасты сделают лучше, и предоставят результат (а также скриншот настроек).

Исправлено: Mercoff, 18.11.2011 17:40

Вот мой вариант: http://www.youtube.com/watch?v=g-UEegHGnnY
Настройки для большей части клипа стандартные, кроме следующих:
detect zoom=false
detect scenes=false
ignore area outside: bottom=300
discard motion of blocks that move > 16 pix in wrong direction (instead of 4 by default)
skip frame if <3% blocks are ok (default=8)
Для нескольких кадров "в районе моста" пришлось вручную подбирать игнорируемую часть кадра и ещё как-то химичить с группой настроек discard motion of blocks.
Лог-файл прилагаю, с ним можно второй проход делать по желанию более плавным, чем в моём варианте (я уменьшил цифры в motion smoothness).

eugvas
Спасибо, неплохо получилось. Правда, на 12-й секунде и ещё где-то явные косяки, но не сильно заметны.