Вкратце. Имеется 3 потока видеосигнала: фон, поток с камеры который нужно откеить и анимировать в реальном времени 3й слой с альфа каналом, который накладывается поверх.
Ищу любые решения. Будь то железка, софт или же создание софта с 0. Пока не смог найти ничего подобного. Есть различные видеомикшеры, но они не умеют анимировать в режиме прямого эфира. Может кто подскажет, хотя бы в каком направлении копать?

bosique
в каком направлении копать?
Типа так наверное: https://forums.creativecow.net/thread/54/858543

bosique
анимировать в реальном времени 3й слой с альфа каналом
Эээээ. А что подразумевается под "анимировать"?

изменение положения слоя с хромакеем по х, y, z (либо масштаб)

Сразу предупреждаю, с видео я почти не работал, только при создании плеера для моей программы digital signage, так что мое мнение, возможно, несколько дилетантское.
Я использовал libvlc и получал прямой доступ к видеокартинке (в моем случае это локальные видеофайлы или видепотоки с youtube). Получив картинку как массив пикселей, я мог проделывать с ней (и достаточно быстро) любые действия до показа в окне плеера - накладывать надписи, картинки-логотипы, менять цветность и т.п. Так вот, думаю, вполне возможно, если открыть таким образом 3 потока и получить 3 картинки, сделать с ними все необходимые манипуляции и вывести куда нужно (на экран или даже стримить далее).
Вопрос, скорее, в том, в каком виде и откуда идут эти видеопотоки, и сможет ли их подхватить libvlc

bosique
изменение положения слоя с хромакеем по х, y, z (либо масштаб)
Хм. Вообще это типичная функция любого приличного видеомикшера. Я на лабораторных студентам демонстрирую отмасштабированного крутящегося диктора прокеенного по синему фону. Микшер Ross Synergy S100.
В софтовых микшерах - просто не знаю. Как написать такое - представляю легко - есть ли готовое - не знаю.

bosique
Лет пять назад получил именно такой "побочный" эффект с помощью бесплатной программки ManyCam, когда экспериментировал с обычной ЦФК, которую подключал в качесте веб камеры к Skypе.

У меня хромокея не было, снимал на фоне бордовых штор. Единственное, что требовалось, так это, чтобы на шторы не падала тень от человека. Тогда никаких артефактов не было. Конечно, кроме красных рефлексов от этих штор. Легко смог разыграть своих друзей. Дело было зимой, а я подставлял летние фоны.

Правда, тогда можно было подставить статичный или динамичный бэкграунд только из библиотеки программы. То есть, сама функция замены одной живой картинки на другую в программе уже была. Может сейчас её функционал расширился... Я с тех пор не интересовался.
Вот здесь скриншот сохранился и ссылка на сайт программы>>>

AWRR
только при создании плеера для моей программы digital signage
А можно подробнее? Со ссылочкой

Программа Информационное табло ПК+ТВ, #151
В текущей версии, правда, плеер обыкновенный, ничего на картинку добавлять не позволяет.

​Поток 1 - готовый видеофайл - фон (задний план), поток 3 - тоже готовый файл с альфа-каналом (объекты переднего плана). Поток 3 - live-видео с камеры, захват с помощью BM Intensity pro, либо другим способом.
Поток 3 нужно прокеить в реальном времени и анимировать (Х, Y и масштаб, возможно вращение).
Вкратце: человек заходит в помещение с фоном для хромакея, его снимает одновременно 2 камеры фронтальный план сверху (как на рисунке) и боковой.
Затем это все кеится и накладывается на фон - различные видовые планы. С помощью анимации как бы имитируется полет. Будто человек расправив руки парит над землей. Звучит, да и выглядит немного странно, но такова задача )
Собственно я сейчас реализовал это с помощью монтажного софта. Вначале идет процесс съемки, затем файлы с обеих камер добавляются в проект и по шаблону кеится, анимируется и рендерится. Но требуется интерактивность, чтоб человек в режиме прямого эфира мог наблюдать результат.

bosique
Если Vlc-плеер (а он на основе libvlc) сможет захватить 3 поток с камеры и проиграть его, тогда сделать можно.

Можно набрать из DirectShow фильтров. Скажем получать вход по firewire, и гнать выход туда-же.

Интересно в 20м году как это делать?

А что за задача?

slk
Да обычная стрим-программа. Всякие там OBS, XSplit...

стрим программы рассматривал, в них можно делать анимацию только вручную в реальном времени. А мне нужно на автомате, по ключевым кадрам, например.

Слой 1- фон (видео файл фиксированной длины, скажем 2 минуты), слой 2 - объект на хромаке, который перемещается и масштабируется по заранее заданным ключевым кадрам, без участия оператора.

bosique
Так не бывает. По ключевым кадрам - это УЖЕ означает вручную, а не на автомате. Либо я совсем не понял задачу. Что такое объект на хромаке? Это тоже видеофайл?

Объект на хромакее - человек, поток с камеры через hdmi.
На автомате - это я имел ввиду анимацию по заранее заданным ключевым кадрам.

bosique
это я имел ввиду анимацию по заранее заданным ключевым кадрам.
Это как? откуда вы знаете как будет вести себя объект?

aleks_nsk
Предположу следующее:
- для шагающего человека расставляются в пространстве на столбиках ключевые точки, человек опаивается отваром из мухоморов и он шагает (человек, не отвар) по ключевым точкам в течение двух минут. Как-то так