Еще поковырялся с опциями. ВОт в этой строке у меня все опции рабочие - рефы, б-фреймы, ключевые кадры:
ffmpeg -i QSVEnc.avs -pix_fmt nv12 -c:v h264_qsv -preset:v slow -global_quality:v 30 -g:v 100 -bf:v 4 -refs:v 4 Out.mp4
Попробовал ей с FHD, и 4К кодировать.
Офигеть! FHD молотит 2 рилтайма (60 кадров в секунду), 4К - 0.78 рилтайма (23 кадра в секунду)!
Надо будет QSV взять на вооружение, чтобы перемолачивать черновое видео и прокси.
ЗЫ: Вот же, блин, засада! Решил попробовать QSV на основной кодирующей машинке i7-3770K, думал, она вообще сейчас порвет этот i5, ан нет, вообще не работает. Не запустился на ней QSV! Ругается на ratecontrol! У нее Intel HD Graphics 4000. Видать, да, далеко не на всяком Интеле эта штука рвботает...
Добавление от 01.12.2016 17:49:
ГЫ! Поборол Intel HD Graphics 4000, заставил кодировать.

ffmpeg -i prague.mxf -pix_fmt nv12 -c:v h264_qsv -b:v 26M -preset:v veryslow -g:v 150 -bf:v 4 -refs:v 4
-look_ahead 0 Out.mp4
FHD молотит быстрее - 2.5 рилтайма (75 кадров в секунду), а вот на 4К его не хватает, кодер сказал, что переходит в режим частичной поддержки аппартного ускорения и дал всего 0.11 рилтайма (3.2 кадра в секунду).

Добавление от 01.12.2016 18:30:
ЗЗЫ: Еще до одной вещи докопался! До режима CQP.
ffmpeg -loglevel debug -i prague.mxf -pix_fmt nv12 -c:v h264_qsv -preset:v veryslow
-q:v 20 -g:v 150 -bf:v 4 -refs:v 4 -look_ahead 0 Out.mp4
Он идет на обоих машинах, наличие -look_ahead 0 обязательно, они просто несовместимы.
Вообще, я разобрался немного, как понять, на какой машине этот QSV пойдет и как его настраивать. Может кому полезно будет...
У моей i7-3770K (Intel HD Graphics 4000), RC mode такой:
CBR VBR AVBR QVBR CQP VQP LA LAHRD ICQ LAICQ VCM
RC mode o o o x o o x x x x x
Т.е. у нее НЕТ функции LA (look ahead) и связанных с ней режимов кодирования.
А у i5-4570 (Intel HD Graphics 4600) RC mode такой:
CBR VBR AVBR QVBR CQP VQP LA LAHRD ICQ LAICQ VCM
RC mode o o o o o o o o o o o
То есть у нее есть LA, ну и вообще все режимы с этим связанные.
Поэтому на первой машине можно использовать только CBR, VBR, AVBR, QVBR, CQP или VQP и добавлять -look_ahead 0 (ибо нет его там).
В частности,
-q:v 20 это будет CQP, -b:v 26M будет CBR и т.п. В общем, стандартные ффмеговые настройки.
А на второй машине, у которой есть LA можно выбрать режим покруче!
В частности,
-global_quality:v 30 это будет LA_ICQ.
В дебаге прямо так и написано: Using the intelligent constant quality with lookahead (LA_ICQ).. Можно даже варьировать количество кадров, на сколько энкодер смотреть вперед будет.