Тестирование плееров тестовыми наборами.
Учитывая что в последнее время тут (и в статьях и на форуме) полный сумбур, надо создавать жестко контролируемую ветку с результатами.

Первый тестовый набор файлов
http://thepiratebay.org/torrent/5155837/HDTV_test_files_(v1.7)
00019.m2ts (тестирование интерлейсного видео)
03.split.5.ts (тестирование кодеков VC-1, DTS-HD)
720p16rf-001.mkv – тесты 16 рефреймов на разрешении 720p
Avalon.split.34.m2ts (Тестирование DDl TrueHD – необходимо перевести плеер в bitstream mode и посмотреть что показывает ресивер (должен показывать все каналы и значок DD TrueHD)
Casino.21.mkv (avg. bitrate 21Mbps) воспроизведение файла с потоком 21 мегабит
Casino.32.mkv (avg. bitrate 32Mbps) воспроизведение файла с потоком 32 мегабита
Casino.42.mkv (avg. bitrate 42Mbps) воспроизведение файла с потоком 42 мегабита
Casino.50.m2ts (video bitrate >40Mbps) – воспроизведение блюрей дисков с потоком 40 мегабит
Casino.50.mkv (video bitrate >40Mbps) – воспроизведение mkv файлов с потоком 50 мегабит
Casino.Royale.BDrip.1080p.SPLIT-004.mkv
H264_TrueHD.m2ts (Тестирование DDl TrueHD – необходимо перевести плеер в bitstream mode и посмотреть что показывает ресивер (должен показывать все каналы и значок DD TrueHD)
Satoyama.II.Japan.Secret.Water.Garden.1080p.rus.-002.mkv - AVC +AC3
TheBankJob-sample-16rf.mkv (1080p 16Ref.frames) - тестирование 16 рефреймовых файлов с разрешением 1080p
Transporter 3.2008.BD.Remux.1080p.h264.Rus.Eng.Commentary-002.mkv – тестирование многоканального звука dts-MA. необходимо перевести плеер в bitstream mode и посмотреть что показывает ресивер (должен показывать все каналы и значок DTS HD и все каналы
VC-1_Sub.mkv – тестирование плавности воспроизведение VC-1
hns-fc-new-002.mkv (1080p 16Ref.frames) тестирование 16 рефреймовых файлов с разрешением 1080p
twin.peaks.s01e01.sample-007.mkv –тестирование AAC кодека с различным качеством каналов.

Второй набор тестовых файлов
http://thepiratebay.org/torrent/5095351/NMT_DVD5_Test_Disc
Что туда входит.
Папка Audio
Это папка предназначена для тестирования многоканального звука. Необходимо перевести плеер в битстрим режим и смотреть на ресивере сколько дорожек выводится и есть ли звук вообще.
Папка bitrate или тест Птички.
Это папка показывает максимальный длительный битрейт который может воспроизводить плеер. Длительный, означает что весь фильм имеет такой битрейт. К примеру, вы запускаете файл bird32.mkv - он проигрался без тормозов. Это означает что медиаплеер может воспроизводить mkv файлы с постоянным потоком 32 мегабита с пиком в 40 мегабит (пик в конце файла практически)
Птички присутствуют в двух вариантах – mkv и m2ts (блюрей диски). Поэтому идет оценка двух режимов – воспроизведение mkv и блюреев.
Тесты необходимо проводить со всех носителей – USB флешки, USB винта, жесткого диска (если есть), по самбе (обычная сеть винды), uPNP и NFS.
Папка Subtitles
это тесты различных видов субтитров.

---

Как писать отчеты по тестированию (образец)
Плеер HDSUPERPLAYER – 001
Прошивка (официальная/неофициальная) – версия 1.02
В качестве удаленного носителя для тестов самбы использовался ПК с Windows XP SP2
uPNP сервер - homemediaserver
NFS сервер - NFSserver 1.69 for Windows
Сеть 100 мегабит, через роутер Dlink -xXX

00019.m2ts – воспроизвелся без тормозов
03.split.5.ts - – воспроизвелся без тормозов
……
H264_TrueHD.m2ts – нет звука в битстрим режиме, есть звук в downmix
…..
Тесты битрейтов (тест считается не пройденным, если плавность изображения нарушается рывками, даже малейшими в конце файла) (таблицу можете скопировать и выводить с тегом pre)

             USB|   USB HDD |  HDD|  SMB| uPNP | NFS
----------------------------------------------
bird20.mkv | +  |      +    |  +  |  +  | +    |  + 
bird24.mkv | +  |      +    |  +  |  +  | +    |  +
bird28.mkv | +  |      +    |  +  |  +  | +    |  +
bird32.mkv | +  |      +    |  +  |  +  | +    |  +
bird38.mkv | +  |      +    |  +  |  +  | +    |  +
bird42.mkv | +  |      +    |  +  |  +  | +    |  +
bird50.mkv | +  |      +    |  +  |  -  | -    |  +
bird55.mkv | +  |      +    |  +  |  -  | -    |  +
bird60.mkv | -  |      -    |  -  |  -  | -    |  +
bird70.mkv | -  |      -    |  -  |  -  | -    |  +
bird80.mkv | -  |      -    |  -  |  -  | -    |  +
bird90.mkv | -  |      -    |  -  |  -  | -    |  +
---------------------------------------------------------------
bird38.m2ts| +  |      +    |  +  |  +  | +    |  +
bird42.m2ts| +  |      +    |  +  |  +  | +    |  +
bird50.m2ts| +  |      +    |  +  |  +  | +    |  +
bird55.m2ts| +  |      +    |  +  |  +  | +    |  +
bird60.m2ts| +  |      +    |  +  |  +  | +    |  +
bird70.m2ts| +  |      +    |  +  |  +  | +    |  +
bird80.m2ts| +  |      +    |  +  |  +  | +    |  +
bird90.m2ts| -  |      -    |  +  |  +  | +    |  +

Просьба публиковать только результаты, разбор полетов в соотв. ветках.

PS. Возможно должу ещё тестовых файлов и подправлю описания

Исправлено: Doctor-X, 05.07.2011 23:45

считается ли тест не пройденным, если при воспроизведении кадров с панорамным видом наблюдается перескакивание кадров, т. е. как буд-то не хватает промежуточных кадров - идет плавно, потом как-будто вырезали 10 кадров и опять плавно? При этом звук не пропадает, а подобный эффект строго регулярный и только при воспроизведении панорам.

Исправлено: shnel, 08.07.2011 11:03

shnel
Подробнее плз.

плеер Digma HDMP-301,
прошивка HD2 1.12.06 rev 5,
В качестве удаленного носителя используется ноутбук с виндовс 7,
NFS сервер - haneWIN NFS Server 1.1.74
роутер TP-Link 741ND, 150 Мбит/с (реальные не менее 90 по результатам тестов копирования по сети)

BBC: Жизнь (10 серий из 10) (4-Disc Edition) / BBC: Life / 2009 / Blu-ray (1080i) - HDClub
Качество: Blu-ray (1080i)
Видео: VC-1, ~ 30 Мбит/сек, 1920x1080
Аудио: Русский (AC3, 6 ch, 448 Кбит/с), русский (AC3, 2 ch, 224 Кбит/с), английский (DTS-HD HR, 6 ch, 2046 Кбит/с)

в плеере включен режим: 24fps, HDMI auto 1080p,
подключение HDMI кабелем через ресивер Yamaha RX-V367 (HTR-3063) с HDMI 1.3,
телевизор: плазма Panasonic 42"

shnel
Эти файлы сюда не надо мешать. Нужно что бы у всех были одни и те же файлы - в этом весь и смысл. Только то, что указано в шапке.
Конечно если это 100% так (пропадает 10сек), то тест не пройден. Разрывов в воспроизведении быть не должно.

Doctor-X
Конечно если это 100% так (пропадает 10сек)
никакие ни 10 сек, идет плавно, потом как-будто вырезали 10 кадров из последовательного потока и опять плавно. Как будто камеру вели медленно, потом дернули немного и опять ведут плавно. И так с частотой примерно 1 рывок в секунду. Естественно, что это происходит всё без отрыва от звука и только на панорамных съемках.

Я вот что хочу предложить:
1) добавить в тестовые файлы вырезки такого потока в m2ts или mkv с панорамными съемками (могу и я это сделать, подскажите только чем лучше вырезать фрагмент длиною в секунд 10-15 без изменения свойств потока)
2) Оговорить заранее настройки плеера (разрешение, тип развертки, режим 24fps, вывод звука в RAW или LPCM) ибо от них тоже зависит производительность плеера.

Предполагаю, что в вашем плеере отсутствует автофреймрейт и настройки выходного сигнала не совпадают с параметрами файла(24 кадра выходной и 30 кадров в файле - поставьте 30 кадров на выходе - рывки должны исчезнуть).

shnelИ что вы ими будете тестировать? Тест VC-1 присутствует в пакете.достаточно использовать тот набор который есть - проверить downmix/raw - все. Это необходимый минимум который должен отрабатывать плеер.

Doctor-X, приведённая в первом посте таблица - это реальный тест вашего плеера? Я тут прогнал "птичек"(вот, значит, они какие!) с USB HDD и с HDD - все идут без тормозов, но не оформляю результаты в таблицу, т.к. смотрю только с этих 2х источников, а рес у меня без ХД-звука... (Дюна Д1)

Harvest
Нет, это от балды. Тестить все источники не обязательно, просто таблица самодостаточна.

Doctor-X
bitstream mode
Что это такое Обьясните мне дураку

droid 242
Вывод звука как есть, без обработки и конвертирования. В медиаплеерах называется - RAW, bitstream

Doctor-X
То есть если цифра она должна идти как есть через HDMI выход потому что скажем через SPDIF цифровой звук не передается

Имеется Dune HD TV-101 и ресивер Onkyo TX-SR508. Так вот Dolby TrueHD и DTS-HD Master Audio он не читает. Выше DTS у меня он ничерта не видит. Все вранье

странные какие-то
Casino.50.m2ts (video bitrate >40Mbps) – воспроизведение блюрей дисков с потоком 40 мегабит
Casino.50.mkv (video bitrate >40Mbps) – воспроизведение mkv файлов с потоком 50 мегабит

чистая математика:
Casino.50 mkv
137 М
30 секунд,
итак: 137/30*8=32
где 50 ?

ecology
В одно место такую математику, про сжатие что то слышали?

И при чём тут сжатие ?
Или плееру flat raw передаётся ?

boss_1



Скажи, в чём тест ?

Тестовый набор - crap.
Для тестов проще было сделать синтетическое видео и закодировать с битрейтом близким к постоянному. x264, не говоря о звуке (ac3, dts) позволяет это.

Ага, "тест считается не пройденным, если плавность изображения нарушается рывками, даже малейшими в конце файла".
Casino.50.mkv (video bitrate >40Mbps) – воспроизведение mkv файлов с потоком 50 мегабит.
Неудивительно что тема в конце.

Исправлено: ecology, 18.02.2013 00:58

Задумка хороша. Но, что-то нет результатов. Плохой набор фрагментов?

Cпутниковый ресивер Skyter 3D HD функционал медиаплеера
Прошивка (неофициальная) – версия 0.4.0012
В качестве удаленного носителя для тестов UpNp/DLNA использовал NAS Synology DS411
uPNP сервер на компе - Twonky
Сеть 100 мегабит, через роутер Asus RT-AC56U

00019.m2ts – воспроизвелся без тормозов
03.split.5.ts - – воспроизвелся без тормозов
720p16rf-001.mkv –– воспроизвелся без тормозов
Avalon.split.34.m2ts -- звука нет, TrueHD не поддерживается(инфа производителя)
Casino.21.mkv (avg. bitrate 21Mbps) -- воспроизвелся без тормозов
Casino.32.mkv (avg. bitrate 32Mbps) -- воспроизвелся без тормозов
Casino.42.mkv (avg. bitrate 42Mbps) -- воспроизвелся без тормозов
Casino.50.m2ts (video bitrate >40Mbps) -- воспроизвелся без тормозов
Casino.50.mkv -- воспроизвелся без тормозов
H264_TrueHD.m2ts -- звука нет, TrueHD не поддерживается(инфа производителя)
Satoyama.II.Japan.Secret.Water.Garden.1080p.rus.-002.mkv - AVC +AC3 -- воспроизвелся без тормозов
TheBankJob-sample-16rf.mkv (1080p 16Ref.frames) -- воспроизвелся без тормозов
Transporter 3.2008.BD.Remux.1080p.h264.Rus.Eng.Commentary-002.mkv -- воспроизвелся без тормозов
VC-1_Sub.mkv -- есть подёргивание мелкое, по инфе производителя есть ограничения по некоторым VC1 потокам
hns-fc-new-002.mkv (1080p 16Ref.frames) -- воспроизвелся без тормозов
twin.peaks.s01e01.sample-007.mkv -- воспроизвелся без тормозов

…..
Тесты битрейтов (тест считается не пройденным, если плавность изображения нарушается рывками, даже малейшими в конце файла) (таблицу можете скопировать и выводить с тегом pre)

-------------|USB|USB HDD|HDD|SMB|uPNP|NFS
----------------------------------------------
bird20.mkv | + | + | + | o | + | o
bird24.mkv | + | + | + | o | + | o
bird28.mkv | + | + | + | o | + | o
bird32.mkv | + | + | + | o | + | o
bird38.mkv | + | + | + | o | + | o
bird42.mkv | + | + | + | o | + | o
bird50.mkv | + | + | + | o | + | o
bird55.mkv | + | + | + | o | + | o
bird60.mkv | + | + | + | o | + | o
bird70.mkv | + | + | + | o | + | o
bird80.mkv | + | + | + | o | + | o
bird90.mkv | + | + | + | o | - | o
---------------------------------------------------------------
bird38.m2ts| + | + | + | o | + | o
bird42.m2ts| + | + | + | o | + | o
bird50.m2ts| + | + | + | o | + | o
bird55.m2ts| + | + | + | o | + | o
bird60.m2ts| + | + | + | o | + | o
bird70.m2ts| + | + | + | o | + | o
bird80.m2ts| + | + | + | o | - | o
bird90.m2ts| + | + | + | o | - | o

SMB и NFS не поддерживается плеером. По сети проигрывание поддерживается только UpNp/DLNA.
Отметил знаком "о" не поддерживаемые сетевые протоколы.

Выложите, пожалуйста побольше тестовых роликов в H265 c разрешениями 4096 × 3072
3656 × 2664 в различных профилях. А еще лучше добавить их в статью Методика тестирования устройств воспроизведения видеосигнала.