Предлагаю обсудить Новая методика тестирования производительности CPU: описание и наглядный пример использования

ОТличная статья. Я почти уверен, что всегда найдутся люди, которые не найдут нужного им теста(для меня например работа с БД или компиляция). Но если глянуть в старую тему по "Методикам тестирования...", то можно прочесть кучу возмущений , а интерестных предложений единицы.
Ну и так, пожелание на будущее. Очень хотелось бы, чтобы при выходе и распространении 64-битных приложений как-то наглядно увидеть пользу(или разочароваться) от EMT64/AMD64.

У меня вопрос к автору статьи:
Всегда ли в случае применения данной методики тестирования производительности процессоров будет применяться карта Х700?
Чем обусловлено применение именно такого уровня карты ( а не предельно мощной - для отсутствия ограничения производительности процессоров)?
Bопрос возник после появления у меня журнала IXBT №3 за т.г.
Tам на страницах 50-51 приводятся в статье о видеокарте Х700 PRO/XT для сравнения данные по производительности ряда карт, в том числе и 6800 GT/Ultra.

При этом тестирование ведется в режимах от 1024*768 до 1600*1200 без АА и АФ и в режиме 1024*768*4АА*16АФ.
Рассмотрим пример тестирования HL2.
Учитывая на месте наличие и драйвера , и условий как в статье для тестовой демки (в статье "ixbt02Half-Life2 (Valve/Sierra) — DirectX 9.0, demo ...ixbt02..... Тестирование проводилось при максимальном качестве, опция -dxlevel 90, в файле dxsupport.cfg убраны предустановки для видов карт. ;NVIDIA версии 67.02") на своей системе проведено тестирование данной демки.
Получен результат под 1024*768 без АА и АФ=89,2 фпс
...............................под 1024*768 с 4 АА и 16АФ=82,7 фпс(достаточно близко к данным другого материала сайта- http://www.ixbt.com/video/itogi-video/0205/itogi-vid…xp-1024-agp.html= значит-достоверный результат)
В статье для системы на Р4 3600 при тех же условиях имеем:
................................под 1024*768 без АА и АФ=70.0 фпс
...............................под 1024*768 с4 АА и 16АФ=56.8 фпс
Т.е. в режиме без АА и АФ преимущество одного процессора над другим составляет 89,2/70=1,27 - порядка 27 процентов , а в режиме с АА и АФ преимущество одной из сторон равно 82,7/56,8=1,45- порядка 45 процентов.
Как полученные результаты соотнести с утверждением в статье по методике тестирования процессоров:"Для всех игр мы протестировали по два режима: с разрешением 640x480, 32-битным цветом, и слабенькими настройками качества, а также 800x600 с опять-таки 32-битным цветом и средними настройками качества картинки. Внутреннее тестирование показало, что использование в рассматриваемых играх более графически сложных режимов (к примеру, 1024x768x32 с высоким качеством графики) очень сильно нивелирует влияние процессора на производительность, и поэтому малоинтересно с точки зрения основной задачи тестовой методики.
Где же здесь нивелирование - у Вас в наглядном примере использования" методики ни в одной из игровых диаграмм и близко ничего подобного нет по приозводительности процессоров в игровых приложения- разрыв процентов 10-15 от силы - и это в 640*480.

Вывод напрашивается сам собой - Вами взята видеокарта, сильно "нивелировавшая" производительность одного из процессоров в ряде приложений ( где он заведомо более силен) и таким образом , получены неадекватные выводы по соотношению производительности процессоров в целом.
Приведу аналогию
Мы сравниваем производиельность двух насовов по перекачке воды
Один насос имеет максимальные обороты и одну трубину( и иногда подхватывает воздух в силу неплотностей при большом числе оборотов)
Второй имеет более надежное уплотнение, меньшие оборты и сразу три турбины для подачи воды.
А после насосов ставим трубу в пол дюйма.
Вопрос- что мы меряем- производительность насоса или пропускную возможность трубы?

vrag
потому что это старая статья, которую уже обсуждали и которая была закрыта из-за начавшейся ругани.

Ссылка на старую ветку: Обсуждение статьи iXBT.com: "Новая методика тестирования производительности CPU: описание и наглядный пример использования"
Рекомендуется почитать, чтобы не повторяться.

AlexMirhor
AFAIK, в тестах процессоров еще не применяется HL2 поэтому пока экстраполировать рано
что касается видеоадаптера в тестах, то особых причин не использовать нечто более мощное, чем х700 нет, были бы карты одинаковые в необходимом количестве - вот это ограничение

AlexMirhor
Да, статья уже обсуждалась. Нормальная статья с изложением методики, но некоторые так "навалились" на автора, будто... будто... Удачи!
Chudik
Помню то обсуждение, я то решил, что автору просто надоело. У нас ведь в споре часто забывают о предмете спора. Методика как методика, от автора ждем результатов и рекомендаций (я то тот еще читатель - типа, как Василий Иваныч читал Капитал - картинки и схемы пропускал, а в пролетарскую сущность вникал! ). Удачи!

KhizhaБезусловно. Даже лично мне (не как редактору, а как человеку) эта тема тоже очень интересна.

AlexMirhorНет, стационарно будет X800.Отсутствием X800 на тот момент времени. Сейчас эта проблема решена.

NAWHI Никогда не интересовался САПР, но вот "приспичило" и Хобот помог. Вот где бы я искал тесты процессоров в пакете Solidworks?А тут хоть появились.Так что это есть гуд.

NAWHIА можно личный вопрос Как ведут себя Семпрон 2600-3100 на сокете 754 в этом пакете?Атлоны64 вроде рулят.Но так как хочется и сэкономить,то что лучше будет Селерон-Д или Семпрон на сокете А или на 754. Какова разница,принципиальна или нет?А то тесты обещали, а их нетути...

constantaЭто будет... через некоторое время. В следующем месяце, точнее пока не скажу.

Я считаю что методика, описанная в статье абсолютно правильная в том смысле что для тестирования современных процессоров 2-х различающихся архитектур она отлично подходит. Мне больше всего нравится тестировать процессоры реальными приложениями - например архивацией. Когда я тестировал свой камень на стабильность при разгоне то использовал архивацию папки 35Гб которая длилать 10 часов - тест показывает стабильноть отлично да и на скорость можно тестировать но для сравнения архитектур нужен набор тестов и он в статье описан - этот набор для сравнения АМД и ИНТЕЛ отлично подходит.

Я все же не совсем понимаю, почему оказались отодвинуты на задний план игры. Вот в этом тестировании наблюдается 20% преимущество A64@2400 над A64@1800. Почти линейный рост. Разрешение вполне реальное - 1280*1024+AA+AF. Не известно при этом, считается ли в демке физика, но можно предположить, что при реальной игре разница будет не меньше, чем в демке.

synapse

Я не понял, про какой тест идет речь...

synapseПотому что больше от видеокарты зависят Смотря в каком приложении. Найдите такую (или хотя бы похожую) разницу тут при использовании одной видеокарты (даже самой мощной из современных): http://www.ixbt.com/video/itogi-video/0205/itogi-vid…xp-1280-pcie.html
Режим как раз названый вами.
В то же время разница между Х800 и 6800GT в нем же двукратная (почти ровно)... независимо от частоты процессора -- 1800 или 2200 (ну и 2400 будет точно также себя вести)
Так что важнее в таких режимах?

Ссылку забыл вставить - http://www.ixbt.com/video/itogi-video/0205/itogi-vid…xp-1280-pcie.html

synapse
Так то HL2. Я пример выше привел, когда все не так. Причем и в HL2-то разница на каких видеокартах? На GF6800 например нет уже и 10%
Причем насколько часто приходится тестировать на столько отличающиеся друг от друга процессоры, как 3500+ и 3000+?

synapse

Угу. Замечательно. То есть на самой топовой видеокарте (RADEON X850 XE) заметна 20% разница между Athlon 64 3000+ и Athlon 64 3500+. У меня вопрос: скажите, а кто будет покупать самый нижний Athlon 64 (ниже 3000+ просто не бывает на этой платформе) -- и к нему топовую, дорогущую видеокарту на ATI RADEON X850 XE? Вы считаете, что это факт, достойный того чтобы его касаться в каждой процессороной статье: "Господа, имейте элементарный разум, не берите нижние процессоры для верхних видеокарт"?

Korzh
20% в таком (обычное для 17-19 ЖК-монитора разрешение) тесте - очень много. 10 - нормально. Видеокарта вполне типична для геймерского компа. Посмотри на активных писателей в форуме "Игры" - там видюха последнего поколения чуть ли не у каждого второго.

NAWHI
скажите, а кто будет покупать самый нижний Athlon 64 (ниже 3000+ просто не бывает на этой платформе) -- и к нему топовую, дорогущую видеокарту на ATI RADEON X850 XE?
Вот как раз с нормальной методикой и можно будет сказать, стоит ли покупать топовый проц, если все равно упрется в видеокарту. Процессорозависимость игр можно посмотреть в Итогах, но их формат не предусматривают сравнения Intel и AMD.

Исправлено: synapse, 23.03.2005 22:38

synapseПроцессор (Athlon 64 3000+, 1800 MHz) -- тоже "вполне типичный для геймерского компа" с видюхой последнего поколения?

synapse
Что понимается под "последним поколением"?
X800 без суффиксов тоже последнее поколение. На ней 10%. И 6800 последнее поколение. На ней 3%.
Разница между этими картами и топами порядка 300-350 долларов, разница в цене между 3000+ и 3500+ 120 долларов.
Т.е. первое найдется, а на второе уже денег не хватит?
Тем паче, опять же, 20% в одном тесте. В другом вообще нет никакой разницы между разными процессорами при одинаковой видеокарте. Между разными видеокартами есть и весьма заметная.

synapseА теперь вспомним, что я уже 1001 раз повторял: мы рассматриваем стандартную методику для текущего тестирования каждого нового CPU. НЕ ВСЕ ТЕСТЫ, КОТОРЫЕ МЫ КОГДА-ЛИБО БУДЕМ ДЕЛАТЬ, А ИМЕННО СТАНДАРТНУЮ МЕТОДИКУ! Вы предлагаете в каждую статью по каждому новому процессору включать его тесты по масштабируемости во всех популярных играх? С приведением результатов масштабируемости 6-8 процессоров-конкурентов (как в своем стане, так и в противоположном), диаграммы по поведению в различных разрешениях, выводы по масштабируемости в играх... да? Это будет просто замечательно! Особенно учитывая количество популярных игр. А завтра выйдет еще одна игра, где интересные результаты будут уже у Pentium 4, а послезавтра...

Я вот одного не могу понять: я тупой? Дурак? Я плохо объясняю? Я не повторял тысячу раз подряд, что наличие стандартной методики НЕ ОТРИЦАЕТ ВОЗМОЖНОСТИ ВЫХОДА ОТДЕЛЬНЫХ СТАТЕЙ ПО ИНТЕРЕСНОЙ, НО ВЫХОДЯЩЕЙ ЗА ЕЕ РАМКИ ТЕМАТИКЕ? Да, наверное я тупой... И раз в HL2 такие интересные результаты по масштабируемости -- значит, в каждую статью нужно пихать масштабируемость в HL2. Это будет нам интересно бесконечное количество раз. До посинения будем читать в каждой процессорной статье про масштабируемость в HL2. Вышел новый процессор с частотой на 100 MHz больше чем у предыдущего -- и сразу начинаем тестировать на нем масштабируемость. А вдруг он нас удивит?! А вдруг от 100 MHz производительность в 10 раз подскочит?!

A64 1800@2x00 вполне типичен.

Korzh
В другом вообще нет никакой разницы между разными процессорами при одинаковой видеокарте.
А в некоторых тестах и между процессорами почти никакой разницы нет. (Ваши диаграмы посмотреть не могу по странной прихоти сисадминов, ориентируюсь по ф-центру).

Я не призываю добавить десяток игровых тестов и гордо заявить АМД-рулз, как делает Ананд. Но имхо стоит сменить полусинтетический игровой на весьма приближенный к реальности. На бенчмарк-уровнях пэйнкиллера тоже разница между процессорами наблюдается, там с точки зрения графики ничего нет, зато хавок.

synapseА теперь подробнее. Выше разрешение поставить? Какое? Я Вас послушаю. Честно. Вот как скажете -- так и сделаю. Просто потом когда это разрешение кому-то по каким-то причинам не понравится -- я всех буду форвардить на Вас. Как на главного спеца по тестированию в играх. Кроме шуток, я серьезен как на похоронах.

Нет такого решения, которое всех устроит. Всегда будут недовольные. Какое бы конкретное разрешение мы не взяли -- количество недовольных будет примерно одинаковое. Поэтому нужно либо брать линейку (разрешений 4-5) и строить графики, либо остановится на каком-то одном. Мне -- все равно на каком. Лично меня игровые тесты не интересуют вообще. Но вот тестировать каждый процессор в 5 играх (HL2 скоро прибавится) и в 4-5 разрешениях я не буду. Потому что тогда это будет "методика тестирования производительности процессоров в играх" с не-пришей-к-кобыле-хвост маленьким незначащим приложением из "всякой прочей фигни".

Нет такого решения, которое всех устроит.
А зачем? Я не понимаю всех этих ссылок на "а кто так делает?".

Почему вы не тестируете процессоры в задаче "форматировании дескеты". Предлагаю такой тест провести. Время будет одинаковое? - ну не факт во-первых, а во-вторых мало ли что, дискеты всё равно ведь надо форматировать, это ведь реальная задача-то. Или дефрагментация диска. Или скорость подключения по сети. Что - от процессора это мало зависит всё. Ах вооот оно что!

Т.е. выбираются всё-таки задачи, которые зависят именно от процессора, т.е. связки процессор+память, надо думать. ОК, тогда стоит стремиться к максимальному устранению любых посторонних факторов, влияющих на результат. И "реальность" этих факторов (т.е. вероятность их присутствия у читателей) имеет к тестам такое-же отношения, какое к эксперементам над мышами имеют вопли greenpeace. Либо вы ставите цель идеализировать условия теста и получить максимальное (читай - идеальное) расхождение результатов между подопытными, либо это не тест а лажа.

Короче говоря. Стремясь тестировать процессоры (а не скорость флопа/HDD/сети), вы почему-то останавливаетесь на полпути и вместе с процессором тестируете видеокарту. Зачем - я не понимаю. Для домохозяек? Ведь ни рыба ни мясо - в игровых разрешениях и в стандартных демках действительно fps-ы определяет видео; а реально низких разрешений для теста процессоров у вас нет, ибо максимальное невлияние видеокарты в текущих играх это 320х240 + highend видео.

Вы хотите компромисса? Чёрта-с два - половина будет жаловаться, что тесты "нереальные", т.к. им хочется 1600x1200xAA; а половина - что они врущие, т.к. они собсно врут - чистота эксперемента не доведена до максимума.

Franky
...AFAIK, в тестах процессоров еще не применяется HL2 поэтому пока экстраполировать рано...

Причём тут экстраполяция и HL2? Вполне достаточно калькулятора и имеющихся тестов. Смотрим игровые тесты, DOOM3:Написанно понятно, но NAWHI на слово не поверим и смотрим что у нас в тестах, а точнее разницу между самым быстрым и самым медленным в тесте процессором:
В 640x480 она равна ~18%
А 800*600 уже всего ~5%

То есть диапазон измеренных значений уверенно стремится к погрешности измерения (!). Но может не всё так плохо и процессоры хотя бы теряют производительность при переходе 640x480>800*600 одинаково (линейно)? Смотрим:

Самый быстрый теряет (Аthlon64 4000): ~29%
А самый медленный (Pentium4 3.6Мгц) : ~15%

И как вам подобная картина? А ведь она в большей или меньшей степени присутствует в каждом игровом тесте при переходе от разрешения 640x480 к 800*600, второе разрешение начинает действовать как ограничитель скорости процессоров, но дифференциально: чем быстрее процессор, тем больше он теряет от этого видео барьера.
Вывод: игровые тесты данной статьи в разрешении 800*600 с картой Radeon X700 с измерениями скорости процессоров ничего общего не имеют.



NAWHI
...А теперь подробнее. Выше разрешение поставить? Какое?...

Вы за какие разделы отвечаете? CPU & Mainboard? Ну вот и тестируйте CPU & Mainboard, а все кому очень хочется народных песен, плясок и тестов видеокарт в разделе "CPU & Mainboard" отсылайте стройными рядами в форум к Анрею Воробьёву, благо тут недалеко ...

З.Ы.
Разрешение ИМХО для тестов нужно 640*480 со всеми HIGH, чтобы по максимуму задействовать ресурсы игры вроде теней, максимального количества полигонов и максимально приближённо к реальности напрячь видео драйвер и процессор... Но и графикарта для этого ОБЯЗАТЕЛЬНО нужна максимальная и 256Мб!!! Можно ещё с разгоном или SLI, для чистоты тестов имено CPU будет самое оно! Как вариант добавить тесты на графиккартах ATI и Nvidia, для выявления возможного влияния оптимизаций в драйверах под конкретный процессор.
Плюс для UT надо добавить в тойже таблице значение Min FPS. Для хардкорных геймеров это ОЧЕНЬ важное значение. Но замерять его можно только несколькими прогонами, например тремя и указывать среднее арифмитическое Min FPS. Плюс понятно для уменьшения влияния времени загрузки с винта нужно отбросить первый прогон для удаления возможного влияния времени загрузки карты и текстур с винта.

Исправлено: MickeMM, 24.03.2005 17:13

MickeMMА если что-то "слетит" -- еще на ночь. А если опять что-то слетит -- еще на ночь. Господа, я с вас смеюся (хоть и беззлобно)... Вы представляете себе, сколько по времени, с учетом "всяческоразных неизбежных накладок" занимает тестирование ОДНОГО процессора даже по этой методике? Вы хотите одну статью раз в полгода?

NAWHI
Ну хорошо, но четыре прогона сделать то можно (освобидив время, убрав с тестирования 800*600)?