Чатланин
Как рвануло, как рвануло
зашивайся, а то что из тебя натекло - плохо пахнет

да какие там нафиг -30%, по факту надо сравнивать 7600 (65W) и 9600X (65W), и скока там того приросту то ? (10% то будет, или так чисто гомеопатический ?)

ну и понятно что многие ждали встройку более менее ("на всякий случай"), но зато с лучами и тензорами 40+ TOPS (для "win 11 сopilot support")

а по факту AM5 обвязка сама по себе конь (мат платы + DDR5), а уж соответствующие APU так и ваще нифига не бюджетно

P.S.:

кстате, тензоры только для инференса подходят или для обучения/до обучения AI моделей тоже ?

если скажем речь идет про Intel AMX то он предоставляет или int8 или bf16

https://www.intel.com/content/www/us/en/developer/ar…rence-on-amx.html

поэтому обычно говорят про inference, но с bf16 можно и обучать

Raytracer77
зашивайся, а то что из тебя натекло - плохо пахнет
Так меня рядом нет возле тебя, а пахнет. Так что зашивайся сам.

Saturn
если скажем речь идет про Intel AMX

а на райзенах есть AMX ?

vadim.it
а на райзенах есть AMX

AMX ускоряет маленькие вещи в 3 раза, большие вещи типа Llama 3.1 405B тоже ускоряет но не так сильно

остальному приходится работать "еще медленнее"

vadim.it

> а на райзенах есть AMX ?

Типа вы не знаете отрицательный ответ?

Saturn
AMX ускоряет маленькие вещи в 3 раза, большие вещи типа Llama 3.1 405B тоже ускоряет но не так сильно

так модуль NPU в новых процессорах Intel и AMD - это и есть AMX, или что о другое ?

NPU5 in Panther Lake
https://videocardz.com/newz/intel-confirms-5th-gen-n…-for-panther-lakeну NPU же есть в некоторых новых райзенах, тогда зачем же ещё и AMX ? (если это не оно)

vadim.it

> ну NPU же есть в некоторых новых райзенах, тогда зачем же ещё и AMX ? (если это не оно)

Это нисколько не оно. NPU - это отдельный блок, а AMX - машинные инструкции CPU. Честно скажу, не знаю, в каких пропорциях нужны отдельные блоки, а в каких - инструкции. Кстати, NPU и AMX живут в разных процессорах. NPU есть в потребительских, у обеих компаний. А AMX - только в серверных и только у Интела. Кстати, там ещё и акселераторы есть в виде отдельных блоков.

bess_temporary
Кстати, там ещё и акселераторы есть в виде отдельных блоков.

где чего, какие акселераторы ?

bess_temporary
Кстати, NPU и AMX живут в разных процессорах. NPU есть в потребительских, у обеих компаний. А AMX - только в серверных и только у Интела.

так выходит что NPU только для инференса и на нём нельзя обучать / до обучать AI модели ? есть какие то подробности ?

Saturn
AMX ускоряет маленькие вещи в 3 раза, большие вещи типа Llama 3.1 405B тоже ускоряет но не так сильно

Хотел бы я посмотреть на таких "альтернативно одаренных разумом" индивидуумов, которые будут обучать свои нейронки чисто на AMX?
ИМХО, таких в природе не будет.
На фоне цен на системы с ЦП имеющими AMX, цены за RTX 4090/5090 будут казаться просто даром.
Обучение нейронок на RTX 4090 будет обходить обучение на ЦП с AMX, ИМХО в разы, а то и на порядки.
Про проф ускорители я промолчу.

vadim.it

> так выходит что NPU только для инференса и на нём нельзя обучать

Это не ко мне, я по другому профилю (Saturn, выходи!)

> где чего, какие акселераторы ?

Темнота! Intel QuickAssist Technology, vRAN Boost, Dynamic Load Balancer и DataStreaming Accelerator (см. хотя бы здесь)

Исправлено: bess_temporary, 06.10.2024 22:42

ConstWilD
Хотел бы я посмотреть на таких "альтернативно одаренных разумом" индивидуумов, которые будут обучать свои нейронки чисто на AMX?

ну а если данные для модели не лезут в VRAM - ваши опции?

Добавление от 06.10.2024 22:45:

ConstWilD
На фоне цен на системы с ЦП имеющими AMX

самый дешевый проц с AMX - за $400 грубо говоря
https://en.wikipedia.org/wiki/Sapphire_Rapids

но у вас есть опция не платить за оный - все будет ехать медленнее, зато деньги сэкономил

Добавление от 06.10.2024 22:48:

ConstWilD
Обучение нейронок на RTX 4090 будет обходить обучение на ЦП с AMX, ИМХО в разы, а то и на порядки.

раз в 20 будет быстрее, ну а если без AMX - ну будет в 40 раз быстрее чем на CPU

но мы же не про печаль типа ("Обучение нейронок на RTX 4090")

Saturn
ну а если данные для модели не лезут в VRAM - ваши опции?
Если не лезет, то собирать кластер из ускорителей, а какой еще вариант?

И можно пример маленьких вещей из AMX ускоряет маленькие вещи в 3 раза , которые не влазят в 24 ГБ VRAM RTX 4090.

самый цешевый проц с AMX - за $400 грубо говоря
Ок, ЦП я нашел

w3-2425 	6 (12) 	3.0 	4.2 	4.4 	15.0 MB 	130 W 	156 W 	$529
w3-2423 	6 (12) 	2.1 	4.0 	4.2 	15.0 MB 	120 W 	144 W 	$359 

А система на таком ЦП сколько будет стоить?
От $1,5 К за минимальную комплектацию или выше?
Вопрос на сколько w3-2423 будет уступать RTX 4090, в обучении нейронок - в 100 раз или больше?

ConstWilD

А система на RTX 4090 сколько будет стоить? И что она ещё умеет

P.S. Узкий специалист подобен флюсу (c)

Saturn
раз в 20 будет быстрее
Т.е. по вашему обучение нейронок на w3-2423, будет всего лиш в 20 раз медленней чем на RTX 4090?

ConstWilD
Вопрос на сколько w3-2423 будет уступать RTX 4090, в обучении нейронок

Ну так вопрос каких нейронок...

Скажем и 7 лет назад и 4 года назад на работе модели обучали на CPU.
На GPU тогда было 3xGV100, только для inference уже сделанной модели.

Не надо делать очень громких и обобщающих заявлений.

bess_temporary
А система на RTX 4090 сколько будет стоить?
РТХ 4090 можно добавить в любой ПК с хорошим БП.
Хоть на селероне.

P.S. Узкий специалист подобен флюсу (c)
Только почему то весь мир идет по направлению узкой специализации.
По проблемам лечения флюса, я пойду к "узкому специалисту", а не терапевту широкого профиля.

Saturn
Скажем и 7 лет назад и 4 года назад на работе модели обучали на CPU.
Ну когда-то давно мы игрались в 3Д чисто на процессоре, но как-то отказались от этого.

Saturn
Скажем и 7 лет назад и 4 года назад на работе модели обучали на CPU.

сколько млрд параметров ? и как долго обучали ?

ConstWilD
И можно пример маленьких вещей из AMX ускоряет маленькие вещи в 3 раза , которые не влазят в 24 ГБ VRAM RTX 4090.

это не пример AMX, но как пример "маленькости 24GB VRAM"
идем на страничку flux 1.dev:

https://huggingface.co/black-forest-labs/FLUX.1-dev

смотрим на Python code, видим там маааленькую строчкубез нее модель слопает 37 GB VRAM, и естественно - рухнет на 4090

итак - под куполом цирка Flux 1.Dev с этой строчкой и без нее на одной и той же карте RTX 6000 Ada:

без строчки - одна картинка генерируется 37 sec, и тут же начинает генерировать вторую
жрет 37GB VRAM

с этой строчкой - одна картинка генерится (progress bar едет) 45 что ли секунд... а потом "система просирается" еще примерно столько же времени, то есть между одним едущим progress bar и следующим progress bar зазор сравнимый с временем самого progress bar, в итоге времени тратится просто в 2 раза больше
жрет < 24GB VRAM

P.S. "система просирается" - "не самое технически точное описание процессов в электронике", знаю

Добавление от 06.10.2024 23:13:

и это уже такой вот inference в 2024-м

ConstWilD
Ну когда-то давно мы игрались в 3Д чисто на процессоре, но как-то отказались от этого.

но это было очень круто, тех ощущений потом недоставало

ConstWilD

> Только почему то весь мир идет по направлению узкой специализации.

Нет. Мир идёт по обоим направлениям - универсальным и узким. Дантист, уролог и онколог не излечат меня от всех болезней, даже от гриппа не излечат. Их даже может не оказаться в нужное время в нужном месте и за нужные деньги - а терапевт окажется. Тенденция всего лишь состоит в том, что специализированные решения (в компьютерной сфере) развиваются быстрее - ну так это просто эффект быстрой базы.

> По проблемам лечения флюса

Лечиться надо от всех болезней, а не только от флюса (компьютерная аналогия применительно к врачам подразумевает, что мы больны многими разными болезнями)

ConstWilD
РТХ 4090 можно добавить в любой ПК с хорошим БП.

в мой не влезла

Saturn
под куполом цирка Flux 1.Dev с этой строчкой и без нее на одной и той же карте RTX 6000 Ada:
ОК, пример понял.
А теперь вопрос сколько будет генерировать картинку Flux 1.Dev на w3-2423 с 64 ГБ ЕСС РАМ 4400 MHz?
Или Flux 1.Dev вообще тупо не будет работать на одном ЦП?

Saturn
в мой не влезла


у тебя значит и корпуса то адекватного нет.

ConstWilD
Т.е. по вашему обучение нейронок на w3-2423, будет всего лиш в 20 раз медленней чем на RTX 4090?

20 раз - это разница в inference между Llama на RTX 6000 Ada и W7-3465X без включения AMX, как помню, пока лезет и там и сям, как только не лезет в VRAM - ну... начинается урезка битности и модель, процитирую себяпотом и резка битности не помогает

Добавление от 06.10.2024 23:24:

vadim.it
сколько млрд параметров

не очень много - должно было влезать в один GV100 с его блистательными 16GB VRAM, и чтобы еще было место для данных что летели туда-сюда

Добавление от 06.10.2024 23:30:

ConstWilD
ОК, пример понял.

видно не поняли - дело не в том как быстро работает на Xeon вот сейчас, а то что "как быстро работает" (даже на GPU) - вообще недоопределенное выражение, вот разница в 2 раза по времени, а делов - на одну строчку

потом такие же вопросы на Xeon - что можно ускорить на AMX прям сейчас, а что - нет
но Llama 3.1 405B занимая 750GB RAM в Xeon лезет, а в VRAM - не влезет даже в пачку ну скажем в 4x4090

Saturn
в мой не влезла
А корпус поменять нельзя было?
Нормальные корпуса, куда влазит РТХ 4090, начинаются от 60 евро.

Или это какой то одноюнитный сервак?
Или готовый фирменный ПК?

bess_temporary
Их даже может не оказаться в нужное время в нужном месте и за нужные деньги - а терапевт окажется.
Ну если в быть в е....., без денег, без страховки и знания обстановки/окружения, то можно помереть от простого поноса.
На планете Земля, врачи есть не везде.

В Европе, проблем с доступом к врачам при критических случаях, пока слава богу нет.
Врачи еще есть, и при резких обострениях, при том же флюсе - лечат.

Saturn
вот разница в 2 раза по времени, а делов - на одну строчку
да хоть на одну команду.
Проблема оптимизации задачи под имеющееся железо, была есть и будет.
"У кого суп жидкий, у кого жемчуг мелкий!".

но Llama 3.1 405B занимая 750GB RAM
Э вроде w3-2423 4-х канальный, если набивать 256 ГБ модулями M321RBGA0B40-CWK то как то не очень гуманно будет.
M321RBGA0B40-CWK в Европе от 3700 евро за планку.

ConstWilD
А корпус поменять нельзя было?

обещали что влезет в любой - а оказалось что нет, ай-яй

Добавление от 06.10.2024 23:47:

ConstWilD
Или Flux 1.Dev вообще тупо не будет работать на одном ЦП?

будет работать на CPU, конечно, просто некоторые не верят что таким делом можно вообще заниматься

Добавление от 06.10.2024 23:49:

ConstWilD
Э вроде w3-2423 4-х канальный, если набивать 256 ГБ модулями M321RBGA0B40-CWK

вам нужен дешевый процессор - или дешевый объем памяти?

ну вот мне хотелось скорее память поэтому взял 8-канальный с 16-ю планками