При том, что в сети уже есть немало различных сайтов доступа к ИИ, уже у довольно большого количества людей возникают мысли о локальном ИИ сервере. Кто-то хочет поиграться-разобраться, кто-то волнуется о сохранности данных. Благо, тот же DeepSeek имеет открытый код и его можно использовать для собственных задач. И это уже делается.

Вот в Местные зарисовки про нейросетки, #6 вроде запустили свой ИИ.

Китайцы начали делать миниPC на процессорах AMD AI.

Ещё вчера казалось, что либо надо ставить ферму на платах от Nvidia, либо попытаться разобраться с указанными процессорами, как появилась новость о собтсвенном чипе от OpenAI
Его ещё нет, но это лишь вопрос времени. На мой взгляд появление такого специализированного чипа сродни появлению DSP процессоров, заточенных именно на алгоритмы обработки сигналов. Это путь к компактным решениям, не требующим наличия неподалёку АЭС.

А пока нашёл вот в сети довольно интересное видео по такому локальному серверу.



То же на Youtube

Исправлено: Chudik, 11.02.2025 19:06

На сегодня смысл нулевой:
https://habr.com/ru/articles/879846/

alexey_public
На сегодня смысл нулевой
У всего нового на ранних этапах нулевой смысл

Поднять можно и очень просто, готовые модели открыты и вон скачиваются и запускаются как обычные приложения, просто они будут очень слабые, а чтобы это работало так, как работает у chatgpt, нужны крайне мощные машины (не обычного ПК-шного домашнего уровня), желательно ещё в кластерах.

А так хоть на ноутбуке можно запустить.

Добавление от 11.02.2025 20:00:

https://www.youtube.com/watch?v=jdgy9YUSv0s

Главное, чтобы в память влезло. Я на своем обычном компе (см. инфо) с помощью GPT4All запускал макс. 70b на 50 Gb. Ну, генерировало оно примерно по слову в секунду. Ну и интеллекта там, конечно не особо много

Chudik
То же на Youtube
Запуск Deepseek-v3 671b на своем сервере

Явно больной человек... Газонокосильщик-2

alexey_public
На сегодня смысл нулевой Я бы не сказал, что нулевой.
А вот замечание про AVX512 показывает, что лучше использовать процы от AMD. В них эта примочка реализована так, что при её использовании проц потребляет не больше (а то и меньше), а вычисления выполняются быстрее.

Chudik
Я бы не сказал, что нулевой.
Ну просто оно работает, но ответ раз в несколько минут, очень грустно Ну и железо сильно не типовое для дома. Не каждый может 1 Тб оперативки купить.

Добавление от 12.02.2025 10:20:

AVX512 конечно сильно полезно, но вроде принципиальной разницы нет.

alexey_public
но ответ раз в несколько минут, очень грустно
Ну так старый процессор, с поддержкой всего лишь DDR4-2666
Результат в видео, который я показал, с 512 ГБ памяти DDR4 на Epyc смотрится совсем не так грустно. Посмотри.
И мужик говорит, что на платах AM5 и с памятью DDR5 должен быть интереснее.

Это не то, как лет 20 назад можно было взять старый комп после апгрейда/покупки нового и посадить на него Линукс. Теперь для этого надо купить всё новое. И скорее дороже своего рабочего компа.

возможно ли запустить модель и она самообучилась до более сложной?

Vol
Это потребует запуска обучения модели. Не считая материалов для обучения, которых потребуется много петабайт, надо будет проводить многие тысячи циклов обучения, что потребует долгих дней и ночей на весьма шустром железе, уровня пачек GB200 в больших машинных залах.

alexey_public
Это потребует запуска обучения модели. Не считая материалов для обучения, которых потребуется много петабайт, надо будет проводить многие тысячи циклов обучения, что потребует долгих дней и ночей на весьма шустром железе, уровня пачек GB200 в больших машинных залах.
а если, например, указать ему список сайтов по наукам от философии и до ядерки - пусть учится (всасывает и сопоставляет со своими выводами) в фоне с любой скоростью?

Добавление от 12.02.2025 12:25:

да, кстати, а что если алису как интерфейс голосового ввода-вывода скриптом прикрутиьт? у нее есть "прочитать текст"

Добавление от 12.02.2025 12:27:

Chudik
но ответ раз в несколько минут, очень грустно
не хуже среднего профессора. быстро отвечают только болтуны.

Vol
, указать ему список сайтов по наукам от философии и до ядерки - пусть учится (всасывает и сопоставляет со своими выводами) в фоне с любой скоростью?
Обычно уже.
Но если мало - знаете сколько будет стоить скачать к вам этот самый петабайт по обычному инету? И сколь ко времени это займёт?
И какой объём займёт нейросеть, усвоившая петабайт?
И это только первый цикл оубчения, а потом их надо будет много, много раз повторить.

алису как интерфейс голосового ввода-вывода скриптом прикрутиьт? у нее есть "прочитать текст"
Знаете сколько лет надо вслух читать 1 петабайт данных?

alexey_public
Знаете сколько лет надо вслух читать 1 петабайт данных?
нет, это к вопросу, что у ДС нет голосового ввода. Ясно, что формулы голосом не введешь.


Но если мало - знаете сколько будет стоить скачать к вам этот самый петабайт по обычному инету? И сколь ко времени это займёт?
ну, никто же не ствит вопрос "за неделю обучить", если, например, нигде не получить модель, которая нужна именно тебе. всосать сайт академии наук с научными статьсями не так, вроде, и сложно на гигабите. Другое дело - само обучение, тут - да...

Добавление от 12.02.2025 17:44:

alexey_public
На сегодня смысл нулевой:
а завтра у вс будет наладонник с большей производительностью, но не будет исходника ИИ

Vol
а завтра у вс будет наладонник с большей производительностью
Но - новая версия ИИ по-прежнему будет хотеть новых серверов. А старая никому не будет интересна. Как сейчас неинтересны системы ИИ из 80-ых. Нечёткая логика, системы вывода решений и прочие.

Vol
голосового ввода-вывода скриптом прикрутиь
У ChatGPT есть. Приятель опробовал, вроде работает. Думаю, скоро и у других появится.

Chudik
Результат в видео, который я показал, с 512 ГБ памяти DDR4 на Epyc смотрится совсем не так грустно. Посмотри.
И мужик говорит, что на платах AM5 и с памятью DDR5 должен быть интереснее.
Интереснее при запуске небольшой модели на видеокартах, а при запуске на процессоре Epyc быстрее.

"Дистиллированный" DeepSeek на 14 млрд входных параметров прекрасно работает на обычном ПК, была бы видеокарта с 12+ ГБ памяти.
Для полномасштабной модели c 671Bn - уже нужна суровая машина с суммарно около 1ТБ видеопамяти.
ЧатГПТ4 для инференса нужна машинка с парой H100.
Это всё не про обучение - про инференс конечно же.

a_shats
была бы видеокарта с 12+ ГБ памяти.
Хм... Надо попробовать на моей квадре

Ну, давайте прикидывать.

LGA2011-v3 на Xeon V4 - можно нарыть 2x2698v4 + dual сисплату с 16 слотами RDIMM DDR4 (
Lenovo RD450X hyperscale и т.п. от Lenovo, Supermicro) + 16 планок RDIMM 2400 32-64ГБ. Сумма 9*2+10(16) + 16*7(10) =~ от 140 до 190 тыс.

SP3 на EPYC gen2 - можно нарыть на али 2х цпу + dual сисплату с 16 слотами RDIMM DDR4 (только Supermicro) + 16 планок RDIMM 2400-3200 32-64ГБ. Сумма ~ также пусть 9*2+30(80) + 16*7(10) =~ от 170 до 240 тыс.

LGA4189 на соответствующих Xeon - можно нарыть на али 2х цпу 8368 + dual сисплату с 16 слотами RDIMM DDR4 (только Supermicro) + 16 планок RDIMM 2666-3200 32-64ГБ. Сумма ~ также пусть 20*2+70(110) + 16*7(10) =~ от 220 до 310 тыс.

Процы сегодня дешёвые, а память и сисплаты дорогие.

Исправлено: AlexKaz, 13.02.2025 14:42

AlexKaz
+ 16 планок RDIMM 2666-3200 32-64ГБ.
вот источник грусти

AlexKaz
+ dual сисплату

собирать Llama с LLAMA_NUMA=on, запускать с волшебными параметрами про ту же NUMA, романтика!

AlexKaz
Гм. Как бы это помягче сказать...
Стоимость одного приличного современного ускорителя примерно на порядок перекрывает всю остальную комплектуху вместе взятую.
Потому хоть на старье собирайте, хоть на самом-рассамом новье - разница в цене будет относительно невелика.

это правда писанина от мая 2023-го, но объясняет вопрос

https://github.com/ggerganov/llama.cpp/issues/1437

alexey_public
Можно хоть на встройке - если с ollama взять дистиллированную модель на 7bn параметров, там и такая есть (для DeepSeek).
На всякий случай ссылки положу
https://ollama.com/
Модели:
https://ollama.com/search

Исправлено: a_shats, 13.02.2025 19:43

a_shats
Гм. Как бы это помягче сказать...
А, а я сначала подумал, что конечный выхлоп от ИИ не стоит затрат на железо =) Есть прогерры, которым удалось убедить работодателей профинансировать этот банкет широкой души. В быту же личный ИИ для массового юзера хуже Википедии, жрёт как танк, а на выходе лишь переформулирует содержание инетовских статей из Вики.
Вот для людей с ограниченными возможностями применять стоит. Хотя, мне кажется, они юзают подобный софт давно.

AlexKaz
Ну, как продвинутый поисковик ИИ таки неплох.
Особенно с учётом напиханности рекламой и СЕОшными извратами выдачи традиционных поисковиков.
Кстати говоря, "на днях" у ollama появились модели, распознающие фото/картинки.
Потихоньку и до генеративных вещей дойдёт.

a_shats
Ну, как продвинутый поисковик ИИ таки неплох.
Особенно с учётом напиханности рекламой и СЕОшными извратами выдачи традиционных поисковиков.
Жаль, не понятно, когда нагло врёт, и даже не краснеет. А перепроверять выдачу ИИ в поисковиках всё равно приходится. Двойная работа.

Добавление от 14.02.2025 06:44:

Мне кажется, swap на RAID0 из нескольких китайских PCI-E SSD будет не сильно хуже, а главное на порядок дешевле. Ну, будет условно от 0.2 токена в секунду, зато запускать можно на любом десктопном железе с минимумом оперативки.
К слову, гигантской ПСП нейронке не требуется, 70b требовала что-то до 50 ГБ/сек, она сжирает в основном время ядер ЦПУ. Т.е., SSD-RAID0 вполне себе выход, IMHO.

AlexKaz
К слову, гигантской ПСП нейронке не требуется

скорее наоборот - типичная lllama банально ограничена ПСП ко всем этим параметрам в памяти

Добавление от 14.02.2025 08:19:

AlexKaz
Мне кажется, swap на RAID0 из нескольких китайских PCI-E SSD будет не сильно хуже, а главное на порядок дешевле.

ну это вам только кажется

Saturn
скорее наоборот - типичная lllama банально ограничена ПСП ко всем этим параметрам в памяти
Вечером ещё раз прогоню и скину скрины. Будет что сравнивать, есть у меня веса Deepseek, и ряд других весов, и ПСП-замерялка работает.

AlexKaz
есть у меня веса Deepseek

... из которых используется 1/15... если про полную модель...

Возьмем скажем вот это за "совсем правду"

https://www.reddit.com/r/LocalLLaMA/comments/1ib7mg4/comment/m9lzm9n/

у человека получается 80% ПСП

У меня с той же моделью на 1TB Sapphire Rapids:

likwid-bench -t load -i 128 -w N:64GB

MByte/s: 206541.87

MByte/s: 206541.87
206531 / 1024 = 201.69
69.82 * 2.52 = 177.34

MBU = 177 / 201 = 88%

то есть в гипотезе что в той заметке на reddit - "совсем правда" - у меня используется 88% ПСП