Эта тема для легкого непринужденного общения на тему ИИ и нейросеток. Здесь новички могут без стеснения задать технические вопросы, а гуру форума - поделиться своими теориями и практикой. Добро пожаловать!Чуть ниже будет приаттачена картинка.
Никому конечно же не возбраняется провести в теме экскурс в дотензорную эпоху GV100

Для тех кто знает матчасть и использует её, есть профильная тема - Опыты с LLM
Для тех кто думает, что их это никак не касается, есть такая тема - NVIDIA DLSS, AMD FSR, Intel XeSS и прочие "upscale"-технологии: вежливый холивар (часть 2)

Кто всё ещё думает, что их в Видеосистеме это не коснётся:
- Real-Time Neural Appearance Models
- Enabling Neural Rendering in DirectX: Cooperative Vector Support Coming Soon


Если комуто хочется видеть посты из других тем - дайте знать. Здесь в теме можете дать ссылки, подумаем перенести их или же скопировать без переноса.

.

Исправлено: Moderator4D, 06.02.2025 16:11

PrintF
может кому то 5090 тупо для нейронок и для работы надо будет, он её и в кредит купит тогда

Deepseek работает на АМД, причем ничем не хуже. Только надо бы 48 гб минимум. Т.е. 2 штуки 7900xtx.
Вопрос в том, что даже АМД RDNA3 не стали дешевле, они стали дороже чем было когда-то...
Ну парочку я возьму да, для этого..пока прицеливаюсь чего..и 5080-5090 никак не проходят..

TurboUSB
Deepseek работает на АМД, причем ничем не хуже. Только надо бы 48 гб минимум. Т.е. 2 штуки 7900xtx.

есть уже ссылки на гитхаб, где можно запустить как тот же стейбл_диффужн2/3, фукус, флюкс и всё подобное?
или тут имеется ввиду что кластеры в дата_центрах на амд?)))

Ну парочку я возьму да

последний раз я на амд сидел в 2002 на радеоне 8500) с тех пор - онли нвидия)))
а ну хотя у меня есть дома рх6600 - для макоси в хакинтоше

PrintF
есть уже ссылки на гитхаб, где можно запустить как тот же стейбл_диффужн2/3, фукус, флюкс и всё подобное?
или тут имеется ввиду что кластеры в дата_центрах на амд?)))

На официальном сайте AMD Community появилась подробная инструкция по запуску ИИ-модели DeepSeek R1 на пользовательском ПК.
https://community.amd.com/t5/ai/experience-the-deeps…/ba-p/740593?s=31

Остальные модели меня мало интересуют, так как тупят они значительно чаще, и в плане chatGPT и подобных они еще и жестко цензурированы.
Что ставит для меня на них полный крест, что вообщем так уже последние года 2 как.

Deepseek же не в меру разговорчивей...и тупит реже. С qwen сравнил..Ну нет, не то..

Поэтому хотелось бы иметь у себя локально нецензурированную модель. Которая выдает, все, что выдает )
Будут резать модели , или не будут, это неизвестно...скорее да, чем нет.

Исправлено: TurboUSB, 02.02.2025 21:38

TurboUSB
Поэтому надо конечно же иметь у себя локально нецензурированную модель...Ибо руки до всех дотянутся рано или поздно.
Так она на паре карточек еле ворочается, или я не прав? Есть разве смысл в таком?

>>DeepSeek-R1-Distill
естественно не является
ИИ-модели DeepSeek R1
а как бы подмножество

lMariusl
Так я не знаю, пока пользуюсь облачной...
Вот хотелось бы поставить максимально возможную себе.


Saturn
естественно не является
ИИ-модели DeepSeek R1
а как бы подмножество

Это понятно, но какие еще варианты , если R1 отцензурируют.
Сейчас пока выдает вопросы по медицине и прочему...а chatGPT стабильно отправляет к специалисту , если что-то сложнее корма и выгула собачки)
И нафиг она тогда еще нужна...Для тз и кода любая годится..

Я несколько моделей прогнал по сериалу Dark, теории Гёделяи моста Эйнштейна-Розена.
Только deepseek выдала сразу все, что требовалось.

Остальные упорно показывали, что они только тупой алгоритм )

TurboUSB
На официальном сайте AMD Community появилась подробная инструкция по запуску ИИ-модели DeepSeek R1 на пользовательском ПК.

прикольно)
но меня пока интересуют ИИ-генераторы картинок) а они оптимизированы только для нвидия (амд там либо скорость ниже, либо танцы с бубнами и всё такое)
чатгпт пока онлайн устраивает, как советчик-библиотекарь порой круто и быстро выручает.
но конкретные технические решения надо конечно проверять, особенно если что-то по софту с версиями.... или там команды могут иметь другие ключи
решал как то с чатгпт сетевые задачи по линуху - настройке сервисов... гуглить конечно дольше, с чатгпт быстрее, но могут быть ошибки
дипсик не пробовал) но новости слышал)))

Добавление от 02.02.2025 21:52:

TurboUSB
а chatGPT стабильно отправляет к специалисту , если что-то сложнее корма и выгула собачки)

была статья что кто-то с чатгпт написал книгу по грибам и кто-то даже траванулся по этой книге)))
https://habr.com/ru/news/836758/

у меня собакой жена занимается плотно - обзоры смотрит, статьи читает)))

Я несколько моделей прогнал по сериалу Dark, теории Гёделяи моста Эйнштейна-Розена.
Только deepseek выдала сразу все, что требовалось.

прикольно, наверно надо будет попробовать потом в какой-нибудь задаче, особенно сетевой...

это вроде флудилка тут шутка про AI компании
https://www.youtube.com/watch?v=uJyQO1-xreI

PrintF
Deepseek прикрутит в web-интерфейс скоро распознаватель и генератор картинок Janus-Pro-7B.
Мне пока не надо, я пока понимаю как жить с тем, что уже есть. А потом пойду далее

Интуиция меня опять не обманула, отсутствие тотальной цензуры, дает намного, намного более крутые ответы.
⁠⁠А если вообще снять цензуру..но это есть только у тех у кого это есть..

Поэтому chatGPT еще неск. лет назад я сразу забраковал...он мне никак не подсказал, как переплыть реку, если я не умею плавать и нет рядом ничего, чтобы переплыть. отправил меня в 911. ) Бугага..
А тз также писал фигово. Все переделал за ним.

Сейчас не знаю, но deepseek - оно..или почти, или уже.

TurboUSB
Это понятно, но какие еще варианты , если R1 отцензурируют.

ну если иметь 256 GB RAM можно запустить версию DeepSeek 1.58bit

TurboUSB
Janus-Pro-7B

вот про это новость видел - это бы хотелось пощупать
генератор картинок, вроде пишут лучше чем стейбл

Поэтому chatGPT еще неск. лет назад я сразу забраковал...
так его же постоянно апдейтят и дообучают)))

если чатгпт научат гуглить и вытаскивать оттуда еще инфу - это будет пушка-бомба)

он мне никак не подсказал, как переплыть реку,

так чатгпт можно использовать как быструю справочную информацию
то что в гугле придётся собирать по форумам или из нескольких статей, чатгпт выдаст уже в готовом виде
но правда бывает затык из-за версий

как переплыть реку - я такое не спрашиваю)))
или как разжечь костёр без спичек (и без лупы )

PrintF
если чатгпт научат гуглить и вытаскивать оттуда еще инфу - это будет пушка-бомба)

Не будет, там все порезано в общих вопросах...
Вот и свобода западная, гы, во всей красе, даже ИИ ничего сказать не могут, ограничены.
Только как-то вокруг или около ходить по метафорам и аллегориям. Да нафиг надо...

deepseek вот реально с наводящими сказал Да, это скорее возможно и может быть так - ...
Причем выдал все, что я собирал за неделю - за 1 секунду.и все точно..

Но все так гладко. По двигателям автомобилей также тупит...как и все модели. Видимо это не было приоритетом в данных и обучении. Ну ок..
Похоже если его в теоретическую механику двинуть, там вообще аллес будет..ну да ладно.

позавчера попробовал дипсик 1.5б по инструкции амд, в вопросах воспитания и лечения детей выдаёт полную ересь, точнее ржачную выдумку по шаблонам. Всё таки надо с большой осторожностью воспринимать инфу из ии-источников.

19Korn87
позавчера попробовал дипсик 1.5б по инструкции амд, в вопросах воспитания и лечения детей выдаёт полную ересь, точнее ржачную выдумку по шаблонам. Всё таки надо с большой осторожностью воспринимать инфу из ии-источников.

Это все понятно,,маленьких детей так-то лечить ничем нельзя ) Если там не серьезная патология.
В части вопросов, как и любые модели, выдает полную ересь. Видимо там недообучено.
В части - дает норм.

Любую информацию надо воспринимать через призму собственного опыта и текущей аналитики , это все понятно.

По двигателям авто недообученая пипец, как и все остальные...просто не знает где и что, и сшивает все подряд. И даже если направить, просто не знает...увы.

По сериалу Dark все знает, сшивает как хочешь, даже если теории добавить. Да и многое так же.
Но где-то полный нуль )

TurboUSB

что-то в вашей табличке модели R1 671B почему-то повесили то что она якобы использует/требует 16-битные веса (что просто неправда) а остальным почему-то повесили 4 бит не нельзя же западать на такую очевиднейшую лапшу

алибабашный чатгпт уделывает дипсик кмк

а так пробовал дистилят 32b на 4090 - фуфло какое то по сравнению с аутентичной нейронкой

Grade86
аутентичный алибабашный не уделывает дипсик. С алибабой я как буд-то вернулся к разговору с третьеклассником, начитавшимся энциклопедии и путающим слова. Не...50 дополнительных промптов, не..
Дипсик иногда удивляет и это многого стоит. Но в остальном такое же...наверное.
Но наша же задача не констатировать это, а взять лучшее..и пока удается..хотя-бы местами.


Saturn
что-то в вашей табличке модели R1 671B почему-то повесили то что она якобы использует/требует 16-битные веса (что просто неправда) а остальным почему-то повесили 4 бит не нельзя же западать на такую очевиднейшую лапшу

Скажите уж тогда проще, какую модель дипсика можно поставить локально, не затратив сильно больше скажем 200-300тр..
Есс-но 5080- 5090 вообще никак сюда не пролазят..

TurboUSB
Скажите уж тогда проще, какую модель дипсика можно поставить локально

у меня стоят 1.58bit, Q4, Q8 (то есть полное) от Unsloth, запускаются на CPU

Saturn
у меня стоят 1.58bit, Q4, Q8 (то есть полное) от Unsloth, запускаются на CPU

1 слово в минуту, или у вас много ядер/цпу?
Наверное для дома надо все же с видеокартами пока..

TurboUSB
1 слово в минуту

сразу видно - "человек не пробовал"

Наверное для дома надо все же с видеокартами пока..

из 3-х пожеланий - "хочу быстро", "хочу дешево" и "хочу качественно" (более хорошую модель) - вам надо выбрать любые 2

Saturn
сразу видно - "человек не пробовал"

Локальные не устанавливал.

Сейчас развлекаюсь голосом с https://character.ai/, это проект выходцев из гугл, ну полный ноль, можно закрывать проект.

Мне просто влом прикручивать поиск по интернету и голос к локальной модели deepseek, тем более я не профильный специалист и могу это сделать только через разные хау-ту и фак-ю. И модель будет не та, все равно.

Логично ждать просто движение поезда на станции, он все равно туда идет.

Но есть проблема...Модели цензурируют и они "тупеют" везде..Вообще везде..кроме тз и кода, что не так уж и надо большинству..

Исправлено: TurboUSB, 03.02.2025 00:27

DeepSeek-R1-Distill-Qwen-32B запустится на 2х3060-12 при желании.

Полную модель можно запускать на Epyc Genoa/Turin и 12-канальной DDR5 с скоростью 6-8 токенов/с - https://www.reddit.com/r/LocalLLaMA/comments/1iffgj4…ng_on_epyc_9374f/
Учитывая, насколько модель большая - результат просто отличный. Но в 200-300 не уложиться.

Добавление от 03.02.2025 00:34:

С другой стороны, это _первый_ раз, когда топовую модель _вообще_ можно было запустить на чем-то заметно дешевле квартиры. Их радикально MoE-шная архитектура (из 671B параметров только 37B активны для инференса в каждый момент, 256 экспертов/8 активных) позволяет вытащить достаточно скорости для работы с моделью на процессоре.

фывааа
DeepSeek-R1-Distill-Qwen-32B запустится на 2х3060-12 при желании

Она запустится и на 7900XT(X), а еще если 2 шт.
Но хочется полную да, я пока думаю...
Ryzen AI ведь идет в том же направлении, просто не все это еще поняли...
Пока игрульки тут гоняют в DLSS.

TurboUSB
Пока игрульки тут гоняют в DLSS
на самом деле игрульки это довольно серьёзный вызов для нейросеток, если нет DOF, они как правило с трудом понимают эту кашу из пикселей, так что nv тут стоит поаплодировать

у меня полный R1 671B на 8-канальном Sapphire Rapids едет со скоростью 4 tokens/sec, согласно бенчмарку

если судить по количеству параметров и скорости в токенах - используется только где-то 1/15 от параметров, остальные сидят рядом на другие времена

Altikin
У меня вчера-сегодня прямо таки выброс накопившейся информации.

Реально есть по играм 2 штуки (после Bg3 разумеется, ничего такого не было и еще долго не будет).

Kingdom Come: Deliverance 2. Фотореалистично, открытый мир, иммерсив.

Второе я придумал сам. Это петли времени, после просмотра сериала Dark.

Оказывается там есть куда копать. И оказывается есть - https://ru.wikipedia.org/wiki/Deathloop.
Но не то, выход из петли только один...Но идея, идея то ...для реализации..

фывааа
Полную модель можно запускать на Epyc Genoa/Turin и 12-канальной DDR5 с скоростью 6-8 токенов/с

ну это же Q4
а народ и повелся