Страницы:Кликните, чтобы указать произвольную страницуназад1234
Saturn: Опыты с LLM
Tourlenta
Member
194/1528 ответов
12 лет на iXBT, с октября 2012
Чаще пишет РІ "Процессоры" (29%)
Россия, С-Пб
Web-страница
Инфо
T
Tourlenta Member
22 дня назад / 29 января 2025 19:42
Saturn
скорость примерно 1 слово в секунду
У меня примерно 1 слово/токен в 2-3 секунды, 170 Гб зааллоцировало. Разгрузил 10 слоёв на видло. Ну, у меня обычный десктоп, не хедт, нет смысла.
Saturn
TITAN RTX Pioneer, Ampere Pioneer, Ada Lovelace Pioneer
Автор темы
1204/89372 ответов, #14 в рейтинге
22 года на iXBT, с ноября 2002
139 фото на iXBT.photo
Чаще пишет РІ "Фото" (32%)
США, California
Инфо
S
Saturn TITAN RTX Pioneer, Ampere Pioneer, Ada Lovelace Pioneer Автор темы
22 дня назад / 29 января 2025 19:44
Tourlenta

1.58bit я тоже гонял, но зачем когда лезет Q8
Tourlenta
Member
195/1529 ответов
12 лет на iXBT, с октября 2012
Чаще пишет РІ "Процессоры" (29%)
Россия, С-Пб
Web-страница
Инфо
T
Tourlenta Member
22 дня назад / 29 января 2025 19:45
Saturn
1.58bit я тоже гонял, но зачем когда лезет Q8
Ну это очень хорошо, но дома она лезет не только лишь у всех
Saturn
TITAN RTX Pioneer, Ampere Pioneer, Ada Lovelace Pioneer
Автор темы
1205/89373 ответов, #14 в рейтинге
22 года на iXBT, с ноября 2002
139 фото на iXBT.photo
Чаще пишет РІ "Фото" (32%)
США, California
Инфо
S
Saturn TITAN RTX Pioneer, Ampere Pioneer, Ada Lovelace Pioneer Автор темы
22 дня назад / 29 января 2025 19:46
кстати DeepSeek R1 квантированная до 1.58bit сетка что жрет 160GB RAM на удивление что-то даже вполне печатает а не несет полную хреноту
Tourlenta
Member
196/1530 ответов
12 лет на iXBT, с октября 2012
Чаще пишет РІ "Процессоры" (29%)
Россия, С-Пб
Web-страница
Инфо
T
Tourlenta Member
22 дня назад / 29 января 2025 19:48
Saturn
кстати DeepSeek R1 квантированная до 1.58bit сетка что жрет 160GB RAM на удивление что-то даже вполне печатает а не несет полную хреноту
именно )) потому и поражён
Saturn
TITAN RTX Pioneer, Ampere Pioneer, Ada Lovelace Pioneer
Автор темы
1206/89374 ответов, #14 в рейтинге
22 года на iXBT, с ноября 2002
139 фото на iXBT.photo
Чаще пишет РІ "Фото" (32%)
США, California
Инфо
S
Saturn TITAN RTX Pioneer, Ampere Pioneer, Ada Lovelace Pioneer Автор темы
22 дня назад / 29 января 2025 20:11
результат работы китайского DeepSeek R1 Q8 надмозга
фывааа
Member
459/1321 ответов, #22 в рейтинге
8 лет на iXBT, с апреля 2016
Чаще пишет РІ "Общий" (49%)
Инфо
в
фывааа Member
22 дня назад / 29 января 2025 20:12
Для DeepSeek R1 некорректно писать Q8, она же нативно в FP8 обучалась. Никакого более точного исходника нету.
Saturn
TITAN RTX Pioneer, Ampere Pioneer, Ada Lovelace Pioneer
Автор темы
1207/89375 ответов, #14 в рейтинге
22 года на iXBT, с ноября 2002
139 фото на iXBT.photo
Чаще пишет РІ "Фото" (32%)
США, California
Инфо
S
Saturn TITAN RTX Pioneer, Ampere Pioneer, Ada Lovelace Pioneer Автор темы
22 дня назад / 29 января 2025 20:15
фывааа
Для DeepSeek R1 некорректно писать Q8

так написано на huggingface

запускать писанину надмозга не пробовал, но тут примерно как в анекдоте про кошку что пошла "сниматься" с пушистым сибирским котом, а он вместо того чтобы с ней заниматься делом - всю ночь ей рассказывал как отморозил в Сибири свои яйца
vadim.it
Member
3274/12444 ответов, #27 в рейтинге
10 лет на iXBT, с января 2015
Чаще пишет РІ "Видеосистема" (26%)
Инфо
v
vadim.it Member
22 дня назад / 30 января 2025 00:32
Tourlenta
deepseek r1 Q1 1.58 бит

а кто квантинизировал её до Q1, сами разработчики deepseek или сторонние "энтузиасты" ?
Saturn
TITAN RTX Pioneer, Ampere Pioneer, Ada Lovelace Pioneer
Автор темы
1210/89379 ответов, #14 в рейтинге
22 года на iXBT, с ноября 2002
139 фото на iXBT.photo
Чаще пишет РІ "Фото" (32%)
США, California
Инфо
S
Saturn TITAN RTX Pioneer, Ampere Pioneer, Ada Lovelace Pioneer Автор темы
22 дня назад / 30 января 2025 00:35
1.58 бит от некто Unsloth

https://huggingface.co/unsloth/DeepSeek-R1-GGUF
vadim.it
Member
3277/12447 ответов, #27 в рейтинге
10 лет на iXBT, с января 2015
Чаще пишет РІ "Видеосистема" (26%)
Инфо
v
vadim.it Member
22 дня назад / 30 января 2025 02:48
Saturn
1.58 бит от некто Unsloth

да уж, любопытно

обсуждение,
https://www.reddit.com/r/LocalLLaMA/comments/1ibbloy…c_gguf/?rdt=56696

на нескольких 3090 только в путь гоняют
Saturn
TITAN RTX Pioneer, Ampere Pioneer, Ada Lovelace Pioneer
Автор темы
1211/89381 ответов, #14 в рейтинге
22 года на iXBT, с ноября 2002
139 фото на iXBT.photo
Чаще пишет РІ "Фото" (32%)
США, California
Инфо
S
Saturn TITAN RTX Pioneer, Ampere Pioneer, Ada Lovelace Pioneer Автор темы
22 дня назад / 30 января 2025 06:13
Greatest irony of this decade is that we got free transparent model from a hedge fund and closed paid model from a non profit company

https://www.reddit.com/r/LocalLLaMA/comments/1icz145/irony/

Добавление от 30.01.2025 06:13:

народ заставил DeepSeek R1 играть в Life

https://www.reddit.com/r/LocalLLaMA/comments/1icqzcz…e_pattern_really/
Tourlenta
Member
197/1531 ответов
12 лет на iXBT, с октября 2012
Чаще пишет РІ "Процессоры" (29%)
Россия, С-Пб
Web-страница
Инфо
T
Tourlenta Member
22 дня назад / 30 января 2025 13:30
Unsloth это не некто, это разработчики клёвого файн-тюнера для лам
SAmazon_D
Member
511/1637 ответов, #35 в рейтинге
13 лет на iXBT, с марта 2011
Чаще пишет РІ "Видеосистема" (31%)
Инфо
S
SAmazon_D Member
22 дня назад / 30 января 2025 14:12
Tourlenta
А еще, в отличии от подавляющего большинства "GGUF-релизеров", он их квантует не ж...й и лишь бы в первых рядах, а таки руками. Приходится обождать, конечно, зато моделька отвечает что-то связанное, а не монологи из "Паприки" (2006-го, а не та что от Тинто Брасса... хотя...) или бесконечные повторения
Saturn
TITAN RTX Pioneer, Ampere Pioneer, Ada Lovelace Pioneer
Автор темы
1217/89392 ответов, #14 в рейтинге
22 года на iXBT, с ноября 2002
139 фото на iXBT.photo
Чаще пишет РІ "Фото" (32%)
США, California
Инфо
S
Saturn TITAN RTX Pioneer, Ampere Pioneer, Ada Lovelace Pioneer Автор темы
20 дней назад / 01 февраля 2025 01:00
жуть

Добавление от 01.02.2025 01:00:

есть какой-то Qwen 2.5 MAX
https://qwenlm.github.io/blog/qwen2.5-max/
You can first register an Alibaba Cloud account and activate Alibaba Cloud Model Studio service, and then navigate to the console and create an API key.
К сообщению приложены файлы:
akaAzazello
Junior Member
1/1 ответов
2 года на iXBT, с февраля 2022
Инфо
a
akaAzazello Junior Member
13 дней назад / 08 февраля 2025 14:13
SAmazon_D

А еще, в отличии от подавляющего большинства "GGUF-релизеров", он их квантует не ж...й и лишь бы в первых рядах, а таки руками. Приходится обождать, конечно, зато моделька отвечает что-то связанное, а не монологи из "Паприки" (2006-го, а не та что от Тинто Брасса... хотя...) или бесконечные повторения
Вы зря так обругали GGUF-релизеров - если модель новой архитектуры, то вначале в любом случае нужно добавить для неё описывающий нюансы класс XxxModel в llama.cpp/convert_hf_to_gguf.py - чтобы проквантовать её - и это именно работа руками. А если модель уже известной архитектуры (т.е. только новые веса) - то используется существующий класс - и тогда действительно можно запускать квантование сразу.
Тема перенесена 11.02.2025 16:38 MN из форума "Видеосистема"
Если Вы считаете это сообщение ценным для дискуссии (не обязательно с ним соглашаться), Вы можете поблагодарить его автора, а также перечислить ему на счет некоторую сумму со своего баланса (при отзыве благодарности перечисленная сумма не будет вам возвращена).
Также вы можете оценить сообщение как неудачное.
В течение суток можно 20 раз оценить сообщения разных участников (купите Premium-аккаунт, либо оплачивайте оценки сверх лимита).
Страницы:Кликните, чтобы указать произвольную страницуназад1234