ilka
пока не станут делать х1 на слот м.2 и таких слотов много - толку не будет...
нет ну правда, зачем в случаи НАСа х4 линии да еще 4й версии, это же 8 гигабайт/сек...
для НВМЕ в случаи НАСа х1 (4й) просто выше крыши, да и 3й версии хватит...
но увы группируют по 4... а так взял слот х8, порезал на 8 линий, прилепил 4 диска с одной стороны 4 с другой и всё....
зафигачил 2-3 таких слота (в случаи с чипсетными 24 мя как раз 3 получится) и вот супер НАС

думаю учитывая стоимость мамки, проца и РАМы - всё таки самое дешевое это двухсокетный LGA2011
там хоть x4ками но 20 дисков (ок, 19 если оставить х4 для "ружи" на 10-20+ гигабит)...
ну или 3647 - еще +2 диска

Power User
пока не станут делать х1 на слот м.2
я вот прикинул, оптимальное кол-во nvme для меня - это 3 или 5 или 9.
да это ограничивает максимальный объем, так как сейчас доступные модели по 4tb.
А это 8Tb, 16tb и 32tb. В принципе с одной копией бекапов для меня достаточно и 8tb.
Можно даже вот так сделать 5nvme (raid5) для архива + 4 nvme (raid10) для быстрых данных.


Вариант по x1 .... маловата скорость, к хорошему быстро привыкаешь

Добавление от 19.03.2025 00:01:

Да вариант x1 тоже прикольно. Но меня как то жаба душит, так ограничивать быстрые nvme.
Все упирается в деньги

ilka
по x1 .... маловата скорость, к хорошему быстро привыкаешь
ружа всё равно ограничит, особенно в случаи РЕЙДа...
если локально, то еще понятно... а так сетка всё равно ну 4-5 гигабайта максимум если 40/56 гигабит прикрутить....

я счас всё таки смотрю что получится если полностью сделать изначально (так как мой основной пул сделан давно и большая часть данных там не обновояется) масив на дисках с кешами на nVME (special vdev в моём случаи)
ведь если есть достаточно большой SPECIAL - и для какого-то датасета уравнять recordsize и small_blocks - то по сути весь этот датасет залетит на nVME (например ту же базу данных Plex)
при этом остается гибкость не запихивать туда ненужные фильмы например (но запихнуть метаданные от фильмов, а так же всякую фигню типа титиро-файлов и обложек....

Попробовав гибриды, как то больше не хочу.
В особенности если его торрентами забивать
Для себя отметил, что nvme в паре с hdd интересно только в l2arc или write cache.

Добавление от 19.03.2025 00:12:

У меня сейчас разделение. отдельные массивы для торрента, отдельно для ценных данных, отдельно для vm/docker

ilka
Попробовав гибриды, как то больше не хочу.
подробней пжлста

если его торрентами забивать
ну опять смотря сколько наверное...но и под торренты "для когото" деражать пачку nVME.... ну если деньги есть то да...
а если для себя - то таки имхо отдельный диск на скачивание и дальше перелив на пул - оттуда раздавать, если уж на то.... (может тут да дешевый большой (благо он страйп) L2arc будет полезен)

Добавление от 19.03.2025 00:18:

ilka
отдельные массивы
пробовал, у меня очень много уходило в никуда, или очень много потом времени на оптимизацию пространства...
грубо говоря решил ты что 2 тера хватит для VM.... а по факту оказалость что надо-то 500 гига и получается 1.5 тера чисто про запас или начинает забиватся временно другими даннымм с другого где запланированный 1 тер оказался мал и надо 2...
в случаи разных масивов их быстро не перестроишь....
хороше если ты просто за 10 лет грубо говоря уже всё обкатал и потом просто перенес на отдельные масивы, а если это новое и еше не знаешь сколько куда получается очень много шансов не угадать с размерами, в результате либо пусто либо не хватает...

короче не мой случай... да есть отдельный диск например для торрентов (да и то только в последней инсталляции сделал ибо почти не качаю но и тут получается временныё nVME на пол-тера большую часть времени пустой - так как то что скачалось уходит на основной пул, а так что бы вдруг скачать скажем сериал на 300+ гига за раз - редкое....)

у меня были гибриды на Storage Spaces
mirror ((2-1)* nvme 2tb)+ parity2 ((10-2) * hdd 4tb)
недостаток сразу вылез. так как маленький объем nvme, приводил к тому что данные сразу вытеснялись на hdd.
по факту получился write cache. А hdd в целом медленные. Возможно методанные оставались на nvme. Но когда этот диск начинаешь забивать муссором (торрентами), то они вытесняли vm на hdd и было медленно. Поэтому отказался.

simple (2*nvme 4tb) + simple (5 * 4tb ssd) для торрентов
тут ssd давали скорость, а nvme компенсировала низкую скорость записи. в принципе такой вариант рабочий, даже превратив в mirror + parity, как раз mirror компенсируют низкую скорость записи в parity.

Так как это было для торрентов, то мне стало жалко ресурс nvme. Поэтому снес. Да и в SS официально такая схема не поддерживается, так как пришлось SSD пометить как HDD.

Power User
грубо говоря решил ты что 2 тера хватит для VM..
у меня сейчас 2*2tb nvme некуда примкнуть, поэтому я их в mirror для vm и выделил А то что используется всего 1tb, меня наоборот радует, что еще есть 1tb для экспериментов и его не забью чем то другим.

И в отношение массивов все же рассуждаю в контексте Storage Spaces.

Там чем больше дисков, тем больше ширина данных, так как минимальный Interleave 16k. В 2025 для Parity минимум стал 64к.
т.е. если я сделаю массив из 8 дисков в Parity, то ширина данных будет 512k. Т.е. если мне нужно записать 4к, он запишет 512k. Возможно SS умеет оптимизировать такие моменты, но об этом не написано.
Тоже самое думаю будет и в ZFS.

Поэтому для VM делаю mirror, кстати в случае mirror в Windows 2025 оказывается Interleave можно сделать 4к.

Добавление от 19.03.2025 00:52:

Торренты.
Торренты у меня без резервирования.
Обычно качаю на одиночный nvme с кластером в 16k или на массив из 4-ех SSD с класстером 64k (16k*4). А потом уже вручную (через смены категории) переношу на SSD или HDD.

Вариант, когда включена опция закачивать в определенное место, а потом переносить. Пользовался. Но отказался. Мне не нравится.

Добавление от 19.03.2025 01:21:

Power User
в случаи разных масивов их быстро не перестроишь....
короче не мой случай.

Я вот как понял, что на каждлый объем данных нужно запланировать определенный объем мне стало легче.
2tb vm/docker/ оперативные данные. Есть кстати мысль увеличить раздел до 4tb.
7tb ценные данные (документы, фото/видео)
В эти массивы кроме того что положенно по "бизнесу" не пишу. Даже если торрент некуда записать, не пишу.
Для backup-а этих данных у меня выделенно место на одиночных больших дисках.
А если бы у меня раздел с ценными данными был бы под 30tb. То у меня встал бы вопрос как делать бекап, у меня сейчас нет 30tb для бекапа. Да можно не все бекапировать. Но у меня исключается сценарий что торренты забьют массив. И исключается сценарий что для ценных данных не зарезервированно место под backup.
Вот к примеру в разделе с ценными данными сейчас свободно 2tb, а в разделе vm 1tb. И меня наоборот это радует

ilka
гибриды на Storage Spaces
мне оно не зашло с самого начала, да и был тут комрад который этой СС чуть данные не похерил сколько-то лет назад....
недостаток сразу вылез. так как маленький объем nvme, приводил к тому что данные сразу вытеснялись на hdd.

ну судя по описанию вообще не то что я себе хочу, у меня задача что бы был большой пул, в нем датасеты которые если надо хранилисьбы (причем можно и частично - большие файлы например 1+ мега пусть остаются на HDD)....

все же рассуждаю в контексте Storage Spaces
кесарю кесарево...

когда включена опция закачивать в определенное место, а потом переносить. Пользовался. Но отказался. Мне не нравится
я тоже, я в ручную переношу, но потому и слишком маленький диск под временные тоже не подходит - мало ли когда руки дойдут...
потому у меня в одном 512 нвме, во втором тера-ссд (всё старенькое бесполезное - потому пусть запиливается)

Power User
что бы был большой пул
в нем датасеты

в случае гибрида, нет возможности датасеты привязать к определенным носителям.

Добавление от 19.03.2025 01:31:

и непонятно как ZFS будет записывать данные даже при recordsize = 16k в массиве из (9-1) дисков. например для VM с БД

Исправлено: ilka, 19.03.2025 01:33

ilka
исключается сценарий что торренты забьют массив. И исключается сценарий что для ценных данных не зарезервированно место под backup
ну с этим на ZFS вообще проблем нет - сделал квоты на датасеты и не паришься....

разделе с ценными данными сейчас свободно 2tb, а в разделе vm 1tb. И меня наоборот это радует
у меня в этом плане проще - так как всё в одном пуле физически, то если вдруг закначивается место - просто можно всегда тирануть (перенести на другой НАС или внешний диск временно) что-то не нужное, и не думать в каком пуле искать - место общее

Вот как нибудь более детально погружусь в zfs, может быть изменю представлениею об общем пространстве.

ilka
случае гибрида, нет возможности датасеты привязать к определенным носителям
ну если ты ставишь small_blocks=recordsize - то всё что пишется в этот датасет (и мета и файлы) будут писатся на special vdev

и непонятно как ZFS будет записывать данные
там без стакана не разберешься
учитывая что recordsize он переменный (а его размер это ограничение по верху) и файл в 16к займет рекордсайз 16к, думаю он просто запишется как два сектора на какие то 2 диска из 8 дисков с данными, а не будет размазан на 8 дисков....

вот тут видно что, что маленькие "рекордсайз" не будет разбит и записан на все диски (в отличии от страйпа в RAID5 и Storage Spaces)

D данные, P контрольная сумма?, X - дырка?

Добавление от 19.03.2025 01:55:

Power User
будут писатся на special vdev
ну ... вот объем данных общий для массива я могу сказать, а вот объем для мелких данных не смогу Поэтому такой вариант привязки для меня не очень.

ilka
, X -?
padding (какое то выравнивание - счас уже бошка не соображает завтра дочитаю)
тута читать если не лень

ilka
а вот объем для мелких данных не смогу
а и не надо, имхо, достаточно по сути знать что например фильмы, музыка и фото это "большое и медленное" (ты всё равно фильм которыё идет 2 часа не посмотришь за 2 минуты)....
по сути если кеш большой (2+ тера) то я вижу это так просто всё летит в кеш - врядли мелких файлов наберется сильно много...

например у меня есть папка прога какаято бугалтерии - она даже локально на NVME грустно обрабатывается (особенно когда винда пытается в облоко сливать антивирусу)... там пол ляма файлов мелких (па нексколько иклобайт) видимо програмист не слышал что есть базы даынных когда писал это чудо....
а да папка пару всего занимает 12 гига.... 500000 файлов

короче такое сам бог велел полностью в кеш запихать (их даже сжимать смысла наверное нет все равно большенство 4096 байт размером - как раз в сектор влезают, разве что если ASHIFT=9 использовать то можно и пожать)
но вообще с этой папкой просто особо делать ничего не надо так как 12 гига от 30 тера это ничего и даже если она залетает полностью на special то тоде много не сожрет

Свежо предание, а верится с трудом

Вопрос слегка не по теме. Вроде бы нужную тему не нашел.
Сейчас буду восстанавливать ПК, после того как сгорел. Есть 4 SSD диска m2 ADATA 1tb SX8200PNP. На одном стоит условна новая винда и не особо хотелось бы ее терять. Пришлось ставить из-за перехода с 7700k на 14700kf. Висла каждые 30мин иногда пару часов намертво.
Хочу поднять RAID5 из 4-ех дисков. Что лучше выбрать? Средства винды или матки? MAG Z790 TOMAHAWK WIFI
И есть ли способ как то это все сделать без переустановки винды? Я вижу вариант, но на практике не пробовал. Сделать образ Диска C, скинуть на NAS. Потом создать raid5 установить винду и восстановить уже Диск C. На сколько идея реальна и какими средствами воспользоваться(windows acronics или что то другое)
Все это делается из-за того что не помещается все на 1 SSD. И устал все кидать по разным SSD.
Сори за оффтоп. И еще мб есть что то лучше чем raid5? Как понимаю на windows raidz1 не сделать.

Rammss
Как понимаю на windows raidz1 не сделать.

насколько помню windows не умеет в ZFS а raidZ1 это именно zfs

На одном стоит условна новая винда и не особо хотелось бы ее терять. Пришлось ставить из-за перехода с 7700k на 14700kf. Висла каждые 30мин иногда пару часов намертво.

если новая после установки не висла - то просто втыкай диск с ней в новый компик, но как я понимаю у тебя с точки зрения системы уже не новый компик - тоже самое железо и процессор заменен на туже самую модель.

И есть ли способ как то это все сделать без переустановки винды? Я вижу вариант, но на практике не пробовал. Сделать образ Диска C, скинуть на NAS. Потом создать raid5 установить винду и восстановить уже Диск C. На сколько идея реальна и какими средствами воспользоваться(windows acronics или что то другое)

зачем тебе переуставливать винду? или ты хочешь загрузочный диск сделать в виде массива? ну это вообще нафиг не надо - гораздо лучше и проще систему на одном диске держать, а данные на других, а чтобы настройки, закладки в браузерах не потерять - просто настрой бекапы.


Есть 4 SSD диска m2 ADATA 1tb SX8200PNP. На одном стоит условна новая винда и не особо хотелось бы ее терять.
Хочу поднять RAID5 из 4-ех дисков.

купи под систему какой нибудь 250-500 гиговый ssd диск, цена вопроса копейки 1-2тыс. рублей, и склонируй туда винду или заново накати, а из этих 4 штук дисков собери массив под данные.

Хочу поднять RAID5 из 4-ех дисков. Что лучше выбрать? Средства винды или матки? MAG Z790 TOMAHAWK WIFI

с аппаратными массивами - в твоем случае "средства материнки" лучше вообще не связыватся! хотя загрузочный массив только так можно сделать - но я бы такого вообще не делал.

проще и лучше для хранения данных поднять софт массив средствами винды

Rammss
что не помещается все на 1 SSD
купить nvme большей емкости.

Добавление от 19.03.2025 16:02:

я вот таких еще заказал https://sl.aliexpress.ru/p?key=sQcpGsZ

Rammss
RAID5 из 4-ех дисков. Что лучше выбрать? Средства винды или матки?
винда не умеет RAID5 , в Storage Spaces (имхо) ты не сможешь сделать загрузочным, так что вариант один на мамке

MAG Z790
вроде умеет

ilka
Нет доверия алику. могут и шлак прислать и сказать честно уж точно не буду на систему ставить китайское Г... Купил экспандер, диски посыпали ошибки 188 и 196 вроде бы. 1 порт только 2 диска видел. Создал спор, продавец игнрорил. Алик попросил фото устройства, сделал, им этого мало, запросили видео устройства с видимым дефектом, это как?! Скинул скрины 10 дисков с ошибками и именно они были подключены к этому экспандеру, но им нужно видео, кароче нафиг этот алик. Хотя у меня там высокая в целом оценка, никого не обманывал. До СВО решали проблему в лет.
И Честно не вижу покупать SSD большей емкостью, когда есть 4 SSD хороших, и платить за это 20к+ если вы читали и так потратился, легко сказать купи. Следуя этой логике по большей части эту тему можно удалить и сказать купи готовый NAS

Power User
винда не умеет RAID5 , в Storage Spaces (имхо) ты не сможешь сделать загрузочным, так что вариант один на мамке
А на сколько это плохо? К примеру если матка выйдет из строя то всему райду тоже капут? или нормально поднимется на новой матке?


P.S. Высветилось какое то сообщение с предупреждением, что я оскорбил админов как то

Rammss
на систему ставить китайское Г.
Смотрите сами. Вчера например s880 на 4tb, стоил меньше 16т.р., решения подобной емкости стоит в два раза больше.

Тут каждый исходит из того что ему ближе.

dim-soft
https://openzfsonwindows.org/

имелось в виду что штатными средствами

Power User
винда не умеет RAID5

умеет, во всяком случае незагрузочные массивы raid5 умеет прямо встроенными средствами скручивать



Rammss
А на сколько это плохо? К примеру если матка выйдет из строя то всему райду тоже капут? или нормально поднимется на новой матке?

зависит от ситуации, но так если просто контроллер на материнке навернется - то массив не должен пострадать и проще всего покупать точно такую же мобо

ilka
на 4tb, стоил меньше 16т.р., то же самое у нас стоит в два раза больше.

в местных магазинах вот прям недавно прикупил 2T за 11т. с копейками, но где стоит этот диск - только он один хоть и с бекапами но уж сильно экономить экспериментами не захотелось

Rammss
К примеру если матка выйдет из строя то всему райду тоже капут?
Во всех случаях кроме одного массив умрет - этот один: точно такая же мамка и втыкание дисков в те же слоты по номерам. И в случае винды только вариант на матке либо отдельным контролером(встати на этой МСИ один nmve процовый и три чипсетных - не факт что она из 4х массив делать захочет).
С виндой есть нюанс - на массив только свежая установка(с подсовыванием дискового драйвера установщику винды, иначе не увидит массив инсталятор) - перенос винды из одиночного диска высоковероятно не взлетит.
HeinzGrenze
умеет, во всяком случае незагрузочные массивы raid5
Это да, но его производительность на запись - массив из ssd пишет хуже чем один такой же ssd(ну правда я на дешёвых ssd игрался ).

Исправлено: hrome_regios, 19.03.2025 16:59

HeinzGrenze
прикупил 2T за 11т. с копейками он может записывать
я не уверен что вариант за 11т.р. у нас, может такое.
И да на ali, в случае поломок, придется доказывать что не верблюд.

Добавление от 19.03.2025 17:00:

hrome_regios
И в случае винды только вариант на матке либо отдельным контролером
на винде можно, но только mirror.