(Это продолжение предыдущей темы)

Версия FAQ на GitHub, после обсуждения признана основной. Спасибо bormental.

Статья "NAS для дома своими руками" от коллеги MikeMac
- Часть первая: Холодное железо
- Часть вторая: Программное обеспечение

ВАЖНО, из FAQ
Если предполагается, что компьютер должен обладать функционалом HTPC, т.е. показывать видео на локально подключенном (HDMI, DVI и т.п.) телевизоре - то это не NAS, а HTPC, которые обсуждаются в своей ветке: Путеводитель: Создание HTPC (FAQ на 1-ой стр., ссылки в объявлении) (часть 6). Однако если NAS должен показывать видео на ТВ, подключенном по сети, даже и в том числе, если он должен транскодировать видеопоток - это тема настоящей ветки.

Ну и для желающих совмещать есть Совмещение NAS, ПК и HTPC в одном флаконе

Если вы задаёте вопрос - обязательно укажите используемую (предполагаемую к использованию) операционную систему.
Если у вас есть вопрос, который вы не хотите обсуждать в общем треде, то вы можете задать его одному из кураторов - archa, RU_Taurus или MikeMac (по ссылке, слева, Прочее: Создать приватную тему).

Исправлено: archa, 26.08.2019 09:10

Rodez
проблемма скорее не в самом зионе, а в материнке под него с хотя бы 4мя слотами х8
по адекватной цене и не угробленная

NASodel123Сузьте площадь тестирования как вам советовали и используйте виндовый клиент, где SMB родной. Еще не хватало разбираться с двумя линуксами на концах виндового протокола...

bormental

Все вчерашние измерения проводились на другой материнке и процессоре, а частности Intel® Xeon E5-2630L v4 и supermicro x10sri-f, а линий pci-e там хватает. Уже 2 дня сетевая карта подключена в PCI-E 3.0 x16.

Добавление от 11.07.2019 08:15:

Я уже пробовал проверять скорости между двух windows машин. То есть на NAS была установленна windows server 2016 и на клиентской машине стояла windows server 2016. В каждой машине был установлен samsung evo 970 plus 1tb. В samsung magician на обоих машинах результаты бенчмарка выдавали более 3000 мега в секунду. NAS и клиент были подключены напрямую между собой сетевым кабелем cat 7, то есть без коммутатора между ними. Скорости в самба получались очень похожие 430-450 мега.

Конечно после такой проверки можно прийти с логическому заключению что узкое горлышко в сетевых картах. Всё бы хорошо, но я менял сетевые карты на другие модели, в частности в NAS была установленна intel x520-da2, а в клиентской машине mellanox mnpa19-xtr. И снова 450-470 мега.

Вы можете предположить что узкое горлышко в клиентской машине, но на клиенте стоит такое железо:
1) Мать ga-z77x-ud5h
Слоты расширения:
1 x PCI Express 3.0 x16 (х16)
1 x PCI Express 3.0 x16 (х8)
1 x PCI Express 3.0 x16 (х4)
3 х PCI Express 2.0 x1
1 x PCI
2) ЦПУ i7 3770к
3) RAM DDR3 32GB

Вот поэтому я и грешу на самбу и ее настройки.
Если нужно провести дополнительные проверки/игры с железками, пишите, буду рад.

Добавление от 11.07.2019 10:54:

На freenas отключил TSO (sysctl net.inet.tcp.tso=0) скорости подросли.
Запись: 530-560 мега (было 430-450)
Чтение: 480-490 мега (было 430-450)

NASodel123
То есть на NAS была установленна windows server 2016 и на клиентской машине стояла windows server 2016

Ну просто чудеса какие-то. Smb не особо то напряжный протокол, если iperf показывает гиг, то обычно и smb его даёт. 200мегов я на атоме получал когда только вышел smbv3, а у вас хорошее железо.

Винда удобно показывает график скорости. У вас там ровная линия или волны?

NASodel123
у меня с НАСа (NAS4Free 10+2 пул, SSD кешей счас нет) линейно читается (фильмы) в NUL по комендером в винды10 примеро 540-550,000 килобайт, есои читать повторно - то есть оно частично закешировалось (памяти мало правда) то 600,000 килобайт
а пишется всего 300,000 килобайт/сек (правда тут может локальный старый ССД тормозит)

а блин... у меня счас на винде меланокс в х4 через DMI работает....
позже переставлю проверю если есть изменения....

Krey
Винда удобно показывает график скорости. У вас там ровная линия или волны?

Волны.

На форуме freenas вычитал рекомендованную сетевуху Chelsio T420-BT, пойду закажу для успокоения души.

NASodel123
рекомендованную сетевуху Chelsio T420-BT, пойду закажу для успокоения души
у нее ж какие то порты мутные или я путаю ?
... а не, путаю, сорян!

Исправлено: Power User, 11.07.2019 18:29

NASodel123
Волны

волны скорее говорят о проблемах дисковой подсистемы а не сети

NASodel123
закажу для успокоения души
А детальный график загрузки отдельных ядер процессора во время передачи данных душа смотрела и спокойна? Распределение по ядрам обработки irq тоже?

Что же. Xeon D-5141 доехал до меня. Пару мыслей.

Пришлось немного модернизировать кулер на CPU, ибо там родная вот такая жужжалка на 5000 rpm. Громкая.

Поставил Noctua NF-A6-25 PWM






На стяжках, но держит очень хорошо.

В штатном режиме 2400 rpm и его не слышно. При 100% загрузке всех ядер, кулер дает 3000 оборотов и температура не растет выше 85. При том что предупреждение (по спеке) при 91, а троттлинг при 104.

А кроилово привело к попадалову. С контроллером на Marvell 88SE9230 диски глючили. Периодически отпадали, или сообщали что сектор не читается. Хотя через hdparm после задержки сектор читался корректно. Шаманство c VT-D не помогало. Вернул Dell Perc H200 - все отлично.

Буду мигрировать на Debian 10 и ZoL 8.1.0

Встроенный KVM радует (но только под windows, ибо хочет java).

Который в отдельный в pci-e. И со включенным и с выключенным IOMMU. На плате 6 SATA интел. Использую 2 из них (пока).

С мобилки KVM ?! Но зачем?!

gaaronk
С контроллером на Marvell 88SE9230 диски глючили
Прошивку обновить не пробовали? Актуальная версия 2.3.0.1070.
Мне помогло на одном компьютере (на P55 чипсете с встроенным контроллером marvell), windows в bsod уходил, после обновления - перестал.

Исправлено: dimez, 11.07.2019 21:11

Пробовал. Не помогло. Второй такой же тоже похоже шалит. Там прошивка 1063.

gaaronk
Xeon D-5141 доехал до меня
поздравляю! имхо, штуки интересные, смущают только низкие частоты (относительно) и малое TDP (считаю в укор производительности)

[DestRoYeR]
gaaronk
Xeon D-5141 доехал до меня
поздравляю! имхо, штуки интересные, смущают только низкие частоты (относительно) и малое TDP (считаю в укор производительности)

Главное что сейчас памяти 64, и можно добить до 128

gaaronk
KVM радует (но только под windows, ибо хочет java).
Фотки красивые 😀
А напомните, что за плата и где брали?
Ну и ждём впечатлений, в т.ч. и об утилизации 10Gb.
А ipmi можно юзать и через cli, я так через ssh на очень удаленной машине и в bios заходил, и включал/выключал питание...

bormental
А напомните, что за плата и где брали?
Ну и ждём впечатлений, в т.ч. и об утилизации 10Gb.
А ipmi можно юзать и через cli, я так через ssh на очень удаленной машине и в bios заходил, и включал/выключал питание...


Плата эта. Но на нее была скидка 50%.

А как в биос через ssh ? Без графики вообще?

Или с ребутом и работой через Serial over LAN ?

Комрады,

существует на Али/ебай/амазон материнка на 4 слота х8 для Зиона 2й серии (E5-26xx v2) ? по адекватной цене (не за 300+ баксов)

Ну двухсокетных полно, а односокет на е5 нерентабельно

NASodel123
На форуме freenas вычитал рекомендованную сетевуху Chelsio T420-BT, пойду закажу для успокоения души.
Вы хотите деньгой задавить тех проблему. ИМХО я бы между хостами хотя бы iperf погонял, а дальше уже по результатам. Ну и как правильно написали выше - при передаче гляньте все же загрузку процессора по ядрам

gaaronk
А как в биос через ssh ? Без графики вообще?
Если у вас хост в лан, то ssh, разумеется, не нужен.
А так, коннектитесь по ssh на, например, gateway удаленный и на нем запускаете:
$ ipmitool -I lanplus -H 192.168.yyy.xxx -U admin chassis bootparam set bootflag force_bios
Тем самым форсируя вход в bios после перезагрузки хоста, да 192.168.yyy.xxx - это адрес интересующего хоста.
Далее, тем или иным способом (через тот же ipmi) ребутите хост и быстро выполняете:
$ ipmitool -I lanplus -H 192.168.yyy.xxx -U admin -a sol activate usesolkeepalive

Или с ребутом и работой через Serial over LAN ?
Угу, именно.

Ну и всякие там статусы тоже читаются ipmitool в консоли.

Power User
проблемма скорее не в самом зионе, а в материнке под него с хотя бы 4мя слотами х8
по адекватной цене и не угробленная


а зачем именно х8 ? почему например три х8 + один х4 не хватит?

и по моему опыту большинство карт х8 заводятся и в слотах х1 и х4, а для дисковых контроллеров и х4 хватит.

вы не будете полностью использовать всю доступную полосу аж четырех х8 ?

а если согласится на 3 разъема х16 и один х4 (и х1 под видеокарту)
или три х16 + пара х1
то есть варианты дешевых китайских материнок.

Power User
существует на Али/ебай/амазон материнка на 4 слота х8 для Зиона 2й серии (E5-26xx v2) ? по адекватной цене (не за 300+ баксов)


то я бы взял вот такую всего за 78$ - три х16 и два х1
https://ru.aliexpress.com/item/32951598215.html

есть подороже на 20$ - а из отличий один из х1 заменен на х4
https://ru.aliexpress.com/item/32850475114.html

Ярослав Романов
а зачем именно х8 ? почему например три х8 + один х4 не хватит?
ну теоретически хватит наверное...
но счас уже используется 3 карты х8
SAS2008 - на нем 8 дисков
SAS2008 с внешними SAS портами 8088 - на нем 4 диска + полка на 15 дисков (полка большуя часть времени выключена, потому эта карта счас сидит в слоте х4 - для 4х дисков хватает
Mellanox 10gb

для перфекционизма хотелось бы еще один SAS2008 на х8 и на него перевесить 4 диска + 4 SSD под кеш... (раньше SSD висели на строенных SATA2 портах материнки - что не давало больше 300 мега (помоему вообще в 250 упиралось) на диск)
а тот SAS2008 на котором полка + 4 диска оставить чисто под полку + собрать вторую полку - (у него 2 внешних порта, 4 диска подключены кабелем SFF8088 > 4xSATA) (зы. на вторую полку диски потихоньку накапливаются...)

Power User
по адекватной цене (не за 300+ баксов)

односокетная с 3-мя за 150 - прямо сейчас ..x9sri
но вам нужна одна из x9sre/x9srh
если поискать с определенной долей терпения (не горит ведь), то найдется (на ебеях)

Rodez
я не уверен что они в мой корпус влезут...

Power User
ATX жеж односокет максимум. Как не влезет?

gaaronk
Встроенный KVM радует (но только под windows, ибо хочет java).
Не понял, какая связь между KVM на Java и Windows? Отлично всё и на линуксах работает, IcedTea пакет поставьте (это опенсорсная реализация Java WebStart) и Java самые свежие не берите. У меня с моей супермикрой на 7й жаве лучше всего работает (Arch Linux на десктопе), для этого такую древность и держу.

NASodel123
Форумчане, которые получают скорости выше Гигабайта в секунду на операциях чтения/записи по протоколу smb/samba, будьте добры, поделитесь своей конфигурацией железа и софта.
Я не очень понимаю, почему Вы вообще ожидаете скорости выше выше Гигабайта в секунду на 10-гигабитном линке - как раз гигабайт в секунду это близко к практическому потолку.
Отвечая на ваш вопрос, у меня сейчас вот так:

Бывало видел у себя и гигабайт в секунду в некоторых случаях (и хз от чего это зависит), но в целом 700-750MBps это то что у меня выходит в среднем.

Конфиг сервера в профиле, самба у меня Солярисная, может быть дело в этом. Файл копировался несколько раз, так что лежит в кэше и скорость пула значения не имеет (хотя RAID Z2 10+2 вполне себе отдаёт гиг в секунду на линейном чтении). На локальной машине 2 NVMe диска в BTRFS raid0 (2GBps на запись тянут), так что упирается всё в скорость сети (IPerf2 показывает ~8.5Gbis/sec). Локальный клиент NUC8i7HVK + Intel X550T через Thunderbolt3 бокс. Система - Arch Linux.

А вообще ИМХО проблема в самбе как таковой, не скейлится она до 10 гигабит, не Вы первый полгига/сек перешагнуть пытаетесь...