Продолжение темы здесь
Страницы:Кликните, чтобы указать произвольную страницуназад1237071727374757677787980149150151далее
a_shats: SSD в серверах и СХД
IdeaFix
Member
28/3328 ответов
18 лет на iXBT, с апреля 2006
Чаще пишет в "Накопители" (40%)
Россия, Екатеринбург
Web-страница
Инфо
I
IdeaFix Member
10 лет назад / 23 декабря 2014 09:54
Black-Dragon Это когда же ССД стали однозначно быстрее в линейке? Есть у меня шестерка на 24 диска, в линейке там ого-го, а для того чтобы собрать что-то подобное по объёму (да шут с ним. хотя-бы по количеству) и скорости на ссд - нужен специальный сторадж, ибо подавляющее большиснтво ныне доступного железа как-то не очень работает с ссд полками.

К тому же, когда речь идёт о блочных дивайсах, то о "случайном" чтении речи особо уже и не идёт. Вот и получается, что часть плюсов SSD ацуццтвует, а часть минусов гипертрофирована. А всё от того, что в топ сегменте все проблемы, которые решаются сейчас посредством ссд были решены без них 20 лет назад.
Black-Dragon
Member
674/3020 ответов
25 лет на iXBT, с декабря 1999
Чаще пишет в "Администрирование" (27%)
Инфо
B
Black-Dragon Member
10 лет назад / 23 декабря 2014 10:12
IdeaFix
Это когда же ССД стали однозначно быстрее в линейке?
AFAIK, пару лет уже, как минимум. Сильнее не так, чтобы сильно ощутимо, в 1-3 раза, но уж точно не медленнее. Вот и не понятно (ну, т.е. понятно, что проблема где-то в районе Write Amp-а и специфики записи\стирания страниц\блоков, но хочется конкретики ).
a_shats
Member
Автор темы
6039/8118 ответов, #1 в рейтинге
23 года на iXBT, с февраля 2002
Чаще пишет в "Серверы" (80%)
Инфо
a
a_shats MemberАвтор темы
10 лет назад / 23 декабря 2014 12:25
Black-Dragon
Тут дело не в самих SSD, а в сетевых интерфейсах между хостом и луном и кэшах там и сям.
1. Сетевые интерфейсы: нынче вошел в моду iSCSI на гигабитке. Так вот, на основании экспериментов и опыта эксплуатации - 8 гигабиток по iSCSI даже близко по производительности не сравнятся даже с одним FC 8 Gb, хоть в иопсах, хоть на линейке
А причина одна - латентность. Ну просто Ethernet и FC как протоколы совершенно для разных целей предназначены и имеют разные приоритеты.
2. Кэши:
Получается довольно длинная и неприятная цепочка: кэш внутренней файловой системы СХД - блочный кэш СХД на запись/чтение - буферизация на сетевых интерфейсах - кэш гипервизора - кэш файловой системы ОС в виртуальной машине.
И каждый из этих кэшей работает не тупо, как выше и писал "прочитал и тут же поклал в кэш на всякий случай" (потому, что бэкап или снэпшот просто выметет сразу же всё и пойдут толпой кэш-миссы), а на основе некой статистики по наиболее часто читаемым и записываемым блокам .
Причём у каждого из кэшей имеется собственная логика предвыборки (read-ahead) (тут надо с умилением вспоминать простую и непротиворечивую логику adaptive read-ahead LSI MegaRAID'ов ) и write-back - это если включено. У той же vmWare и по сей день у кэша гипервизора write-back'а нету: надёжность превыше всего как бы.
Разумеется, логика этих кэшей построена на некоторых ожиданиях, иногда совершенно неоправданных на деле: ну откуда гостевой ВМ знать, что отдаваемый ей том на самом деле не локальный, а приходит по сети ? Если ей его прямо не пробросили, конечно.
Если этого мало - вспоминаем, что все эти кэши отнюдь не резиновые, и если объем часто читаемых и записываемых данных часто или постоянно превосходит объем этих кэшей - они "захлебываются", выдавая короткие пики производительности с последующими длительными просадками (пока то, что за кэшем, отработает закэшированные им операции ввода-вывода).
Уровни абстракции они такие уровни...
И это я еще про механизмы блокировок не вспоминаю
IdeaFix
Member
29/3329 ответов
18 лет на iXBT, с апреля 2006
Чаще пишет в "Накопители" (40%)
Россия, Екатеринбург
Web-страница
Инфо
I
IdeaFix Member
10 лет назад / 23 декабря 2014 13:16
Black-Dragon Когда индустрией построена очень сложная система и всё донЕльзя в ней заоптимизировано, нельзя просто взять и выкинуть шпиндели и вставить ssd... вернее можно, но получится фигня. А насчет линейной скорости дисков - не всё так просто. Порой, за ту же цену при одинаковой производительности диски дают на 2 порядка больший объём, правда места больше занимают, но пространство для маневра есть.
Black-Dragon
Member
675/3021 ответов
25 лет на iXBT, с декабря 1999
Чаще пишет в "Администрирование" (27%)
Инфо
B
Black-Dragon Member
10 лет назад / 23 декабря 2014 13:37
a_shats
И всё же мне непонятно, почему на iSCSI SSD должны проявлять себя хуже, чем HDD. По всему остальному аналогичный вопрос.


IdeaFix
Когда индустрией построена очень сложная система и всё донЕльзя в ней заоптимизировано, нельзя просто взять и выкинуть шпиндели и вставить ssd... вернее можно, но получится фигня.
Почему должна получиться фигня?! Что может - понятно, что должна - нет, что получается - а почему именно?

А насчет линейной скорости дисков - не всё так просто. Порой, за ту же цену при одинаковой производительности диски дают на 2 порядка больший объём, правда места больше занимают, но пространство для маневра есть.
Речь шла о скорости, не переводите разговор на объём. Я, например, в нескольких некритичных, готовых к пенсии серверах поставил 4 потребительские Micron MX100 с OP примерно в 20%. Причем там характер нагрузки больше линейный. Итог, разница в несколько раз на том же количестве дисков (по сравнению c 7200 SAS).

Всё же мне не понятно, почему SSD должны давать меньшую производительность, особенно если это SSD enterprise класса или consumer, но с достаточным OP.


P.S. Лично мой опыт ограничен локальными дисковыми подсистемами. Но вопрос остаётся в силе.
a_shats
Member
Автор темы
6040/8119 ответов, #1 в рейтинге
23 года на iXBT, с февраля 2002
Чаще пишет в "Серверы" (80%)
Инфо
a
a_shats MemberАвтор темы
10 лет назад / 23 декабря 2014 14:15
Black-Dragon
И всё же мне непонятно, почему на iSCSI SSD должны проявлять себя хуже, чем HDD. По всему остальному аналогичный вопрос.
Не должны, но см. выше. Если гипервизор или гостевая ОС (точнее их механизмы кэширования) "не знают" про SSD - вылазят грабли. Причём у этих граблей нет какой-то единой причины - они всегда свои для каждой связки и конкретного случая.
Вот пример из жизни, без имён и явок: гипервизор 2012 (не R2), гостевая 2012 же, СХД - 2 SSD в CacheCade и 22xSAS 15К. Симптомы - огромное время ожидания, дикие просадки по IOps.
А причина проста - на этой СХД живет и боевая база (примерно в 8 раз больше объема SSD-кэша) и базы разработчиков. Результат:
- постоянные перегоны туда-сюда тестовых баз разработчиками сносят крышу (статистику) всем кэшам напрочь
- объем часто используемых данных боевой базы заведомо больше объема SSD-кэша на СХД, от чего кэш постоянно захлёбывается. Вкупе с тем, что выше - см. симптомы.
CrazyDr1v3r
Member
69/2632 ответов
13 лет на iXBT, с мая 2011
4 фото на iXBT.photo
Чаще пишет в "Авто" (48%)
Россия, Москва
Web-страница
Инфо
C
CrazyDr1v3r Member
10 лет назад / 23 декабря 2014 14:22
MASTAKILLA
дело все таки кажется в том что, esxi4.x не умеют с ssd дисками обращаться

Причем тут SSD и ESXi, если между ними прокладка из Starwind и iSCSI? ESXi вообще не знает, какого типа физические диски на другой стороне, хоть MFM.

Добавление от 23.12.2014 14:29:

a_shats

Для БД SSD кэш в 1/10 или меньше от емкости основного луна пользы не приносит практически совсем. Особенно на построении огромных отчетов, когда данные рандомно читаются со всего объема.
Black-Dragon
Member
676/3022 ответов
25 лет на iXBT, с декабря 1999
Чаще пишет в "Администрирование" (27%)
Инфо
B
Black-Dragon Member
10 лет назад / 23 декабря 2014 14:37
a_shats
Минуточку, у меня все ходы записаны! Причем тут кеш на SSD?! Разговор шел об SSD вместо HDD! Вот.

Добавление от 23.12.2014 14:39:

P.S. А конкретно про эту ситуацию всё ясно, только мы ведь не об этом беседуем.
CrazyDr1v3r
Member
70/2633 ответов
13 лет на iXBT, с мая 2011
4 фото на iXBT.photo
Чаще пишет в "Авто" (48%)
Россия, Москва
Web-страница
Инфо
C
CrazyDr1v3r Member
10 лет назад / 23 декабря 2014 14:57
a_shats
гостевая ОС (точнее их механизмы кэширования)

В винде механизм кэширования один и не менялся с начала времен - лило. Это вы с нетварью путаете и ее продвинутыми алгоритмами. А гипервизор в принципе ничего не должен кэшировать.
a_shats
Member
Автор темы
6041/8120 ответов, #1 в рейтинге
23 года на iXBT, с февраля 2002
Чаще пишет в "Серверы" (80%)
Инфо
a
a_shats MemberАвтор темы
10 лет назад / 23 декабря 2014 17:41
Black-Dragon
Хоть вместо HDD, хоть вместе с HDD - разница невелика (но она есть: даже LSI MegaRAID с FastPath таки шустрее работает с SSD, чем без него).
Суть - если ПО одного из слоёв абстракции "не знает" про SSD - где-то там тормоза образуются запросто, см. случай MASTAKILLA.

CrazyDr1v3r
Для БД SSD кэш в 1/10 или меньше от емкости основного луна пользы не приносит практически совсем. Особенно на построении огромных отчетов, когда данные рандомно читаются со всего объема.
Эм.. не совсем. Тут зависимость всё же от размера БД и, если ещё точнее - от размера наиболее часто читаемых данных при транзакционной нагрузке.
При построении же "огромных отчётов" всё чаще применяются отдельные инструменты (OLAP и иже с ними), и время их выполнения не настолько критично.
В винде механизм кэширования один и не менялся с начала времен - лило. Это вы с нетварью путаете и ее продвинутыми алгоритмами
Не путаю. Read-ahead у Windows есть ажно с 2000, ЕМНИП. LILO - это к lazy write.
Гипервизор - вмварь - кэширует на чтение (host cache).
CrazyDr1v3r
Member
71/2634 ответов
13 лет на iXBT, с мая 2011
4 фото на iXBT.photo
Чаще пишет в "Авто" (48%)
Россия, Москва
Web-страница
Инфо
C
CrazyDr1v3r Member
10 лет назад / 23 декабря 2014 18:34
a_shats

Подумал одно, написал - другое Виндовый алгоритм на чтение - FIFO. Всякое последующее чтение вытесняет предыдущее. Можно хоть миллион раз прочитать один файл, а если потом зачитать один раз другие в объеме, превышающем размер виндового кэша - файл вымоется из кэша. В нетвари однократное чтение не приводило к попаданию в кэш.

Ну у нас тут есть базка аксапты на 5ТБ (только данных, без логов) на поддержке. Живет на EMC 5600. FAST Cache - 1ТБ, выделен только для луна с БД. Процент IO из кэша - порядка 30. Для логов кэша на SSD нет, для tempdb используется FAST VP.

Дока по VMware говорит, что host cache возможен при наличии выделенного для этих целей SSD. В RAM ничего не кэшируется.
MASTAKILLA
Junior Member
24/24 ответов
10 лет на iXBT, с ноября 2014
Россия, Москва
Инфо
M
MASTAKILLA Junior Member
10 лет назад / 23 декабря 2014 19:41
CrazyDr1v3r, скажи, где тогда загвоздка?
CrazyDr1v3r
Member
72/2636 ответов
13 лет на iXBT, с мая 2011
4 фото на iXBT.photo
Чаще пишет в "Авто" (48%)
Россия, Москва
Web-страница
Инфо
C
CrazyDr1v3r Member
10 лет назад / 23 декабря 2014 19:53
MASTAKILLA

Откуда мне знать? Возьмите другую машину с виндой, подцепите этот лун по iSCSI и посмотрите, что происходит. Может контроллеру плохеет, или старвинду или сети. Проверьте задержки на вашей "СХД"
MASTAKILLA
Junior Member
25/25 ответов
10 лет на iXBT, с ноября 2014
Россия, Москва
Инфо
M
MASTAKILLA Junior Member
10 лет назад / 23 декабря 2014 20:01
CrazyDr1v3r, брал, подключал без гипервизора напрямую к виндовой машине своей, скорость нормальная не проседает, как только через гостевую ОС, то все , остается вариант, либо starwind, либо esxi
a_shats
Member
Автор темы
6042/8121 ответов, #1 в рейтинге
23 года на iXBT, с февраля 2002
Чаще пишет в "Серверы" (80%)
Инфо
a
a_shats MemberАвтор темы
10 лет назад / 23 декабря 2014 23:37
CrazyDr1v3r
Всякое последующее чтение вытесняет предыдущее.
И тоже не так. Вытесняется сначала то, что давно не читалось.
И вмварь кэширует, но только на чтение - и это в её доках есть. Я мог запамятовать/ошибиться с названием.
skywalk
Member
241/1309 ответов
17 лет на iXBT, с сентября 2007
Чаще пишет в "Игры" (29%)
США, San Mateo, CA
Инфо
s
skywalk Member
10 лет назад / 03 января 2015 05:42
a_shats:
И вмварь кэширует, но только на чтение - и это в её доках есть. Я мог запамятовать/ошибиться с названием.
Интересно, а как гипервизор vmware может что либо кэшировать? Мне всегда казалось, что это даже теоретически невозможно.
PS Хотя если гипервизор лочит файл на сторадже, то, пожалуй, возможно.
a_shats
Member
Автор темы
6045/8124 ответов, #1 в рейтинге
23 года на iXBT, с февраля 2002
Чаще пишет в "Серверы" (80%)
Инфо
a
a_shats MemberАвтор темы
10 лет назад / 03 января 2015 11:36
skywalk
Да как обычно - читает данные хранилищ и тупо блоки кэширует.
Про то, что делает гипервизор с файлами на сторадже - см. что такое vmFS и чем кластерная файловая система отличается от обычной.
t4k
Member
686/9731 ответов
19 лет на iXBT, с сентября 2005
9 фото на iXBT.photo
Чаще пишет в "Игры" (24%)
Россия, Москва
Инфо
t4k Member
10 лет назад / 03 января 2015 13:24
a_shats
И вмварь кэширует, но только на чтение - и это в её доках есть. Я мог запамятовать/ошибиться с названием.
VMFS ничего не кэширует (про неё есть отличная книжка), а vFRC умеет только чтение.
a_shats
Member
Автор темы
6046/8125 ответов, #1 в рейтинге
23 года на iXBT, с февраля 2002
Чаще пишет в "Серверы" (80%)
Инфо
a
a_shats MemberАвтор темы
10 лет назад / 03 января 2015 19:00
t4k
Выше дана ссылка.
t4k
Member
687/9735 ответов
19 лет на iXBT, с сентября 2005
9 фото на iXBT.photo
Чаще пишет в "Игры" (24%)
Россия, Москва
Инфо
t4k Member
10 лет назад / 03 января 2015 19:09
a_shats
Там вообще о другом - про внутренние кеши гипервизора для поддержки адресации больших виртуальных дисков. Что-то вроде увеличения LBA.
a_shats
Member
Автор темы
6047/8126 ответов, #1 в рейтинге
23 года на iXBT, с февраля 2002
Чаще пишет в "Серверы" (80%)
Инфо
a
a_shats MemberАвтор темы
10 лет назад / 03 января 2015 19:37
t4k
А. Моя ошибка, признаю.
Black-Dragon
Member
677/3044 ответов
25 лет на iXBT, с декабря 1999
Чаще пишет в "Администрирование" (27%)
Инфо
B
Black-Dragon Member
10 лет назад / 10 января 2015 10:01
a_shats, gss
Помогите, пожалуйста, с вопросом о фрагментации данных на рейд-дисках.
WildFire
Member
2694/4926 ответов
25 лет на iXBT, с ноября 1999
Чаще пишет в "Серверы" (55%)
Россия, SPb
Инфо
W
WildFire Member
10 лет назад / 10 января 2015 13:29
Black-Dragon
А вам сразу и ответили...
Black-Dragon
Member
678/3049 ответов
25 лет на iXBT, с декабря 1999
Чаще пишет в "Администрирование" (27%)
Инфо
B
Black-Dragon Member
10 лет назад / 10 января 2015 15:05
WildFire
Я, знаете ли, не случайно попросил именно здесь и именно a_shats-а и gss.
WildFire
Member
2695/4927 ответов
25 лет на iXBT, с ноября 1999
Чаще пишет в "Серверы" (55%)
Россия, SPb
Инфо
W
WildFire Member
10 лет назад / 10 января 2015 16:14
Black-Dragon
Ах вы потролить... Ну извините!..
Black-Dragon
Member
679/3053 ответов
25 лет на iXBT, с декабря 1999
Чаще пишет в "Администрирование" (27%)
Инфо
B
Black-Dragon Member
10 лет назад / 10 января 2015 16:19
WildFire
Нет проблем.
a_shats
Member
Автор темы
6048/8128 ответов, #1 в рейтинге
23 года на iXBT, с февраля 2002
Чаще пишет в "Серверы" (80%)
Инфо
a
a_shats MemberАвтор темы
10 лет назад / 10 января 2015 19:16
Black-Dragon
Я ответил там.
t4k
Member
703/9884 ответов
19 лет на iXBT, с сентября 2005
9 фото на iXBT.photo
Чаще пишет в "Игры" (24%)
Россия, Москва
Инфо
t4k Member
10 лет назад / 02 февраля 2015 01:19
У Intel появилось две новых модели для нищебродов под SATA, особенно интересно выглядит S3610 с 10.7 PBW и всего на 20% дороже S3500.
Treviz
Member
2/35240 ответов
17 лет на iXBT, с мая 2007
Чаще пишет в "Юмор" (44%)
Россия, Смоленск
Инфо
Treviz Member
10 лет назад / 02 февраля 2015 01:46
Хорошо вам. S3610 вместо S3500 появилось.
Тут заказывал S3500. Именно S3500!!! Нет, ты, в универе заведующая по компьютерам, не ошиблась. Именно S3500!!! Мне в рабочую станцию надо нормальный SSD. Мне многого не надо (это я насчёт S3700)
И что вы думали? Silicon-Power Slim S60 480GB.
[цензура]
Я много могу ругаться. Но будет шанс...

Исправлено: мВТБ!, 09.04.2015 13:26

Boeing737
Member
2718/5235 ответов, #5 в рейтинге
21 год на iXBT, с октября 2003
13 фото на iXBT.photo
Чаще пишет в "Процессоры" (44%)
Инфо
B
Boeing737 Member
10 лет назад / 02 февраля 2015 11:11
Treviz
Хорошо вам. S3610 вместо S3500 появилось.
Тут заказывал S3500. Именно S3500!!! Нет, ты, в универе заведующая по компьютерам, не ошиблась. Именно S3500!!! Мне в рабочую станцию надо нормальный SSD. Мне многого не надо (это я насчёт S3700)
И что вы думали? Silicon-Power Slim S60 480GB.
Чтоб у неё влагалище завиcело от работоспобности этих SSD!
Я много могу ругаться. Но будет шанс...
прям есть разница для рабочей станции ?
Treviz
Member
3/35250 ответов
17 лет на iXBT, с мая 2007
Чаще пишет в "Юмор" (44%)
Россия, Смоленск
Инфо
Treviz Member
10 лет назад / 02 февраля 2015 11:37
Boeing737
Есть. Эти сразу сдыхают. А Интел сначала ругается.
Shi
Member
900/918 ответов
19 лет на iXBT, с апреля 2005
Чаще пишет в "Серверы" (98%)
Россия, Москва
Web-страница
Инфо
S
Shi Member
10 лет назад / 02 февраля 2015 11:38
Treviz
Silicon-Power Slim S60 480GB.
Ясен перец, был же тендер небось. и выиграл какой-нибудь ИП , вот и поставил, что подешевле )
Boeing737
Member
2719/5236 ответов, #5 в рейтинге
21 год на iXBT, с октября 2003
13 фото на iXBT.photo
Чаще пишет в "Процессоры" (44%)
Инфо
B
Boeing737 Member
10 лет назад / 02 февраля 2015 11:39
Treviz
Есть. Эти сразу сдыхают. А Интел сначала ругается.
и много их у вас сдохло ?
Если Вы считаете это сообщение ценным для дискуссии (не обязательно с ним соглашаться), Вы можете поблагодарить его автора, а также перечислить ему на счет некоторую сумму со своего баланса (при отзыве благодарности перечисленная сумма не будет вам возвращена).
Также вы можете оценить сообщение как неудачное.
В течение суток можно 20 раз оценить сообщения разных участников (купите Premium-аккаунт, либо оплачивайте оценки сверх лимита).
Страницы:Кликните, чтобы указать произвольную страницуназад1237071727374757677787980149150151далее
Продолжение темы здесь