Задался целью собрать(для начала просчитать) условно отказоустойчивый бюджетный кластер ESXi: два сервера Free ESXi 5 на которых крутятся нужные виртуальные хосты, при проблемах на одном(а лучше техобслуживании ) все виртуалки поднимаются на втором и работают дальше(эдакий ручной vMotion ).

Вот с выбором общего сториджа для хранения самих виртуалок есть метания: сначала мыслил в сторону некоего фрифайлера(iSCSI/NFS), скажем под Linux-м, да с DRBD -- датанет строится или по минимуму на перекрестье гигабитных карточек(каждый сервер в каждый сторидж-файлер), а то и на свичах(если узлов больше 2-х) и т.д. -- универсально, довольно взаимозаменяемо и дешевле даже не придумаешь. Вроде бы и не плохо.

Но обратил внимание на набирающий силу SAS -- на первый взгляд создаётся впечатление большого разнообразия железа: диски, контроллеры RAID и HBA, бекплейны с экспандерами -- ну просто красота!

Дай думаю может сделать датанет на SAS-е? Возьму в каждую ESX-овскую ноду по HBA(а то и по два) и это дело подключить к SAS-овской дисковой полке -- надёжно и быстро должно получится.

Но при внимательном рассмотрении картина SAS-маслом не нарисовалась: если список компатибилити HBA для ESX хоть мал, но есть. А вот втыкать их непонятно во что... да есть вариант вроде IBM DS3524 но это уж слишком круто -- может можно из какого конструктора такое собрать? Типовой корпус, с бекплейном -- может есть что нынче?

Или всё же дешевле забить на SAS и сориентироваться на 10Gbps Ethernet?

Из вашей большой кучи слов ничего не понятно, если честно, если для вас VMware vSphere Essentials Plus Kit for 3 hosts + Production Support for 3 Years за 7722,25 € + та же IBM DS35хх слишком дорого, боюсь что отказоустойчивость вам не по деньгам и соответственно не нужна, а собрать СХД двухконтроллерную самому это не особо простая задача.

unhurtable, skipped. По конкретней, пожалуйста, на счёт компонент для самосборной двухконтроллерной СХД, а справится с задачей это моя проблема.

Исправлено: moderator-shats, 17.12.2012 03:25

Sergey371
Раз уж Вы знаете много страшных слов из Linux, Вам наверное вот это подойдет: Generic SCSI Target Subsystem for Linux
Я уже сломал на этом свой примитивный разум - может быть, у Вас получится.
Ни разу не приходилось видеть работающей двухконтроллерной самоделки. Проще и безопаснее для мозга купить два обычных сервера, настроить софтовые репликации master-slave (не считая резервной копии) и вручную переключиться при аварии. Компоненты для 10Gbit Ethernet вполне доступны для SMB-бизнеса.

Sergey371

Типовой корпус, с бекплейном -- может есть что нынче?

Такие конструкторы есть у Supermicro (подробнее можете глянуть на их сайте). С другой стороны можно совместить ноду esxi сразу с хранилищем iSCSI (на базе локального массив), используя HP StoreVirtual VSA Software, к примеру. На базе данного ПО уже из 2х нод можно получить отказоустойчивую СХД с распределенным (network) RAID. Цена вопроса ПО СХД где-то 3,5К за 10ТБ.

Bormoto, спасибо, собственно SCST это на что ориентируюсь для сториджа в качестве софтверной начинки. Это т.с. базовый вариант, с которым, при реализации датанет на базе Ethernet, вопросов нет.

Альтернативный вариант именно на базе SAS, в качестве среды для датанет. Причём интересует вариант пассивной дисковой полки т.с. без софтверной начинки.

Вот с реализацией на базе SAS неясен вопрос с возможностью SAS RAID HBA контроллеров по отношению к пассивной внешней полке дисков т.е. если полка это целиком пассивная шина SAS для кучи дисков, которые непосредственно видны HBA в ESX узле, то вопрос перехода на второй узел ESX это вопрос совместимости адаптеров HBA? Паралельно юзать дисковый массив тоже наверное не выйдет?

Немного не понял противопоставления "двухконтроллерной самоделки" и "обычного сервера". Я и собираю именно на обычном железе, именно вручную и собираюсь переключатся("эдакий ручной vMotion"). Причём если с узлом ESXi запросто получается собраться в реально любом корпусе, а вот со сториджем хочется чуть больше: дисков побольше. SAS при этом требует бекплейна с соотв. корзиной(как правило хотплаг) -> уже далеко не любой корпус -> а что тогда именно взять?

То что "не приходилось видеть работающей двухконтроллерной самоделки" так это наверное потому что никто и не собирал или не показывал

Добавление от 16.12.2012 16:24:

Marryhorse, Supermicro интересный конструктор, спасибо, почитаю.

Добавление от 16.12.2012 19:04:

Marryhorse, а ведь HP StoreVirtual VSA Software -- это супер идея! С тем же успехом можно в виртуалке на локальном сторидже запустить Linux SCST или FreeBSD HAST -- есть над чем подумать! Огромное спасибо!

Реально минималистический бюджетный вариант: два узла Free ESXi с локальными сториджами с перераздачей их по iSCSI через виртаульные NAS.

Добавление от 16.12.2012 19:07:

Sergey371 следует только распальцовка и кидание понтами.
В том то и дело что нет понтов а есть неправильная с вашей стороны постановка задачи где ключевое слово отказоустойчивая
А вы хотите собрать нечто работающее стабильно под непонятно каким софтом, да еще и чтоб дешево
на счёт компонент для самосборной двухконтроллерной СХД, а справится с задачей это моя проблема.
Да пожалуйста - 2026T-DE2R24L - набейте это добро процами, памятью, соорудите софт и в путь, вот только посмотрите цену сначала, подозреваю что мысли о экономии сразу улетучатся, двухконтроллерная это по сути пара отдельных нод+полка, что сильно дешево быть не может а не как многие полагают 2 RAID контроллера и только...
именно вручную и собираюсь переключатся("эдакий ручной vMotion").
Переключения "вручную" - еще одна точка отказа если что, человек может банально быть недоступен, например...
Реально минималистический бюджетный вариант: два узла Free ESXi с локальными сториджами с перераздачей их по iSCSI через виртаульные NAS
Угу, только по хорошему это накладывает повышенные требования к дисковой ОБОИХ серверов и сетевому, а это опять же деньги...
Так что вы лучше либо сформулируйте задачу поконкретней...

unhurtable, ещё один распальцованный пост без ответов...

Отказоустойчивая не есть синоним высокодоступная.

Ключевая фраза "условно_отказоустойчивый" и наличие оговорки "эдакий ручной vMotion" означает что переключение в ручную устраивает в самой постановке задачи т.е. исходно, остальное ваши домыслы, понты, или юношеский максимализм -- выбрать по вкусу.

Никаких требований к скорости, в постановке вопроса, опять таки не предъявлялось и соотв. "по хорошему наложения повышенных требований" опять таки быть не может, т.е. опять понты или юношеский максимализм -- выбрать по вкусу.
moderator-shats: Настоятельно рекомендую таки снизить тон и убрать выражения типа "понты"

Исправлено: moderator-shats, 17.12.2012 03:27

Sergey371 ещё один распальцованный пост без ответов...
С какой частью предыдущего поста вы не согласны и почему, а то ваши пожелания все также непонятны
Пока нет конкретной задачи, а то пока все больше интересного, то 10Gbps Ethernet, то
Никаких требований к скорости, в постановке вопроса, опять таки не предъявлялось и соотв
с таким подходом все сказанное вами также не больше чем
домыслы, понты, или юношеский максимализм -- выбрать по вкусу
Ваша ключевая фраза в названии топика звучит именно как
Отказоустойчивый сторидж для ESXi 5: минимальный бюджет?
Хотя с тем что ничего абсолютно надежного в этом мире не бывает даже спорить не собираюсь.

unhurtable
если для вас VMware vSphere Essentials Plus Kit for 3 hosts + Production Support for 3 Years за 7722,25 € + та же IBM DS35хх слишком дорого
Оно стоит даже дешевле (меньше 6к) и вполне можно обойтись DAS через родной VSA.

Sergey371
Альтернативный вариант именно на базе SAS, в качестве среды для датанет. Причём интересует вариант пассивной дисковой полки т.с. без софтверной начинки.

МММММ эээээ .... полка то возможна ... только работать либо не будет, либо будет, но с глюкамми.
ИХАЕТ-ся мне, что ноги проблем таких решений тянутся еще со времен SCSI тоже вроде можно было дешево сделать кластер, ан не работало без хитпых терминаторов и карточек со спец прошивками .... разделить просто полку с винтами между двумя контроллерами, наверняка не получится

Эпоху SCSI я пережил на FC
Да, остались воспоминания о непростых решениях, но кластер active-passive собрали, который работает досихпор.

unhurtable, конкретно: предложить компоненты пассивной полки под SAS-2, скажем дисков на 8 и 16(два варианта). Подключение 2x2xSAS-2, диски SAS-2. Бюджет на железо 1 вариант до 1000 USD, 2 вариант до 2000 USD
(без дисков).

ИХАЕТ-ся мне, что ноги проблем таких решений тянутся еще со времен SCSI
SCSI - общая шина, оттуда и все проблемы
SAS - точка-точка + коммутаторы

Tronutij
разделить просто полку с винтами между двумя контроллерами, наверняка не получится
http://www.lsi.com/solutions/Pages/SharedStorage.aspx

проходил_мимо
спасибо. а что за корзина и бэклейн нужны, я не очень понял .... или любые пойдут?

"Пассивная полка под SAS2" - это просто ящик с питанием и одним или двумя SAS-экспандерами, он же SAS JBOD. Использование сценария "SAS RAID контроллеры в двух хостах с подключением к общему JBOD'у" затруднительно:
Обычные SAS RAID контроллеры не умеют делить между собой доступ к дискам: никакого совместного доступа к одной дисковой группе, ни простого присутствия второго контроллера в одной топологии.
SAS JBOD дает вам просто диски, а LUN презентуется SAS RAID контроллером хосту. Как отдать этот LUN другому хосту?

Но если очень хочется, то можно. Вот только оба варианта не впишутся в концепцию почти бесплатного решения:
1) SAS свитч LSI 6160, SAS RAID контроллеры, и (для примера) JBOD на 24 диска. Зонируем для одного хоста 12 дисков, и для второго - другие 12. При появлении проблем на первом хосте выполняем кучу ручных действий: лезем в управлялку свитча, меняем зонирование - отдаем все диски контроллеру второго хоста, лезем в управлялку контроллера, импортируем тома, которые лежали на этой дисковой группе.
MSRP - $2500 за свитч, коих желательно ставить два, чтобы не иметь единой точки отказа.
2) LSI грозится выпустить решение HA-DAS (тут уже скидывали ссылку) - специальные обученные контроллеры, которые таки будут уметь совместный доступ. Но, во-первых предварительный ценник порядка $2500 за пару контроллеров, во-вторых - точной даты релиза еще нет, будет в 2013 году и сразу в продакшен его ставить не хотелось бы.

Так что у вас остается несколько вариантов:
1) Накопить денег на Essentials Plus Kit, там есть VSA в составе.
2) Накопить денег на два узла с Open-E на борту с 2-узловым iSCSI active-active failover'ом. Или на StarWind HA.
3) Реализовать бесплатно отказоустойчивый NFS своими силами. Но я ни разу не видел, чтобы это пошло дальше экспериментов.

Tronutij, да подходят любые идеи по корзинам(включая "десктоповые тауеры") и бекплейнам. Повторюсь что просчитываю вариант кластера минимальной стоимости, стоимость только железа + бесплатный софт.

nda, спасибо, вполне вразумительный ответ.
"Время не имеет значения. Важна только жизнь." (С) х/ф Пятый элемент
Необходимость ручных работ не пугает, часть перехода решается скриптами. Режим active-passive вполне допустим -- исходя именно из этих условий и просчитываю кластер, потому "накопление на что то более крутое" не является решением. Я исхожу не из концепции "почти бесплатного решения", а скорее из "разумной минимализации затрат на железо, при 0 стоимости софта". При этом обращаю внимание что требований к производительности и т.п. нет, в том смысле что любое железо из списка совместимости ESXi 5.1 имеет примерно 10-ти кратный запас производительности к имеющимся виртуализируемым ресурсам.

В случае SAS JBOD(А что конкретно порекомендуете? на 8, 16 и 24 диска) + SAS RAID, причём в обоих узлах SAS RAID одинаковые(для упрощения ситуации) и в случае краха одного из узлов можно ли поднять(перенять) RAID на другом узле с SAS RAID?
Т.е. сценарий такой останавливается 1 узел, на втором узле восстанавливается RAID массив из дисков группы SAS JBOD первого узла и отдаётся с тем же LUN или со вторым LUN известным по multipath. После ремонта первого узла обратный переход -- реально?

Sergey371
RAID массив из дисков группы SAS JBOD первого узла и отдаётся с тем же LUN или со вторым LUN известным по multipath.
Откуда мультипатч то возмется?

Sergey371
Необходимость ручных работ не пугает
И что вы тогда голову морочите? При отказе одного сервера переткнули кабели во второй и продолжаете работу.

Tronutij, мультипатч как правило из конфигурации берётся.

arvidjaar, "не опошляй любви согласием"
Под ручной работой я понимаю работу руками на удалённой клавиатуре.

Чёт в оффтоп ушли... где интересные конструкторы корпусов-полок-бекплейнов? Supermicro единственный в своём роде и альтернатив нет?

Sergey371
всё же дешевле забить на SAS и сориентироваться на 10Gbps Ethernet?
Какая связь между SAS и Ethernet? Вы начали думать совершенно правильно, когда рассматривали NAS, поскольку определяющим фактором данного проекта является бюджет, но потом Вас понесло. Не надо увлекаться, это просто маниловщина

Два нода, 10GbE и NAS - для условно отказоустойчивого кластера больше ничего не надо, тем более, что затраты на VMware лицензии в бюджет не заложены.

Sergey371, ds3512\24 двухконтроллерная стоит примерно 170\180. 2 контроллера + платформа + процы и память по вкусу примерно 150. ну диски у ibm правда дороже на 25-40%. но вам ведь на 2 хоста всего надо. смысл придумывать велосипед, если в этот же бюджет влезает японский мотик?
в базе идет 4 порта x SAS 6 Gb\s. по 2 в каждый хост. прошивку недавно новую запили + бесплатно плюшки раздавали.
VSA и starwind насколько я понял отпадает, даже если получится волшебным образом сделать active-active систему с мультпатчем, вам не стыдно\не страшно будет после себя такое оставлять?

Добавление от 17.12.2012 17:56:

если уложитесь в 128 Gb то
http://www.starwindsoftware.com/starwind-free-comparison
http://www.starwindsoftware.com/native-san-for-hyper…dition-comparison

Musik, связь между SAS и Ethernet простая это две технологии планируемые для датанет, если это не понятно из первых сообщений.

А причём здесь заложенность лицензии VMware в бюджет и тип технологи в датанет? В бесплатную лицензию поддержка SAS не входит?

neoplan, я уже про раскрученные бренды писал и про них не спрашиваю, ну читайте же предыдущие посты. Для чего меня убеждать в том что я и не собираюсь делать.

А на счёт фри страрвинда тоже не понял для чего он мне?

Sergey371
Ну возьмите менее раскрученный бренд, например http://www.dell.com/us/soho/p/powervault-md32x0-series/fs
Или какой-нибудь QSAN или Infortrend. Послушайте опытных людей- не изобретайте велосипед.

Топотун, опытные люди делятся опытом: "взял блоху, подковал... умер в Германии".
А рекомендации вроде: "Вам необходимо не то что вы хотите, а то что у нас есть" -- это скорее менеджерский подход

Мне не нужна готовая полка за офигенные деньги -- это мне любой менеджер в магазине и без опыта предложит и на форум за этим не вижу смысла обращаться. Своего опыта с брендовыми полками у меня тоже есть -- им и промышляю.

Мне нужны рекомендации и опыт сборки SAS-овских сториджей из отдельных компонент, что то вроде конструктора Supermicro по рекомендации Marryhorse), можно и по проще, да хоть на коленке братьями китайцами собранные(да как и всё остальное "брендовое").
Мне нужны подводные камни на этом пути, nda в этом смысле в тему.

Sergey371 Мне не нужна готовая полка за офигенные деньги
Теперь, конечно, да, не нужна, когда выяснилось что она стоит тоже не копейки
Мне нужны рекомендации и опыт сборки SAS-овских сториджей из отдельных компонент, что то вроде конструктора Supermicro по рекомендации Marryhorse
И это вам не надо ибо стоит все равно больше вашего бюджета, подозреваю что стоимость тех сумермелковских вариантов вы так и не посмотрели
можно и по проще, да хоть на коленке братьями китайцами собранные
Таки паяльник вам в руки - это самый дешевый(не считая времени, которое у вас, видимо, резиновое и растраченных материалов) вариант, а собрать дешево JBOD с экспандерами(ага, денег стоят, для понимания посмотрите на голозепую полку Norco DS-12D и вариант с экспандером DS-12E) и парой ESM(мдя, тоже не халява вовсе, да еще и не так все просто с подключением) все равно же не устроит
Мне нужны подводные камни на этом пути
Таки все вам будет (с) особенно с учетом легкой трансформации изначально озвученного
PS Опыт гуглится, например, такого вполне достаточно чтобы понять что эта затея не ахти

Sergey371
две технологии, планируемые для датанет
Я вполне уверен, что Вы говорите о SAS, как DAS, а не протоколе, и получается сравнение яблок с апельсинами.

заложенность лицензии VMware в бюджет и тип технологии в датанет
(Не)заложенность лицензий была связана с условно отказоустойчивым бюджетным кластером, а не технологией или ее типом, не надо мне приписывать то, что попросту не понято.

unhurtable skipped я с брендовыми полками (IBM, NetApp) имею опыт более 10 лет и с их прайсом знаком отлично, так же как и с наценками и пр. А так же с тем что у них внутри. Я радиолюбитель со стажем и паяльником меня не испугать.
Опять таки на две строчки рекомендации(из которых только гугл, а не личный опыт) 20 строчек распальцовки.

Musik, SAS(как Serial Attached SCSI) и Ethernet -- да, это есть сравнение яблока и апельсина: первая пара есть два разных интерфейса для обмена данными, с набором некоторых скоростных хар-к, а вторая пара есть два разных фрукта с некоторым набором вкусовых и питательных св-в
Да, я таки рассматриваю SAS в качестве интерфейса для DAS -- это преступление?
moderator-shats: Или Вы умерите таки тон, или мы что-нибудь придумаем.

Исправлено: moderator-shats, 17.12.2012 22:21