Коллеги, позволю себе создать оную тему для обсуждения архитектурных решений по построению катастрофоустойчивых центров обработки данных (как внутрикорпоративного уровня, так и хостинговых ЦОД). Предлагаю отказаться от межвендорных "holy wars", поскольку на сегодняшний момент сложился определённый паритет в технологиях, продуктовых линейках и их позиционировании. Но высказываюсь "За" обсуждения конкретных реализаций и внедрений той или иной фитчи.
Для затравки обсуждения предлагаю следующие (по крайней мере для меня наболевшие):
- выбор несущей для FC 4Gb/s на растояния больше 10км: FCIP или CWDM?
- при FCIP стоит использовать выделенные каналы непосредственно и только для репликации?
- стоит ли оставлять приоритеной СХД в основном ЦОДе при перебрасывании вычислительных ресурсов на резервный ЦОД.

UPD:Так же приветствуется обсуждение предоставление сервисов ЦОД и их реализации на аппаратном уровне: data vaulting, HA Virtualization.

Исправлено: Marryhorse, 10.06.2008 13:14

Marryhorse
выбор несущей для FC 4Gb/s на растояния больше 10км
FC можно использовать без всяких xWDM и на заметно больших расстояниях

при FCIP стоит использовать выделенные каналы непосредственно и только для репликации?
Это все-таки сильно зависит от задач - возникающие задержки никто не отменял

стоит ли оставлять приоритеной СХД в основном ЦОДе при перебрасывании вычислительных ресурсов на резервный ЦОД.
Если канал плохой, то ни к чему хорошему это не приведет.

Marryhorse
Каким образом между собой связаны CWDM и FCIP?

exLH

FC можно использовать без всяких xWDM

Что-то Я не припомню нативных решений ни у Brocade, ни у Cisco для ISL 4Gb/s на растояния больше 10км. Поделитесь?
Насколько мне не изменяет память для 4Gb/s FC WDM линков дистанция достигает 100Км что у Cisco что у Brocade (к слову последние это умеют начиная с прошивки 5...) .

Marryhorse
А чем так уперлись 4Гбит? Уж лучше получить 2Гбит FC, чем заворачивать это все в FCIP или что-то еще.

exLH

А чем так уперлись 4Гбит?

К примеру организация услуги data vaulting для контор средней руки, которые не хотят покупать 2ую hi-end СХД, но хотят обеспечить HA дисковую без единой точки отказа.

Marryhorse
синхронная репликация:
FCIP не подходит, остаются дальнобойный лонгвейв, CWDM, DWDM. причем как уже сказали нет смысла гнаться за 4гбитным каналом.
асинхронная:
FCIP, iSCSI, репликаия через айпи, DWDM.

Добавление от 10.06.2008 13:27:

Marryhorse
К примеру организация услуги data vaulting для контор средней руки, которые не хотят покупать 2ую hi-end СХД, но хотят обеспечить HA дисковую без единой точки отказа.
ну и зачем тут 4гбита? или у них на хайэнде поток записи больше чем 200мбайт/с?

Marryhorse
но хотят обеспечить
Во-первых, в таком раскладе толку от FCIP вообще никакого не будет, а, во-вторых, как уже отметили выше - не сдались там 4Гбит абсолютно. "Хотелки" "конторы средней руки" далеко не всегда описывают реальную картину в их инфраструктуре.

exLH
kal

Коллеги, кто-нибудь обоснует свою точку зрения по поводу непригодности FCIP на растояния >10Км по сравнению с xWDM решениями?

Marryhorse
Коллеги, кто-нибудь обоснует свою точку зрения по поводу непригодности FCIP на растояния >10Км по сравнению с xWDM решениями?
да оно применимо, вопрос в том какие задачи берем.

kal
ISL

Marryhorse
ISL
Но это все-таки не задача (как мне представляется).

Marryhorse
ISL
а что по этому линку будет ходить?? вы же сэн строите не просто чтобы было репликация между массивами будет? какая? какая нагрузка по записи на этот массив?

Marryhorse
Пока какая-то каша, а не обсуждение получается. А все потому-что задача сферическая и в вакууме.

- стоит ли оставлять приоритеной СХД в основном ЦОДе при перебрасывании вычислительных ресурсов на резервный ЦОД.
"приоритеной" это приоритетной? первая глупость.

Смею вставить свои 5копеек:
1. Если есть возможность проложить оптику или она уже есть то можно рассматривать варианты "чистого" FC вплоть до 10Gbit средствами коммутаторов. И соответственно синхронное зеркалирование.
2. Если такой возможности нет, то однозначно репликация, асинхронное зеркалирование - кто какими терминами оперирует, а тогда не всели равно какой канал, есть решения которые позволяют это делать вплоть до 54Kbi, при этом реально чем чаще реплицируешь тем тоньше канал нужен, единственное что становиться проблемой первоначальная репликация на тонких каналах, но все придумали до нас: в основном ЦОДе зеркалирование и развоз по заказчикам.

В теории - лимитирует лишь задержка распростанения.
Естественно, лимит будет разным для выноса дисковой полки и для разнесения контроллеров с синхронизацией кешей.

А каковы практические ограничения?
Сейчас вполне доступны пассивные WDM сплиттеры на 4-16 отптических каналов по одному волокну и GBIC к ним на 60-80км.

У нас есть физика на 40км, в которой можно выделить волокно под эксперименты.
Вынести полку (как минимум) на дальнюю площадку было бы интересно.
Однако, не хотелось бы покупать или арендовать для экспериментов WDM оборудование и дисковую полку без практических обоснований.

OlegP@
kal
exLH


Коллеги, коль без конкретной задачи из темы получается сферический конь в вакууме, то даю вводные (гипотетические):

Есть ЦОД. 2 FC fabric Cisco (по 2шт 24 ports). 50шт. HP Blade P-class (подключены к СХД) на них крутится dedicated, VPS; DL380 15шт. (подключены к СХД) некие серверы приложений + БД серверы. Некие Web серверы (НЕ подключены к СХД). Везде ОС или RH , или Windows. СХД - EVA8000 (2DG: общий объём 15Gb)
Нужно создать online резервный ЦОД.
Бюджет не ограничен. Между ЦОДами 2 канала по 15км по 24ВОЛС в каждом.

Исправлено: Marryhorse, 11.06.2008 11:33

Marryhorse
Нужно создать online резервный ЦОД.

А третья точка не нужна - для арбитража?

ВТБ!

как вариант. Мне кажется он полезен при гомогенных системах с использованием кластеризующих агентов (e.g. ServiceGuard).
Допустим, в этом случае, на ряде серверов предоставляется услуга "dedicated physical server" и у клиента нету никакого желания устанавливать каких-либо агентов в своём операционном окружении (sic! вопрос с виртуализацией остаётся открытым...) и услуга высоко доступного сервиса на базе двух территориально распреленных ЦОДов предоставляется владельцами ЦОДа своим клиентам как бонус (А вот мы можем за теже деньги ещё и максимальный уровень доступности вам обеспечить!). Тем паче агенты кластеризации далеко не ко всем ОС существуют.

Brocade -- до 35 км. 4 Gb Extended reach SFP уже вроде есть.

третья точка нужна для защиты от сплитбрейна....

Господа,
каково все-же технологическое ограничение дистанции для FC выноса полки?
У меня entry-level СХД, всеядная в смысле используемых GBIC и сырое волокно на 40км.

Цена эксперимента это
1) аренда отдельной дисковой полки с дисками, либо катушки безоболочечного волокна на эквивалентную длину. И еще вопрос, что дешевле -(
2) WDM сплиттер и 4х GBIC

Прежде чем ввязываться в расходы, хотелось бы иметь экспертное мнение.

tilda
каково все-же технологическое ограничение дистанции для FC выноса полки?
Зависит от оборудования. Например у Brocade сертифицированы (E)LWL SFP от Finisar на 30km при 4Gb/s и 55km при 2Gb/s (это только выборочный пример).

Маловероятно, что ваша СХД работает с SMF. Обычно такое подключение все-таки делается через FC switch.

Что значит "маловероятно"?
Я проверял - работает через обычные SMF GBIC и 2х метровый патчкорд.
Да и как может не работать, если интерфейсный модуль ничего не знает о том, какая физика подключена к GBIC?

Для entry-level СХД производители не вносят умышленных ограничений.
Так что, повторяюсь, в данном случае проблема не в сертификации или покупке лицензии на опцию, а в технологическом ограничении.
А именно, какие задержки допустимы для соединения контроллер-полка и контроллер-контроллер.

Upd
сложности возникнут именно на больших дистанциях и при использовании WDM, поскольку вермя распространения для 1300нм и 1550нм (к примеру) отличаются очень сильно.
С другой стороны, современные WDM идут с разнесением частот в 15-20 нм, так что критичекое различие должно возникнуть именно на 10х км.

Читаем о буффер кредитсах.

За ключевые слова - спасибо. Понял, что ограничение имеет порядок ~1 BC/km при скоростях 2Gb.
Как понимаю, типичные HBA и СХД не имеют более 1 BC, и это технологическое ограничение вызвано дистанцией, а не тем, что волокно SM.

типичные HBA и массивы имеют по 8/16+ бб-кредитов. Но выносить отдельную корзину не особо осмысленно, корректности данных там не будет (кеши с батарейкой стоят в контроллере)

tilda
BB_credits играют роль при загруженном канале. Здесь скорее будет проявляться другой эффект. Полка подключается по FC_AL. Каждая передача требует фазы арбитража, т.е. прохода по полному кольцу. Каждый фрейм требует подтверждения. Итого у вас на 40 км. каждый раз пакетам надо будет пробежать 3 раза по 80км. (арбитраж для передачи, передача, арбитраж для подтверждения, подтверждение). Это время порядка 1мс. В результате вы автоматически ограничиваете IOPS.

CrazyFrog

корректности данных там не будет (кеши с батарейкой стоят в контроллере)
А причем здесь корректность? Какая разница, в соседнем шкафу или в соседнем городе?

Возобновлю тему.

Удалённое (100км) хранилище на 200Тб (считаем что d2d+raw с схд) с вменяемым временем восстановления реально ли без оперативного локального хранилища совсем-совсем нужной информации (15-20Тб)?

Есть у некоторых людей дар - задать вопросы так , что вариантов понимания вопроса и соотвественно ответов на него больше трех .....

Marryhorse
в отличие от двух предидущих ораторов такая постановка вопроса мне понятна
Я так понимаю речь об удаленном бекапе и хотелось бы без локального хранения последних копий? Все можно сделать если чотко сформулировать RTO.

Вот убей, не понимаю, почему речь идет о 10-40 км для "территориально разнесенных ЦОД".
В чем смысл разноса на такое расстояние?

Правильный разнос - это несколько тысяч километров. Разносится для снижения рисков природных катастроф (землетрясения, ураганы и т.п.)
10 километров здесь не играют роли.

extde
как это не играют? а пожар? а потоп? а ваш уроган или смерч? а всякие другие локальные катастрофы? да и по вашему синхронная репликация она только для внутри датацентра чтоли? не путайте глобальные и локальные катастрофы