Petrovich1: Распределённая система с web-frontend на .net
Petrovich1
Member
Автор темы
59/350 ответов
23 года на iXBT, с февраля 2002
Чаще пишет в "Программирование" (17%)
Норвегия, Oslo
Инфо Ответить
P
Petrovich1 MemberАвтор темы
11 лет назад / 23 января 2014 20:15
Нужно создать веб портал, который будет вытягивать данные из разных источников. Эти источники данных стоят в интранете. Например syslog, Nagios, SAP. А портал должен быть доступен в интернете.
Собираюсь делать через промежуточный прокси сервер - смотри картинку вариант 1.
Прокси - windows веб-сервис с например REST api, работающий на каком-нибудь порту, принимающий http запросы и перенаправляющий ответы.

Платформа - C# .NET
Какие могут быть подводные камни?
Может это как-то асинхронно сделать?

distributed system - 581x447, 21.3Kb

Добавление от 23.01.2014 20:16:

А может я велосипед изобретаю и уже есть полу-готовые решения?
Sioln
Member
2368/6408 ответов
22 года на iXBT, с августа 2002
26 фото на iXBT.photo
Чаще пишет в "Программирование" (35%)
Россия, Калиниград
Web-страница
Инфо Ответить
S
Sioln Member
11 лет назад / 23 января 2014 20:57
Petrovich1
Какие могут быть подводные камни?
Ну, авторизация в сервисах, например. Т.е. сопоставление прав/полномочий кого-то из-вне с интранетовскими сервисами.
arsa
Member
724/9612 ответов
25 лет на iXBT, с января 2000
Чаще пишет в "Интернет" (68%)
США, Редмондия
Web-страница
Инфо Ответить
a
arsa Member
11 лет назад / 23 января 2014 20:57
а складирование данных где будет? или вы не будете преобразовывать данные к одному формату и складировать?
соответственно вот эта часть, опрашивающая сервисы, преобразующая и складирующая может работать асинхронно с веб сайтом.

в обоих ваших вариантах прийдётся ждать ответа от либо сервиса либо прокси пока он вытащит данные из сервиса (если они ещё не закэшированы). любое ожидание в веб-потоках - зло. так что про асинхронность мысль правильная...
Petrovich1
Member
Автор темы
60/351 ответов
23 года на iXBT, с февраля 2002
Чаще пишет в "Программирование" (17%)
Норвегия, Oslo
Инфо Ответить
P
Petrovich1 MemberАвтор темы
11 лет назад / 23 января 2014 23:12
arsa:
а складирование данных где будет? или вы не будете преобразовывать данные к одному формату и складировать
Складировать пока не планируется. Нужны данные - тянем из источников.
Кешировать - да.
У вебсайта вероятно будет своя база данных, тогда поставим её там же в локальной сети, но пока это не принципиально.

Добавление от 23.01.2014 23:14:

Может быть кто-нибудь порекомендует какие-нибудь статьи почитать, или ознакомится с готовыми проектами?
dozen
Expert
10106/12842 ответов
23 года на iXBT, с августа 2001
Чаще пишет в "Программирование" (78%)
Канада, СПб => Торонто => ?
Web-страница
Инфо Ответить
d
dozen Expert
11 лет назад / 24 января 2014 02:12
Ищо троттлинг (задвижка) нужна на входе. Иначе любой DoS будет напрямую транслироваться на внутренние сервисы, а они не резиновые.

Вообще, такие системы напрямую к сервисам почти никогда не ходят. Слишком много рисков. Всегда есть промежуточное кэширование. Раньше, когда вода была мокрее, использовали RDBMS. Нынче безусые юнцы всё больше ставят всякие Redis'ы и Cassandra.

Чем больше интервал накопления данных -- тем меньше нагрузка на рабочие сервисы, но тем менее рады будут клиенты. Надо найти золотую середину.

Еще выставлять .NET напрямую в тырнет -- не следует. IIS -- штука сложная, чего-нибудь забудешь отключить, что твоему сайту не надо -- и тут же опа! pwned. Перед ним предложи поставить nginx для статики и для балансировки и вообще. Троттлинг тоже на нём, кстати.

Добавление от 24.01.2014 02:13:

Sioln

Ну, авторизация в сервисах, например. Т.е. сопоставление прав/полномочий кого-то из-вне с интранетовскими сервисами.

О! Эдак мы сейчас до ESB дойдем!

Что там у MS? BizTalk? Слышал -- страшен и убог.
Petrovich1
Member
Автор темы
61/352 ответов
23 года на iXBT, с февраля 2002
Чаще пишет в "Программирование" (17%)
Норвегия, Oslo
Инфо Ответить
P
Petrovich1 MemberАвтор темы
11 лет назад / 24 января 2014 04:32
Сервера будут виндовые, а приложение .NET

Если вместо Redis собственный MemoryCache .NET класс использовать?
Вроде как Redis на винде официально не поддерживается.
ash of mind
Member
996/4264 ответов, #10 в рейтинге
17 лет на iXBT, с июля 2007
1 фото на iXBT.photo
Чаще пишет в "Программирование" (30%)
Инфо Ответить
a
ash of mind Member
11 лет назад / 24 января 2014 06:06
Petrovich1
Если вместо Redis собственный MemoryCache .NET класс использовать?
Для кэша можно использовать другую noSQL-базу. Например, RavenDB, для которого .Net - родная среда.
dozen
Expert
10107/12843 ответов
23 года на iXBT, с августа 2001
Чаще пишет в "Программирование" (78%)
Канада, СПб => Торонто => ?
Web-страница
Инфо Ответить
d
dozen Expert
11 лет назад / 24 января 2014 08:08
Petrovich1

Если вместо Redis собственный MemoryCache .NET класс использовать?

Он между машинами сам данные распределит?

Весь цинус этих ваших NoSQL и SOSS -- в наличие автоматического дублирования данных по машинам (согласно заданной политике). Одна машина упала -- а кэш доступен. На одной машине обновили -- и тот же объект доступен на паре других машин локально.
loyolla
Member
512/539 ответов
19 лет на iXBT, с декабря 2005
Чаще пишет в "Программирование" (95%)
Инфо Ответить
l
loyolla Member
11 лет назад / 24 января 2014 18:44

dozen
цинус
цимес, на самом деле...
arsa
Member
725/9616 ответов
25 лет на iXBT, с января 2000
Чаще пишет в "Интернет" (68%)
США, Редмондия
Web-страница
Инфо Ответить
a
arsa Member
11 лет назад / 24 января 2014 21:56
memcached стандартная в принципе вещь для такого кэширования.
поскольку другие бд надо подстраивать что бы они на диск не пытались писать никогда
Petrovich1
Member
Автор темы
62/353 ответов
23 года на iXBT, с февраля 2002
Чаще пишет в "Программирование" (17%)
Норвегия, Oslo
Инфо Ответить
P
Petrovich1 MemberАвтор темы
11 лет назад / 25 января 2014 17:39
Допустим запросы от веб-фронтенда к источникам данных будут в формате REST и протокол соответственно HTTP.
Что тогда использовать в качестве прокси?
Самому писать или есть готовые решения?
Просто IIS с REST сервисом?
arsa
Member
726/9619 ответов
25 лет на iXBT, с января 2000
Чаще пишет в "Интернет" (68%)
США, Редмондия
Web-страница
Инфо Ответить
a
arsa Member
11 лет назад / 25 января 2014 18:49
нет формата rest, rest это формат URL - данные при этом могут быть во множестве форматов
да, если пишете на .net то и прокси может быть на .net
более того, он может быть на той же машине установлен
dozen
Expert
10108/12844 ответов
23 года на iXBT, с августа 2001
Чаще пишет в "Программирование" (78%)
Канада, СПб => Торонто => ?
Web-страница
Инфо Ответить
d
dozen Expert
11 лет назад / 28 января 2014 04:10

loyolla
цимес, на самом деле...
Будем считать, что у меня жуткий гойский акцент.


Petrovich1
Что тогда использовать в качестве прокси?

Если это pass-through proxy, то зачем вообще что-то писать? Обычный http-прокси поставил (опять же, советую nginx).
ash of mind
Member
997/4269 ответов, #10 в рейтинге
17 лет на iXBT, с июля 2007
1 фото на iXBT.photo
Чаще пишет в "Программирование" (30%)
Инфо Ответить
a
ash of mind Member
11 лет назад / 28 января 2014 04:55
arsa
что бы они на диск не пытались писать никогда
Это плохо?
vic_one
Member
756/1593 ответов
19 лет на iXBT, с ноября 2005
Чаще пишет в "Программирование" (70%)
Инфо Ответить
v
vic_one Member
11 лет назад / 28 января 2014 09:48
dozen
Будем считать, что у меня жуткий гойский акцент.
Да шо ви - у вас отличный одесский выговор.

Добавление от 28.01.2014 09:50:

dozen
dozen
Поздравляем с днем рождения!

Шоб ты год как минимум еще прожил.
arsa
Member
728/9625 ответов
25 лет на iXBT, с января 2000
Чаще пишет в "Интернет" (68%)
США, Редмондия
Web-страница
Инфо Ответить
a
arsa Member
11 лет назад / 28 января 2014 20:02
ash of mind:
arsa
что бы они на диск не пытались писать никогда
Это плохо?
в данной постановке задачи - не нужно, я так понял. и я думаю создаст дополнительных проблем с concurrent writes и очисткой старых значений.
Ваш ответ:

Нет значка Нет значка Вот тут! Лампочка Восклицание Вопрос Класс! Улыбка Злость Огорчение Поговорим? Краснею Подмигивание Ругаю ОдобряюBIUdelSxsupxsuboffsp spoilerqurlimgvideo• list1. list1 codeprecenter-hr-rusQWE→ЙЦУ
файлыочистить
Ваше имя: Авторизуйтесь Предпросмотр В полную форму
вставить выделенную цитату в окно ответа
Если Вы считаете это сообщение ценным для дискуссии (не обязательно с ним соглашаться), Вы можете поблагодарить его автора, а также перечислить ему на счет некоторую сумму со своего баланса (при отзыве благодарности перечисленная сумма не будет вам возвращена).
Также вы можете оценить сообщение как неудачное.
В течение суток можно 20 раз оценить сообщения разных участников (купите Premium-аккаунт, либо оплачивайте оценки сверх лимита).
Если Вы считаете это сообщение ценным для дискуссии (не обязательно с ним соглашаться), Вы можете поблагодарить его автора, а также перечислить ему на счет некоторую сумму со своего баланса (при отзыве благодарности перечисленная сумма не будет вам возвращена).
Также вы можете оценить сообщение как неудачное.
В течение суток можно 20 раз оценить сообщения разных участников (купите Premium-аккаунт, либо оплачивайте оценки сверх лимита).
Последние обсуждения в Конференции
04:17Люблю ругалики Флуд
04:15FF БЗК Canon EOS R (RP, R5, R3, R1 и т.д.) и оптика к ним Фото
04:12Пятая колонна в Российской Федерации и методы борьбы с ней. Политика
04:05Выбор посудомоечной машины Бытовая техника
03:55Сисадминская курилка Администрирование
03:50Я плакаль... (картинка прикол) Юмор
03:47Ресиверы Yamaha - пообщаемся? FAQ в первом посте ДК аудио
03:44Вопросы знатокам o S.M.A.R.T. Накопители
03:41Апрель. Хрустики повыползали на дороги. Осторожно! Мотоциклы. Мототема. Авто
03:40Отзывы о PrivalSystems (аналог skype) Интернет
03:40Выбор цветного струйного МФУ формата А3 в офис Периферия
03:28Как выразить АНАЛИТИЧЕСКИ значения корней алгебраического уравнения 5-й степени через значения корней его резольвенты 6-й степени (которые найдены, например, численно) Наука
03:28Поговорим о припоях и флюсах Эл. устройства
03:18Path of Exile. Врываемся в приятно выпуклый эндгейм PoE 2 6 декабря 2024-го и ждём 3.26 в первой части когда-нибудь! Игры
02:52Выбор бюджетного "цифрового" (китайского) усилителя Стерео
02:38Какие триллеры посоветуете? Кино
02:35Выбор матраса Ремонт
02:27Выбор и настройка оперативной памяти DDR5 (читать первую страницу!) Память
02:07Выбор куртки для межсезонья и зимы Общий
01:37Куплю/продам киберрубли KOMOK
23:59вчераНовый смартфон Samsung за 120 долларов. Представлен Samsung Galaxy A06 5G: 50 Мп, 5000 мАч, IP54 и 4 года обновлений
23:51вчераMicrosoft создала квантовый чип Majorana 1: миллион кубитов на ладони
22:46вчераРоссийские астрономы обнаружили редкую двойную звезду с магнитным белым карликом Gaia 19cwm
22:35вчераПока видеокарты GeForce отсутствуют либо дорожают, пользователи активно переходят на Radeon. Как минимум так говорит статистика для Южной Кореи
22:16вчераЕсли хочется GeForce RTX 50, но максимально дёшево. Существование RTX 5050 Laptop подтверждено
22:06вчераУчёные «просветили стену» из титана в поисках аксионов на ускорителе в Гамбурге
21:59вчераGeForce RTX 5090 оказалась в семь раз слабее RTX 4090. Nvidia убрала поддержку PhysX из свежего драйвера для видеокарт RTX 50
21:48вчера800 л.с., рама и полный привод. Опубликованы фото супермощного Tank 400
21:45вчераTesla строит первую общедоступную зарядную станцию для электрогрузовиков в Лос-Анджелесе
21:39вчераNASA завершило сборку первого двигателя RS-25 для миссии «Артемида V»