Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » двух нодовый кластер и jbod sas полка

Модерирует : lynx, Crash_Master, dg, emx, ShriEkeR

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2

Открыть новую тему     Написать ответ в эту тему

pilotro

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
подскажите пожалуйста будет ли работать следующая конструкция

 
Предполагается что server1 и server2 организованы в microsoft cluster.

Всего записей: 196 | Зарегистр. 03-03-2006 | Отправлено: 12:27 06-02-2017
Paromshick



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Будет. Типичное решение без использования Fiber channel switch. Не забудьте активировать MPIO компонент в Windows
 
Добавлено:
Да, еще неплохо отключить автоматический мапинг дисков diskpart automount /disable (уточните синтаксис, ибо по памяти) и (или) в самой полке отдавать диски только нужному (нужным) серверу, в сучае, если диски не кластерные. Например, нарезается диск для каких-то нужд и не вводится в кластер. Но оба сервера его видят. Не хорошо.

----------
Скучно

Всего записей: 3019 | Зарегистр. 12-04-2013 | Отправлено: 13:49 06-02-2017
pilotro

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
подскажите, а raid в таком случае можно организовывать средствами контроллеров в серверах?
Или придется использовать windows storage?

Всего записей: 196 | Зарегистр. 03-03-2006 | Отправлено: 00:11 07-02-2017
Paromshick



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Вы, коллега под дым попали))) Массивами управляют только СХДэшные контроллеры, это ж основная вкусность. Заплатить бабки за процессор, память, возможность не думать о сохранности данных при записи, и просто выкинуть это? Это как купить лимузин и только магнитолой в нём пользоваться.
Нарежете LUNы, отдадите их виндусам, можете поизголяться тестово, что это за массив там у них, может пригодится.. Решение в пользу бедных, имхо, когда полноценного СХД нету.
Что будет жить на виртуалках (надеюсь, вы без виртуализации не думаете обойтись) и каково количество шпинделей в СХД? Ну, и объём
 
Добавлено:
Пардон, не сразу вспомнил, что у вас указан JBOD, но не указано, это просто пачка дисков, или вы намеренно избираете такой режим работы, хотя можете построить массив прямо в полке. Мой совет выше, для второго случая.
 
Вообще, конечно же, следует указывать модели железа. Вдруг, найдется какой нюанс, перечеркивающий всё вышесказанное.

----------
Скучно

Всего записей: 3019 | Зарегистр. 12-04-2013 | Отправлено: 14:02 07-02-2017
pilotro

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
просто никогда не использовал ранее полноценную СХД
Извиняюсь за некорректные вопросы.
 
Эта система нужна для видеонаблюдения. Поэтому виртализацией можно и не пользоватся. ПО позволяет запускаться на двух серверах одновременно. Планирую использовать microsoft кластер для создания storage. Очень хотел использовать СХД и для других систем, но запретили физически связывать с видеонаблюдением (безопасность мол).
 
полку планирую купить вот такую
https://www.supermicro.nl/products/chassis/3U/836/SC836BE2C-R1K03JBOD
к ней подключить 2 сервера
например такие
https://www.supermicro.nl/products/system/1U/5018/SYS-5018D-FN4T.cfm
с подключенными к ним sas контроллерами
http://www.supermicro.nl/products/accessories/addon/AOC-USAS-L4i_R.cfm
 
На серверах windows 2016 и Storage Spaces Direct
Только так и не понял как будет осуществляться отказоустойчивость по дискам ))) (хотелось бы что бы было подобие raid 6, когда можно потерять до 2-ух дисков)

Всего записей: 196 | Зарегистр. 03-03-2006 | Отправлено: 23:20 16-02-2017
igor me v2

BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Извиняюсь за некорректные вопросы

Та не имейте привычки за это извинятся.

Цитата:
Эта система нужна для видеонаблюдения. Поэтому виртализацией можно и не пользоватся

Вот ,видите, у вас своя специфика, и вы этим легко перекрыли понятие профи о том, что "без виртуализации типа икуда". Виртуализация - это инструмент. Его нужно использовать там, где нужно, а не привязывать к какому-то оборудованию. Привязывать нужно к задачам.  К слову...
 
Добавлено:

Цитата:
как будет осуществляться отказоустойчивость по дискам  

А она в "заявке" есть?

Всего записей: 7213 | Зарегистр. 27-03-2016 | Отправлено: 00:56 17-02-2017
pilotro

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
А она в "заявке" есть?
 

Не понял вопроса ))
Если имелось ввиду есть ли отказоустойчивость в первом посте? То вероятно забыл )) Конечно, отказоустойчивость нужна. Причем нету возможности создавать зеркальное хранение данных. Общий объем хранимых данных 100ТБ, и удвоение этого дискового пространства очень сильно увеличивает стоимость системы.

Всего записей: 196 | Зарегистр. 03-03-2006 | Отправлено: 01:10 26-02-2017 | Исправлено: pilotro, 01:10 26-02-2017
igor me v2

BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
в первом посте?

Ни в первом посте, а от руководства\службы безопасности. Ну вы ответили

Цитата:
отказоустойчивость нужна


Всего записей: 7213 | Зарегистр. 27-03-2016 | Отправлено: 01:54 26-02-2017
Paromshick



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
pilotro
У вас на схеме сас экспандер, а это не контроллер (я поздно заметил, каюсь), обычно, через него ОСь видет все диски, как "пачку". Грубо говоря вы спрятали выносные диски в один корпус.
Если полка сама делает массив дисков и выдает его как диск, то это другой уровень. Обычно она же режет массив на LUnы. На вичке статья есть. Спросите продавца "с голоса", что он вам продаст. LUNs, спросте его, кто делает?
 
Добавлено:
Не знаю, рабочая ли ссылка. С мобильника она такая
https://ru.m.wikipedia.org/wiki/JBOD
 
Добавлено:
Давайте, наступим на горло предыдущим постам и спросим. А зачем вам одну полку видеть с двух серверов по двум каналам?

----------
Скучно

Всего записей: 3019 | Зарегистр. 12-04-2013 | Отправлено: 20:03 26-02-2017 | Исправлено: Paromshick, 20:05 26-02-2017
pilotro

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Давайте, наступим на горло предыдущим постам и спросим. А зачем вам одну полку видеть с двух серверов по двум каналам?
 

1. Для отказоустойчивости. В случае выхода из строя одной из нод вторая возьмет управление всеми камерами на себя.
2. Для распределения нагрузки. Т.к. исходя из калькулятора https://sale.axxonsoft.com/calc/calculator.jsf
нагрузка даже на достаточно серьезные процессоры будет около 50%
 
Собственно вчера ночью я уже просмотрел несколько видео, как это делается. Например https://www.youtube.com/watch?v=PsYAYrDgSmE&t=295s
Ошибка в моем рисунке только в одном. sas контролеры на управляющих серверах не управляют raid массивом. Они нужны только для коннекта серверов и полки. Массивами управляет кластер microsoft. Там в арсенале есть и hot spare, и массив с контролем чётности, и даже массив с двойным контролем чётности (аналог RAID 6).
 
Поправьте меня если я не прав. Т.к. уже скоро заказывать оборудование от бюджета которого у меня уши скручиваются. Если закажу и не заработает то буду просить убежища.
 
Добавлено:

Цитата:
Ни в первом посте, а от руководства\службы безопасности. Ну вы ответили  
 
Цитата:
отказоустойчивость нужна

 
Это больше требование не руководства, а мое. Я как админ со "стажем косяков" попадал в ситуации остановки "узкого" места, в организации. И тогда на админа пытаются повесить всех собак, существующих и не очень. В итоге зачастую от тебя пытаются требовать выплат равных до 1000 твоих зарплат. Что само по себе весьма не приятно. А когда осознаешь что по сути косяк действительно твой, то неприятно вдвойне ))
Отсюда и увлечение кластеризацией, пернаправлеными профилями, предыдущими версиями, корпоративным wifi и т.д. Все это как ни странно звучит но позволяет прикрыть твою з.. в случае возникновения предвиденных проблем.
 
Извиняюсь это лирика, но тьфу тьфу тьфу сейчас пошли большие заказы, и исходя из своего опыта, очень не хочется налажать.

Всего записей: 196 | Зарегистр. 03-03-2006 | Отправлено: 22:10 26-02-2017
igor me v2

BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
В итоге зачастую от тебя пытаются требовать выплат равных до 1000 твоих зарплат

Ну от таких идиотов надо бежать сразу Даже можно при приёме на работу этот вопрос обговаривать... Не, если вы  это умышленно "положили", а они доказали - тогда каэш другой вопрос. Я исхожу из предположения, что вы сами не станете ломать.

Цитата:
А когда осознаешь что по сути косяк действительно твой, то неприятно вдвойне  

Таакс, не понял. Приведите пример когда что-то падало САМО вы осознавали, что "косяк действительно мой". И сколько раз это было. А то может сначала надо к психологу сходить, для постановки "правильной жизненной позиции".

Цитата:
Все это как ни странно звучит но позволяет прикрыть твою з.. в случае возникновения предвиденных проблем.

??? Это звучит АРХИСТРАННО ДЛЯ МЕНЯ Я каэш тоже извиняюсь, но  что-ли если купишь оборудование за миллион, и оно упадёт через пару лет - "катить бочку" будут меньше, чем если упадёт старое оборудование, которому уже например 7 лет, а не два года????? Это ж хде такое водится? Если у меня такая ситуация будет - мне в 10 раз будет легче объяснить, почему упало СТАРОЕ оборудование. Ведь если падает новое аргумент может быть один "сейчас делают барахло". Это во многом так, нотакой аг\ргумент далеко не для всех убедителен...

Всего записей: 7213 | Зарегистр. 27-03-2016 | Отправлено: 00:37 27-02-2017
pilotro

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ага, такой вариант админа мазохиста.
Вроде сделать а потом повалить, и уповать от звука щелчков плетей.
 
Нет конечно. Есть просто теория узкого места. Возьмите любую схему, и проследите за линиями связи. Если на схеме есть элемент, через который проходит любой путь, то это узкое место, и в случае его отказа все останавливается на неопределенное время.  
Например раньше, молод был горяч, ставил клиентам по одному контроллеру домена. Один умный человек сказал что контролеров должно быть 2. Я не поверил, до тех пор пока у одного клиента не сдохла мать на контролере. Я Вам скажу это реально АД. Не важно, что контора маленькая.
Еще один пример. Слетел RAID 5 на дешевом Intel. 5 винтов из одной партии в течении полутора лет собирали бэды. Intel молчал об этом в тряпочку. В итоге 1с у бухгалтера запускалась 40 мин. Выключил сервер, и восстанавливал инфу 5 дней. В такие моменты у конторы не то чтобы дохода нет, у нее оборотов прекращается. И как это ни странно, но за пару недель контору можно полностью обанкротить. Конечно на тебя начинают вешать все  
 
Это все лирика, вы мне лучше ответьте на первую половину вопроса. ))

Всего записей: 196 | Зарегистр. 03-03-2006 | Отправлено: 09:44 27-02-2017
Paromshick



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
pilotro
Переформулирую свой вопрос. Зачем серверу видеть полку по двум каналам?
Вруг откажет экспандер или шлейф? А вруг откажет PCI-E девайс?
 
Добавлено:
Вы так и не поняли или не озвучили одного, кто собирает массив. Забудьте пока про МС. Полка умеет массив собирать и LUNs нарезать? Это, поверьте важно. Потом поговорим про нагрузку на процессоры и пр.

----------
Скучно

Всего записей: 3019 | Зарегистр. 12-04-2013 | Отправлено: 12:59 27-02-2017
pilotro

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Переформулирую свой вопрос. Зачем серверу видеть полку по двум каналам?  
Вруг откажет экспандер или шлейф?

да (экспандер в большей сложности)

Цитата:
А вруг откажет PCI-E девайс?  

тогда, в кластере, необходимые службы (виртуалки, шаринги, камеры анализируемые ПО AXXON), перепрыгнут на другую ноду, и продолжат работу там
 

Цитата:
Вы так и не поняли или не озвучили одного, кто собирает массив

Конечно хотелось бы что бы полка собрал массив настроила raid и отдала его по двум каналам, но я не нашел ни одного способа реализации. Поэтому предполагаю что массив собирает кластер (soft RAID). Для одновременной записи на дисковое пространство с двух серверов.

Цитата:
Забудьте пока про МС
не получается )) хорошо умею только с ним ))

Всего записей: 196 | Зарегистр. 03-03-2006 | Отправлено: 12:15 28-02-2017
Paromshick



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
pilotro
Судя по молчанию, идея дошла до адресата.
ПризнАюсь, я увидел знакомую схему, как я сказал классику, но не увидел одного, но главного. Полка-то одна. Если бы два сервера, и две полки, то такая схема была бы оправдана. С двухкконтроллерными СХД, есть нюансы интересные.
При вашей же закупке, столько каналов не надо. Теоретически можно что-то там распараллелить, только вот здесь оно незачем, ага. Полка у вас скорее всего - просто пачка дисков.
В таком случае, да, вы совешенно правы, всё управление массивами, начиная от его построения, делает ОС.
Работать будет.
Только, скажу вам, что это не быстрое решение. Скуль и чанга будут весьма недовольны, но их недовольство можно компенсировать наращиванием количества шпинделей в массиве. И виртуадки будут со временем грузить железо пИково.
Если же СХД сама нарезает Logical Unit Number, то формирование массива однозначно отдается на тОт уровень и тОт процессор этим и занимается. Винда получает просто диск и не отвлекает ЦП на операции, связанные с работой RAID.
Как видите, два исключающих друг друга, варианта. Поэтому-то мне и было важно, кто формирует массив.

----------
Скучно

Всего записей: 3019 | Зарегистр. 12-04-2013 | Отправлено: 12:21 28-02-2017 | Исправлено: Paromshick, 12:25 28-02-2017
pilotro

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Судя по молчанию, идея дошла до адресата.  

Извиняюсь, просто почему то не работает оповещение на ящик. Так что захожу на ветку по мере возможности ))
 

Цитата:
Работать будет.  

Спасибо.
 

Цитата:
Только, скажу вам, что это не быстрое решение. Скуль и чанга будут весьма недовольны, но их недовольство можно компенсировать наращиванием количества шпинделей в массиве.  

Ну там только запись видеонаблюдения, а это линейная запись. И иногда чтение двумя операторами записей. шпинделей там будет много. 12 SAS по 10тб (в сумме получается 100ТБ по dual parity) Правда говорят что софтовый рейд быстрым все равно не будет ((
 
Две полки в зеркале к сожалению не получается, из за стоимости дисков.
 

Цитата:
Если же СХД само нарезает Logical Unit Number, то формирование массива однозначно отдается на тот уровень и тот процессор этим и занимается. Винда получает просто диск и не отвлекает ЦП на операции, связанные с работой RAID.

Да но тогда к сожалению не добьюсь полной отказоустойчивости ((
 

Всего записей: 196 | Зарегистр. 03-03-2006 | Отправлено: 12:28 28-02-2017
Paromshick



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
pilotro
Вам, для видимонаблюдения это вообще ничего не нужно. Вам это нужно, чтобы проф подрасти, и это правильно.
Отказоустойчивость... Обозначим вероятность отказа одного диска за н-ное аремя (среднее время наработки на отказ) как Х. Обычно, величина есть в доках, по крайней мере у дисти.
Какова вероятность того, что за то же время откажет один из дисков, входящих в массив из М дисков? Х*М, это очевидно. Как видите, вероятность отказа хотя бы одного диска возрастает. Так что отказоустойчивость тоже надо считать правильно.
Массивы JBOD весьма ненадежны и используются обычно для некритичнвх данных, аля бэкап. Или видимонаблюдение Городить на нем кластер... Дело вкуса.
За сто же платить такие деньги, когда хватит мощного, заточенного видерегистратоа? Он не гибок и не умеет всё, нужно софтовое решение? Хорошо, писюк добавляем в смету. Или вообще, вся смета это писюк и большой диск.
Считаем оба варианта, видим разницу. Как объясняем свое решение аудитору СБ? Я откатов не беру, нет... Вас не зря спросили, про заявку, вульгарно говоря: кому оно надо?
Думайте сами. Есть возможность тренироваться, тренируйтесь. Полку аудитору объясните следующим: На нее идет бэкап наших важных данных

----------
Скучно

Всего записей: 3019 | Зарегистр. 12-04-2013 | Отправлено: 12:56 28-02-2017
pilotro

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Вам, для видимонаблюдения это вообще ничего не нужно. Вам это нужно, чтобы проф подрасти, и это правильно.  

Ну куда ж без этого ))
 

Цитата:
 Х*М, это очевидно.

Да, но это исключает "пожарность". Предположим у меня Y клиентов. И тут работает другая формула. Либо X*M*Y "пожарных" случаев а это по факту X*M*Y/2 потерянных клиентов. Или X*(M+2)*Y обычных проблем, решаемых по мере возможности. (И проблемы бывают не только с дисками)
 
В данном случае видеонаблюдение это не охрана, а игральное заведение. Ну короче надо следить очень пристально )))
 

Цитата:
За сто же платить такие деньги, когда хватит мощного, заточенного видерегистратоа? Он не гибок и не умеет всё, нужно софтовое решение?

~100 камер (половина в 4K) даже аналоговая альтернатива стоит не дешевле ))
 

Цитата:
Хорошо, писюк добавляем в смету

Ну там как бы не дешевый писюк ))
2 2-х процессорных Xeon E5-2680v3
 

Цитата:
Считаем оба варианта, видим разницу.

Тут как раз и шашечки и
 ехать ))
 

Цитата:
Я откатов не беру, нет

Нет нет. Такого нет.
Это что за зверь такой, не задавайте вульгарных вопросов ))
 

Цитата:
Думайте сами. Есть возможность тренироваться, тренируйтесь. Полку аудитору объясните следующим: На нее идет бэкап наших важных данных

Тут как раз таки совпало огромное желание сделать что то классное, и необходимость в этом.
 
Если у других при падении узкого места на меня просто бы кричали, то здесь думаю будет чего похуже. Так что некоторое удорожание (10-20% бюджета) это моя страховка, и, конечно здоровый сон клиента.
 
 

Всего записей: 196 | Зарегистр. 03-03-2006 | Отправлено: 13:36 28-02-2017
Paromshick



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
В формуле,  считающей вероятность отказа диска в массиве, клиенты не учитываются по причине их отсутствия в массиве. Их там тупо нет. "Чего нет, то нельзя считать" сказал старик Екклисиаст, если уж вас на философию прИтянуло. Сам У в формуле - притянут за уши, не сказать еще хужей, ибо что-то там за пределами массива на его работу не влияет.
Среднее время наработки на отказ в ваших конспектах не описано, больше чем уверен. Например, как вендор ставит " 10 лет", он что диск десять лет гонял?
Вообще-то прИтягивать в чистую физику реальную лирику не стоит, мягко говоря. Кто-то может расстроится.
Оправдываться опять же, не стоит. Лучше пробейте полку с контроллером.
Про примерно равную цену, я опять же, что-то не верю. Видимо, вы называете сервером некое весьма бюджетное решение. Можно, конечно, раздуть одно, сэкономить другое, а объем дискового пространства не заморачиваясь, обозначить как бесконечность.
Тема, скорее всего, исчерпала мои мыслительные возможности. Не вижу здесь более никакого продолжения, кроме пустых разговоров.
 
 
Добавлено:
Что-то я как физик не пойму, отсутствие записи на диск, в случае его отказа, как влияет на трансляцию изображения "прямо в монитор"? Видимо, никак.
Развратите вы ум в игрищах этих...

----------
Скучно

Всего записей: 3019 | Зарегистр. 12-04-2013 | Отправлено: 13:52 28-02-2017
pilotro

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Просто Вы никогда не были в условиях полной остановки системы. Я был, к сожалению, дважды.

Всего записей: 196 | Зарегистр. 03-03-2006 | Отправлено: 08:08 01-03-2017
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » двух нодовый кластер и jbod sas полка


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru