Использоваине локальних дисков серверов для общего хранилища - [1] :: В помощь системному администратору

reff
Я ставил на флэш...
Понимаю, что это ненадёжно, но у некоторых производителей есть серваки (хосты), у которых USB-разъём под это дело, т.е. гипервизор на флэше.
Конечно, Вы правы про надёжность, но неужели нельзя как-то забэкапить ESXi? Слышал звон (про сохранение конфигов), но не знаю где он.
Жалко диски просто, когда оно на флэш помещается и работает неплохо.

Добавлено:
U2007

Спасибо!

По 1.

Цитата:

Если будет выбран вариант 3 хоста и общее хранилище на базе локальных стораджах "vSAN" - то чтобы это сделать надо будет выделить прилично времени на работу по переделыванию всего сразу

Про время, которое потребуется на переделку, понимаю и страшусь. Мне дня не хватит, однозначно.
Не уверен даже, что за 2 дня выходных удастся.

Цитата:

1.все виртуалки "засэйвить" куда-нибудь

Это самое первое, что было в планах. Процесс долгий. В идеале перенести их: или тоже на массив, или на простые диски, но с дублированием.

Цитата:

2.пересобрать серверы (возможно перепрошить биос, разобрать рэйд массив - диски должны быть в JBOD, ...)

Тоже было в планах. Думал и про БИОС контроллеров. Также хотел в это время поэкспериментировать над массивами - что будет, если переставлять диски, вставлять в другой контроллер и т.п.
Для чего JBOD? Это термин значит, что "каждый диск будет виден как отдельное устройство в операционной системе"? Или это полка с дисками так называется?

Цитата:

3.продумать сетевую часть - думаю лучше разделить NET и SAN (один свитч под обычную сеть, другой свитч под сеть хранилища), тут надо подумать

Буду разделять. Для этого у меня был куплен Cisco на 16 портов 1 Гб/с.

Цитата:

4.установка esxi и настройка vSAN (на чем делать vSAN тоже вопрос - vmware vSAN, StarWind, Nexenta, ...)

Один из самых непростых вопросов - как делать, что выбрать - очень непросто, когда нет опыта.
Опять приходим к вопросу об отдельном сервере, т.к. делать зеркала между дисками разных хостов по сети (пусть я не так выразился) - очень опасно и на 1 Гб/с будет безумием, видимо.

Цитата:

5.настройка кластера (EVC, HA, DRS,...)

Ох, тоже тот ещё вопросик... Уж думал о MS-кластерах и DFS.

Цитата:

6.Загрузка виртуалок на все это добро и убедиться что все работает, посмотреть производительность

Возможно, ещё более долгий процесс.
Да ещё же и необратимая конвертация прежде - из Workstation в vSphere.

Цитата:

7.настройку системы бэкапа можно немножко позже сделать.

Согласен.

Цитата:

--- Процедура для не опытного человека не быстрая, опыт на лабе будет совсем не лишним. Если все это не заведется - надо будет как то возвращаться назад. Сделать как-то поэтапно мало вероятно (по крайней мере на сколько мне со стороны видится).

Согласен.

По 2.

Цитата:

Отказоустойчивость vSAN предусматривет дублирование данных виртуалок, т.е. виртуалка как бы живет на дисках одного сервера, но в то же время в реальном времени идет синхронизация данных на диски другого сервера. Если 1 хост выходит из строя, то данные есть на другом сервере - виртуалку HA включает на другом сервере. Что-то вроде 5 рэйда. Емкость хранилища не есть сумма емкости всех дисков серверов, а за минусом отказоустойчивости (можно выбрать уровень отказоустойчивости при котором данные буду сразу на трех серверах). Синхронизация будет кушать сетевой трафик, тем самым снижать производительность дисковой подсистемы, поэтому желательно разнести NET и SAN.

Думаю, что тут ещё мне думать и думать. Нужен ли мне HA на моём этапе?

По 3.

Цитата:

будет замечательно если проблем с драйверами не будет.))

Будем надеяться.

По 4.

Цитата:

опытные админы тут не спешат, выжидают пол года - год.

Думаете - будет глючная и сырая версия 6.5? Как продукты M$?

По 5.

Цитата:

рекомендую.

Veeam Backup & Replication, Symantec NetBackup и VeritasBackup Exec - как соотносятся?

Добавлено:
U2007

Цитата:

На базе второго сервера - хранилку (он самый слабый по процам/памяти)

Когда я беседовал в теме VMware ESX, ESXi, vSphere и Infrastructure с товарищами reff, Michigun, LanStateMap, easyjohn, LevT, karavan и другими, то именно для стораджа и созрела у меня закупить 3U сервер - несильный по ресурсам, но с множеством корзин. Тогда меня агитировали на ZFS, поэтому там стоит
LSI SAS 9211-8i < LSI00194> (RTL) PCI-Ex8, 8-port SAS / SATA 6Gb / s RAID 0 / 1 / 10
9x HDD Hitachi SAS 2.0 600Gb HUS156060VLS600 > 15000rpm 64Mb
2x SSD Kingmax Original SATA-III 120Gb > 2.5" MLC

Цитата:

разве что выбрать ему лучший рэйд контроллер и дисков добавить, все диски в рэйд 5, один диск под хот-свап.

Вот не знаю: стоит ли добавить туда дисков
HDD 600 Gb SAS 2.0 Seagate Cheetah 15K.7 < ST3600057SS> 15000rpm 16Mb
или это плохая идея и диски разных производителей не будут работать друг с другом в массиве?
Если покупать
HDD Hitachi SAS 2.0 600Gb HUS156060VLS600 > 15000rpm 64Mb ,
то это будет стоить 7 х 18000 = 126 000 р.
Таких денег никто теперь не даст.
Хотя, и памяти надо докупить, а то
3x Kingston ValueRAM < KVR1333D3D4R9S / 8G> DDR-III DIMM 8Gb
это мало совсем, думается мне.

Цитата:

Соединение с хостами по крос-линку (сетевая-сетевая, без свитча)

Это для чего? Свитч Cisco гигабитный для сети хранилища имеется.
Как и с сервером 2, свитч задумывался под iSCSI.

Цитата:

Такую схему вполне можно делать поэтапно. Не будет оверхеда из-за синхронизации vSAN. Если надо обслужить хранилку - то смигрировав виртуалки на локал-стораджи хранилку можно будет выключить.

Вы про оставшиеся локальные диски в остальных хостах?
Т.е. сервер 2 - это сторадж, но у остальных серверов будут ещё и свои DAS.
У сервера 3 диски SATA большие, но бестолковые:
8x HDD 2Tb SATA 6Gb / s Seagate Constellation ES.3 < ST2000NM0033 > 3.5" 7200rpm 128Mb
Можно ли добиться от них скорости в RAID10 на 8 дисках - надо смотреть по тестам и нагрузке.
Тут тоже вопрос - чем измерять, а то в указанной выше теме мне указали, что не на скорость надо глядеть, что мне Everest/AIDA показывал, а на IOPS.
Да и надо для чего-то приспособить
2x SSD 240 Gb SATA 6Gb / s Kingston SSDNow KC300 < SKC300S3B7A / 240G > 2.5" MLC
Может, для кэша какого?

reff
сама vmware 6-ю VC и VCSA ставит вровень. Есть конечно мелкие отличия, но как я уже писал - версия 5.5 у нас на Windows, а 6-ю я тестировал около года и проблем не было. Кроме того без vCenter можно прожить некоторое время и с инфраструктурой ничего не случится и если не удастся восстановить старый вицентр, то новый поднять не долго. vCentr на Windows тоже не идеален и может накрыться.
Про установку на флешку - поддерживаю.

Sauron_zombie esxi после загрузки висит в памяти (к флешке не обращается) и все бы хорошо, но логи обязательно нужно настроить в другое место хранения иначе эти логи доканают флешку.

Цитата:

Для чего JBOD? Это термин значит, что "каждый диск будет виден как отдельное устройство в операционной системе"?

Да. Если почитать инструкции к "vSAN", то именно так они и рекомендуют, RAID организовывается софтовый со своими фишками.

Цитата:

про это я в самом начале предупреждал, лучше IMHO отдельный сервер под хранилку.

Цитата:

Цитата:

5.настройка кластера (EVC, HA, DRS,...)

Ох, тоже тот ещё вопросик... Уж думал о MS-кластерах и DFS.

(EVC, HA, DRS,...) это на самом деле не сложно, за 10 минут настраивается.
DFS - по сути тот же vSAN с зеркалированием данных (если нужен именно отказоустойчивый кластер)

Цитата:

Цитата:

6.Загрузка виртуалок на все это добро и убедиться что все работает, посмотреть производительность

Возможно, ещё более долгий процесс.
Да ещё же и необратимая конвертация прежде - из Workstation в vSphere.

Время зависит от размера (HDD) виртуалок. Конвертировать (на esxi) ничего не надо.
Еще, кстати, если на первом этапе выгрузки виртуалок можно сделать это через экспорт в OVF (в vmware ws - виртуалка выключается, меню файл - экспорт в OVF) виртуалка при этом сжимается и сетевой трафик минимизируется, время может прилично сэкономиться. Загрузка виртуалки через Deploy OVF.
Или бэкап, но такой что бы из бэкапа можно было бы восстанавливать на esxi.

Цитата:

Нужен ли мне HA на моём этапе?

если строится кластер с общим хранилищем, то HA как бы сама цель. Если один хост неожиданно выйдет из строя, то кластер поднимет (запустит) виртуалки с этого хоста на другом автоматически.

Цитата:

Veeam Backup & Replication, Symantec NetBackup и VeritasBackup Exec - как соотносятся?

сравнивать их не буду, пользуюсь только вимом, они конкуренты, но вим считается лидирующим решением.

Цитата:

Цитата:

разве что выбрать ему лучший рэйд контроллер и дисков добавить, все диски в рэйд 5, один диск под хот-свап.

Вот не знаю: стоит ли добавить туда дисков
HDD 600 Gb SAS 2.0 Seagate Cheetah 15K.7 < ST3600057SS> 15000rpm 16Mb
или это плохая идея и диски разных производителей не будут работать друг с другом в массиве?
Если покупать
HDD Hitachi SAS 2.0 600Gb HUS156060VLS600 > 15000rpm 64Mb ,
то это будет стоить 7 х 18000 = 126 000 р.
Таких денег никто теперь не даст.
Хотя, и памяти надо докупить, а то
3x Kingston ValueRAM < KVR1333D3D4R9S / 8G> DDR-III DIMM 8Gb
это мало совсем, думается мне.

ЭТО - ОТДЕЛЬНАЯ ТЕМА.
памяти для хранилки вполне достаточно (даже дедупликацию можно включить (при сетевом коннекте в 1 Гбит на производительности разницы практически не будет)имхо)
поскольку SSD 240 гиг, а кэш должен быть хотя бы 10% от объема массива, то 8 (девятый под хотсвап) дисков по 600 в 10 рэйде - это как раз один быстый пул - 2400гиг.
сколько там еще дисков можно воткнуть - в отдельный медленный пул (для медленного пула можно SATA). - можно и не добавлять диски.

Цитата:

Это для чего? Свитч Cisco гигабитный для сети хранилища имеется.
Как и с сервером 2, свитч задумывался под iSCSI.

это ранее не было озвучено, если есть для этого свитч, то да - лучше через свитч.

Цитата:

Вы про оставшиеся локальные диски в остальных хостах?
Т.е. сервер 2 - это сторадж, но у остальных серверов будут ещё и свои DAS.

из локальных стораджей DAS (или vSAN) делать уже не надо, просто локальные стораджи.

Цитата:

8x HDD 2Tb SATA 6Gb / s Seagate Constellation ES.3 < ST2000NM0033 > 3.5" 7200rpm 128Mb
Можно ли добиться от них скорости в RAID10 на 8 дисках - надо смотреть по тестам и нагрузке.

Да. Для локального стораджа производительности хватит. На временно, пока обслуживается хранилка, вполне.
Какие-то не значительные виртуалки можно оставить на локалстораджах, что бы они не конкурировали с "важными" виртуалками на хранилке.

Цитата:

Тут тоже вопрос - чем измерять, а то в указанной выше теме мне указали, что не на скорость надо глядеть, что мне Everest/AIDA показывал, а на IOPS.

IOPS на крайний случай CrystalDiskMark покажет скороть чтения / записи - хотябы сравнить получившуюся хранилку и локал стораджи. Тесты проводить на виртуалке Windows, которая, в свою очередь, будет на хранилке /локалсторадже.

Если выбирать вариант с хранилкой на 2 сервере - то поэтапно можно делать так:
- хранилка будет делаться в последнюю очередь, поэтому сначала продумать что вообще по железу будет переделываться
- переделывается сервер (1 или 3), виртуалки перемещаются на другие хосты или сэйвятся, сервер пересобирается, ставится esxi, виртуалки возвращаются на локолсторадж. (как и было только уже не на Windows + vmware WS, а esxi)
- так же переделывается другой сервер
- теперь освобождаем 2 сервер - переводим виртуалки на два esxi и занимаемся хранилкой - тут можно поиграться, перебрать несколько решений и в итоге выбрать лучшее
- собрать кластер и мигрировать виртуалки на хранилку.

П.С. я совсем не против, если кто-то другой будет оспаривать мое мнение (не считаю себя гуру), напротив - приветствую. В спорах родится лучшее решение, а может и я что новое узнаю. Сам на прошлой работе был в похожей ситуации (универсальный админ на зоопарке техники) поэтому с интересом стараюсь подсказать хоть что-то.

Модерирует : lynx, Crash_Master, dg, emx, ShriEkeR
Версия для печати • Подписаться • Добавить в закладки
Страницы: 1 2 3