Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » Использоваине локальних дисков серверов для общего хранилища

Модерирует : lynx, Crash_Master, dg, emx, ShriEkeR

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3

Открыть новую тему     Написать ответ в эту тему

U2007

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Насколько я могу судить по всяким там акронисам, от степени сжатия сильно зависит и скорость бэкапа. Как быстро у тебя это сохраняется?

Конечно зависит. У нас физический сервер целиком выделен под бэкап-сервер (он через FC подключен к СХД - так скорость бэкапа выше и нагрузка на производственную среду меньше), поэтому ресурсы CPU не экономятся, зато лишние 10% сжатия экономят около 1Тб места на хранилке.
Скорость бэкапа зависит от: производительности бэкап-сервера (CPU+RAM), пропускной способности сети, производительности дисковых хранилищ на источнике и получателе - любой из них может быть узким горлышком.  
Если бэкапить наши ВМ с нуля (фулл), то это займет где-то сутки, инкременты укладываются в 3 часа.

Цитата:
Надеялся на DFS, но сможет ли она мне помочь, если один сервер нужно перезагрузить - хз, надо пробовать.  

Если НАДО перезагрузить хост - то ВМ сначала мигрируются на другой хост, а потом освобожденный хост "обслуживается".  
Если ВМ перегружается / зависает / ..., то никакой FT, DFS,...  не может на это повлиять. (в случае "зависания" -  HA можно настроить мониторинг ВМ и он перезапустит ВМ когда посчитает, что она зависла, но это "посчитает" может быть ошибочным - поэтому тут надо быть осторожным)
Если хост неожиданно сломался, то и ВМ на нем тоже "упадет", но HA ее автоматически (а не через время, когда это заметят) подымет на других хостах.
Надо понимать, ESXi (или Hyper-V, or etc - отдельные физические сервера) + СХД (отдельное физическое устройство или виртуальный "vSAN") = фундамент виртуализации. На этом фундаменте строятся ВМ состоящие из виртуальных CPU+RAM (они размещаются на ESXi) и HDD (на СХД). При "падении" одного ESXi - ВМ можно "поднять" на другом ESXi т.к. HDD и конфигурационные файлы ВМ хранятся на СХД. Если "упадет" СХД - то *опа.

Цитата:
Вот набрёл на очень сложную для меня статью - Создание надёжного iSCSI-хранилища на Linux

Реализация сложна не только логически, но и физически - дублируются хранилища (два сервера под диски реплицируются между собой), дублируется сетевая часть (2 свитча, каждый дисковый сервер подключен к обоим свитчам, гипревизоры тоже подключаются к обоим свитчам). Если один из свитчей "упадет", то связь сохранится по другому пути: гипервизор - другой свитч - СХД.  
В схеме из статьи должно получиться 4 пути - 1-2 (в зависимости от политики) активных и 2 пути стэндбай (на лун-зеркало)

Всего записей: 360 | Зарегистр. 25-11-2008 | Отправлено: 09:29 23-11-2016 | Исправлено: U2007, 12:02 23-11-2016
Sauron_zombie



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
U2007

Цитата:
У нас физический сервер целиком выделен под бэкап-сервер (он через FC подключен к СХД - так скорость бэкапа выше и нагрузка на производственную среду меньше)

Прикольно. FC - это быстро и серьёзно. Но дорого.

Цитата:
Надо понимать, ESXi (или Hyper-V, or etc - отдельные физические сервера) + СХД (отдельное физическое устройство или виртуальный "vSAN") = фундамент виртуализации.  

Да. Это я понимаю. Сложности понимания были с HA и FT.

Цитата:
Реализация сложна не только логически, но и физически

Это да...

Цитата:
Поэтому, для наших целей гораздо лучше подходит использование нескольких путей до LUNа, что мы и будем настраивать.

Вот это меня заинтриговало. Тут multipath получается.
 
Добавлено:
Тут ещё один винт сдох - он был не в рэйдах и некритичен - вообще не определяется в BIOS'е даже.
А другой винт на рабочем компе стал чудить - винда виснет намертво и после ресета винт тожде не определяется, только если питание вырубить на некоторое время. Посмотрел Викторией - он весь в бэдах, реаллокэйтов - больше 2000 штук.
Короче, к чему я. Подумал я крепко: если вдруг такая хрень, то как я из будущих городушек со самосбором своим буду из таких проблем выбираться?  
Пока даже и не знаю...

Всего записей: 536 | Зарегистр. 31-01-2006 | Отправлено: 22:20 24-11-2016
Daimos



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Sauron_zombie

Цитата:
А можно ли узнать, как у вас дела с Nexenta?  

 
Расскажу про свой опыт.  
У нас она очень хорошо пошла. Шасси у нас используется Supermicro сервер 3U формфактора, gj 10 дисков для хранения, плюс 2 системных, плюс 1 SSD cache.  
Проц Xeon из недорогих, оперативки 32-64GB.  
Диски пробовали SATA и SAS на бэкплейне c hotswap, контроллер LSI или adaptec.  
Ценник за такую железку - в 2-3 раза дешевле выходит, чем NetApp какой, или EMC.  
Используем iSCSI, агрегацию не используем, сделали для надежности через 2 разных физических коммутатора по 2 линка в ESXi хосты. Естественно в каждом сервере по 2 сетевухи гигабитных. На хостах настроен RoudRobin.
 
vmware-io-analyzer спокойно 2Гбит выжимает с СХД по iSCSI.
 
По iops - вот такие результаты - но это SSD плюс оперативка конечно  
2016-09-22_03:23:58    vmware-io-analyzer-1.6.2    0.5k_100%Read_0%Random 89037.81iops    43.48MBps
 
Это по чтению
2016-11-18_01:38:58    vmware-io-analyzer-1.6.2    512k_100%Read_0%Random    355.77iops    177.89MBps
 
 
Из проблем - отключили дедупликацию - иначе через какое-то время отдача падала катастрофически - до килобайтов в секунду при миграции, и пока пачку виртуалок не мигрируешь - все колом почти стоит.  
 
Сжатие включено, коэффициент выходит порядка 1.5х.  
 
Еще одна проблема - долговато грузятся ESXi хосты - по логу видно, что педалит iSCSI - кто виноват - трудно понять. Такие проблемы есть у многих людей, судя по форумам и с другими хранилками. Локальных дисков на ESXi хостах нет.

Всего записей: 723 | Зарегистр. 23-09-2003 | Отправлено: 10:26 29-11-2016
Sauron_zombie



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Daimos

Цитата:
Расскажу про свой опыт.  
У нас она очень хорошо пошла.  

Это приятно слышать, т.к. мало что можно почерпнуть по Nexenta на русском и у нас.

Цитата:
Из проблем - отключили дедупликацию - иначе через какое-то время отдача падала катастрофически - до килобайтов в секунду при миграции, и пока пачку виртуалок не мигрируешь - все колом почти стоит.  
 

Про дедупликацию слышал нарекания даже у товарища с дорогой брэндовой СХД. Так что не буду такое использовать, видимо, пока не пойму, что к чему.

Цитата:
Сжатие включено, коэффициент выходит порядка 1.5х.  

А нагрузка на процы сильная? Не тормозит в целом?

Цитата:
Еще одна проблема - долговато грузятся ESXi хосты - по логу видно, что педалит iSCSI - кто виноват - трудно понять. Такие проблемы есть у многих людей, судя по форумам и с другими хранилками. Локальных дисков на ESXi хостах нет.  

Не совсем понял про загрузку хостов. Если нет локальных дисков, то где стоит гипервизор? На флэше? Или по сети грузится?

Всего записей: 536 | Зарегистр. 31-01-2006 | Отправлено: 01:00 03-12-2016
Daimos



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
А нагрузка на процы сильная? Не тормозит в целом?  

Нагрузка на процессора не очень большая - по большей части времени 10-20%, в некоторое время - 50-60%
Но нагрузка сильно зависит от потока данных - у нас не очень большой поток на запись, чтобы нагрузка была постоянная на процессор.
 

Цитата:
Не совсем понял про загрузку хостов. Если нет локальных дисков, то где стоит гипервизор? На флэше? Или по сети грузится?
 

Хосты грузяться с USB флешек. Логи ESXi перенаправлены на хранилку, чтобы не потерялись.
Плюс настроен syslog.

Всего записей: 723 | Зарегистр. 23-09-2003 | Отправлено: 16:45 03-12-2016
Sauron_zombie



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Daimos

Цитата:
Хосты грузяться с USB флешек. Логи ESXi перенаправлены на хранилку, чтобы не потерялись.
Плюс настроен syslog.

Вот мне тоже думается так делать, но многие говорят, что хуже это, а надо бы поставить ESX на диски хранилища, т.к. флэши дохнут часто, а на RAID'e надёжно, понятное дело.
Но они имеют ввиду локальные диски сервера - это у меня так.  

Цитата:
Локальных дисков на ESXi хостах нет.  

У вас это в принципе невозможно, поэтому у вас и на флэшах.
 
А вот есть возможность вообще по сети загружать гипервизор - не пробовали такое?
И как бэкапите флэши? Или не бэкапите? Тогда что бэкапите, конфиги?  
И сколько хостов пользуете на одно хранилище?
Платная ли Nexenta или фриварная? Какой версии?  
Какие диски сейчас стоят - SATA или SAS? Как по скорости?
Какой RAID используется - 10 или 6?
Сколько хотсвапов? Пригодились ли?
Два диска на систему - это на саму BSD Nexenta? Зеркало? Большие диски-то?
 
Завалил вопросам Уж простите )

Всего записей: 536 | Зарегистр. 31-01-2006 | Отправлено: 00:24 04-12-2016
LevT



Запрет на пост
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Sauron_zombie
переходи уже к практике, задолбал )
 
да реально пофиг, с чего грузить гипервизор: это 1/100 всех выборов которые предстоит сделать.
У нас весь десяток кластерных хостов грузится с флешек: это проще всего - даже если флешки принесены из дома - и даёт дополнительный бонус: локальный сторадж потенциально доступен для проброса в виртуалку целиком.
 
Ну да, факт: за 3,5 года одна помоечная флешка сдохла. Всё завелось на других хостах.

Всего записей: 17165 | Зарегистр. 14-10-2001 | Отправлено: 07:44 04-12-2016
Sauron_zombie



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
LevT

Цитата:
переходи уже к практике, задолбал )  

ыыы )))
 
Сейчас занимаюсь расчисткой завалов, чтобы начать перенос данных.
Как оказалось, везде затыки.

Всего записей: 536 | Зарегистр. 31-01-2006 | Отправлено: 15:45 04-12-2016
Sauron_zombie



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Вот пробую развернуть на виртуальных машинах пока всё это.
Насколько сильно будет тормозить, если я буду использовать вложенные гипервизоры?

Всего записей: 536 | Зарегистр. 31-01-2006 | Отправлено: 22:37 08-12-2016
LevT



Запрет на пост
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Sauron_zombie
 
В 2016 я вложенные гипервизоры только планирую попробовать: пока негде.
Vmware Workstation 12 под виндой 2k16 внутри ESXi 6.0U2 тормозит конкретно.
 
Но я особо не заморачивался с тюнингом, может умельцы подскажут...

Всего записей: 17165 | Зарегистр. 14-10-2001 | Отправлено: 04:05 09-12-2016 | Исправлено: LevT, 04:50 09-12-2016
U2007

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Sauron_zombie

Цитата:
Вот пробую развернуть на виртуальных машинах пока всё это.
Насколько сильно будет тормозить, если я буду использовать вложенные гипервизоры?  


Цитата:
Задача: создать на каждом сервере виртуальную машину (2vCPU, 4gbRAM, ~10gbHDD) и на них поставить esxi, еще одну виртуалку - поставить vCenter (проще будет поставить аппликейшн VCSA). Из всего этого собрать кластер и настроить EVC, ну и вообще vmware пощупать.

То что я предлагал "лабу" - 1.для практики установки esxi и vcenter 2.проверка EVC (при условии установки виртуальных esxi на разные сервера), далее можно на виртуальном esxi развернуть маленькую winXP и проверить как она мигрирует между хостами (с EVC и без). Так же можно создать общее хранилище на NAS4free и через ISCSi (NFC) примонтировать к виртуальным esxi.
Вся эта лаба только для тестов, переносить реальную рабочую ВМ в субгипервизор не желательно (ну разве что какую-нибуть не критическую ВМ, да и смысл?).

Всего записей: 360 | Зарегистр. 25-11-2008 | Отправлено: 08:37 09-12-2016
Sauron_zombie



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
LevT

Цитата:
В 2016 я вложенные гипервизоры только планирую попробовать: пока негде.  

Это в Hyper-V?

Цитата:
Vmware Workstation 12 под виндой 2k16 внутри ESXi 6.0U2 тормозит конкретно.

Т.е. на железе ESXi - гостевая 2016 - в ней WS12 - в ней ВМ какая-то. Так?
 
U2007

Цитата:
То что я предлагал "лабу" - 1.для практики установки esxi и vcenter 2.проверка EVC

Ясно. Пробовать надо.

Цитата:
Вся эта лаба только для тестов, переносить реальную рабочую ВМ в субгипервизор не желательно

Хочется же сначала пощупать.
 
 
Добавлено:
Пока поставил ESXi 6.5 на одну ВМ в Workstation 8 на 2008R2.
Также на другой ВМ с 2008R2 поставлен vCenter Server в той же Workstation 8 на 2008R2.

Всего записей: 536 | Зарегистр. 31-01-2006 | Отправлено: 22:35 09-12-2016
Daimos



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Вот мне тоже думается так делать, но многие говорят, что хуже это, а надо бы поставить ESX на диски хранилища, т.к. флэши дохнут часто, а на RAID'e надёжно, понятное дело.  
Но они имеют ввиду локальные диски сервера - это у меня так.  
 

Врут и не краснеют, что флешки дохнут - у нас умерло за 5 лет при 20 хостах - от силы 3 или 4 флешки. И то - даже если флешка сдохла, гипервизор продолжает работать как ни в чем не бывало. Ее вообще можно вынуть после старта.  
Как только флешка помирает, в вКлиента пишется варниг, что гипервизор не может сохранить конфиг на флешку.  
Тут все просто - с помощью родного CLI - бэкапится конфиг в файл, потом хост тушится, вставляется новая флешка, быренько ставит туда ESXi, конфиг восстанавливаем обратно - все, продолжаем дальше работать. В случае, если помрет диск в рейде - надо будет доставать диск и ребилдить массив, плюс это прилично дороже стоит, а хранить ВМ-ки на локальных дисках - теряется быстрый vmotion между хостами и не работает HA.  
 
Да, есть еще одна тема - SATADOM - миниатюрный  SATA диск, втыкается прямо в материнку. Быстрый, не занимает слот в корзине дисков для виртуалок, надежный. Не пробовали  
Показали на VMUG  в Минске неделю назад, плюс интересный доклад был про разделы на флешке ESXi.  
 

Цитата:
А вот есть возможность вообще по сети загружать гипервизор - не пробовали такое?  

Не пробовали. Но стремноватая тему - одна точка отказа и все хосты не работают  

Цитата:
И как бэкапите флэши? Или не бэкапите? Тогда что бэкапите, конфиги?  

Бэкапим конфиги, но редко. Очень надежно работает, даже на десктопных материнках простых.

Цитата:
И сколько хостов пользуете на одно хранилище?  

13 хостов, 5 хранилищ.

Цитата:
Платная ли Nexenta или фриварная? Какой версии?  

Бесплатная, 4 и 5 версии

Цитата:
Какие диски сейчас стоят - SATA или SAS? Как по скорости?  

Одна SAS,  остальные SATA, диски Enterprise Seagate, Toschiba

Цитата:
Какой RAID используется - 10 или 6?  

RAID-Z2 и RAID-Z3

Цитата:
Сколько хотсвапов? Пригодились ли?  

По одному, пока не пригодились  

Цитата:
Два диска на систему - это на саму BSD Nexenta? Зеркало? Большие диски-то?  

Да, на саму систему, диски в зеркале, юзали и 160 и 320 2.5 дюйма, и 500 - меньше просто уже трудно купить стало

Всего записей: 723 | Зарегистр. 23-09-2003 | Отправлено: 22:48 09-12-2016 | Исправлено: Daimos, 22:50 09-12-2016
LevT



Запрет на пост
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Sauron_zombie

Цитата:
Это в Hyper-V?  

 
Соврал: я таки заводил 2016 в 2016 Hyper-V - но по независящим обстоятельствам не успел там обжиться. Перое впечатление было очень даже ничего.
 
Первое впечатление от воркстанции под ESX далеко не такое радужное. Попытался там тестить что-то серьёзное, и забил из-за безбожных тормозов.  
Впрочем, повторяю: я ничего не тюнил, просто включил галку в настройках внешней виртуалки (очень жирной).

Всего записей: 17165 | Зарегистр. 14-10-2001 | Отправлено: 00:50 10-12-2016
Sauron_zombie



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Daimos
Спасибо за развёрнутый ответ!
 
LevT
Сейчас мучаю на Workstation вложенный гипервизор ESXi 6.5.
Как написал выше - одна ВМ с ESXi, одна ВМ с vCenter Server, одна ВМ с вынь7 (из неё управляю по еб-клиенту).

Всего записей: 536 | Зарегистр. 31-01-2006 | Отправлено: 01:10 10-12-2016
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » Использоваине локальних дисков серверов для общего хранилища


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru