Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Операционные системы » UNIX » Solaris COMSTAR и SCSI Target Mode Framework

Модерирует : ShriEkeR

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4

Открыть новую тему     Написать ответ в эту тему

nick0001

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
фиг ее знает, я больше доверяю vxfs (есть бесплатная версия), чем zfs

Всего записей: 126 | Зарегистр. 27-04-2007 | Отправлено: 10:40 23-04-2010
ivanovsn

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
nick001: девайс-то у меня дома стоит, к нему 5 компов подцеплено, винты Green поэтому. как все окончательно соберу будет 20 винтов в 1 корзине. элекэнергия не холявная, кондиционера нет, если оставить родные мощные вентиляторы в корзине, шибко воет .
производительнось для  FC 2Gb - ok. машины грузятся значительно шустрее чем с 1-го внутреннего винта.  
iscsi по гигабиту я сыт на работе. не нравится. плюс чтобы заставить винды т.д. грузится нужно шаманить с kpxe.
железо для 2GB FC сейчас стоит копейки, я постараюсь пробить тему допиливания emlxs драйвера под старые карточки, и будет мне счастье

Всего записей: 6 | Зарегистр. 12-02-2007 | Отправлено: 11:42 23-04-2010
payson

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ivanovsn
Раскажите плиз как Ваши успехи. Очень интересно.
Далеко ли до продакшн использования?

Всего записей: 2 | Зарегистр. 13-02-2006 | Отправлено: 10:12 17-09-2010
ivanovsn

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Все работает, подцеплено 5 компов: два win7, 1 WinXP, 1 FreeBSD, 1 ESX4
прямо в данный момент запущен тест iozone в виртуалке CenOS 5.5 c 8ГБ оперативки. Заканчивается проход с 8ГБ тестовым файлом:
 

        Using maximum file size of 16777216 kilobytes.
        POSIX Async I/O (no bcopy). Depth 4
        Using minimum file size of 4194304 kilobytes.
        Using Maximum Record Size 1024 KB
        Using Minimum Record Size 1 KB
        Command line used: iozone -a -g 16g -k 4 -n 4g -q 1m -y 1 -b /root/iozone1.xls -f /test/test1
        Output is in Kbytes/sec
        Time Resolution = 0.000001 seconds.
        Processor cache size set to 1024 Kbytes.
        Processor cache line size set to 32 bytes.
        File stride size set to 17 * record size.
  KB reclen write rewrite read reread random read random write bkwd read record rewrite stride read    
4194304 1 82363 118777 20029 19816 19342 82384 19723 121124 19872    
4194304 2 117970 190947 39482 38975 38055 148407 38996 179149 39390    
4194304 4 189963 292305 75113 73988 73630 191252 76398 260465 78176    
4194304 8 218417 321793 139448 144605 147788 258574 147048 333150 155107    
4194304 16 158794 423179 261594 257427 252370 404703 261994 464387 265060    
4194304 32 213834 498637 535824 405180 408860 436787 650997 478436 558587    
4194304 64 275810 525279 858747 792147 604601 533874 747777 544648 639876    
4194304 128 242048 471587 894973 854530 839883 426489 777615 478408 1027778    
4194304 256 260378 470148 1062950 1068590 1119093 500020 983318 485103 1093408    
4194304 512 212261 452945 672458 666340 691972 497031 707995 468914 710329    
4194304 1024 221415 474037 633522 649629 649077 487078 642641 476858 607090    
8388608 1 82814 29351 19402 19455 14777 1519 20289 52109 11062    
8388608 2 83681 25776 38193 38304 25228 3042 41275 60593 25790    
8388608 4 75725 215512 77438 73667 47517 37779 55690 226618 26252    
8388608 8 85786 157974 141882 134000 84303 72354 102586 234993 51457    
8388608 16 84016 256963 238137 248656 165192 111609 188744 284805 175049    
8388608 32 70875 259569 289213 306958 243491 143953 276214 272913 220748    
8388608 64 81685 224784 308461 343823 308146 166989 343258 229772 274480    
8388608 128 90248 244834 230422 303600 327544 169682 402375 230180 350449    
8388608 256 90568 256527 243088 266400 335149 218571 440821 247631 355307  


 
Раздел выровнен по 2048 секторов
видно, что после того как файл перестал полностью кэшироваться, скорость соответствующая 2GB FC начинает появлятся с размера записи 32к, в связи с чем форматировать/настраивать базы надо соответственно.
на 4ГБ файле проскакивают цифры 1000МБ/с. Это близко к пропускной способности памяти на данном ESX сервере (на оптеронах 1го поколения, DDR1-200)
На физическом компе и на сырых девайсах еще буду тестировать.
 
По ходу настройки выявлены следующие проблемы:
1. COMSTAR хочет более-менее новые FC свитчи, Brocade не старее 3850/3250, на 3800 имеется такая проблема

Цитата:
 
I recreated the problem in my lab with an old Brocade switch.  I verified with a Finisar analyzer that the problem is indeed with the switch rejecting the CT commands with an “Invalid version” reason code.     I contacted Sun about this issue and they suggested for me to open a CR against COMSTAR.  Sun may be able to make the change themselves, but it may not happen soon.    If you direct connect your initiator to the target it should work, but that doesn’t help in a larger scale.  
 

мне повезло купить Brocade 200E за 150 баксов и набор из 12 SFP 4GB Intel за 12 =).
2. в данный момент FC Target работает на всех Emulex и QLogic 24xx 25xx. PCI-X 2GB Emulex можно купить по цене вплоть до 20 баксов за 10 штук, а кьюлоджики стоят в районе 200 (ebay цены, в магазине раза в 3-4 дороже ).  
3. В Opensolaris'е в snv_128 обновили драйвер эмулекса, так что он перестал работать на 2ГБ HBA. В storage-discuss есть фикс.  
4. До snv_128 opensolaris довольно нестабилен в плане отдачи LUN'ов COMSTAR'ом: паники, перезагрузки. Штатно можно обновиться до svn_134, но при этом 2GB Emulex'ы работать перестают: я рекомендую все-таки обновиться, поставить тулзы для сборки солярки, обновится до onnv_145 с репозитория illumos.org, загрузить исходники, пропатчить драйвер Emulex и обновиться до onnv_147.
5. можно поставить Openfiler, там есть поддержка FC Target mode

Всего записей: 6 | Зарегистр. 12-02-2007 | Отправлено: 12:41 17-09-2010
nick0001

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ivanovsn
 
а скажите, чем с backplane от Norco RPC 4220 на мамку вы винты цепляли? куча sata кабелей на дополнительный контроллер (20 штук, или мамка их все 20 умеет?) или все-таки 1 какой-нибудь?
 
спасибо.

Всего записей: 126 | Зарегистр. 27-04-2007 | Отправлено: 17:50 21-09-2010
ivanovsn

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
rpc-4220 имеет sff-8087 разъем.
подключается таким кабелем http://www.ipcdirect.net/servlet/Detail?no=215
не то чтобы сильно, но путаницу снижает.
там кстати вообще интересные девайсики есть. но можно найти дешевле.
бакплейны весьма хлипкие на вид. есть информация что сейчас стали выпускать бакплейн новой ревизии. выгладит надежнее.
с октября будут продавать панель на 3 120мм вентилятора, сейчас идет 4*80мм, вентиляторы стоят FFB0812SHE. 55 db текущяя панель продумана плохо: сосет воздух из корпуса вместо винтов, по пути наименьшего сопротивления.
стоит 3 контроллера aoc-sat2-mv8. правда умные люди подскзали что можно пробить LSI SATA контроллеры на алибабе, стоят они там в районе $50, но уже поздно было.
вообще PCI-X стоит существенно дешевле PCI-E. материнские платы, опять-таки, с 4-5 разъемами PCI-X можно легко найти например в вмваре у меня стоит tyan k8hm: 3*PCI-X, 2*PCI-Ex8 отдал за нее 30 баксов )

Всего записей: 6 | Зарегистр. 12-02-2007 | Отправлено: 19:02 21-09-2010
Dimsoft

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
умные люди подскзали что можно пробить LSI SATA контроллеры на алибабе

ivanovsn
мозг себе вынес
а этого нет в китайских интернет магазинах ?

Всего записей: 2750 | Зарегистр. 17-11-2003 | Отправлено: 07:34 22-09-2010
Dimsoft

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
скоро год, а воз и ныне тем ?
 
sas target есть в соляре ?

Всего записей: 2750 | Зарегистр. 17-11-2003 | Отправлено: 21:22 10-05-2011
paysonaka

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Плиз. Хелп.  
Прикупил сей девайс (brocade 200e) на ибэе, надпись была что Used, but working condition  
Включил пишет в консоли не может инициализировать диски АТА  
Разобрал нет Флешки внутри с операционкой, если у кого есть возможность снять образ с флешки плиз помогите. В долгу не останусь, нужно для образовательных целей.

Всего записей: 2 | Зарегистр. 16-06-2011 | Отправлено: 19:06 05-08-2011
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Скрипты для управления маппингом лунов в COMSTAR
https://github.com/robinsmidsrod/comstar-soho-helper
 
Нативные команды потому такие замороченные, что таргет по своей архитектуре универсальный.  
Скрипты добавляют ему воспринимаемой логики, для тех, кто готов ограничиться iSCSI.
 
https://github.com/robinsmidsrod/comstar-soho-helper/blob/master/README.md

Всего записей: 17126 | Зарегистр. 14-10-2001 | Отправлено: 17:17 06-03-2012 | Исправлено: LevT, 19:16 06-03-2012
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Вот ещё полезная техника, позволяющая давать лунам осмысленные guid-ы (дайджесты строк) в stmfadm :
https://blogs.oracle.com/jayd/entry/iscsi_failover_with_comstar
 
Только я бы переваривал имена zvol-ов, а не таргетов: в этом случае имена лунов вида naa..., соответствующие определённому zvol, всегда будут одинаковыми - и нежная крыша вцентра будет пощажена.
 
В результате lu можно смело создавать-удалять динамически,  модифицированными командами iscsi_volume_connect и iscsi_volume_disconnect из предыдущей ссылки.
 
(не тестировал, но в ближайшее время собираюсь и отпишусь)

Всего записей: 17126 | Зарегистр. 14-10-2001 | Отправлено: 23:21 06-03-2012 | Исправлено: LevT, 19:18 07-03-2012
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Чё делают скрипты из позапрошлого поста?
 
iscsi_target_create volname
 
Создаётся таргет-портал-группа связанная с взятым из конфига именем сетевого интерфейса.
Создаётся zvol, расположенный по взятому из конфига пути, с именем volname
 
Для этого zvol cоздаётся lu c автогенерированным именем (guid для использования в формате naa)
    (1:1 к volname поддерживается средствами STMF, в дальнейшем остальные скрипты извлекают это имя по ключу volname
     lu - это продукт sbd (scsi block device) провайдера, stmf поддерживает разнообразных провайдеров, но в дистрибутиве соляры и деривативов идёт только этот; в интернете есть несколько реализаций virtual type и cdrom провайдеров, для опенсоляры когда-то сделали sas провайдера и драйвер mtp_target).
 
Создаётся таргет с взятым из конфига префиксом iqn... и именем volname
Создаётся таргет-группа c именем volname, к ней добавлятся только что созданный таргет.
 
 
Все взаимосвязи 1:1:1:1 (недаром скрипты называются soho-helper). На первый взгляд это неудобно, потому что противоречит например идеологии нексентовской VMDC и бестпрактисам нетаппа.  
 
То есть за таргетом оказывается единственный LUN0, а по бестпрактисам за единственным таргетом может быть N лунов.  С другой стороны, такое решение исключает перенумерацию лунов на ходу. И нам ничто не мешает соответствующие лунам таргеты цеплять-отцеплять целиком, централизованно из вцентра PowerCLI скриптом. (Или можно и из СХД, через оффлайн/онлайн таргет? TODO: Как к такому отнесутся вцентр и его хосты?)
 
 
Можно серьёзно переделать все эти сохо скрипты в сторону бестпрактисов и исключить перенумерацию лунов. Управлять таргетом придётся только этими скриптами, запретив себе в этой части использование GUI и CLI нексенты и прочих управлялок.
 
Но даже если остановиться на сохо дизайне СХД, именно этот скрипт тоже придётся править, потому что по бестпрактисам и нетаппа, и вмваре виртуалки предпочтительно располагать на разных лунах. За единственной таргет-портал-группой нам надо показать столько таргетов, сколько лунов нужно предъявить инфраструктуре.  
 
Добавлено:
 
Не добавлять же IP-алиасы по количеству таргетов и таргет-портал-групп?  Или попробовать добавлять?
Прошу высказаться.
 
 
 
 
Добавлено:
 
 
http://www.c0t0d0s0.org/archives/6140-Less-known-Solaris-Features-iSCSI-with-COMSTAR.html

Всего записей: 17126 | Зарегистр. 14-10-2001 | Отправлено: 19:05 07-03-2012 | Исправлено: LevT, 18:48 08-03-2012
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Плохая новость.
Гнидогандоидные копирасты патентуют инженерные решения: http://www.freepatentsonline.com/y2010/0076744.html
 
Хорошее:  
Ничего страшного. Софтверные патенты страшны только вендорам, которым хочется  торговать коробками с реализацией идеи.
Свободные реализации пока что невозможно ни запретить, ни обложить поборами.

Всего записей: 17126 | Зарегистр. 14-10-2001 | Отправлено: 18:45 08-03-2012
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

 
 
http://broken.net/uncategorized/simple-comstar-iscsi-fcoe-fc-config-view/
 
http://broken.net/solaris/how-to-backup-and-restore-comstar-stmf-configurations-on-openindiana-and-solaris/
 
 
 
Добавлено:
 
itadm - управляет конечной точкой iSCSI транспорта
 
Чтобы клиенты-удаленные инициаторы смогли увидеть свои таргеты (iqn...) за таргет-порталом, должна быть 1) создана содержащая его таргет-портал-группа и 2) затем назначена нужным таргетам.
 
 
stmfadm  - управляет маппингом лунов в таргет-группы
 
Маппинг бывает сложный и упрощенный
 
Сложный маппинг состоит из записей вида
 (клиент, сервер, lu guid, LU Number)
 
 Клиент - хостгруппа (группа удаленных инициаторов), которая должны быть создана заранее
 Сервер - таргет-группа из таргетов, созданных заранее.  
 
В результате всего этого безобразия один и тот же lu может презентоваться под разными номерами (лунами) разным клиентам.
 
 
Упрощенный маппинг не различает клиенты, серверы или и то, и другое.
 
 номер lu (LUN) автогенерируется, но можно задать и в явном виде; по ошибке повторить его для той же пары (клиент, сервер) все равно не выйдет.
 
 
sbdadm - управляет провайдером sbd (scsi block device), то есть отображением 1:1 zvol-ов в lu  
Почти весь функционал этой утилиты включен в функционал stmfadm
 
Однако табличная выдача sbdadm list-lu полезна, потому что легко парсится скриптами (пример выше в soho-helper).

Всего записей: 17126 | Зарегистр. 14-10-2001 | Отправлено: 23:49 08-03-2012
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

http://www.qns.com/xwiki/bin/view/Blog/Solaris+11+iSCSI+target+configuration

Всего записей: 17126 | Зарегистр. 14-10-2001 | Отправлено: 09:39 10-03-2012
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Итак, вцентру нужен стабильный сторадж, чтобы луны за  таргетами, к которому он цепляется,  не перенумеровывались при манипуляциях с СХД. Сама ZFS переносима через zpool export/zpool import. Для стабильности инфраструктуры нехватает такой же переносимости конфигурации COMSTAR.  
 
Экспорт-импорт конфига целиком (см. выше по ссылке) средство слишком грубое, хорошо бы управлять процессом. Недостающее звено пазла - статья (сейчас доступна только через кэш гугля):
 
Chaz Chandler  
NexentaStor Community Edition iSCSI target/initiator zvol differentiation via command line
 
 
Добавлено:
 
The NexentaStor Community Edition 3 web interface (NMV) does not include advanced iSCSI/zvol management, a feature reserved for their Enterprise Edition. Although you can create zvols and manage iSCSI targets and initiators via the web, all zvols are automatically available via all targets and to all initiators. You can control which initiators can use which targets via authentication, but that would only help you distribute the load on the target address+port – all zvols would still be visible on each target.
 
As Nexenta is built upon OpenSolaris, one can still manage fine-grained iSCSI and zvol details through the command line.  
....
 
 
 
Добавлено:
 
Процитированное на самом деле неверно, по крайней мере для текущей нексенты.  В её вебморде есть страница Mappings, но пользоваться ей неудобно.
 
Ну и от нексенты отвязаться тоже неплохо, что позволяет сделать скрипт. Приведу его под тегом:
 
Подробнее...
 

Всего записей: 17126 | Зарегистр. 14-10-2001 | Отправлено: 18:58 10-03-2012 | Исправлено: LevT, 19:42 10-03-2012
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ошибочной была идея давать логическим единицам осмысленные (digested) guid-ы.
 
STMF каким-то образом запоминает все предыдущие гуиды (naa....) и не даёт назначить старый гуид. То есть ситуация когда гуид логической единицы меняется после выведения её в офлайн является нормальной, по крайней мере, с точки зрения разработчиков COMSTAR.
 
 
А вот с точки зрения вмваре это не так.  
Эта тема тесно связана с volume resignaturing.
 
http://blog.laspina.ca/ubiquitous/understanding-vmfs-volumes
http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1011387
 
http://pubs.vmware.com/vsphere-50/index.jsp?topic=/com.vmware.vsphere.storage.doc_50/GUID-8AE88758-20C1-4873-99C7-181EF9ACFA70.html
 
 

Цитата:
It’s a VMware generated number – the LVM signature aka the UUID (it’s a long hexadecimal number designed to be unique).     The signature itself has little to with anything presented by the storage subsystem (Host LUN ID, SCSI device type), but a change in either will cause a VMFS volume to get resigned (the ESX server says “hey I used to have a LUN with this signature, but it’s parameters were different, so I better resign this”).

 
http://virtualgeek.typepad.com/virtual_geek/2008/08/a-few-technic-1.html

Всего записей: 17126 | Зарегистр. 14-10-2001 | Отправлено: 18:58 12-03-2012 | Исправлено: LevT, 20:26 12-03-2012
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

 
 
Солярный ZFS сторадж врёт о себе, что он поддерживает ALUA.  
 
Там внутри всё готово, но реально это заработает только в присутствии отдельного сервиса stmf proxy  и юзерспейс-агента управления libstmfproxy  Которых нет в бесплатных управлялках, не говоря о бесплатных дистрах.
 
(навеяно рысканьем по сорцам: ссылок не дам, но советую на эту тему забить)

Всего записей: 17126 | Зарегистр. 14-10-2001 | Отправлено: 01:00 13-03-2012
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4

Компьютерный форум Ru.Board » Операционные системы » UNIX » Solaris COMSTAR и SCSI Target Mode Framework


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru