Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Операционные системы » Другие ОС » VMware ESX Server и VMware Infrastructure

Модерирует : lynx, dg

batva (04-04-2009 09:34): VMware ESX Server и VMware Infrastructure (часть 2)  Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165

   

rds



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
VMware Infrastructure
Описания:
VMware ESX Server
VMware VirtualCenter
VMware Consolidated Backup
 
VMware ESX Server и VMware Infrastructure: Документация Скачать с официального сайта Скачать в Варезнике
Бесплатный VMware ESX 3i: Скачать, FAQ, Управление VMware ESX 3i
 
Подборка полезных ссылок:  
FAQ,
утилиты для VMware ESX,
набор ссылок на сайты о виртуализации,
российский блог, посвящённый виртуализации,
сервер для esx за 900$.  
Лицензирование MS Windows под виртуализацию.
Русскоязычная неофициальная документация - wiki.vm4.ru
 
Краткий указатель:  
Монтирование гостевых дисков через VCB
Обозрение процесса обновления хостов через Vmware Update Manager
Гайд по командной строке.

Всего записей: 62 | Зарегистр. 13-05-2002 | Отправлено: 21:42 03-11-2003 | Исправлено: RussianNeuroMancer, 00:36 27-03-2009
vecialfor

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Michigun
Проблема решилась следущим образом. Я пересоздал и перенастроил сетевые интерфейсы на стороне ESX-ов, и все стало отображатьсяю Теперь проблема в следующем, я не могу настроить VMware HA между сервакам. В файле /etc/hosts прописаны и DNS имена и ip-адреса серваков, но когда я делаю Reconfigure HA host - то на 30% валится настройка и пишет следующее:
 
Insufficient resources to satisfy failover level on cleuster in New Datacenter
Unable to contact a primary HA agent in cluster in New Datacenter

Всего записей: 197 | Зарегистр. 04-07-2007 | Отправлено: 18:01 01-04-2008
Notser



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
IBM DS3400, у двухконтроллерного 4 порта FC, вроде бы можно все сервера с помощью хост-адаптеров подключить напрямую без коммутатора, но помоему, что бы задействовать все возможности (HA, DRS) без коммутатора все же не обойтись.

Коммутатор нужен:
1. подключить более 4 хостов
2. задействовать несколько путей для отказоустойчивости (два коммутатора)
3. задействовать отказоустойчивость самого IBM (два контроллера)
Для HA, DRS и тп коммутатор не нужен.
 

Цитата:
Товарищи, развертывание ВМ из шаблона как быстро должно происходить? Шаблон виртуальной машины Win 2003 Server, в ней 1 CPU, 1 NIC, 20Gb диск SCSI - всё это на сервере 2 Xeon 3.4GHz, 4Gb памяти, локальный RAID 0 на 5-ти SCSI дисках 1Тб. Клонирование виртульной машины из шаблона занимает около 1ч 20мин. Это нормально для такого железа?!

Не нормально, должно быть несколько минут.

Всего записей: 141 | Зарегистр. 07-02-2003 | Отправлено: 19:52 01-04-2008
Michigun



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Insufficient resources to satisfy failover level on cleuster in New Datacenter  

admissions control поставь в значение, чтобы он разрешал запускать ВМ когда ресуров не хватает в кластере. А вообще, не проверял, но уверен, что гугл по этому сообшению вывалит кучу ссылок с описанием что там и как.

Цитата:
Unable to contact a primary HA agent in cluster in New Datacenter

хз. сначала первую проблему реши, там посмотрим.

Цитата:
Для HA, DRS и тп коммутатор не нужен.  

для HA, DRS и тп нужен общий LUN. Я обьяснил почему такая конфигурация может этого не позволить.

Цитата:
Товарищи, развертывание ВМ из шаблона как быстро должно происходить? Шаблон виртуальной машины Win 2003 Server, в ней 1 CPU, 1 NIC, 20Gb диск SCSI - всё это на сервере 2 Xeon 3.4GHz, 4Gb памяти, локальный RAID 0 на 5-ти SCSI дисках 1Тб. Клонирование виртульной машины из шаблона занимает около 1ч 20мин. Это нормально для такого железа?!

поэксперементируй с типом шаблона(compact\normal). Насколько загружена дисковая подсистема?

Всего записей: 1623 | Зарегистр. 28-12-2004 | Отправлено: 20:24 01-04-2008
vecialfor

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Michigun

Цитата:
admissions control поставь в значение, чтобы он разрешал запускать ВМ когда ресуров не хватает в кластере. А вообще, не проверял, но уверен, что гугл по этому сообшению вывалит кучу ссылок с описанием что там и как.
- ставил а результат по прежнему один и тот же. А в консоли можно найти службу которая отвечает за HA и перезапустить ее??

Всего записей: 197 | Зарегистр. 04-07-2007 | Отправлено: 09:15 02-04-2008
Alexey777555

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Возникла необходимость оптимального распределения ресурсов на высоконагруженных
серверах ESX 3.5 и 3i.
 
Есть несколько независимых ESX 3i и 3.5. На каждом стоит порядка 10 VM с Oracle и MS SQL под win2k3.  
У ESX 3i один 4-х ядерный Xeon.
У ESX 3.5 два 4-x ядерных Xeon.
 
Задача - оптимально распределить ресурсы серверов.
 
 
Теперь конкретные вопросы:
 Какое количество от общей физической памяти esx может отдать (динамически распределять между) виртуальным машинам ?
 
Что означает memory overhead ?
 
Host memory - это память которая на данный момент отдана конкретной ВМ ?
Что тогда означает guest memory для это ВМ ?
 
 
Насколько можно верить показаниям windows task manager (на 32bit и 64bit OS) относительно памяти в ВМ ?
 
Читал, что лучше давать ВМ один или два (не больше) CPU.  
 
"For optimal results use virtual machines with one or two virtual CPUs. It is possible to use four virtual CPUs if your workload requires more processing power, but performance-wise two virtual machines allocated two vCPUs each will give better throughput. "  
http://communities.vmware.com/blogs/SAPsolutions/2008/01/18/vmware-best-practices-for-sap-installations
 
Буду признателен за любые советы по оптимальному планированию ресурсов.
 
 
 
 
 
 
 

Всего записей: 102 | Зарегистр. 19-07-2007 | Отправлено: 12:55 03-04-2008
Michigun



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Какое количество от общей физической памяти esx может отдать (динамически распределять между) виртуальным машинам ?

esx 3.5 поддерживает до 256 ГБ ОЗУ.
На одну ВМ можно выделить до 64 ГБ.
 

Цитата:
Что означает memory overhead ?

Накладные расходы.
 

Цитата:
Host memory - это память которая на данный момент отдана конкретной ВМ ?

это "guest memory usage" + "overhead", т.е. сколько памяти тратит хост на эту ВМ.
 
 

Цитата:
Что тогда означает guest memory для это ВМ ?  

сколько памяти активно использует гостевая ОС.
 

Цитата:
Насколько можно верить показаниям windows task manager (на 32bit и 64bit OS) относительно памяти в ВМ ?

верить нельзя, надо смотреть из под VC на счетчики swap и baloon. если они больше нуля - значит, часть ОЗУ для этой ВМ отдаются не из физической памяти хоста.
 

Цитата:
Читал, что лучше давать ВМ один или два (не больше) CPU

надо давать не больше, чем ей надо.
 

Всего записей: 1623 | Зарегистр. 28-12-2004 | Отправлено: 14:45 03-04-2008
Alexey777555

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
esx 3.5 поддерживает до 256 ГБ ОЗУ.  
На одну ВМ можно выделить до 64 ГБ.  
 

 
Я имел ввиду несколько иное - какую часть физической памяти ESX может отдать своим ВМ ? Очевидно, что это значение < физической установленной памяти, ведь самому гипервизору (в случае с 3i) или хостовой системе с SC (ESX 3.5) тоже нужна память.
 
 
 

Цитата:
Накладные расходы.  

 
Можно более конкретно ? Не совсем понятно, что под этим подразумевается.
 
 
 

Цитата:
это "guest memory usage" + "overhead", т.е. сколько памяти тратит хост на эту ВМ.  

 
guest memory usage + overhead != host memory
 
 
 

Цитата:
сколько памяти активно использует гостевая ОС.

 
А что значит активно ? Разве ESX не динамически распределяет память (если нету явного резервирования) - сколько ВМ попросила столько и дал из общего пула.
 
 
 

Цитата:
надо давать не больше, чем ей надо.

 
Это понятно в том смсле, что зачем давать ресурсов больше чем их смогут использовать.
 
Я имел ввиду другое - например у меня на ESX 4-х ядерный Xeon. Можно дать всем ВМ по 1 CPU. Можно всем по 2, можно и по 4. А можно некоторым 1 , а некоторым >1. Какая оптимальная стратегия для ВМ с СУБД ?  
 
Если я всем ВМ дам по 1 cpu, будет ли ESX использовать ресурсы всех 4-х ядер ?

Всего записей: 102 | Зарегистр. 19-07-2007 | Отправлено: 15:51 03-04-2008
Remzy



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Привет
Есть проблема на уровне ОС на варежке
есть сторадж, который подключен как RAW
Есть к примеру 2 ESX сервера
Я подключаю сторадж к обоим виртуальным машинам, но если произвожу изменения на одной, на другой они не повяляютя...
как будто работают с разными винтами... но винт как физический подключен к обоим виртуальным машинам. Не как виртуальный диск, т.к. в таком случае последняя загруженная ОС не получит доступ к файлу-образу.
 
Вопрос. КАК сделать синхронный доступ к одному дисковому пространству. Что б записал на одной ОС, и файл появлся на другом.  
И что б это работало не так медленно как M$ сеть. Вариант типа монтирование диска M$ сети не катит. Хотя можно и АйСкази попробовать.
НО ХОЧЕТСЯ именно напрямую подключить один винт обоим и более оС. КАК???
 
 Я пробовал RAW диск подключать и как физический и как реальный
но в обоих случаях он использует элемент виртуального файла подкачки и видимо через него работает
нужно использовать одно файловое хранилище - единое - для доступа к файлам
типа как M$  с подключенным диском, только скорость нужна не менее 80 МЕГОБАЙТ в сек..
а лучше 180 ... т.к. у меня САС диски 15 т.об   в страйпах и всё в зеркалах силами стораджа на фибра контроллерах

Всего записей: 431 | Зарегистр. 15-02-2005 | Отправлено: 16:01 03-04-2008
Michigun



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Я имел ввиду несколько иное - какую часть физической памяти ESX может отдать своим ВМ ? Очевидно, что это значение < физической установленной памяти, ведь самому гипервизору (в случае с 3i) или хостовой системе с SC (ESX 3.5) тоже нужна память.  

тогда - всю, кроме занятую под накладные расходы.
 

Цитата:
Цитата:
Накладные расходы.  
 
 
Можно более конкретно ? Не совсем понятно, что под этим подразумевается.  

 
идем в Resource Management Guide, скачав pdf или зайдя сюда - http://pubs.vmware.com/vi35/wwhelp/wwhimpl/js/html/wwhelp.htm
и ищем "memory overhead". Найдем, в частности, таблицу примерных расходов в зависимости от конфига ВМ. Для примера - ВМ с 4vCPU, с 64-bit гостевой ОС и 64 ГБ памяти требует без малого два гигабайта памяти на накладные расходы.
виртуализация - процесс не бесплатный. Для ВМ, например, эмулируется железо, и делается еще много чего. На эти действия нужны ресурсы, в частности, памяти. Вот эти ресурсы и называются "накладными расходами".
 

Цитата:
guest memory usage + overhead != host memory  

да, я сам не раз наблюдал расхождения того, что "должно быть", с тем, что есть.
Но в теории эти показатели - именно то, что я сказал.
http://communities.vmware.com/message/460945
 

Цитата:
Это понятно в том смсле, что зачем давать ресурсов больше чем их смогут использовать.
 
Я имел ввиду другое - например у меня на ESX 4-х ядерный Xeon. Можно дать всем ВМ по 1 CPU. Можно всем по 2, можно и по 4. А можно некоторым 1 , а некоторым >1. Какая оптимальная стратегия для ВМ с СУБД ?  
 
Если я всем ВМ дам по 1 cpu, будет ли ESX использовать ресурсы всех 4-х ядер ?  

У вас есть некое приложение, например, СУБД. У вас есть (должно быть) понимание того, сколько ресурсов CPU ему надо. Если ему достаточно ресурсов одного ЯДРА, то даем 1 vCPU. если надо ресурсы 4х ядер, то 4 vCPU. Если приложению стабильно надо больше, чем мощности 4х ядер, то не виртуализуем такое приложение на ESX.
 
У вас есть CPU. В терминах VMware это physical CPU
ядра в нем - это Logical CPU
наконец, в ВМ вы отдаете Virtual CPU.
 
Далее -  
каждый vCPU работает на каком то одном LCPU в один момент времени. Т.е. через 20 милисекунд он уже может работать на другом, но никогда - на двух одновременно. Т.е. 1 vCPU даст не больше мегагерц, чем дает одно физическое ядро.
на одном LCPU(ядре), могут работать несколько vCPU.
 
Добавлено:
Remzy

Цитата:
Я пробовал RAW диск подключать и как физический и как реальный

????

Цитата:
но в обоих случаях он использует элемент виртуального файла подкачки и видимо через него работает

??????
 
и это не сбитая кодировка
 
скажите, какую задачу надо решить, какие ОС планируете использовать, и что вы знаете об организации СХД ESX.
 
Добавлено:
Alexey777555

Цитата:
сколько памяти активно использует гостевая ОС.
 
 
А что значит активно ? Разве ESX не динамически распределяет память (если нету явного резервирования) - сколько ВМ попросила столько и дал из общего пула.  

одно дела, на сколько памяти ВМ может претендовать, ЕСЛИ ЕЙ ПОНАДОБИТЬСЯ
и другое - сколько она активно использует.

Всего записей: 1623 | Зарегистр. 28-12-2004 | Отправлено: 17:10 03-04-2008
Remzy



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Michigun
Стоит несколько виртуальных 2003 серверов
Нужно единовременно получить доступ к одному носителю и на хорошей скорости
что б при записи одной ОС данных на диск, эти файлы можно было читать на другой ОС
 
Как вариант стоит SQL сервер и есть сложность в прогнозировании роста БД.
Выделять каждому серверу свой виртуальный диск накладно, если расчитывать рост БД
Хотелось бы выделить отдельные единый сторадж, что б все ОС хранили там свои БД в своих каталогах. Данные не пересекаются но доступны ото всюду и используют единое пространство.

Всего записей: 431 | Зарегистр. 15-02-2005 | Отправлено: 17:26 03-04-2008
funtopgun



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Remzy
windows Unified Data Storage и по iSCSI каждому серверу отдельний диск

Всего записей: 168 | Зарегистр. 28-04-2005 | Отправлено: 18:18 03-04-2008
Remzy



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Remzy
windows Unified Data Storage и по iSCSI каждому серверу отдельний диск

 
иСкази это вариант по сети, но зачем мне сетевое решение, если у меня ФИБРА черел - оптическое подключение к стораджу.
Наверняка как-то можно сделать прямое подключение к диску виртуальных машин с единовременным использованием ресурсов.
 
иСКАЗИ в данном случа это последнее дело.. или просто нарезать много виртуальных дисков, что КРАЙНЕ НЕ грамотно

Всего записей: 431 | Зарегистр. 15-02-2005 | Отправлено: 18:27 03-04-2008
Alexey777555

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Michigun
Спасибо за подробное разъяснение !  
Вроде все понятно.
 
Но возникла другая проблема, был ESX 3i загружаемый с флэшки. Под ним были созданы несколько ВМ на дисковом массиве SAS. ФС - VMFS.
 
Загружаю ESX 3i с другой флэшки. Он видит видит только два storage из четырех.  
Остальные два можно добавить. Но созданные ранее ВМ размещены на одном из этих storage. При попытке добавить (Через VIC -Add storages) говорит, что все данные на нем будут потерены.  
 
Почему ESX изначально не видит storage с ВМ и как заставить их увидить ?
 
 

Всего записей: 102 | Зарегистр. 19-07-2007 | Отправлено: 19:03 03-04-2008 | Исправлено: Alexey777555, 19:07 03-04-2008
Barma7483

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Remzy
 
Два варианта есть. Использовать виртуализированную СХД с т.н. опцией Thin Provisioning, когда виртуальный "диск" занимает на физических носителях лишь столько места сколько ОСь запросила (на уровне блоков данных). Но это сложный путь.
 
Простой путь - использовать почти любую shared file system, а не NTFS, т.к. NTFS не позволяет одновременный прямой доступ нескольких ОС к одной файловой системе.
 
Например MelioFS.
 
Но я не уверен, что MelioFS - это достаточно надежное решение, когда речь идет о сторадже для баз данных.

Всего записей: 4 | Зарегистр. 16-03-2008 | Отправлено: 20:09 03-04-2008
Remzy



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Barma7483

Цитата:
Два варианта есть. Использовать виртуализированную СХД с т.н. опцией Thin Provisioning, когда виртуальный "диск" занимает на физических носителях лишь столько места сколько ОСь запросила (на уровне блоков данных). Но это сложный путь.  

 
Это не вариант. Система почти работает, диск подключается. Вопрос именно как сделать. Тем более функция есть, но как заставить работать правильно.
Несколько серверов физических видят единый диск и это корректно даже на карте отображается. Но как подключить к ОС

Всего записей: 431 | Зарегистр. 15-02-2005 | Отправлено: 21:22 03-04-2008
funtopgun



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Remzy
это не возможно. потому что когда до сервера подключаться физический диск то он работает на уровне блоков данных, если мы используем файловую шару то тогда на уровне ФС. если диск raw и его используют одновременно 2 сервера то кто разруливает ситуацию кому куда писать и что читать на уровне блоков? Для таких ситуаций нужно софт типа MelioFS, MetaSan но это как то не правильно делать в vmware.
Чем не подходит вариант сделать отдельный диск каждому серверу?

Всего записей: 168 | Зарегистр. 28-04-2005 | Отправлено: 21:34 03-04-2008
Remzy



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
funtopgun

Цитата:
это не возможно. потому что когда до сервера подключаться физический диск то он работает на уровне блоков данных, если мы используем файловую шару то тогда на уровне ФС. если диск raw и его используют одновременно 2 сервера то кто разруливает ситуацию кому куда писать и что читать на уровне блоков? Для таких ситуаций нужно софт типа MelioFS, MetaSan но это как то не правильно делать в vmware.
Чем не подходит вариант сделать отдельный диск каждому серверу?  

ГЫ,...
так для этого и есть специальный фибра сторадж с навороченным контроллером, который может выдавать диск нескольким серверам и ОС сразу
ESX сервер же принимает же...   но там линух...
а тут винды... как-то ЕСХ должен это передавать

Всего записей: 431 | Зарегистр. 15-02-2005 | Отправлено: 22:02 03-04-2008
Barma7483

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Remzy
 
исчо раз!;)
файловую систему каждый сервак частично или полностью может держать в памяти и на основе этих данных пишет файлики в определенные (свободные) места диска.
 
Вопрос! Откуда по-вашему другой (второй) сервер будет знать какие изменения на диске сделал первый сервер? чтобы например не затереть данные записанные ранее другим сервером...?
 
Вот для того, чтобы он (второй сервер) знал, что сделал первый сервер, и придуманы shared file systems (или cluster file systems). Их множество. Обмениваются данными такие FS, установленные на разных серверах, обычно по простому ethernet.
 
ESX сервер умеет юзать единый сторадж именно потому-что на нем используется VMFS. Это и есть cluster/shared file system... её брат-близнец в RedHat - GFS.
 
Ну, короче говоря, википедия ответит на все вопросы
 
http://en.wikipedia.org/wiki/SAN_file_system

Всего записей: 4 | Зарегистр. 16-03-2008 | Отправлено: 22:22 03-04-2008
Alexey777555

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Проблема с потерей storages кажется решена

Всего записей: 102 | Зарегистр. 19-07-2007 | Отправлено: 22:50 03-04-2008
Michigun



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
ГЫ,...
так для этого и есть специальный фибра сторадж с навороченным контроллером, который может выдавать диск нескольким серверам и ОС сразу
ESX сервер же принимает же...   но там линух...
а тут винды... как-то ЕСХ должен это передавать

ты пожалуйста не путай.
ESX все, что надо передает. А вот твои гостевые ОС, имено операционные системы, не умеют работать в нужном тебе режиме. Если ты безо всяких ВМ дашь с СХД один LUN нескольким хостам, увидишь ту же картинку.
 
Barma7483
+1

Всего записей: 1623 | Зарегистр. 28-12-2004 | Отправлено: 23:19 03-04-2008
   

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165

Компьютерный форум Ru.Board » Операционные системы » Другие ОС » VMware ESX Server и VMware Infrastructure
batva (04-04-2009 09:34): VMware ESX Server и VMware Infrastructure (часть 2)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru