Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » Обсуждение статьи - Limits of Virtual Memory in Windows

Модерирует : lynx, Crash_Master, dg, emx, ShriEkeR

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2

Открыть новую тему     Написать ответ в эту тему

slech



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Limits of Virtual Memory in Windows

 
Всем привет. Предлогаю порешать актуальные и реальные примеры.
 
Родственные темы
 
 
Статьи

Всего записей: 4893 | Зарегистр. 10-11-2004 | Отправлено: 18:12 15-08-2008 | Исправлено: slech, 23:32 15-08-2008
slech



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
После прочтения статьи остались непонятные моменты:
/3GB чем отличается от ситуации с 3GB /userva=xxxx
/PAE в случае 4 GB нету смысла включать, это только если больше ?
 
Server 2003 Enterprise Edition - прописан ключ /3GB. 4 Gb RAM. Dell Power Edge Server, насколько понял из статей Microsoft возможно флаг /PAE сам включается. Нужно будет уточнить поддерживает ли сервер горячее добавление памяти.
 
memo2g.exe

Цитата:

There is    42 percent of memory in use.
There are 4094 total Mbytes of physical memory.
There are 2362 free Mbytes of physical memory.
There are 5974 total Mbytes of paging file.
There are 4761 free Mbytes of paging file.
There are 3071 total Mbytes of virtual memory.
There are 3064 free Mbytes of virtual memory.
There are    0 free Mbytes of extended memory.
 
Allocated 1911 mb, addr=00480000
Allocated   72 mb, addr=77F50000
Allocated   46 mb, addr=7C8C0000
Allocated    7 mb, addr=7F7F0000
Allocated    2 mb, addr=77C00000
There is    42 percent of memory in use.
There are 4094 total Mbytes of physical memory.
There are 2362 free Mbytes of physical memory.
There are 5974 total Mbytes of paging file.
There are 4757 free Mbytes of paging file.
There are 3071 total Mbytes of virtual memory.
There are 1024 free Mbytes of virtual memory.
There are    0 free Mbytes of extended memory.

memo4g.exe

Цитата:

There is    40 percent of memory in use.
There are 4094 total Mbytes of physical memory.
There are 2449 free Mbytes of physical memory.
There are 5974 total Mbytes of paging file.
There are 4831 free Mbytes of paging file.
There are 3071 total Mbytes of virtual memory.
There are 3064 free Mbytes of virtual memory.
There are    0 free Mbytes of extended memory.
 
Allocated 1911 mb, addr=00480000
Allocated 1023 mb, addr=7FFF0000
Allocated   72 mb, addr=77F50000
Allocated   46 mb, addr=7C8C0000
Allocated    7 mb, addr=7F7F0000
Allocated    2 mb, addr=77C00000
There is    40 percent of memory in use.
There are 4094 total Mbytes of physical memory.
There are 2448 free Mbytes of physical memory.
There are 5974 total Mbytes of paging file.
There are 4825 free Mbytes of paging file.
There are 3071 total Mbytes of virtual memory.
There are    0 free Mbytes of virtual memory.
There are    0 free Mbytes of extended memory.

 
это Web Sevrer и периодически бывают проблемы у приложения, которое шлёт ошибки  OutOfMemory.
Есть предположение что ему просто нехватает памяти.
Видно из приведённого что есть ещё один блок дополнительный если скомпилировать приложение с ключём IMAGE_FILE_LARGE_ADDRESS_AWARE.
Но в первом случае так же видим этот свободный блок. По идее приложение может им воспользоваться при необходимости. Приложение .Net'товское.

Всего записей: 4893 | Зарегистр. 10-11-2004 | Отправлено: 23:31 15-08-2008 | Исправлено: slech, 23:56 15-08-2008
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
slech
Про Обзор - версия пока сырая, нескладная.

Цитата:
/3GB чем отличается от ситуации с 3GB /userva=xxxx

/3GB - равносильно /3GB /userva=3072, т.е. максимум.
рекомендуемый максимум значений userva 2900–3030
детали здесь http://support.microsoft.com/kb/316739/ru
 
про PAE и AWE у меня только теоретические знания.

Цитата:
/PAE в случае 4 GB нету смысла включать, это только если больше ?

вроде как да, но мне не ясно для AWE нужен ли PAE при физ.памяти до 4ГБ, вроде не нужен.
Насколько понимаю приложение должно быть написано с учётом AWE, чтобы использовать оно могло память более 4ГБ (или более 2ГБ).
 
в статье
Поддержка памяти большого размера в Windows Server 2003 и Windows 2000
http://support.microsoft.com/kb/283037/ru
написано

Цитата:
Примечание. В Windows Server 2003 PAE включается автоматически, только если сервер использует устройства памяти, допускающие подключение в процессе работы. В системах, поддерживающих подобные устройства, ключ /PAE указывать не обязательно. В остальных случаях для использования памяти за пределами 4 ГБ необходимо указать в файле Boot.ini ключ /PAE.

плюс в связке /3GB и /PAE накладывается ограничени на доступность физ.памяти.
в таблице  
Memory Limits for Windows Releases
http://msdn.microsoft.com/en-us/library/aa366778.aspx
это указано как 4GT (4-Gigabtye Tuning)
 
Из теории:
Address Windowing Extensions (AWE) [1, c.422]

Цитата:
Если приложение создаёт в своём адресном пространстве окно размером 256МБ и выделяет 4ГБ физической памяти (в системе с объёмом физической памяти более 4ГБ), то оно получает доступ к любой части физической памяти, проецируя её на это окно через indows-функции MapUserPhysicalPages или  MapUserPhysicalPagesScatter. Размер физической памяти, единовременно доступный приложению при такой схеме выделения, определяется размером окна в виртуальном адресном пространстве.
....
AWE-функции имеются во всех выпусках Windows и доступны независимо от объёма физической памяти в системе. Однако AWE наиболее полезен в системах с объёмом физической памяти не менее 2ГБ, поскольку тогда этот механизм - единственное средство для прмяго использования более 2ГБ памяти 32-разрядным процессом.

 
memo2g.exe\memo4g.exe

Цитата:
Подчёркиваю memo.exe выводит свои непрерывные блоки относительно среды Windows.


Цитата:
это Web Sevrer и периодически бывают проблемы у приложения, которое шлёт ошибки  OutOfMemory.  
Есть предположение что ему просто нехватает памяти.  
Видно из приведённого что есть ещё один блок дополнительный если скомпилировать приложение с ключём IMAGE_FILE_LARGE_ADDRESS_AWARE.  
Но в первом случае так же видим этот свободный блок. По идее приложение может им воспользоваться при необходимости. Приложение .Net'товское.

Чтобы не гадать в чём дело:
1. Посмотрите, как порезано адресное пространство - Приложение .Net'товское
в Process Explorer смотрим столбец Base (Base Address)
2. В том же Process Explorer посмотрите как используется память приложением и доведя приложение до ошибки OutOfMemory.
 
PS: Про Серверные OS и серверно ПО у меня только поверхностные знания. Обзор изначально предназначался для массовго пользоватателя.
 
Добавлено:
Управление памятью. ОС Windows Server 2003
http://www.ibm.com/developerworks/ru/edu/os_architecture_course2/section7.html

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 04:05 16-08-2008 | Исправлено: egor23, 10:48 16-08-2008
slech



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
c memo2/4.exe теперь понял.
 
вот моя картинка.
изучаю процес w2wp - это наш IIS.

 
7C8D0000=1992.8125 Mb
7C800000=1992 Mb
7C340000=1987 Mb
7BC10000=1980 Mb
 
это что же получается ?  если дальше продолжать то куча огромных блоков или я что то не то делаю ?

Всего записей: 4893 | Зарегистр. 10-11-2004 | Отправлено: 11:05 16-08-2008 | Исправлено: slech, 11:15 16-08-2008
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
вот моя картинка.

картинка не информативна - сортировку сделайте другую Base - на скрине ничего не видно + окно с процессами меньше сделайте.

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 11:11 16-08-2008
slech



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
вот попытка #2
 
1.
 

 
 
2.
 

 
в каком сортировка коректная ?

Всего записей: 4893 | Зарегистр. 10-11-2004 | Отправлено: 11:19 16-08-2008 | Исправлено: slech, 11:19 16-08-2008
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
slech
нужны адреса с 0x10000000 до 0x50000000(0x70000000 по обстоятельствам)

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 11:44 16-08-2008
slech



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
вот
3.

 
0x10000000 там почти везде PageFile Backed
 
Добавлено:
вот есть такие тулсы от Microsoft
Debugging Tools for Windows - Overview и статейка с примером вывода, думаю может они мне помогут.
 
Есть ещё LiveKd от Русиновича.

Всего записей: 4893 | Зарегистр. 10-11-2004 | Отправлено: 11:53 16-08-2008 | Исправлено: slech, 11:57 16-08-2008
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
0x10000000 там почти везде PageFile Backed

ну все не нужны
сделайте от последнего 0x10000000 и выше

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 12:09 16-08-2008
slech



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
там оказывается только 1-на библиотека.
 

Всего записей: 4893 | Зарегистр. 10-11-2004 | Отправлено: 12:31 16-08-2008
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
не мы так будем долго ковыряться
сделайте скрин всего диапазона (или цельный \ или несколько скринов)
просто не сталкивался стакими приложениями, где dll-ок немеренно.
 
И ещё напишите с какими параметрами загружена Windows
и выставлен флаг IMAGE_FILE_LARGE_ADDRESS_AWARE

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 12:51 16-08-2008
slech



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Windows 2003 Server Enterprise Edition
RAM=4 GB
boot.ini
[boot loader]
timeout=30
default=multi(0)disk(0)rdisk(0)partition(2)\WINDOWS
[operating systems]
multi(0)disk(0)rdisk(0)partition(2)\WINDOWS="Windows Server 2003, Enterprise" /fastdetect /NoExecute=OptOut /3GB
dll slil.ru rapidshare.com(зеркало)
 
Дело в том что это не просто программа  - это сайт который работает в IIS.
Т.е. пул приложения которое даёт сбои. В этот пул видимо могут подгружаться различные библиотеки. Попробую пообщаться с програмерами насчёт параметра IMAGE_FILE_LARGE_ADDRESS_AWARE
 
вот нашёл парочку статеек:
http://blogs.msdn.com/tom/archive/2008/04/10/chat-question-memory-limits-for-32-bit-and-64-bit-processes.aspx
http://blogs.msdn.com/tom/archive/2008/02/18/high-memory-part-5-fragmentation.aspx

Всего записей: 4893 | Зарегистр. 10-11-2004 | Отправлено: 13:40 16-08-2008 | Исправлено: slech, 14:10 16-08-2008
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
slech

Цитата:
dll

в первых 2ГБ - макс.размер непрерывного блоко 320МБ (0x24030000-0x10000000)
Есть ли у IIS проблемы с непрерывными блоками памяти это вопрос, но он легко проверяется.
Вообщем отлавливайте сбои, логи там вроде подробные ведутся.

Цитата:
 /3GB

думаю многовоато, придерживайтесь рекомендаций Microsoft по /userva, всё таки это Server.

Цитата:
Debugging Tools for Windows

Если разберётесь как вывести цифры по непрерывным блокам отпишите сюды, в своё время ладу не дал.
 
 
 

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 14:59 16-08-2008
slech



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Есть ли у IIS проблемы с непрерывными блоками памяти это вопрос, но он легко проверяется.
Вообщем отлавливайте сбои, логи там вроде подробные ведутся.  

у кого логи ведутся подробные ? у IIS ? но там про память ничего не увидеть.
 

Цитата:
 /3GB
 
думаю многовоато, придерживайтесь рекомендаций Microsoft по /userva, всё таки это Server.  

 
это какие рекомендации ? эти

Цитата:
 
Примечание. Служба поддержки продуктов корпорации Майкрософт настоятельно рекомендует использовать для параметра /userva=xxxx память в диапазоне 2 900–3 030. Этот диапазон достаточно велик, чтобы вместить достаточно большой пул элементов системной таблицы страниц для всех наблюдаемых на сегодняшний день проблем. Как правило, значение 2 800 для местозаполнителя xxxx обеспечивает близкое к максимальному число элементов системной таблицы страниц. При использовании значения 2800 обычно наблюдается 50 000–70 000 свободных элементов таблицы страниц, которых более чем достаточно для всех установок. Если значение меньше 24 000, уменьшайте данное значение пошагово по 64 МБ до тех пор, пока не появятся значения выше 24 000–26 000. Чем меньше значение параметра userva, тем больше выделяется элементов таблицы страниц. Дополнительные сведения см. в следующей статье базы знаний Майкрософт:
894067 (http://support.microsoft.com/kb/894067/) В Windows Server 2003 средство «Производительность» неточно показывает доступные свободные элементы таблицы страниц (Эта ссылка может указывать на содержимое полностью или частично на английском языке)
 
 
Чтобы обеспечить стабильную работу своих программ и ОС Windows, разработчики должны выполнять полномасштабное тестирование с использованием описанных механизмов настройки, а также должны указывать значение /userva=xxxx для своих программ. Уточнить реальный объем необходимого программе адресного пространства позволяет системный монитор. Достаточно добавить для процесса, соответствующего программе, счетчик байтов виртуальной памяти.
 
Примечание. Служба поддержки продуктов корпорации Майкрософт (PSS) не поддерживает произвольный выбор значения /userva; пользователи должны добавлять в файл Boot.ini значение, указанное поставщиком продукта.
 
Дополнительные сведения о параметре /3GB см. в следующих статьях базы знаний Майкрософт:
171793 (http://support.microsoft.com/kb/171793/) Сведения о функции настройки памяти 4GT (Эта ссылка может указывать на содержимое полностью или частично на английском языке)
189293 (http://support.microsoft.com/kb/189293/) Активация функции настройки памяти 4GT в Windows NT Server Enterprise Edition (Эта ссылка может указывать на содержимое полностью или частично на английском языке)
Windows Server 2003 более не ограничивает размер выгружаемого пула величиной 160 МБ на компьютерах с большим объемом памяти. В силу отсутствия ограничений на размер выгружаемого пула появляется возможность освободить дополнительное адресное пространство системного режима для использования его под элементы PTE, когда компьютер работает в режиме /3GB, путем установки ограничений на размер выгружаемого пула.  
 

 
С дебагером будем разбираться. Это возможно единственное средство для отловки проблемы. Потому как во время сбоя и падения сайта не всегдя удаётся быть рядом  и заметить скачёк памяти.

Всего записей: 4893 | Зарегистр. 10-11-2004 | Отправлено: 20:15 16-08-2008 | Исправлено: slech, 15:57 17-08-2008
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Обновил обзор
Limits of Virtual Memory in Windows - Ограничения виртуальной памяти в Windows

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 19:57 29-12-2008
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Инфа от Марка Руссиновича
 
Pushing the Limits of Windows: Physical Memory
http://blogs.technet.com/markrussinovich/archive/2008/07/21/3092070.aspx
 
Преодолевая ограничения Windows: физическая память
http://blogs.technet.com/mark_russinovich/archive/2008/07/21/3151288.aspx
 
Pushing the Limits of Windows: Virtual Memory
http://blogs.technet.com/markrussinovich/archive/2008/11/17/3155406.aspx
 
Преодолевая ограничения Windows: виртуальная память  
http://blogs.technet.com/mark_russinovich/archive/2008/11/17/3182311.aspx
 
Преодолевая ограничения Windows: виртуальная память  
http://www.thevista.ru/page.php?id=10539

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 16:23 05-01-2009 | Исправлено: egor23, 09:44 03-03-2009
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
VMMap v1.01  
http://download.sysinternals.com/files/vmmap.zip
http://technet.microsoft.com/en-us/sysinternals/dd535533.aspx

Цитата:
VMMap is a process virtual and physical memory analysis utility. It shows a breakdown of a process's committed virtual memory types as well as the amount of physical memory (working set) assigned by the operating system to those types. Besides graphical representations of memory usage, VMMap also shows summary information and a detailed process memory map. Powerful filtering and refresh capabilities allow you to identify the sources of process memory usage and the memory cost of application features.  
 
Besides flexible views for analyzing live processes, VMMap supports the export of data in multiple forms, including a native format that preserves all the information so that you can load back in. It also includes command-line options that enable scripting scenarios.  
 
VMMap is the ideal tool for developers wanting to understand and optimize their application's memory resource usage.

Теперь можно спокойно смотреть непрерывные блоки - Free.  
Только не нужно жать обновить, после того как процесс был закрыт.

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 09:48 03-03-2009
violant



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Какой лимит выделения физической памяти на один процесс в 32-х разрядной системе (Windows2003)?

Всего записей: 364 | Зарегистр. 08-11-2006 | Отправлено: 19:10 03-03-2009 | Исправлено: violant, 19:12 03-03-2009
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
violant

Цитата:
Какой лимит выделения физической памяти на один процесс в 32-х разрядной системе (Windows2003)?

таких ограничений вроде нет.

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 19:41 03-03-2009
violant



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
таких ограничений вроде нет.

Т.е. если у меня 8 Гб и включено пае то у меня один процесс может отхватить 4,5,6 Гб?
Может быть такое, что приложение не понимает пае?

Всего записей: 364 | Зарегистр. 08-11-2006 | Отправлено: 09:50 04-03-2009
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » Обсуждение статьи - Limits of Virtual Memory in Windows


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru