Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » WinRAR (часть 5)

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126

Открыть новую тему     Написать ответ в эту тему

Maz



Дед Мазай
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
По вопросам лечения (кряки, патчи и т.д.), а также разблокировки архивов, обращаемся в «Варезник».
Отдельная тема по сборкам WinRAR
Предыдущие части темы: 0 1 | 2 | 3 | 4



 
Официальный русский сайт: win-rar.com
Официальный e-mail разработчика WinRAR (писать по-русски): dev@rarlab.com
 
Русская финальная версия 7.01 | 32-bit | 64-bit    
Английская финальная версия 7.01 | 32-bit | 64-bit
Русская бета-версия 7.10 beta 1 | 64-bit    
Английская бета-версия 7.10 beta 1 | 64-bit
Важная информация о ссылках Список изменений
Дополнительно Коллекционный архив версий (с 1995 года) | Официальный архив (с 2002 года по FTP)

Примечание: английская бета-версия обновляется регулярно, без изменения номера версии. подробнее...
Скачать RAR для macOS, FreeBSD, Linux, Android можно здесь.

Таблица совместимости версий с различными ОС

Версия 3.62 (ru) с подарочным ключом (респект камраду elmorte)

Коллекционный архив 16- и 32-бит версий WinRAR 1.54b - 7.01 (1995-2024): скачать (342.2 МБ) [обновлено 15.05.2024]

вместо F.A.Q. || альтернативные архиваторы

Почему задерживается русская версия? А при русском разработчике на языке XXX уже давно есть. Не захламляйте тему подобными вопросами.

Кому не нравится новая тема оформления - скачайте с официального сайта rarlab.com (из раздела Themes) и установите себе WinRAR Classic theme by Francesco Indrio
Стандартная (48x36). Маленькие кнопки (24x24)

В теме активно отвечает на вопросы автор архиватора Евгений Рошал! Ситуация уникальная, прошу пользоваться. :)
 
Таблицы для наглядности с соотношением размера словаря к потребляемой ОЗУ:
с ключом mcx | без ключа mcx

Всего записей: 39128 | Зарегистр. 26-02-2002 | Отправлено: 08:31 31-07-2023 | Исправлено: DimmY, 00:16 10-11-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Darth_Max

Цитата:
Флешки "умирают" раз и навсегда.

И с файловой системой проблем не бывает, раз и умерла? Видел достаточно в полуживом состоянии, кое какую информацию вытянуть удавалось, когда проблема с чем то одним - либо контроллером либо памятью. Если 2 копии, а еще лучше 3, так не нужна, а если одна то пусть будет.

Всего записей: 3092 | Зарегистр. 13-10-2006 | Отправлено: 18:36 01-02-2024 | Исправлено: lelik007, 18:49 01-02-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
EugeneRoshal
Евгений, вы вроде интересовались таким, не сочтите за офф топик. Игорь Павлов представил 7-zip 24.01 бета в ней оптимизировал BLAKE2sp под SSE 4.1 и AXV2. Также SHA ускорен уже давно за счет SIMD SHA, можно посмотреть разницу с SIMD и без, за одно xxhash64 можно посмотреть, что его все хвалят.
 
В нем есть бенчмарк, процессор у вас топовый - все SIMD есть - короче, если интересно:
Скачиваем https://7-zip.org/a/7z2401-x64.exe , распаковываем, выполняем в CMD по месту, на все ядра:

Код:
 
7z b -mm=blake2sp*
7z b -mm=sha256*
7z b -mm=sha1*
7z b -mm=xxh64*
На одно ядро 7z b -mm=blake2sp* -stm1
 

Результаты будут:
BLAKE2sp:1: basic scalar code
BLAKE2sp:2: vector code for SSE4.1
BLAKE2sp:3: vector code for AVX2
SHA*: without SIMD SHA
SHA*: with SIMD SHA
А команда без * в конце делает еще другое тестирование, которое я не понимаю (пропускная способность, что ли).

Всего записей: 3092 | Зарегистр. 13-10-2006 | Отправлено: 19:26 02-02-2024 | Исправлено: lelik007, 21:22 02-02-2024
EugeneRoshal

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007
Запустил 7z b -mm=blake2sp* в виртуальной машине на 24 потока:
 

Код:
 
Method           Speed Usage    R/U Rating   E/U Effec
                 KiB/s     %   MIPS   MIPS     %     %
 
BLAKE2sp:1     8938070  2362   6199 146441   155  3667
BLAKE2sp:2    28070680  2353   4886 114978   122  2879
BLAKE2sp:3    35905421  2286   3217  73534    81  1841
 

 
Насколько я понимаю, это общая производительность для нескольких параллельных потоков данных, и ее надо делить на 3, чтобы узнать максимальную производительность для одного потока. Или делить на 6, если AVX2 реализации удалось вести вычисление Blake2sp в 4 потока CPU вместо 8.
 
Я для Blake2sp на i7-6700K пробовал _mm_i32gather_epi32, а также _mm256_i32gather_epi32 с прочими AVX2 инструкциями. Эффект был не особо впечатляющий. Но, возможно, потом надо будет перепроверить на новых процессорах.
 
Добавлено:
Вероятно, я проверял этот код:
https://github.com/sneves/blake2-avx2
Хотя сейчас уже точно не помню.

Всего записей: 2386 | Зарегистр. 29-04-2013 | Отправлено: 22:24 02-02-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
EugeneRoshal
Спасибо.
Проблема в том, что это все в попугаях измерено именно для процессора. Blake2sp у меня быстрее с SSE 4.1, в 2,5 раза чем SHA-1 (без SIMD) - а реальная команда h там же считает Blake2sp в 2 раза медленнее чем SHA-1. Я всяко мерял и с диска и с кеша. Я, конечно, про AVX2 не знаю, по-моему правильная реализация и на SSE быстрая, но результаты у вас впечатляют.

Всего записей: 3092 | Зарегистр. 13-10-2006 | Отправлено: 22:55 02-02-2024 | Исправлено: lelik007, 22:56 02-02-2024
EugeneRoshal

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007

Цитата:
правильная реализация и на SSE быстрая

Да. Если не ошибаюсь, Blake2sp SSE у меня дает около 5 гб/с или чуть больше.

Всего записей: 2386 | Зарегистр. 29-04-2013 | Отправлено: 00:00 03-02-2024 | Исправлено: EugeneRoshal, 00:24 03-02-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
EugeneRoshal
У меня 0.9 гб/с без SIMD и 3.8 гб/с с SSE 4.1 - это замеры на 4-х ядрах с HT. Разница есть скорее из-за 6-8 полноценных ядер, на более новых CPU, чем AVX2... думается мне. А по бенчмарку с SSE 4.1 разница в 7 раз с вашим CPU.

Всего записей: 3092 | Зарегистр. 13-10-2006 | Отправлено: 06:44 03-02-2024 | Исправлено: lelik007, 06:53 03-02-2024
Pasha_ZZZ



Platinum Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
lelik007
2 Haswell 10/20:

Цитата:
Method           Speed Usage    R/U Rating   E/U Effec
                 KiB/s     %   MIPS   MIPS     %     %
 
BLAKE2sp:1     7241105  3957   2998 118638    94  3716
BLAKE2sp:2    23618482  3957   2445  96741    77  3030
BLAKE2sp:3    48704725  3871   2576  99747    81  3124

Всего записей: 12813 | Зарегистр. 11-03-2002 | Отправлено: 06:58 03-02-2024
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
        "Для 64гб при упаковке нужно 96 гб RAM"

Где-то уже была (вдруг я упустил) табличка или какой-нибудь график зависимости требований к оперативке от размеров словарей, или пока ещё нет?
В обоих вариантах - с использованием  -mcl и  -mcx, а также без.
Охота понимать, на какие размеры можно ориентироваться в каких условиях.

Всего записей: 17946 | Зарегистр. 04-11-2010 | Отправлено: 06:59 03-02-2024 | Исправлено: insorg, 07:02 03-02-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Pasha_ZZZ
Спасибо, дело в том что кода на AVX2 от разработчиков BLAKE2 нет, можно посмотреть, как выйдет код 7-zip 24 как там сделано и какие вообще есть реализации, со временем.
insorg
Да, табличка бы пригодилась, размеры словарей для стандартных размеров памяти - 16 , 32, 64 и далее.
Но, не видал такой.

Всего записей: 3092 | Зарегистр. 13-10-2006 | Отправлено: 07:17 03-02-2024
Pasha_ZZZ



Platinum Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
insorg
Сам по себе -mcx вроде не должен увеличивать требования к памяти при упаковке, но он автоматом включает -mcl. Так что потребление памяти должно быть одинаковым при просто -mcl и при -mcl -mcx
 
Добавлено:
lelik007

Цитата:
Но, не видал такой.

Опытным путем можно создать

Всего записей: 12813 | Зарегистр. 11-03-2002 | Отправлено: 07:24 03-02-2024
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007
В хелпе только обтекаемая формулировка.
   
 
Добавлено:
Pasha_ZZZ
Цитата:
Опытным путем можно создать  
Имхо, автор точнее сможет сказать максимальные запросы к выделяемой памяти, чем пытаться запускать вручную самому.

Всего записей: 17946 | Зарегистр. 04-11-2010 | Отправлено: 07:31 03-02-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Pasha_ZZZ
Слушай, надо же как BLAKE2sp от кол-ва ядер ускоряется в 6-7 раз, хотя вроде только 8 потоков заявлено максимально, думал в 2-3 раза пусть будет быстрее на новых ядрах, а оно вона как.
insorg

Цитата:
Имхо, автор точнее сможет сказать максимальные запросы к выделяемой памяти, чем пытаться запускать вручную самому.

Согласен, такое в хелпе иметь - было бы очень хорошо. Тут от размера памяти можно отталкиваться - у тебя столько то - вот такой то словарь. Иначе уж очень большая таблица будет.

Всего записей: 3092 | Зарегистр. 13-10-2006 | Отправлено: 07:54 03-02-2024 | Исправлено: lelik007, 07:55 03-02-2024
EugeneRoshal

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007

Цитата:
А по бенчмарку с SSE 4.1 разница в 7 раз с вашим CPU.

Я сейчас перетестировал все хэши на реальном 12900K, а не виртуалке.  
 

Код:
 
Многопоточный тест:
CRC32:12     105479337  2287   4723 108011   125  2855
CRC64         88225406  2349   3846  90343   102  2388
XXH64        250693914  2153   2980  64178    79  1697
SHA256:1       5981438  2289   5330 122021   141  3226
SHA256:2      39590389  2098   3924  82348   104  2177
SHA1:1        13365949  2231   5608 125105   148  3307
SHA1:2        43720165  2022   4220  85342   112  2256
BLAKE2sp:1     9211886  2319   6508 150928   172  3990
BLAKE2sp:2    28621600  2199   5332 117234   141  3099
BLAKE2sp:3    38889546  2288   3481  79646    92  2106
 
Один поток:
CRC32:12       6643989   100   6787   6803   131   131
CRC64          4555642   100   4679   4665    90    90
XXH64         20230680   100   5162   5179   100   100
SHA256:1        488996   100   9995   9976   193   192
SHA256:2       2473196   100   5162   5144   100    99
SHA1:1         1076040   101   9995  10072   193   194
SHA1:2         2743679   100   5363   5356   103   103
BLAKE2sp:1      696186   101  11335  11406   219   220
BLAKE2sp:2     2106266   100   8658   8627   167   166
BLAKE2sp:3     3579651   101   7282   7331   140   141
 

 

Цитата:
Спасибо, дело в том что кода на AVX2 от разработчиков BLAKE2 нет

Есть такой код:
https://github.com/sneves/blake2-avx2
Samuel Neves присутствует в списке разработчиков на https://www.blake2.net/

Всего записей: 2386 | Зарегистр. 29-04-2013 | Отправлено: 13:17 03-02-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
EugeneRoshal
Значит можно попробовать это код применить, так как может быть прирост скорости на 6-8 полноценных ядрах с AVX2, может i7-6700K не показал ничего, так как 4 ядра с HT было. У Павла на Haswell AVX2 с большим количеством ядер AVX2 дают существенную разницу с SSE 4.1.

Всего записей: 3092 | Зарегистр. 13-10-2006 | Отправлено: 14:00 03-02-2024
EugeneRoshal

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007
Это цифры для нескольких независимых потоков данных, а нам нужно обрабатывать один поток данных.  
 
Blake2sp параллелится на 8 потоков вычислений. Если мы используем весь потенциал распараллеливания на уровне AVX2, у нас будут простаивать ядра процессора, которые могут выполнить это распараллеливание эффективнее, чем AVX2. Это Blake3 или CRC32 можно параллелить на любое количество потоков вычислений, у Blake2sp их строго 8.

Всего записей: 2386 | Зарегистр. 29-04-2013 | Отправлено: 15:16 03-02-2024
vasevase

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Потребление ОЗУ при сжатии Размер словаря    
21075.5 МБ (~20.6 ГБ) 12 ГБ    
15697.3 МБ (~15.3 ГБ) 8 ГБ    
13009.2 МБ (~12.7 ГБ) 6 ГБ    
10033.3 МБ (~9.8 ГБ) 4 ГБ    
7473.2 МБ (~7.3 ГБ) 2 ГБ    
6960.9 МБ (~6.8 ГБ) 1 ГБ    
3905.1 МБ (~3.8 ГБ) 512 МБ    
2368.3 МБ 256 МБ    
1344.8 МБ 128 МБ    
1024.8 МБ 64 МБ    
560.8 МБ 32 МБ    
320.8 МБ 16 МБ    
200.7 МБ 8 МБ    
164.8 МБ 4 МБ    
90.8 МБ 2 МБ    
53.8 МБ 1 МБ

 
WinRar 7 b1 x64, Win11 x64, max solid-сжатие, -mcx+ -mcl- -mcd- -mce-

Pasha_ZZZ, insorg

Цитата:
потребление памяти должно быть одинаковым при просто -mcl и при -mcl -mcx  

NT5.x, x86, WinRar 7 beta2 (сжатие 'максимальное'):
 
Потребление ОЗУ при сжатии Размер словаря    
2445780 КБ (~2388.4 МБ) 256 МБ    
1393844 КБ (~1361.2 МБ) 128 МБ    
1065176 КБ (~1040.2 МБ) 64 МБ    
588636 КБ (~574.8 МБ) 32 МБ    
342152 КБ (~334.1 МБ) 16 МБ    
218928 КБ (~213.8 МБ) 8 МБ    
181924 КБ (~177.6 МБ) 4 МБ    
105932 КБ (~103.4 МБ) 2 МБ    
67972 КБ (~66.4 МБ) 1 МБ

 
2445780 КБ жрёт с такими ключами:
-mcx+ -mcl- -mcd- -mce-
при solid-сжатии тестовой Wiki 557 МБ (584 229 094 байт)
{сжатие со словарями больше 256 МБ делалось на Win11 x64,
WinRar 7 x64 b1, для словарей 2 ГБ и выше также делал
несколько копий исходной Wiki, дабы не было автозанижения}.
 
2439156 КБ жрёт с такими:
-mcx- -mcl+ -mcd- -mce-
 
Так что по памяти - да, не влияет. НО [как выше писал разработчик]:
во втором случае сокращается в разы время сжатия.
Там раз в 5-8, условно. А проигрыш в размере,
если брать мой TXT - процентов пять всего: сжалось до 75506КБ = 74.7 МБ.
 
Для доп-сравнения >смотреть сюда<.
 
По сжатию тоже Евгений отвечал, вроде, перед Новым годом:
там нет чёткой «таблицы». Т.е. смотрите выше, можно прикинуть:
eсли для словаря 256 надо в 10 раз больше памяти [~2.38 ГБ],
то для "финала" уже меньше - всего в полтора. Экстраполируем.

Всего записей: 3368 | Зарегистр. 28-08-2010 | Отправлено: 16:50 03-02-2024 | Исправлено: vasevase, 12:30 05-02-2024
Pasha_ZZZ



Platinum Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
vasevase
Время понятно увеличивается, но за него никто не спрашивал.
А требования к памяти при упаковке, получается, скорей не линейно изменяются, а логарифмически.

Всего записей: 12813 | Зарегистр. 11-03-2002 | Отправлено: 17:25 03-02-2024
EugeneRoshal

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007

Цитата:
Тут от размера памяти можно отталкиваться - у тебя столько то - вот такой то словарь. Иначе уж очень большая таблица будет.

Простой формулой не получится, там влияют сразу несколько факторов: -mcl, -mcx, размер словаря. Причем размер словаря влияет нелинейно. Таблица с учетом этих факторов действительно получилась бы большая.
 
vasevase

Цитата:
-mcx+ -mcl-

-mcx принудительно включает -mcl независимо от -mcl-. Без -mcl режим -mcx был бы слишком медленным.

Всего записей: 2386 | Зарегистр. 29-04-2013 | Отправлено: 17:51 03-02-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
EugeneRoshal
У меня скорее пожелание, что бы Winrar сам правильно определял что у него есть столько памяти, на такой то словарь с mcl+/mcx+. То есть имеется 14 Гб свободной памяти, я ставлю словарь, как мне рекомендуется максимально - 6Gb с mcl+/mcx+, ничего не трогаю и система не свопится. А про AVX2 - вам виднее, конечно.
---
Хотя в моем случае - правильно определяет 16 Gb общей, 13.9 Gb свободно, 6Gb словарь с -mcl+ - 13014 Мб, даже Superfetch не включается.
Получается, память = словарь * 2 + -mcl+, наверное.

Всего записей: 3092 | Зарегистр. 13-10-2006 | Отправлено: 18:28 03-02-2024 | Исправлено: lelik007, 06:35 04-02-2024
Pasha_ZZZ



Platinum Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
EugeneRoshal
Ну хотя бы тогда несколько формул... Самая важная - требуемая память в зависимости от размера словаря.
А для -mcl/-mcx, я так понимаю, достаточно некоего поправочного коэффициента?

Всего записей: 12813 | Зарегистр. 11-03-2002 | Отправлено: 07:56 04-02-2024
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126

Компьютерный форум Ru.Board » Компьютеры » Программы » WinRAR (часть 5)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru