Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » FreeArc (часть 4)

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Открыть новую тему     Написать ответ в эту тему

Widok



Moderator-Следопыт
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Часть 1 | Часть 2 | Часть 3


Скачать последний релиз - FreeArc 0.666 от 20 мая 2010 г. Что нового: ускорение работы в 1.5-2 раза благодаря новой технологии многопоточного сжатия, распаковка архивов многих форматов используя технологии 7-zip, запуск файлов из архива, исправлены все проблемы интеграции с Explоrer (подробнее)
Текущая альфа версия: 0.67 - загрузка | список исправлений | блог


Подробное описание используемых алгоритмов
Почему он сжимает лучше и быстрее, чем 7-zip/rar...
Результаты тестов, подтверждающие его крутизну...
Почему для использования 2+ гб памяти желательно установить 64-битную версию Windows
Планы дальнейшего развития
Что подразумевается под "интеграцией с Explorer"
Старая FreeArc wiki (включая описание формата архива)
Логотип и иконки FreeArc - обсуждение того, как облагородить внешний вид программы


Сторонние оболочки для работы с FreeArc:
wArc - простая и понятная программа управления архивами (требует .NET Framework 2.0)
PeaZip - менеджер архивов с поддержкой большого количества форматов, для Windows и Linux


Родственные темы:
Inno Setup плюс внешние упаковщики - использование архивов FreeArc в инсталяторах
ISDone.dll - библиотека распаковки архивов в инсталяторах
REP & SREP
Пережатиe/Pекомпрессия/Oптимизация файлов для лучшего сжатия - "а как сжать ещё лучше?"
FreeArc и Unix - для альтернативно одарённых
• репозиторий FreeArc 'Next на github.com
• тема FreeArc 'Next на форуме encode.su
• раздел FreeArc на форуме krinkels.org

 
Другие архиваторы:
WinRAR
7-zip
PowerArchiver
HaoZip
BandiZip


Всего записей: 24190 | Зарегистр. 07-04-2002 | Отправлено: 11:36 23-11-2010 | Исправлено: Nikolai2004, 21:23 03-02-2021
Shuld

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
FreeArc0,67а (18 марта 2011) Метод сжатия –mex7 Особенности Улучшения
 
Ранее я исследовал метод –mex5
http://forum.ru-board.com/topic.cgi?forum=5&topic=35164&start=280#6
Сейчас предлагаю результаты исследования –mex7.
 
Метод сжатия –mex7 полностью выглядит так:
rep:512mb+exe+delta+4x4:i0:lzma:16mb:normal:bt4:128, $obj => rep:512mb+delta+4x4:i0:lzma:16mb:normal:bt4:128, $text => dict:128mb:80%:l8192:m400:s100+lzp:160mb:92%:145:h23:d1mb+tempfile+4x4:t3:i0:b7mb:ppmd:16:384mb:c7mb, $wav => tta, $bmp => mm+grzip:8mb:m1:l2048:h15:a
Memory for compression 1420mb, decompression 1199mb, cache 256kb
(Требования к памяти зависят от процессора, в данном случае Процессор i3-530, 2 ядерный, 4 поточный, Win7 32-
разрядная, ОЗУ 4 ГБ)
 
1)    Основной способ сжатия: rep:512mb+exe+delta+4x4:i0:lzma:16mb:normal:bt4:128
При этом параметром по умолчанию для LZMA является :h32mb:
2)    Можно его модифицировать в группах exe и $obj, указав :h64m:
rep:512mb+exe+delta+4x4:i0:lzma:16mb:h64m:normal:bt4:128
В моих тестах степень сжатия оставалась такой же, скорость сжатия увеличивалась примерно на 6%, но требуемая память немного увеличивалась, до 1548 МБ
3)    Альтернативное сжатие всех данных одним методом, без деления на группы:
-m7rep+xlzma:16m:h64m:max (что полностью записывается как
-mrep:512mb+4x4:lzma:16mb:h64m:normal:bt4:128)
 
Результаты сжатия этих трех вариантов, для одного из тестов, а именно http://forum.ru-board.com/topic.cgi?forum=5&topic=35164&start=80#13 или http://forum.ru-board.com/topic.cgi?forum=5&topic=8076&start=720#21
Метод    time: cpu  time: real  Размер архива    Memory   Memory
                                                              for compression   for decompression
1)             628 с    184.8 с    846 822 405    1420 mb    1199 mb
2)             588 c    174.9 c    846 822 238    1548 mb    1199 mb
3)             585 c    149.4 c    845 267 002    1604 mb    732 mb
Альтернативное сжатие без деления на группы получилось самым быстрым и самым сильным. (Памяти использует чуть больше из-за исключения параметра :i0:. При желании его можно добавить в строку.)
В стандартном варианете –mex7 деление на группы при сжатии, видимо уменьшает эффективность использования rep! Мне кажется, что деление на группы эффективно только на очень больших объемах данных?!
 
Подробности.
Справедливы только для метода сжатия lzma:…:bt4 (может задаваться в виде lzma:…:max)
Сокращенная запись lzma:16m означает lzma:16mb:h32mb
Зависимость от параметра «:h» (размер хеша)
для сжатия по методу вида –m7rep+exe+delta+4x4:lzma:16mb:h32m:max
Метод           time: cpu  time: real  Размер архива Memory Memory
                                                                   for compression   for decompression
16m:h128m:max    599 с    179 с    845 250 025    1220 mb    740 mb
…:h64m:…            599 с    153 c    845 250 044    1612 mb    740 mb
…:h32m:…            641 c    163 c    845 250 196    1484 mb    740 mb
…:h16m:…            718 c    182 с    845 251 214    1420 mb    740 mb
…:h8m:…              831 c    211 с    845 250 912    1388 mb    740 mb
Отмечу, что при параметре :h128m: (и более) создавался tempfile, что приводило к заметному увеличению реального времени сжатия, при уменьшении требований к памяти. С точки зрения оптимального соотношения время/степень сжатия такие режимы я исследую отдельно, и выложу позже.
Отмечу так же, что строка 2 отличается от метода 3) в первой таблице наличием exe+delta. Это привело к увеличению времени 149 -> 153, но улучшению сжатия на 16 кб.
 
Общая характеристика метода –mex7
Метод отличается эффективностью, в основных режимах сжатия использует практически всю память и 4 потока, и если только позволяет объем ОЗУ, предпочтительней, чем методы –mex5, –mex6.
 
Булат
Просьба оценить мои результаты для использования в FreeArc.

Всего записей: 364 | Зарегистр. 08-12-2010 | Отправлено: 10:40 24-04-2011 | Исправлено: Shuld, 11:23 24-04-2011
vasulpr

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Каким параметром включить использование в ФА срепа вместо репа?

Всего записей: 126 | Зарегистр. 27-03-2011 | Отправлено: 20:53 24-04-2011
alexseb2007



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
m7rep

на этот параметр ругается чего-то арк...

Всего записей: 94 | Зарегистр. 15-06-2007 | Отправлено: 14:46 26-04-2011
Shuld

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
-m7rep
?

Всего записей: 364 | Зарегистр. 08-12-2010 | Отправлено: 19:45 26-04-2011
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
alexseb2007
читай внимательно:

Цитата:
-m7rep+xlzma:16m:h64m:max (что полностью записывается как
-mrep:512mb+4x4:lzma:16mb:h64m:normal:bt4:128)  

 
да и в любом случае, я тебе не советую в этом копаться без понимания...
 
 

Цитата:
В стандартном варианете –mex7 деление на группы при сжатии, видимо уменьшает эффективность использования rep! Мне кажется, что деление на группы эффективно только на очень больших объемах данных?!  

деление на группы позволяет назначить каждой группе наилучший алгоритм сжатия но с другой стороны не даёт использовать первую группу как словарь для второй. результат - будет лучше или хуже - зависит от везения (т.е. от данных). идеально было бы заменить bcj на алгоритм, который применяет преобразование поблочно по мере необходимости и выдаёт все данные в один выходной поток
 
методы -mex5..9 сделаны как раз для разных объёмов памяти. т.е. если тебе не нравится mex7 - используй mex8 и т.д.
 
Добавлено:
vasulpr
только ручными настройками. после чего тебе для распаковки нужен будет srep в путях и достаточное место под временные файлы

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 19:58 26-04-2011
xanloz



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
а как фриарк включить в скрипт?

Всего записей: 67 | Зарегистр. 13-06-2010 | Отправлено: 20:29 26-04-2011
juvaforza

BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
xanloz
На шапку взгляните:
Цитата:
Inno Setup плюс внешние упаковщики - использование архивов FreeArc в инсталяторах

Всего записей: 2895 | Зарегистр. 26-11-2005 | Отправлено: 20:46 26-04-2011
xanloz



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
juvaforza
я уже пробовал, у меня чёт не выходит, может поможете включить в скрипт?

Всего записей: 67 | Зарегистр. 13-06-2010 | Отправлено: 20:52 26-04-2011
Shuld

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
методы -mex5..9 сделаны как раз для разных объёмов памяти. т.е. если тебе не нравится mex7 - используй mex8 и т.д.  

 
Хотел выяснить Ваше отношение к возникающей здесь проблеме.
 
Во времена 32-разрядных ОС и одноядерных процессоров все было просто - больше словарь - лучше сжатие.
Но сейчас времена изменились - широко используются многоядерные процессоры.
А доступный объем памяти в 32-разрядных ОС остался на уровне 2 ГБ (Ну 3 ГБ, в специфических случаях).
Поэтому эффективное использование, скажем 4-х ядерных (поточных) процессоров возможно только до предела, когда каждый поток занимает 400 МБ (=2 ГБ - нужды системы/4). При дальнейшем увеличении словаря, для потока нужно больше памяти и приходится уменьшать число потоков до 2 (или 1).
 
Вот она дилемма:
Или многопоточность (эффективность)  <-> или сильное сжатие, но при слабом использовании процессора!!!
В том же -mex9 идет уже только 2 потока! И время резко увеличивается.
 
Может ли эта проблема быть решена в 64-разрядных ОС? Там для одной задачи все равно ограничение памяти 2 ГБ.
Слышал, что в 64-разрядной 7zip размер словаря увеличен по сравнению с 32-х разрядной.

Всего записей: 364 | Зарегистр. 08-12-2010 | Отправлено: 20:57 26-04-2011 | Исправлено: Shuld, 21:13 26-04-2011
xanloz



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
я не знаю как фриарк включить в скрипт мож кто-нибудь поможет?

Всего записей: 67 | Зарегистр. 13-06-2010 | Отправлено: 21:20 26-04-2011
Shuld

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
деление на группы позволяет назначить каждой группе наилучший алгоритм сжатия но с другой стороны не даёт использовать первую группу как словарь для второй. результат - будет лучше или хуже - зависит от везения (т.е. от данных)

 
Идея понятна.
Но у меня, что на работе, что дома, ВСЕГДА без деления на группы получается лучше. И пока ни разу - наоборот! Что меня очень удивляет!
Вы не пробовали проверить и сравнить мой альтернативный вариант на своих данных?
 
А может быть, кто из пользователей сравнит и напишет, как получается?

Всего записей: 364 | Зарегистр. 08-12-2010 | Отправлено: 21:22 26-04-2011 | Исправлено: Shuld, 21:32 26-04-2011
alexseb2007



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
проверил данный алгоритм... на игровых данных кризиса проверял... на 10-15% хуже оказался чем нормальные алгоритмы... так что не стоет его включать его в общую схему.....

Всего записей: 94 | Зарегистр. 15-06-2007 | Отправлено: 02:55 27-04-2011
Shuld

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Какой исходный объем и сжатый?

Всего записей: 364 | Зарегистр. 08-12-2010 | Отправлено: 17:21 27-04-2011
toob



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Извиняюсь, помогите решить проблему, надо распаковать архив bin 1.2 гигабайт. Но FreeArc его не распаковывает, жалуясь что то там can't allocate память и распаковку прекращает. Он требует вроде 1gb свободной памяти, но столько свободной нету. Я пробовал распаковывать с ключом -lc, но всё равно так же жалуется. А по одному файлу он всё таки распаковывает, файлов только много, так не удобно. help

Всего записей: 374 | Зарегистр. 20-05-2008 | Отправлено: 18:28 27-04-2011 | Исправлено: toob, 18:29 27-04-2011
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
 у меня, что на работе, что дома, ВСЕГДА без деления на группы получается лучше.  

 
ну например возьми группу obj-файлов сожми. вообще, какие у тебя файлы в группу obj попадают?
 

Цитата:
надо распаковать архив bin 1.2 гигабайт. Но FreeArc его не распаковывает, жалуясь что то там can't allocate память и распаковку прекращает. Он требует вроде 1gb свободной памяти,

 
распакуй на другой машине, желательно с 64-битной ОС. какое значение на последней закладке в Settings? что даёт arc lt на этом файле?

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 21:13 27-04-2011
Shuld

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
ну например возьми группу obj-файлов сожми. вообще, какие у тебя файлы в группу obj попадают?  

 
Поясняю.
Те папки, которые я беру для тестирования - все мои реальные, для которых мне как раз и нужна резервная копия, и собственно архиватор.
Мне не интересно экспериментировать на фильмах, музыке и т.п. что мне не нужно.
А мои реальные папки, как ни странно (!) содержат файлы из Excel, Word, Компаса и Корела, PDF, rar, zip, и т.п.
И это не должно быть удивительно. (в группе obj наверное ничего нет)

Всего записей: 364 | Зарегистр. 08-12-2010 | Отправлено: 10:58 28-04-2011 | Исправлено: Shuld, 11:22 28-04-2011
toob



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Bulat_Ziganshin распакуй на другой машине, желательно с 64-битной ОС. какое значение на последней закладке в Settings? что даёт arc lt на этом файле?
На другом компьютере можно было бы тоже попробовать, но пока надо на этом распаковать. На последней вкладке значится 1298mb. arc lt не знаю, попробую.
 

Всего записей: 374 | Зарегистр. 20-05-2008 | Отправлено: 12:49 28-04-2011
toob



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
FreeArc 67a всё тки распаковал с ключом -lc300m

Всего записей: 374 | Зарегистр. 20-05-2008 | Отправлено: 23:16 28-04-2011
byExit

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin
Не знаю, но вроде баг:
Метод rep неправильно пакует cab архивы, если использовать его без дополнительных методов. На выходе получается архив с содержимым cab архива (первого обрабатываемого, если их несколько).  
Как ни странно, такой архив даже открывается 7-zip'ом. В свойствах 7-zip и FA показывают, что это cab архив.
 
Тестировал на версии 0.67a (18.03.2011)

Всего записей: 13 | Зарегистр. 29-03-2011 | Отправлено: 23:46 03-05-2011
Spate



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
byExit

Цитата:
Не знаю, но вроде баг:
Метод rep неправильно пакует cab архивы, если использовать его без дополнительных методов. На выходе получается архив с содержимым cab архива (первого обрабатываемого, если их несколько).  

Распаковывается нормально? Значит это не баг, а фича.

----------
Core i5 2500K, ASUStek P8P67 Pro, Sapphire HD6970, 8Gb RAM, HDD Hitachi P7K500, W7

Всего записей: 584 | Зарегистр. 15-01-2003 | Отправлено: 05:49 04-05-2011
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Компьютерный форум Ru.Board » Компьютеры » Программы » FreeArc (часть 4)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru

Рейтинг.ru