Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » FreeArc (часть 4)

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Открыть новую тему     Написать ответ в эту тему

Widok



Moderator-Следопыт
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Часть 1 | Часть 2 | Часть 3


Скачать последний релиз - FreeArc 0.666 от 20 мая 2010 г. Что нового: ускорение работы в 1.5-2 раза благодаря новой технологии многопоточного сжатия, распаковка архивов многих форматов используя технологии 7-zip, запуск файлов из архива, исправлены все проблемы интеграции с Explоrer (подробнее)
Текущая альфа версия: 0.67 - загрузка | список исправлений | блог


Подробное описание используемых алгоритмов
Почему он сжимает лучше и быстрее, чем 7-zip/rar...
Результаты тестов, подтверждающие его крутизну...
Почему для использования 2+ гб памяти желательно установить 64-битную версию Windows
Планы дальнейшего развития
Что подразумевается под "интеграцией с Explorer"
Старая FreeArc wiki (включая описание формата архива)
Логотип и иконки FreeArc - обсуждение того, как облагородить внешний вид программы


Сторонние оболочки для работы с FreeArc:
wArc - простая и понятная программа управления архивами (требует .NET Framework 2.0)
PeaZip - менеджер архивов с поддержкой большого количества форматов, для Windows и Linux


Родственные темы:
Inno Setup плюс внешние упаковщики - использование архивов FreeArc в инсталяторах
ISDone.dll - библиотека распаковки архивов в инсталяторах
REP & SREP
Пережатиe/Pекомпрессия/Oптимизация файлов для лучшего сжатия - "а как сжать ещё лучше?"
FreeArc и Unix - для альтернативно одарённых
• репозиторий FreeArc 'Next на github.com
• тема FreeArc 'Next на форуме encode.su
• раздел FreeArc на форуме krinkels.org

 
Другие архиваторы:
WinRAR
7-zip
PowerArchiver
HaoZip
BandiZip


Всего записей: 24190 | Зарегистр. 07-04-2002 | Отправлено: 11:36 23-11-2010 | Исправлено: Nikolai2004, 21:23 03-02-2021
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Shuld
:c по умолчанию = :l-1, округлённое вниз до ближайшей степени 2. т.е. :l512 -> :c256, :l511 -> :c256, :l513 -> :c512. весь файл разбивается на куски длины :c, и индексируются и ищутся совпадения именно среди них
 
2. дело в том, что новый REP находит меньше совпадений длины, близкой к 512 байтам (т.е. :l). но поскольку такие совпадения находятся "на грани" и частенько дают даже проигрыш, на результате rep+lzma эти проблемы REP почти не сказываются. а в связке rep+tor важнее скорость  
 
вообще, REP ещё можно улучшить, покопаться, но пока что похоже, что реальной пользы от этого почти никакой не будет
 
 

Цитата:
Как я понял по умолчанию сделали h26->h24?  

да. сейчас по умолчанию размер хеш-таблицы равен учетверённому размеру таблицы, достаточной для сохранения всех хешей чанков. чанк по умолчанию - 256 байт, соответственно при 1 гб словаре у нас 4 миллиона чанков, а хеш-таблица заводится на 16 миллионов (2^24) записей, т.е. 64 мб. при меньшем размере чанка размер хеш-таблицы по умолчанию увеличивается, но не превышает четверти размера буфера. вручную конечно можно поставить больше
 
а тебе заранее могу сказать, что выигрыша от h26 не будет, поскольку хеш-таблица индексируется хешем, имеющим максимальное значение из 256 (:c) подряд расположенных хешей. поэтому среднестатистически все хеши попадают в диапазон размером 2^32/256==2^24 варианта и больший размер хеш-таблицы при rep:1g:c256 просто почти бесполезен

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 22:17 11-01-2012
Shuld

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
С консольной версией пока проблем не заметил.
А FreeArc.exe у меня не работает. Выбираю папку, вызываю контекстное меню, запускаю , задаю -m4 и вылетает.
(Я просто скопировал  FreeArc.exe в папку програмфайл вместо декабрьского)

Всего записей: 364 | Зарегистр. 08-12-2010 | Отправлено: 17:39 12-01-2012
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Shuld
это потому что facompress.dll несовместим. скопируй его тоже

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 18:08 12-01-2012
ALExey1995



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin
Здравствуйте, решил прикрутить кодирование wav в ogg как внешний компрессор в arc.ini
 
 
[External compressor:OGG]
packcmd   = OGE -q{option} .\$$arcdatafile$$.wav .\*
unpackcmd = OGD $$arcdatafile$$.ogg
datafile   = $$arcdatafile$$.wav
packedfile = $$arcdatafile$$.ogg
solid = 0
 
 
Потом в батнике пишу  
 
arc.exe a -ep1 -dses --dirs -s; -lc- -di -i2 -r -mOGG:Q10 123456.arc sound\*
 
 
Проходит кодирование, но почему то очень низкая степень сжатия у ogg, если делать это батником то сжимает намного сильнее.
 
Ну и в конечном архиве оказываются не *.ogg  файлы а wav из папки sound.
Что я не правильно делаю? Подскажите пожалуйста.

Всего записей: 212 | Зарегистр. 07-11-2010 | Отправлено: 13:52 13-01-2012
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Проходит кодирование, но почему то очень низкая степень сжатия у ogg, если делать это батником то сжимает намного сильнее.  

попробуй для начала один файл сжать, посмотри на команду которую freearc генерит
 

Цитата:
Ну и в конечном архиве оказываются не *.ogg  файлы а wav из папки sound.  

а тебя не удивляет что при lzma компрессии в архиве оказываются исходные exe, а не какие-нибудь lzma?  это принцип работы внешних методов
 
кстати при сжатии с потерями ещё и crc при распаковке не будет сходиться

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 17:19 13-01-2012 | Исправлено: Bulat_Ziganshin, 17:21 13-01-2012
Miggo77

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Мое субъективное имхо.
Около двух лет наблюдаю за развитием FreeArc.
За это время он не снискал особой популярности среди обычных людей, скорее больше среди репакеров игр. Да, статистика показыват неплохие цифры, но как насчёт реального использования, а не однократной установки?
Понятно, что поддержка разных форматов появилась не так давно, но в ближайшее время вряд ли кто-то перейдёт на Фриарк как основной архиватор.
Опрос здесь же подтверждает http://forum.ru-board.com/topic.cgi?forum=5&topic=38271
Мне кажется в этой ситуации лучший выход был бы сменить вектор развития.
Как возможный вариант - развитие томов восстановления в виде кодов рид-соломона.
Если получится адекватная замена RAR+PAR(как по скорости, так и по сжатию), то он вполне сможет их вытеснить из usenet'а, а на данный момент не всех устраивает оригинальная пара, по скорости восстановления/создания томов для больших объемов не лучший вариант.
 
Просьба воспринимать критику в положительном ключе.

Всего записей: 42 | Зарегистр. 13-01-2012 | Отправлено: 18:00 13-01-2012
Shuld

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
это потому что facompress.dll несовместим. скопируй его тоже

 
Получилось.
 
Вот результаты с папкой, с которой старый rep1g:h24 работал плохо. Компьютер двухядерный:
Метод  время, с Размер    
(исходный) - (5 732 261 260)    
-mrep:1g+xtor:6:4m:h8m 634.03 5 368 794 202    
-mrep:1g:h25+xtor:6:4m:h8m 614.22 5 369 928 173    
-mrep:1g:h24+xtor:6:4m:h8m 613.66 5 377 994 632  

Видно, что с методом rep1g:h24 результат на 9 МБ хуже.
 
А вот с новым rep-ом и режимами c64/c128/c256:
Метод Время, с Размер    
(исходный) - 5 732 261 260    
-mrep:1g:c64+xtor:6:4m:h8m 601.61 5 368 449 132    
-mrep:1g:c128+xtor:6:4m:h8m 595.28 5 368 558 204    
-mrep:1g+xtor:6:4m:h8m 600.03 5 368 924 132  

Намного лучше!
Попробовал комбинации :c и :h, но ничего достойного упоминания не нашел.
 
Но вот что заметил.
:c256 как правило сжимает чуть хуже чем старый вариант по умолчанию
:c128 у меня всегда быстрее старого и сжимает лучше старого варианта (случайные совпадения?). Может быть лучше сделать его по умолчанию?

Всего записей: 364 | Зарегистр. 08-12-2010 | Отправлено: 20:03 13-01-2012 | Исправлено: Shuld, 20:06 13-01-2012
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
:c128 у меня всегда быстрее старого и сжимает лучше старого варианта (случайные совпадения?). Может быть лучше сделать его по умолчанию?

уже сделал
 
Добавлено:
кстати, оптимальные настройки rep-препроцессинга  для различных режимов многопоточного сжатия:
 
-m1: rep:257
-m2: rep:65
-m3: rep:33
-m4: rep:96:d4m:s32

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 20:42 13-01-2012 | Исправлено: Bulat_Ziganshin, 20:43 13-01-2012
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Выложил новый REP для тестов на http://freearc.org/download/testing/newrep.7z  

обновил архив - ускорены I/O и сам REP

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 00:24 14-01-2012
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
Выложил новый REP для тестов

Nero-9.2.6.0_trial.tar 1883МБ
arc a a -mrep:1g Nero-9.2.6.0_trial.tar
 
новый2 rep оказывае нагрузку на дискт сильнее, особенно заметно на фрагментированных файлах
 
1. фрагментирован 159 частей (забыл дефрагментировать, но оказалось полезно, для последней версии)
 
старый rep
Compressed 1 file, 1,974,371,328 => 510,572,988 bytes. Ratio 25.8%
Compression time: cpu 36.17 secs, real 60.53 secs. Speed 32,617 kB/s
 
новый rep
Compressed 1 file, 1,974,371,328 => 514,212,681 bytes. Ratio 26.0%
Compression time: cpu 34.38 secs, real 41.77 secs. Speed 47,273 kB/s
 
новый2 rep
Compressed 1 file, 1,974,371,328 => 512,900,101 bytes. Ratio 25.9%
Compression time: cpu 23.38 secs, real 61.28 secs. Speed 32,218 kB/s
 
2. дефрагментирован 1 часть
 
старый rep
Compressed 1 file, 1,974,371,328 => 510,572,988 bytes. Ratio 25.8%
Compression time: cpu 36.34 secs, real 57.05 secs. Speed 34,610 kB/s
 
новый rep
Compressed 1 file, 1,974,371,328 => 514,212,681 bytes. Ratio 26.0%
Compression time: cpu 33.70 secs, real 39.64 secs. Speed 49,807 kB/s
 
новый2 rep
Compressed 1 file, 1,974,371,328 => 512,900,101 bytes. Ratio 25.9%
Compression time: cpu 23.20 secs, real 46.63 secs. Speed 42,346 kB/s

Всего записей: 3831 | Зарегистр. 03-11-2003 | Отправлено: 01:26 14-01-2012
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
egor23
у тебя xp? диск имеет буфер какого размера? можешь протестировать на файле, целиком влезающем в дисковый кеш? словарь rep можно уменьшить. ещё лучше - с рамдиска на рамдиск

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 01:45 14-01-2012
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
3. дефрагментирован 1 часть запись на другой диск
 
старый rep
Compressed 1 file, 1,974,371,328 => 510,572,988 bytes. Ratio 25.8%
Compression time: cpu 36.28 secs, real 54.53 secs. Speed 36,206 kB/s
 
новый rep
Compressed 1 file, 1,974,371,328 => 514,212,681 bytes. Ratio 26.0%
Compression time: cpu 34.11 secs, real 39.69 secs. Speed 49,748 kB/s
 
новый2 rep
Compressed 1 file, 1,974,371,328 => 512,900,101 bytes. Ratio 25.9%
Compression time: cpu 23.03 secs, real 30.61 secs. Speed 64,502 kB/s
 
Добавлено:
Bulat_Ziganshin

Цитата:
у тебя xp? диск имеет буфер какого размера? можешь протестировать на файле, целиком влезающем в дисковый кеш? словарь rep можно уменьшить. ещё лучше - с рамдиска на рамдиск

машина старая
WinXP SP2rus
Sempron64 2500+(1868 МГц), RAM 2560Мб (415 МГц)
кэш у диск 16МБ
 
Nero-9.2.6.0_trial.001 700МБ
arc a W:\a.arc -mrep:700m Nero-9.2.6.0_trial.001
 
1. данные на HDD (закешированы) - запись на RAM-drive (RAM-drive 288МБ)
 
старый rep
Compressed 1 file, 734,003,200 => 263,593,371 bytes. Ratio 35.9%
Compression time: cpu 12.56 secs, real 12.80 secs. Speed 57,358 kB/s
 
новый rep
Compressed 1 file, 734,003,200 => 265,662,180 bytes. Ratio 36.1%
Compression time: cpu 12.36 secs, real 12.58 secs. Speed 58,356 kB/s
 
новый2 rep
Compressed 1 file, 734,003,200 => 264,563,450 bytes. Ratio 36.0%
Compression time: cpu 8.42 secs, real 8.80 secs. Speed 83,439 kB/s
 
 
2. данные на RAM-drive - запись на RAM-drive (RAM-drive 1024МБ)
завтра наверно переделаю с другим RAM-drive
 
старый rep
Compressed 1 file, 734,003,200 => 263,593,371 bytes. Ratio 35.9%
Compression time: cpu 13.02 secs, real 14.95 secs. Speed 49,087 kB/s
 
новый rep
Compressed 1 file, 734,003,200 => 265,662,180 bytes. Ratio 36.1%
Compression time: cpu 12.73 secs, real 14.34 secs. Speed 51,172 kB/s
 
новый2 rep
Compressed 1 file, 734,003,200 => 264,563,450 bytes. Ratio 36.0%
Compression time: cpu 8.88 secs, real 10.31 secs. Speed 71,176 kB/s
 
 
3. данные на HDD - запись на другой HDD (RAM-drive 1000МБ)
 
старый rep
Compressed 1 file, 734,003,200 => 263,593,371 bytes. Ratio 35.9%
Compression time: cpu 12.84 secs, real 17.94 secs. Speed 40,920 kB/s
 
новый rep
Compressed 1 file, 734,003,200 => 265,662,180 bytes. Ratio 36.1%
Compression time: cpu 11.86 secs, real 17.73 secs. Speed 41,389 kB/s
 
новый2 rep
Compressed 1 file, 734,003,200 => 264,563,450 bytes. Ratio 36.0%
Compression time: cpu 8.53 secs, real 14.67 secs. Speed 50,028 kB/s

Всего записей: 3831 | Зарегистр. 03-11-2003 | Отправлено: 01:57 14-01-2012 | Исправлено: egor23, 01:58 14-01-2012
Paramon111

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите где можно посмотреть детальную расшифровку методов сжатия? Например m1 - rep+xtor, m2 - lzp+grzip и т.д
Кстати по моим тестам rep+exe+xtor пакует лучше без увеличения времени чем просто rep+xtor.

Всего записей: 148 | Зарегистр. 13-01-2012 | Отправлено: 09:34 14-01-2012
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Paramon111
1. доку читал?
2. но он может быть хуже на не-exe данных. в общем подумаю, может так и сделаю

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 13:26 14-01-2012
Paramon111

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin
Для одиночных или текстовых файлов exe ухудшает сжатие. Есть смысл его добавлять на архив из множества разных файлов.

Всего записей: 148 | Зарегистр. 13-01-2012 | Отправлено: 14:28 14-01-2012
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
фрагментирован 159 частей

данная фрагментация получилась при распаковке Arc \ FreeArc, причём файл размазан был по всему диску. Сейчас повторил с другим архивом получил 325 частей на 1778МБ.
Фрагментация не радует.
 
FreeArc
распаковывал через контекстное меню архив Nero-10.5.10500_trial.tar.arc
указано было c:\temp\Nero-10.5.10500_trial.tar
при распаковке получил c:\temp\Nero-10.5.10500_trial.tar\Nero-10.5.10500_trial.tar

Всего записей: 3831 | Зарегистр. 03-11-2003 | Отправлено: 14:28 14-01-2012
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Paramon111
exe ухудшает сжатие для всех файлов, кроме exe/dll
 

Цитата:
Фрагментация не радует.  

раньше запись на диск шла порциями по 64кб, сейчас - 1мб. надо будет прикрутить туда setfilesize сразу после создания файла
 
Добавлено:

Цитата:
указано было c:\temp\Nero-10.5.10500_trial.tar  

там указывается каталог

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 14:39 14-01-2012
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
завтра наверно переделаю с другим RAM-drive

результаты такие-же
Primo Ramdisk Professional Edition 5.2.0
данные на RAM-drive - запись на RAM-drive (RAM-drive 1024МБ)
 
старый rep
Compressed 1 file, 734,003,200 => 263,593,371 bytes. Ratio 35.9%
Compression time: cpu 13.08 secs, real 15.13 secs. Speed 48,529 kB/s
 
новый rep
Compressed 1 file, 734,003,200 => 265,662,180 bytes. Ratio 36.1%
Compression time: cpu 12.41 secs, real 14.34 secs. Speed 51,172 kB/s
 
новый2 rep
Compressed 1 file, 734,003,200 => 264,563,450 bytes. Ratio 36.0%
Compression time: cpu 8.69 secs, real 10.23 secs. Speed 71,719 kB/s
 

Цитата:
там указывается каталог

туплю

Всего записей: 3831 | Зарегистр. 03-11-2003 | Отправлено: 16:39 14-01-2012
Paramon111

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Насчет скорости еще хотел сказать.
Исходный файл .abk 400 314 012 байт
7zip ультра lzma2 256m 273 непрерывный 2 потока - 33 394 620 байт (1087с)
freearc -max -mc-rep -mc-exe -mc-dict                 - 25 454 436 байт (123с)
Разница во времени почти в 9 раз и сжатие на 2% сильней.

Всего записей: 148 | Зарегистр. 13-01-2012 | Отправлено: 16:47 14-01-2012 | Исправлено: Paramon111, 16:49 14-01-2012
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
egor23
в общем, у тебя похоже упирается в банальную скорость rep+crc, оптимизировать i/o тут бесполезно. для интереса попробуй новый rep1 без dll - одна из оптимизаций в rep2 заключалась как раз в том, что я исключил из dll rep_compress(), поскольку он был медленней встроенного

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 16:49 14-01-2012
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Компьютерный форум Ru.Board » Компьютеры » Программы » FreeArc (часть 4)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru

Рейтинг.ru