Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » FreeArc (часть 4)

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156

Открыть новую тему     Написать ответ в эту тему

Widok



Moderator-Следопыт
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Часть 1 | Часть 2 | Часть 3


Скачать последний релиз - FreeArc 0.666 от 20 мая 2010 г. Что нового: ускорение работы в 1.5-2 раза благодаря новой технологии многопоточного сжатия, распаковка архивов многих форматов используя технологии 7-zip, запуск файлов из архива, исправлены все проблемы интеграции с Explоrer (подробнее)
Текущая альфа версия: 0.67 - загрузка | список исправлений | блог


Подробное описание используемых алгоритмов
Почему он сжимает лучше и быстрее, чем 7-zip/rar...
Результаты тестов, подтверждающие его крутизну...
Почему для использования 2+ гб памяти желательно установить 64-битную версию Windows
Планы дальнейшего развития
Что подразумевается под "интеграцией с Explorer"
Старая FreeArc wiki (включая описание формата архива)
Логотип и иконки FreeArc - обсуждение того, как облагородить внешний вид программы


Сторонние оболочки для работы с FreeArc:
wArc - простая и понятная программа управления архивами (требует .NET Framework 2.0)
PeaZip - менеджер архивов с поддержкой большого количества форматов, для Windows и Linux


Родственные темы:
Inno Setup плюс внешние упаковщики - использование архивов FreeArc в инсталяторах
ISDone.dll - библиотека распаковки архивов в инсталяторах
REP & SREP
Пережатиe/Pекомпрессия/Oптимизация файлов для лучшего сжатия - "а как сжать ещё лучше?"
FreeArc и Unix - для альтернативно одарённых
• репозиторий FreeArc 'Next на github.com
• тема FreeArc 'Next на форуме encode.su
• раздел FreeArc на форуме krinkels.org

 
Другие архиваторы:
WinRAR
7-zip
PowerArchiver
HaoZip
BandiZip


Всего записей: 24190 | Зарегистр. 07-04-2002 | Отправлено: 11:36 23-11-2010 | Исправлено: Release, 10:58 24-04-2023
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
плин у arc распаковка не работает  
зато динамик PC заливается, и в окошке консольном данные бегут

то работает распаковка, а то не работает
....
замечено
 
при распаковке, если есть файл с таким же именем, то выдаётся запрос на перезапись, то распаковка проходит нормально, а если нет, то динамик пищит...
 
Добавлено:

Цитата:
а меня FreeArc обидел,

arc тоже обижает

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 17:03 21-02-2011 | Исправлено: egor23, 21:48 21-02-2011
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
замечено  
 
при распаковке, если есть файл с таким же именем, то выдаётся запрос на перезапись, то распаковка проходит нормально, а если нет, то динамик пищит...

у FreeArc такой фокус не прокатывает
 
Добавлено:

Цитата:
замечено  
 
при распаковке, если есть файл с таким же именем, то выдаётся запрос на перезапись, то распаковка проходит нормально, а если нет, то динамик пищит...

кстати, если у 7-zip накосячишь с ком.строкой, то помимо всего, есть такое сообщение
ERROR: Идет закрытие канала.
терзают смутные сомнения, а не требуется ли "время" на открытие\закрытие канала.

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 20:07 21-02-2011
slech



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin
может подскажешь что с моим архивом не так ?
вроде всё верно сделал, да и в логе всё впорядке вроде.

Всего записей: 4893 | Зарегистр. 10-11-2004 | Отправлено: 22:08 21-02-2011
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
slech
не вижу криминала. надо попробовать самому. а ты залей архив на rghost

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 22:52 21-02-2011
Shuld

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
FreeArc0,67а (17 ноября 2010) Метод сжатия –mex5 Особенности Улучшения
Метод сжатия –mex5 полностью выглядит так:
rep:128mb+exe+delta+4x4:i0:lzma:4mb:normal:bt4:128, $obj => rep:128mb+delta+4x4:i0:lzma:4mb:normal:bt4:128, $text => dict:64mb:80%:l8192:m400:s100+lzp:64mb:90%:65:h22:d1mb+4x4:b7mb:ppmd:8:96mb:c7mb, $wav => tta, $bmp => mm+grzip:8mb:m1:l2048:h15:a
Memory for compression 740mb, decompression 751mb, cache 16mb
(Требования к памяти зависят от процессора, в данном случае Процессор i3-530, 2 ядерный, 4 поточный, Win7 32-разрядная, ОЗУ 4 ГБ)
 
1)    Основной способ сжатия: rep:128mb+exe+delta+4x4:i0:lzma:4mb:normal:bt4:128
2)    Предлагаю его модифицировать в группах exe и $obj, добавив :h32m:
rep:128mb+exe+delta+4x4:i0:lzma:4mb:h32m:normal:bt4:128
В моих тестах степень сжатия и требуемая память оставались такими же, а скорость сжатия увеличивалась примерно на 10%
3)    Для сравнения сжатие всех данных одним методом, без деления на группы:
-mrep5+exe+delta+4x4:i0:lzma:4mb:h32m:max (что полностью записывается как
-mrep:128mb+exe+delta+4x4:i0:lzma:4mb:h32m:normal:bt4:128)
 
Результаты сжатия этих трех вариантов, для одного из тестов, а именно  http://forum.ru-board.com/topic.cgi?forum=5&topic=35164&start=60#16 или http://forum.ru-board.com/topic.cgi?forum=5&topic=8076&start=720#20
Метод  time: cpu  time: real  Размер архива    Memory    Memory
                                                             for compression     for decompression
1)           1022 с    281,1 с    1 283 998 727    740mb    751mb
2)            938 c    260.1 c    1 283 998 653    740mb    751mb
3)            969 c    249.0 c    1 282 608 960    460mb    176mb
К слову, сжатие без деления на группы получилось самым быстрым, самым сильным и требует меньше всего памяти.
 
Подробности
Справедливы только для метода сжатия lzma:…:bt4 (или что то же самое lzma:…:max)
Сокращенная запись lzma:4m означает lzma:4m:h8m
Зависимость от параметра «:h» (что он означает – знает только Булат?)
для сжатия по методу вида -mrep5+exe+delta+4x4:i0:lzma:4mb:h32m:max
 
Метод               time: cpu    time: real    Размер архива    Memory    Memory
                                                                              for compression    for decompression
4m:h64m:max             961 с    251,4 с    1 282 608 956    588mb    176mb
…:h32m:…                  968 c    249.8 c    1 282 608 960    460mb    176mb
…:h16m:…                  995 c    259.2 c    1 282 608 850    396mb    176mb
…:h8m:…                  1054 c    270,8 с    1 282 609 260    364mb    176mb
…:h4m:…                  1153 с    295,0 с    1 282 613 168    348mb    176mb
Результаты тестов повторялись на различных данных.
 
Общая характеристика метода –mex5
Метод не отличается эффективностью, и если только позволяет объем ОЗУ, лучше пользоваться более эффективными методами –mex6, –mex7 или –mex8.
 
Булат
Просьба оценить мои результаты для использования в FreeArc.

Всего записей: 364 | Зарегистр. 08-12-2010 | Отправлено: 13:51 23-02-2011 | Исправлено: Shuld, 14:10 23-02-2011
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
:h означает размер хеша (на каждый тред сжатия, их в твоём случае создаётся 4). посмотри использование памяти в taskman
 
потребление памяти согласно показаниям самого freearc не изменяется потому, что текстовое сжатие настроено на использование ещё большего объёма памяти:
 
C:\!\FreeArchiver\Tests>Arc.exe -mrep:128mb+exe+delta+4x4:i0:lzma:4mb:normal:bt4:128 a a -di                  
Memory for compression 364mb, decompression 176mb, cache 16mb                                                
                                                                                                             
C:\!\FreeArchiver\Tests>Arc.exe -mrep:128mb+exe+delta+4x4:i0:lzma:4mb:h32m:normal:bt4:128 a a -di            
Memory for compression 460mb, decompression 176mb, cache 16mb                                                
                                                                                                             
C:\!\FreeArchiver\Tests>Arc.exe a a -di -mex5            
Memory for compression 740mb, decompression 751mb, cache 16mb                                                
 
Добавлено:

Цитата:
lzma:…:bt4 (или что то же самое lzma:…:max)  

это не одно и то же. max=normal:128

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 14:30 23-02-2011
Shuld

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Да, понимаю.
По памяти мы чуть-чуть выйдем за текстовое сжатие при -mrep5+exe+delta+4x4:i0:lzma:8mb:h64m:max  
 
Метод               time: cpu    time: real    Размер архива    Memory    Memory  
                                                                              for compression    for decompression  
8m:h64m:max             999 с    256,1 с    1 276 886 566    748mb    212mb  
 
И это еще эффективней.
Только тогда всю линейку надо сдвигать, так как -mex6 использует подобный режим (а точнее, хуже этого).
 
Про max=normal:128. Насколько я понимаю, normal - это не bt4. Тогда уж max=normal:bt4:128
(Со всем приходится долго разбираться, поскольку четких описаний нет).

Всего записей: 364 | Зарегистр. 08-12-2010 | Отправлено: 19:33 23-02-2011 | Исправлено: Shuld, 20:03 23-02-2011
ALExey1995



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Всех с праздником

Всего записей: 212 | Зарегистр. 07-11-2010 | Отправлено: 20:10 23-02-2011
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
SREP 2.93 alpha:
 
    * compression: unrolled internal loop, unrolling factor is defined by -a option
    * compression: I/O and md5/sha1 tasks are offloaded to separate thread
    * compression: memory-mapped file used for match checking
    * compression: now memory usage printed exactly
 
Compression made 2-3x faster compared to srep 2.0
 
Memory usage was also increased (and compression factor decreased a tiny bit). You may restore them back to old values with -a1 option
 
Memory-mapped files usage may be supressed by -nommap option. Please experiment with it and say whether it may improve speed in some situations

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 23:04 23-02-2011
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
* compression: unrolled internal loop, unrolling factor is defined by -a option
 * compression: memory-mapped file used for match checking  
а можно поподробней? А то не понятно ни принципа, ни смысла)

Цитата:
* compression: I/O and md5/sha1 tasks are offloaded to separate thread
а что ж декомпрессию стороной обошел?)
 
З.Ы. Спасибо за релиз)

----------
переехал сюда

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 11:05 24-02-2011 | Исправлено: Profrager, 11:08 24-02-2011
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
а что ж декомпрессию стороной обошел?)  

я и так со сжатием достаточно повозился
 

Цитата:
а можно поподробней? А то не понятно ни принципа, ни смысла)  

можешь посмотреть исходники, а ещё лучше - патчи в svn
 
1. процесс сжатия для каждого байта проверяет, не был ли похожий 512-байтный блок раньше. эта проверка требует обращения к памяти (мимо cpu cache), а это очень дорогая операция - считай мы 5 тактов тратим на все вычисления и 50 на эту проверку. я использовал технику, которая позволяет сократить число этих проверок в 2-16 раз за счёт использования большего объёма памяти
 
2. одна из причин медлительности сжатия - чтение из сжимаемого файла небольших блоков данных в случайном порядке, что приводит к OS-level call. вместо чтения я отображаю весь файл на память и дальше просто сравниваю участки памяти

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 11:24 24-02-2011
ruduk

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
вместо чтения я отображаю весь файл на память и дальше просто сравниваю участки памяти

а что если при распаковке создать нечто вроде "списка" с записями типа 1, 2, 3 ,  
где  1) - здесь оригинальные данные, к которыйм еще нет совпадений
2) - здесь данные повторяют оригинальные данные из 1)
3) - здесь часть данных (или пару байт) из 1)
 
и при прочтении списка сразу знать, что нужно прочитать, а потом по этому "списку" в памяти "формировать" готовый участок памяти, пускай даже блоками по 8Мб, типа 1122121232333, который позже брать и писать в файл.  
Извини, если недоходчиво изложил идею

Всего записей: 123 | Зарегистр. 08-02-2009 | Отправлено: 13:15 24-02-2011
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
Memory usage was also increased (and compression factor decreased a tiny bit). You may restore them back to old values with -a1 option

а чего тогда в 2.93 -a1 памяти требуется больше, чем в 2.92?
и вроде медленней немного работает
 
лог..
 

Цитата:
 compression: memory-mapped file used for match checking


Цитата:
Compression made 2-3x faster compared to srep 2.


прирост 2х (-m3f) есть, а воспользоваться на реальных много ГБ данных скорее всего неполучиться, очень жалко HDD, на тестовом подопытном xcmd.TAR.pcf "HDD хрустит прилично", после ~2300МБ infile (столько примерно свободно памяти до начала).
 
Добавлено:

Цитата:
220 mb, -m3f -l512 -c256 -a1

нет упоминаний про -nommap

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 14:51 24-02-2011 | Исправлено: egor23, 14:55 24-02-2011
slech



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
slech
не вижу криминала. надо попробовать самому. а ты залей архив на rghost

 
8 частей по 50 Мб

Всего записей: 4893 | Зарегистр. 10-11-2004 | Отправлено: 14:59 24-02-2011
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
прирост 2х (-m3f) есть

это на "небольших данных"

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 15:03 24-02-2011
andhunt

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Скажите, пожалуйста, как сделать автозапуск файлов после самораспакования архива, т.е. чтобы не только распаковывал, но и сразу потом он запускал то что распаковал?
Помогите разработчки софта реализовать данную функцию или может сторонние прогеры знают как сделать это, готов заплатить за данную функцию?
 
Оставьте контакты для связи (желательно icq)

Всего записей: 9 | Зарегистр. 24-02-2011 | Отправлено: 17:43 24-02-2011
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
а чего тогда в 2.93 -a1 памяти требуется больше, чем в 2.92?  

потому что сейчас выводится вся использщуемая память - включая 33 мб I/O буферов. раньше их было 16.5 мб
 

Цитата:
прирост 2х (-m3f) есть, а воспользоваться на реальных много ГБ данных скорее всего неполучиться, очень жалко HDD

если не хватает озу, то нужно использовать -a1 и/или -m1. кроме того, я нашёл проблему в -m3, в след. версии будет гораздо быстрее, надеюсь что на уровне -m2 -l256
 

Цитата:
нет упоминаний про -nommap

хочу сделать, но это не так просто - mmap может быть отключен из-за нехватки адресного пространства и происходит это позже печати этой строчки
 
Добавлено:

Цитата:
лог..  

без -nommap будет гораздо быстрее

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 19:01 24-02-2011
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
без -nommap будет гораздо быстрее

у меня нервы треск HDD не выдержали

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 19:13 24-02-2011
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
 как сделать автозапуск файлов после самораспакования архива

faq в заголовке темы. причитающущюся мне сумму плиз отправь сразу сюда - http://svp-help.narod.ru/index.html?donation.htm (кстати, это ко всем относится)
 
Добавлено:

Цитата:
у меня нервы треск HDD не выдержали

ну хотя бы первый гиг дождись пока обработается с этой опцией и без неё. я так делал

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 19:27 24-02-2011
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
 http://svp-help.narod.ru/index.html?donation.htm (кстати, это ко всем относится)

А это что?

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 20:14 24-02-2011
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156

Компьютерный форум Ru.Board » Компьютеры » Программы » FreeArc (часть 4)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru