Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » FreeArc: бесплатный open-source архиватор - Часть 2

Модерирует : gyra, Maz

Widok (07-09-2009 19:15): Лимит страниц. Продолжаем здесь.  Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102

   

Widok



Moderator-Следопыт
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

FreeArc
бесплатный open-source архиватор для Windows и Linux,
сочетающий высокую степень сжатия и большой набор возможностей


Официальный сайт | Скриншоты | Скачать
Документация на консольную версию | Документация на GUI версию
Сообщество пользователей FreeArc | Вики | Трекер (рассылка по ошибкам)
Проект на SourceForge.net | SVN-репозиторий | Поддержка InnoSetup
Обсуждение на encode.ru (англоязычное)

Скачать последний релиз - FreeArc 0.51 от 28 апреля 2009 г. Что нового: GUI с 14 локализациями, SFX/инсталятор, авто-определение типов файлов, очередное увеличение скорости и сжатия, словарь в lzma до 1 гб, исправлено 5 ошибок (рас)паковки (подробнее)
 
Текущая альфа версия: скачать (распаковывать поверх установленного FreeArc 0.51). Список исправлений, блог

MiniFAQ...

Подробное описание используемых алгоритмов
Почему он сжимает лучше и быстрее, чем 7-zip/rar...
Результаты тестов, подтверждающие его крутизну...
Почему для использования 2+ гб памяти желательно установить 64-битную версию Windows
Планы дальнейшего развития
Что подразумевается под "интеграцией с Explorer"
Старая FreeArc wiki (включая описание формата архива)
Логотип - объявляется конкурс на иконки для FreeArc

Сторонние оболочки для работы с FreeArc
wArc - простая и понятная программа управления архивами (требует .NET Framework 2.0)
PeaZip - менеджер архивов с поддержкой большого количества форматов, для Windows и Linux

Всего записей: 24190 | Зарегистр. 07-04-2002 | Отправлено: 12:02 30-01-2009 | Исправлено: Bulat_Ziganshin, 22:15 30-08-2009
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
spider91

Цитата:
скульптуры при том же наборе файлов 2.75gb, только он пожал игру с помощью xdelta но хз какие параметры он юзал.

у xdelta не так много настроек, которые имеет смысл крутить

Цитата:
memory options:
   -B bytes     source window size
   -W bytes     input window size
compression options:
....
   -S [djw|fgk] enable/disable secondary compression
   -N           disable small string-matching compression
   -D           disable external decompression (encode/decode)
   -R           disable external recompression (decode)
....
 

а так в *.bat файле вся хитрость изложена:
начну с конца распаковки (или с начала сжатия)
имеем три архива
nativePC.7z.001 1000МБ - 7-zip архив без сжатия
nativePC.7z.002 1000МБ
nativePC.7z.003 1000МБ
nativePC.7z.004 799МБ
nativePC2.zip     2942МБ - 7-zip архив без сжатия
data31.arc         586МБ   - lzma:604mb:max:ht4:128:mc1 (внутри video\audio практически несжимаемые)
с помощью xdelta строим разницы:
nativePC.7z.001 nativePC.7z.002 nativePC.7z.002d
nativePC.7z.001 nativePC.7z.003 nativePC.7z.003d
nativePC.7z.001 nativePC.7z.004 nativePC.7z.004d
 
nativePC.7z.001 nativePC2.zip nativePC2.001d
nativePC.7z.002 nativePC2.001d nativePC2.001d.002d
nativePC.7z.003 nativePC2.001d.002d nativePC2.001d.002d.003d
nativePC.7z.004 nativePC2.001d.002d.003d nativePC2.001d.002d.003d.004d
 
nativePC2.001d.002d.003d.004d разрезается на три куска
nativePC2.001d.002d.003d.004d.001
nativePC2.001d.002d.003d.004d.002
nativePC2.001d.002d.003d.004d.003
 
с помощью xdelta строим разницы:
nativePC2.001d.002d.003d.004d.001 nativePC2.001d.002d.003d.004d.002 nativePC2.001d.002d.003d.004d.002d
nativePC2.001d.002d.003d.004d.001 nativePC2.001d.002d.003d.004d.003 nativePC2.001d.002d.003d.004d.003d
nativePC2.001d.002d.003d.004d.002d nativePC2.001d.002d.003d.004d.003d nativePC2.001d.002d.003d.004d.003dd
 
далее непоянтное действие по переименовыванию файлов:
ren nativePC2.001d.002d.003d.004d.002d nativePC2.001d.002d.003d.004d.002d.hh
ren nativePC2.001d.002d.003d.004d.003dd nativePC2.001d.002d.003d.004d.003dd.hh
 
В итоге имеем:
data11.arc 267МБ - lzma:650mb:max:ht4:128:mc1 (внутри nativePC.7z.001)
data12.arc 553МБ - lzma:650mb:max:ht4:128:mc1 (внутри nativePC.7z.002d nativePC.7z.003d nativePC.7z.004d)
data21.arc 450МБ - lzma:650mb:max:ht4:128:mc1 (внутри nativePC2.001d.002d.003d.004d.001)
data22.arc 904МБ - lzma:650mb:max:ht4:128:mc1 (внутри nativePC2.001d.002d.003d.004d.002d.hh nativePC2.001d.002d.003d.004d.003dd.hh)
data31.arc 586МБ - lzma:604mb:max:ht4:128:mc1 (внутри video\audio практически несжимаемые)

setup_rip.bat..

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 01:12 09-06-2009
spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
egor23
 
ну ето понятно, но хотелось бы и фа пожать так же
 

Цитата:
setup_rip.bat..

 
зачем ето? ето ведь батник распаковки а не упаковки и я его не раз видел

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 02:13 09-06-2009
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
а какой максимум для mc? и как ето влияет на память для упаковки/распаковки?

оптимум обычно 64-256. на память не влияет

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 09:21 09-06-2009
spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin
 
 

Цитата:
оптимум обычно 64-256. на память не влияет

 
 
ок, а как насчет времени?

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 10:39 09-06-2009
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
ок, а как насчет времени?

время упаковки увеличится на порядок, распаковки не изменится. mc можно делать до 16384 как минимум, но где в районе 1000 сжатие начинает ухудшаться
 
Добавлено:

Цитата:
с помощью xdelta строим разницы:  

одним словом, здесь помог бы обычный rep со словарём гига на 4. или переупорядочивающий rep, который мы здесь как-то обсуждали

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 14:22 09-06-2009
spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin
 
 
спасибо, буду пробовать

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 15:43 09-06-2009
juvaforza

BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin
Загляните, пожалуйста, в тему о PeaZip.

Всего записей: 2895 | Зарегистр. 26-11-2005 | Отправлено: 18:41 09-06-2009
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
spider91

Цитата:
зачем ето? ето ведь батник распаковки а не упаковки и я его не раз видел

Вы видели, другие нет...

Цитата:
ну ето понятно, но хотелось бы и фа пожать так же

так же, только за счёт увеличения словаря
 
spider91

Цитата:
сегодня чуть позже попробую с -mrep:512m:a99 и потом -mlzma:512m:a2:128:mc2  но думаю что ето не уменьшит размер почти на 1гб


Цитата:
rep:200m:a99+lzma:512m:a2:128:mc2  

три репа дадут - 3058МБ, а стремимся мы к 2759МБ, т.е. получили на 300МБ больше.
rep:650m+rep:650m+rep:650m
rep:650mb: 3.714.544.859 bytes (3542МБ)
rep:650mb: 3.276.345.868 bytes (3125МБ)
rep:650mb: 3.206.829.410 bytes (3058МБ)
 
дожатие lzma:650m:a2:128:mc2 не имеет практического смысла - трата времени
с другими настройками возможно будет небольшой смысл, но за счёт существенных временных затрат.
 
Вообще советую проверять данные на "явную избыточность" прогнав несколько раз rep
в примере размер хэша h26 (256МБ) - из-за того что памяти мало.
 
Arc.exe a a_rep5.arc -mrep:1600m:h26+tempfile+rep:1600m:h26+tempfile+rep:1600m:h26+
tempfile+rep:1600m:h26+tempfile+rep:1600m:h26 nativePC2\ -di -di+%$# -lc- -ld-
 
    rep:1600mb:h26: 3.264.303.961 bytes (3113МБ)
    rep:1600mb:h26: 2.933.355.567 bytes (2797МБ)
    rep:1600mb:h26: 2.890.584.821 bytes (2757МБ)
    rep:1600mb:h26: 2.888.545.094 bytes (2755МБ)
    rep:1600mb:h26: 2.888.544.560 bytes (2755МБ)
 
Bulat_Ziganshin
столкнулся с непоняткой
на втором rep вылетает ошибка:
 
Arc.exe a a_rep5.arc -mrep:1800m:h26+tempfile+rep:1800m:h26+tempfile+rep:1800m:h26+
tempfile+rep:1800m:h26+tempfile+rep:1800m:h26 nativePC2\ -di -di+%$# -lc- -ld-
 
Compressing 2.205 files of 7.702.106.956 bytes: 2.20 secs
  Using rep:1800mb:h26+tempfile+rep:1800mb:h26+tempfile+rep:1800mb:h26+tempfile+
rep:1800mb:h26+tempfile+rep:1800mb:h26
  Memory for compression 2056mb, decompression  10.2%
ОШИБКА: невозможно выделить память, необходимую для (рас)паковки в rep:1800mb:h26
 
покумекав пришёл к выводу:
есть блоки памяти
2047МБ
1650МБ(+\- )
 
если поставить rep:1600mb:h26 всё проходит нормально
а если rep:1670mb:h26, то
 
Compressing 2.205 files of 7.702.106.956 bytes: 2.13 secs
  Using rep:1670mb:h26+tempfile+rep:1670mb:h26+tempfile+rep:1670mb:h26+tempfile+
rep:1670mb:h26+tempfile+rep:1670mb:h26
  Memory for compression 1926mb, decompression  10.2%
ОШИБКА: невозможно выделить память, необходимую для (рас)паковки в rep:1670mb:h26

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 18:53 09-06-2009 | Исправлено: egor23, 19:59 09-06-2009
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
ОШИБКА: невозможно выделить память, необходимую для (рас)паковки в rep:1670mb:h26

да, странно. первым выделяется буфер, так что проблем вроде быть не должно. может, опять дело в фрагментации? если только один rep оставить - всё будет ok?
 
Добавлено:
и кстати попробуй для интереса без facompress

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 23:11 09-06-2009
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
да, странно. первым выделяется буфер, так что проблем вроде быть не должно. может, опять дело в фрагментации? если только один rep оставить - всё будет ok?

так на втором rep-е вылазеет, первый rep отработал нормально.

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 23:34 09-06-2009
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ну так фрагментация. выделили буфер, после него 1 мб для хаскельных нужд, затем возвратили буфер, выделили ещё один мег для хаскела из его начала - и всё, бинго! возможно, это и есть причина наблюдавшихся мною сбоев в -mx
 
без facompress что?

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 00:06 10-06-2009
spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
egor23
 
а сколько выше описаный тобой способ требует памяти для распаковки?
 
Bulat_Ziganshin
 
я пожал 1.7гб разных файлов с параметрами
 

Код:
arc a -s -dses -lc -m=rep:200m:a99+lzma:512m:a2:128:mc2

 
и получил архив на 676мб. поменял mc2 на mc20 и получил архив на 755мб, как такое может быть?

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 00:24 10-06-2009
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
поменял mc2 на mc20

а 20 - это какая степень двойки?
 
Добавлено:
хотя я вижу, что я сам неясно написал. там только степени двух могут быть, а точнее hashsize/mc должен быть степенью двух

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 00:28 10-06-2009
spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin
 
 
а попонятней можно? я не оч понял

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 00:42 10-06-2009
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
степени двойки - это 1,2,4,8,16,32,64,128,256,512,1024,2048,4196,8192,16384

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 00:48 10-06-2009
spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin
 
спасибо

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 00:51 10-06-2009
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
без facompress что?

тоже самое, примерно
 
 Using rep:1670mb:h26+tempfile+rep:1670mb:h26+tempfile+rep:1670mb:h26+
tempfile+rep:1670mb:h26+tempfile+rep:1670mb:h26
  Memory for compression 1926mb, decompression  10.3%
ОШИБКА: невозможно выделить память, необходимую для (рас)паковки в rep:1670mb:h26
 

Цитата:
ну так фрагментация

раньше такого не было

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 02:27 10-06-2009 | Исправлено: egor23, 02:27 10-06-2009
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
раньше такого не было

можешь поискать когда появилось?

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 02:28 10-06-2009
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
можешь поискать когда появилось?

поищу, но днём

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 02:34 10-06-2009
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
можешь поискать когда появилось?

проверял без facompress
 
началось это с 15.05.2009
Arc.exe 15.05.2009 14:34 - FreeArc 0.52 alpha (May 14 2009)  
 
последний рабочий Arc.exe (из того что у меня есть)
Arc.exe 07.05.2009 16:04 - FreeArc 0.52 alpha (May 7 2009)
 
spider91

Цитата:
а сколько выше описаный тобой способ требует памяти для распаковки?

для распаковки минимум размер словаря - 1600m
это не способ, а выяснение предела сжатия, к чему пытаться стремиться при меньших настройках, для данного набора данных, обычно в конце цепочки стоит lzma, но здесь от него нет толка.
 
Arc.exe a a_rep5.arc -mrep:1800m:h26+tempfile+rep:1800m:h26+tempfile+rep:1800m:h26+
tempfile+rep:1800m:h26+tempfile+rep:1800m:h26 nativePC2\ -di -di+%$# -lc- -ld-
 
    rep:1800mb:h26: 3.203.091.684 bytes  (3055МБ)
    rep:1800mb:h26: 2.914.577.877 bytes  (2780МБ)
    rep:1800mb:h26: 2.867.663.368 bytes  (2735МБ)
    rep:1800mb:h26: 2.867.635.985 bytes  (2735МБ)
    rep:1800mb:h26: 2.867.631.326 bytes  (2735МБ)
 
дожатие с помощью Winrar скоростной - 2725МБ

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 09:55 10-06-2009
   

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102

Компьютерный форум Ru.Board » Компьютеры » Программы » FreeArc: бесплатный open-source архиватор - Часть 2
Widok (07-09-2009 19:15): Лимит страниц. Продолжаем здесь.


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru