Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » FreeArc (часть 4)

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Открыть новую тему     Написать ответ в эту тему

Widok



Moderator-Следопыт
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Часть 1 | Часть 2 | Часть 3


Скачать последний релиз - FreeArc 0.666 от 20 мая 2010 г. Что нового: ускорение работы в 1.5-2 раза благодаря новой технологии многопоточного сжатия, распаковка архивов многих форматов используя технологии 7-zip, запуск файлов из архива, исправлены все проблемы интеграции с Explоrer (подробнее)
Текущая альфа версия: 0.67 - загрузка | список исправлений | блог


Подробное описание используемых алгоритмов
Почему он сжимает лучше и быстрее, чем 7-zip/rar...
Результаты тестов, подтверждающие его крутизну...
Почему для использования 2+ гб памяти желательно установить 64-битную версию Windows
Планы дальнейшего развития
Что подразумевается под "интеграцией с Explorer"
Старая FreeArc wiki (включая описание формата архива)
Логотип и иконки FreeArc - обсуждение того, как облагородить внешний вид программы


Сторонние оболочки для работы с FreeArc:
wArc - простая и понятная программа управления архивами (требует .NET Framework 2.0)
PeaZip - менеджер архивов с поддержкой большого количества форматов, для Windows и Linux


Родственные темы:
Inno Setup плюс внешние упаковщики - использование архивов FreeArc в инсталяторах
ISDone.dll - библиотека распаковки архивов в инсталяторах
REP & SREP
Пережатиe/Pекомпрессия/Oптимизация файлов для лучшего сжатия - "а как сжать ещё лучше?"
FreeArc и Unix - для альтернативно одарённых
• репозиторий FreeArc 'Next на github.com
• тема FreeArc 'Next на форуме encode.su
• раздел FreeArc на форуме krinkels.org

 
Другие архиваторы:
WinRAR
7-zip
PowerArchiver
HaoZip
BandiZip


Всего записей: 24190 | Зарегистр. 07-04-2002 | Отправлено: 11:36 23-11-2010 | Исправлено: Nikolai2004, 21:23 03-02-2021
vasulpr

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
а над изменениями, которые будут включать в частности и эту фичу, я потихоньку работаю  

рад это слышать!
если можно то поделитесь более подробной информацией по этому поводу.
это будет абсолютно новый формат не совместим с предыдущим? в какой версии мы сможем увидеть эти изменения?
также хочется узнать как дела с 0.70 финал, что еще планируется сделать?

Всего записей: 126 | Зарегистр. 27-03-2011 | Отправлено: 20:08 21-01-2012
WildGoblin



Ru-Board Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin
Завтра могу всё выложить.

Цитата:
а ещё можно через uTorrent 3.x передать. там специальный дропбокс есть. у меня белый адрес
Можно и так.

Всего записей: 20380 | Зарегистр. 15-09-2001 | Отправлено: 20:10 21-01-2012
Shuld

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
и какие выводы?  

 
При сжатии текстовых файлов, при переходе от -m4 к -mex5 наблюдается большой скачек в затрачиваемом времени, и далее до -mex9  одинаковый результат.
Нет плавного изменения времени и сжатия, как для методов -m1...-m4.

Всего записей: 364 | Зарегистр. 08-12-2010 | Отправлено: 15:50 22-01-2012
Paramon111

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin
у меня при выборе метода -max на папки с большим кол-вом файлов создание архива останавливается и скорость потихоньку снижается до 0. с чем это может быть связано? одиночные файлы упаковывает без проблем.
 
Добавлено:
а при методе -lc- -max: ОШИБКА: ошибка (рас)паковки в pmm:24:1600mb

Всего записей: 148 | Зарегистр. 13-01-2012 | Отправлено: 17:15 22-01-2012 | Исправлено: Paramon111, 17:25 22-01-2012
slech



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
1. Скачиваем архив - 20 Мб
2. Распаковываем.
3. Выделяем все архивы и выбираем Extract Here.
4. Появляется окошко о подтверждении перезаписи существующего файла, жму Yes to  All
5. Окошко продолжает появляться на всех файлах.
 
Ежели выбрать Extract... и указать Overwrite without prompt то больее никаких подтверждений не требуется.
7z срабатывает коректно.

Всего записей: 4890 | Зарегистр. 10-11-2004 | Отправлено: 18:35 23-01-2012 | Исправлено: slech, 18:36 23-01-2012
Shuld

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Детектив
С ног на голову
В котором принять участие может каждый.
 
Глава 1. Введение
Ранее я предлагал методы –m81 и –m82 для быстрого сжатия большого объема информации: http://forum.ru-board.com/topic.cgi?forum=5&topic=35164&start=1100#10
Можно было продолжить работу и сделать методы –m83 и далее, но мне казалась, что в этом мало смысла. Скорее «для галочки», чем для дела я все-таки довел линейку до –m88. В этой нумерации первая цифра 8 означает использование 8rep или rep:1g, а вторая – примерное соответствие «стандартному» методу с моей поправкой на «оптимизацию». Т.е. метод –m86 является примерным аналогом –mex6. Скачать файл arc.ini с методами –m81…-m88 в архиве можно здесь: Скачать arc2012-01-25.zip с WebFile.RU, и заменить стандартный в папке с arc.exe. (Все методы проверялись на компьютере с 4-поточным процессором, часть – на 2-х ядерном, как поведет себя на 8-ми ядерном – не знаю).
 
Глава 2. Завязка
Важным моментом является то, что в методах –m81…-m88 нет деления на группы файлов. Казалось, что это должно привести к ухудшению по сравнению со «стандартными» методами, использующими специализированные методы для различных групп файлов. И вот тут-то начинаются чудеса!
 
Глава 3. Что лучше?
Наиболее корректно проводить сравнение на методах –m88 и –mex8, поскольку у них одинаковый rep и одинаковый основной метод сжатия lzma:32m. Разница именно в отсутствии/наличии деления на группы файлов.
Я протестировал многие папки на своем компьютере и результаты (без купюр!) выкладываю далее, в порядке увеличения размера испытуемой папки. Все папки не какие-то условные, а мои рабочие, для которых я делаю резервные копии.
Метод Размер, байт Время, с    
(Папка 1) (240,542,287) -    
-m88 167 309 681 35.94    
-mex8 166 919 720 46.01    
(Папка 2) (430 097 775) -    
-m88 248 081 284 102.46    
-mex8 246 991 434 120.79    
(Папка 3) (537 864 577) -    
-m88 306 637 773 70.73    
-mex8 306 808 139 82.95    
(Папка 4) (584 071 642) -    
-m88 418 272 148 98,87    
-mex8 419 791 942 158,68    
(Папка 5) (676 279 425) -    
-m88 442 413 972 96,37    
-mex8 444 560 475 137,66

(Папка 6) (757 517 055) -    
-m88 419 622 660 110,92    
-mex8 420 907 358 131,66    
(Папка 7) (758 272 286) -    
-m88 602 851 866 127,32    
-mex8 605 163 643 166,63    
(Папка 8) (1,035,133,598) -    
-m88 828 516 800 169,99    
-mex8 829 959 844 184,15    
(Папка 9) (1 098 114 291) -    
-m88 632 727 408 163,35    
-mex8 633 345 251 203,66

Сразу видно, что метод –mex8 всегда сжимает дольше, а как насчет сжатия? Преимущество только для двух самых маленьких папок. Для всех остальных, т.е. для папок размером более 500 МБ, метод –m88 сжимает лучше. И быстрее.
 
Глава 4. Следственный эксперимент
До прибытия команды знатоков, руководимых Булатом, проведем маленький следственный эксперимент своими руками.
Возьмем текстовый файл enwik8 длиной 100 000 000 байт, получается следующее:
Метод Размер, байт Время, с    
(enwik8) (100,000,000) -    
-m88 25 911 554 46,72    
-mex8 22 695 574 34,58

Полная победа специализированных методов сжатия, т.е. –mex8. Разница в размерах около 3 МБ.
Теперь рассмотрим папку 2 размером около 430 МБ. В ней – половина текстовых файлов, среди которых есть уже протестированный файл enwik8, занимающий примерно 23% от общего объема.
Метод Размер, байт Время, с    
(Папка 2) (430 097 775) -    
-m88 248 081 284 102.46    
-mex8 246 991 434 120.79

Метод –mex8 по прежнему побеждает по сжатию, но разница «съеживается» до 1 МБ.
А теперь возьмем «дважды папку 2»:
Метод Размер, байт Время, с    
(Папка 2)х2 (860,195,550) -    
-m88 248 024 953 109,87    
-mex8 279 209 100 179,90

Здесь метод –mex8 не только не сохранил лидерства по сжатию, но уступил 31 МБ!
А метод –m88 сжал так же, даже лучше.
Почему?
Специализированный метод сжатия ppmd сжимает тексты очень хорошо, но ищет повторы на сравнительно коротком расстоянии. Rep не может сжимать файл enwik8 так же хорошо как ppmd, но умеет искать случайные повторы фрагментов этого файла с другими файлами на очень большом расстоянии, что при большом количестве данных позволяет получить результат лучше!
 
Глава 5. А был ли мальчик?
Может у меня компьютер «неправильный»? И все данные уникальны только для него?
Найдется ли у вас полчаса-час времени на пару-тройку экспериментов, чтобы сравнить –mex8 и –m88. Напишите, какие размеры и время получаются у вас.
Не забывайте, что этим методам нужно много памяти, и лучше все Word-ы и Excel-и закрыть.
 
Глава 6. Что дальше?
Если про меня, то мне надо закончить сравнение новых rep-в (от 11 и 14 января). Там есть чуть-чуть интересного. А еще хочу рассказать про причуды метода tor:3.
Если говорить про эту тему, то может есть смысл продолжить тестирование для объемов несколько ГБ? Вполне возможно, что при очень больших размерах данных (десятки ГБ), для которых размеры rep будут сравнительно малы, специализированные методы опять станут лучше.
А может сделать аналоги методов –mex9 и –mx? Вполне возможно, что для больших размеров файлов тоже можно получить выигрыш в размерах и времени.
В случае, если описанные в «детективе» закономерности подтвердятся, то может будет смысл после использования специализированных методов ставить rep? Или разрабатывать специализированный rep?

Всего записей: 364 | Зарегистр. 08-12-2010 | Отправлено: 19:24 23-01-2012 | Исправлено: Shuld, 21:22 25-01-2012
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
а при методе -lc- -max: ОШИБКА: ошибка (рас)паковки в pmm:24:1600mb

а что означает опция -lc-?
 

Цитата:
у меня при выборе метода -max на папки с большим кол-вом файлов создание архива останавливается и скорость потихоньку снижается до 0. с чем это может быть связано? одиночные файлы упаковывает без проблем.  

так он в конце концов их пакует?
 

Цитата:
При сжатии текстовых файлов, при переходе от -m4 к -mex5 наблюдается большой скачек в затрачиваемом времени, и далее до -mex9  одинаковый результат.  

и для бинарных та же фигня. у тебя есть идеи как сделать лучше?
 

Цитата:
это будет абсолютно новый формат не совместим с предыдущим? в какой версии мы сможем увидеть эти изменения?  

да, несовместимый. возможно, 0.80. я собираюсь интегрировать exe или даже dispack+bcj2 в rep

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 05:15 25-01-2012 | Исправлено: Bulat_Ziganshin, 05:16 25-01-2012
Paramon111

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
а что означает опция -lc-?

использовать всю оперативку при упаковке.

Цитата:
так он в конце концов их пакует?

нет. специально ждал минут 40. остановился на 2.3%, скорость 0.
ради интереса попробовал упаковать 2 текстовых файла 1 и 5 мб параметром -max, снова скорость 0. по одиночке упаковываются сразу.

Всего записей: 148 | Зарегистр. 13-01-2012 | Отправлено: 11:33 25-01-2012
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
использовать всю оперативку при упаковке.  

в документации посмотри
 

Цитата:
ради интереса попробовал упаковать 2 текстовых файла 1 и 5 мб параметром -max, снова скорость 0.  

а вокруг тишина
а вокруг ни души
только рельсы упрямые стонут...
 
забавно. ну опять же - архивируй целиком папку с архиватором и присылай мне

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 17:26 25-01-2012
Paramon111

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
архивируй целиком папку с архиватором и присылай мне

http://upwap.ru/1983711
вопрос снимаю, переустановил и проблема изчезла.

Всего записей: 148 | Зарегистр. 13-01-2012 | Отправлено: 18:39 25-01-2012 | Исправлено: Paramon111, 18:54 25-01-2012
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Paramon111
я тебе советую ещё и power pack поставить - без него -max аналогичен -mx. кстати, он будет нужен и при распаковке

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 19:37 25-01-2012
vasulpr

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
да, несовместимый. возможно, 0.80. я собираюсь интегрировать exe или даже dispack+bcj2 в rep

а может лучше в среп интегрировать?
если вы взялись за полную переработку алгоритма, то может лучше сразу наделить его всем лучшим
 
Будете ли вы интегрировать в основной алгоритм PackJPG и TTA 2.0? И будет ли возможность создавать многотомные архивы?
 
также хочется узнать как дела с 0.70 финал, что еще планируется сделать, в чем задержка?

Всего записей: 126 | Зарегистр. 27-03-2011 | Отправлено: 20:02 25-01-2012
Paramon111

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
я тебе советую ещё и power pack поставить

где его скачать и как правильно установить?

Всего записей: 148 | Зарегистр. 13-01-2012 | Отправлено: 20:07 25-01-2012
WildGoblin



Ru-Board Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
нужен точный набор файлов, на котором обнаруживается сбой, и твой каталог "program files\freearc" - чтоб уж точно воспроизвести условия сжатия
Файлы ещё нужны? Они у меня висят на раздаче.
Скачались? Убираю раздачу?
 
Вроде как, при упаковке с -mc-exe, ошибка больше не появляется, так что если нет особого желания с ней возится, то и ладно - до лучших времён...

Всего записей: 20380 | Зарегистр. 15-09-2001 | Отправлено: 20:08 25-01-2012 | Исправлено: WildGoblin, 20:50 25-01-2012
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
3. Выделяем все архивы и выбираем Extract Here.  
4. Появляется окошко о подтверждении перезаписи существующего файла, жму Yes to  All  
5. Окошко продолжает появляться на всех файлах.  

при этом выполняется команда "arc x 1.zip ; x 2.zip ...", а fa "yes to all" трактует All только до конца текущей подкоманды. согласен, что здесь это неправильно. вопрос в том, как это лучше поправить

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 20:16 25-01-2012 | Исправлено: Bulat_Ziganshin, 20:58 25-01-2012
Paramon111

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin
поторопился я. версия 0.666 упаковывакт с параметром -max, а версия 0.67 не хочет по прежнему. ну на нет и суда нет, буду паковать -mx.

Всего записей: 148 | Зарегистр. 13-01-2012 | Отправлено: 20:37 25-01-2012
Shuld

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Paramon111

Цитата:
где его скачать и как правильно установить?

http://freearc.org/ru/Download.aspx
Последний в табличке.
-max пакует, используя этот ПауэрПак.
 
Добавлено:
Bulat_Ziganshin

Цитата:
и для бинарных та же фигня. у тебя есть идеи как сделать лучше?

Вариантов много. Смотря какие цели ставить.
Например:
Метод Основной Текст    
-m4 xlzma:4mb:24:mc8:h1m grzip:m2    
-mex5 4x4:i0:lzma:2mb:h8m:max grzip:m1    
-mex6 4x4:i0:lzma: 8mb:max dict:p: 64m:80% + lzp: 64m: 65:d1m:s32:h22:90% + xppmd:8:96m

 
Мне, например, непонятно, зачем вообще 9 методов. У всех штук 5 и то многовато.

Всего записей: 364 | Зарегистр. 08-12-2010 | Отправлено: 21:02 25-01-2012 | Исправлено: Shuld, 21:03 25-01-2012
Paramon111

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Shuld
я понял в чем дело. если упаковка архива останавливается, заходим в диспетчер задач и завершаем процесс precomp04.exe после этого архив сдвигается с мертвой точки и упаковка возобновляется. вот видеоскрин: http://upwap.ru/1984357

Всего записей: 148 | Зарегистр. 13-01-2012 | Отправлено: 21:13 25-01-2012 | Исправлено: Paramon111, 22:54 25-01-2012
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Скачались? Убираю раздачу?  

убирай
 

Цитата:
также хочется узнать как дела с 0.70 финал, что еще планируется сделать, в чем задержка?

  xlzma requires 2.5 gb on 2gb box: let limit_memory num method   =  return method    -- ограничение памяти для метода используется только при сжатии
  не установлена галка "ассоциировать с другими архивами", он все равно ассоциирует (при установке с нуля отключены оба ассоциирования!)
  zipx compression
  rep+tor => Decompression error -9! (fix in multi_de_compress?) - может проявиться в unarc.exe/sfxes!
  "a a.zip" и "a a -tzip" должны работать как "a a.zip -tzip"
  при прерывании сжатия в zip остаётся временный архив
  при открытии zip с 250 тысячами файлов тормозит 10 минут
  lzma.exe - проверить что решены проблемы с неполным чтением/записью буфера
    external compressors stdin+stdout: http://forum.ru-board.com/topic.cgi?forum=5&topic=35164&start=500#7
    fread/fwrite => FullRead/Write (в lzma и Example-C)
    CreateProcess with STARTUPINFO with hStdInput, hStdOutput and hStdError handles set to file handles you opened (either real files or memory mapped files should work).
    stdinout.cpp
    http://msdn.microsoft.com/en-us/library/windows/desktop/ms682499(v=VS.85).aspx
  4x4:lzma-x64: может, проблема в compress_all_at_once?
  английский unarc-dll\readme.txt
  improved tooltips 1125, 1227, 1176
  * "Open .tar.gz and similar archives in one step" is broken (tested on .tar.bz2 and .tar.gz).
  * "Up" button in filelist could have some icon (something like: )
  выбираем несколько архивов - Extract Here - Overwrite? - Yes to All
 
 

Цитата:
Будете ли вы интегрировать в основной алгоритм PackJPG и TTA 2.0? И будет ли возможность создавать многотомные архивы?  

tta уже есть. PackJPG пока особо не стремлюсь, может кто другой сделает. многотомные - в 0.80 запланированы
 

Цитата:
а может лучше в среп интегрировать?  
если вы взялись за полную переработку алгоритма, то может лучше сразу наделить его всем лучшим  

дело в том, что srep имеет недостатки в сравнении с rep, поэтому я хочу оставить текущее положение дел, когда он цепляется только как внешний алгоритм для nt[> кому очень нужно, а внутри fa заменить rep на его продвинутый вариант, имеющий некоторые преимущества srep, но ни одного из его недостатков

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 21:36 25-01-2012
vasulpr

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin
спасибо за ответ!
судя по запланированному 0.70 мы до конца зимы не увидим.

Всего записей: 126 | Зарегистр. 27-03-2011 | Отправлено: 22:56 25-01-2012
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Компьютерный форум Ru.Board » Компьютеры » Программы » FreeArc (часть 4)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru