Перейти из форума на сайт.Реклама на Ru.Board


Система IP-видеонаблюдения "Линия". Скачать бесплатную демо-версию для 16 камер. НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Архиваторы. Сравнение сжатия

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47

Открыть новую тему     Написать ответ в эту тему

www_r3mteam_net



BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Правило темы: согласно п. 2.4 Правил, содержание ответа должно быть в виде сравнения, и единственным доводом в данном топике является сравнение в цифрах.
 
Каким архиватором вы пользуетесь, обсуждается только в этой теме;
вопросы настройки обсуждаются только в темах архиваторов.
 
Сайты, на которых сравнивается и обсуждается сжатие:
http://maximumcompression.com
http://compressionratings.com
http://squeezechart.com
http://metacompressor.com/uploads.aspx
http://heartofcomp.altervista.org/MOC/MOC.htm
http://uclc.info


http://blackfox.wz.cz/benchmark/
http://cs.fit.edu/~mmahoney/compression/#benchmarks
http://cs.fit.edu/~mmahoney/compression/uiq/


http://compression.ru
http://arctest.narod.ru
http://maxcompress.narod.ru
http://compressionmax.com (Французский)
http://blackfox.wz.cz/pcman/benchmark.htm
http://freewebs.com/emilcont/benchmark.htm
http://enotus.at.tut.by/Articles/ArchiversReview/index.html
(Похоже, данные этих сайтов устарели!)
 
Добавляйте новые!

Также на страницах этой темы много тестов, проведённых участниками форума. Не игнорируйте их, они столь же полезны, как и те тесты, что вывешены на сайтах о сжатии!
 
Тесты, проведённые участниками этого форума:
Тесты от arsvrn
Тесты от Panzer
Тесты от Viewgg
Тесты от egor23 (самые свежие! Самые полные!) old version
Максимальное практическое сжатие: WinRK, ccm(x), uharc, FreeArc и 7-zip от автора FreeArc


Прежде чем задать вопрос, читайте тему! Велика вероятность, что ответ на ваш вопрос уже есть!

Всего записей: 24 | Зарегистр. 20-05-2003 | Отправлено: 20:08 21-05-2003 | Исправлено: Nikolai2004, 01:05 12-12-2010
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Hunter23071985
если интересуют асимметричные методы (где критична скорость распаковки) - попробуй LZturbo https://sites.google.com/site/powturbo/ может даже в связке с FreeArc, хотя у Булата с автором лзтурбо были тёрки насчёт того кто у кого стырил алгоритм. Если важен коэффициент сжатия - можно попробовать быстрые арифметические типа nanozip или даже lpaq. Сами базы я так предполагаю текстовые, или с тегами html-xml, возможно препроцессоры облегчат задачу (xwrt), если только база уже не пожата каким-нибудь фирменным архиватором Консультанта. Как их увязать с конструктором Portable  не представляю, думаю всё же удобнее будет сжимать базы с целью уменьшить их размер на файлохранилище, а работать уже с распакованными, как выше предлагали.
 
Добавлено:
В общем, скачал для интереса обновления в формате ANS, так и есть - они изначально уже пожаты внутренним алгоритмом консультанта, то есть в лучшем случае сожмутся процентов на 10-15, которые не стоят этих заморочек. По хорошему нужно добыть фирменный консультантовский упаковщик, и перепаковывать содержимое баз более эффективным методом, а для использования перепаковывать в обратном порядке, но это также много возни, да и алгоритмом консультанты вряд ли поделятся

Всего записей: 934 | Зарегистр. 17-04-2007 | Отправлено: 10:51 17-04-2016 | Исправлено: crotoff, 11:35 17-04-2016
Hunter23071985

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
crotoff
Я готов попробовать LZturbo, nanozip, lpaq, xwrt и что угодно ещё. Может есть сборка FreeArc с настроенными компрессорами и пресетами?
Был бы благодарен за ссылку и информацию, какие именно пресеты выбирать. Спасибо!
Информацию о  составе папки FedBase добавил в пост выше.

Всего записей: 770 | Зарегистр. 19-09-2009 | Отправлено: 14:04 17-04-2016 | Исправлено: Hunter23071985, 14:09 17-04-2016
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Hunter23071985
У меня на ноуте памяти маловато, чтобы тестировать пакеры на всю катушку, поэтому и пресеты настроены соответствующе, в основном для упаковки офисных файлов с работы. Для К+баз думаю подойдёт nanozip009, LZturbo, ZPAQ64. Они многопоточные и многометодные, притом жрут много памяти под каждый поток в зависимости от метода, так что тут придётся некий компоомисс искать.
 
Добавлено:
http://rghost.ru/67NjvhjFP вот выложил свой текущий ini и groups, для К+ лучше новый groups составить, смотря что за содержимое - текст или бинарный

Всего записей: 934 | Зарегистр. 17-04-2007 | Отправлено: 15:37 17-04-2016
Hunter23071985

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
crotoff
Т.е. мне надо:
1. Распаковать FreeArc, в него с заменой скопировать Обновления и опять же с заменой настройки в папку \bin
2. Запустить \bin\FreeArc.exe, выбрать папку FedBase, нажать Упаковать, а дальше что выбирать?
Могут ли быть русские буквы и пробелы в пути к папке?
Какие настройки сжатия задать? Видел в arc.ini lzturbo, zpaq64 и nz9_64, но как применить не понял.
Что написать в groups?
И можно ли взять другой архиватор, кроме FreeArc с теми же настройками? От вида FreeArc у меня небольшой шок.

Всего записей: 770 | Зарегистр. 19-09-2009 | Отправлено: 17:26 17-04-2016 | Исправлено: Hunter23071985, 17:28 17-04-2016
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Hunter23071985
В принципе всё верно, но в папку Bin ещё нужно закинуть сторонние архиваторы, прописанные в пресетах. В файле groups сгруппированы популярные расширения файлов по типам, в arc.ini в пресетах прописаны цепочки методов, которые применяются для сжатия этих групп. FreeArc сортирует вход по расширениям, сверяет с arc.groups и жмёт каждую группу методами, прописанными в пресетах. Если не находит соответствия - жмёт методами, прописанными без указания группы (сразу после "="). У меня прописаны 3 пресета - "super", "middle", "fast",  для К-баз можно свой накорябать, перечислив все имеющиеся в FedBase расширения в arc.groups, тут главное наверно определить среди них  текстовые, исполняемые, сжатые deflate и прочие бинарные. Если большинство файлов однотипные, то можно не заморачиваться с FreeArcом, а пробовать другие архиваторы (lzturbo, zpaq64 и nanozip), опции, ключи для них прописаны в самих exeшниках
 
тут можно скачать ZPAQ http://mattmahoney.net/dc/zpaq.html
nanozip http://nanozip.net/
lzturbo https://sites.google.com/site/powturbo/
 
Вот мой powerpack для экспериментов http://rghost.ru/8rG85BffM вдруг понадобится, но там старья много

Всего записей: 934 | Зарегистр. 17-04-2007 | Отправлено: 22:09 17-04-2016 | Исправлено: crotoff, 22:34 17-04-2016
Hunter23071985

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
crotoff
Спасибо! Не уверен, что справлюсь... Пока сделал сэмпл, внутри образцы и информация по каждому типу файлов.
Буду благодарен, если у кого-то найдётся время посмотреть и высказать идеи по сжатию.
Продолжу завтра после работы, т.е. где-то после 20 часов по МСК. Всем спасибо! До завтра!

Всего записей: 770 | Зарегистр. 19-09-2009 | Отправлено: 01:11 18-04-2016
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Hunter23071985
скомпоновал расширения по группам, обновил arc.ini
http://rghost.net/7qf5nNGb9
на тестовой выборке lzturbo зафейлил, выдал при распаковке ошибку crc.
 
В папке Cons_Shell_Evolution_2015v2 много дубликатов, лучше их поудалять - они картину портят. Или начинать все методы с rep или srep, чтобы избавиться от избыточности

Всего записей: 934 | Зарегистр. 17-04-2007 | Отправлено: 17:20 18-04-2016 | Исправлено: crotoff, 20:06 18-04-2016
Hunter23071985

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
crotoff
Насколько я понял:
а) LZTurbo исключаем из-за проблем с распаковкой?
б) Дубликаты при использовании только одной из папок Оболочки отпадают? На сколько помню, в Оболочке были папки AdditionalComponents (не использую), ConsultantPlusEvolutionFL (для флешек) и ConsultantPlusEvolutionPC (для PC). По ситуации я использую или ConsultantPlusEvolutionFL, или ConsultantPlusEvolutionPC.
Вопросы:
1) В какую группу занести файлы *.KUB? К группе $default - это "не определённая" категория или что?
2) Почему лишь *.PAK одновременно отнесён к $default и $precomp? $precomp - это любые "упакованные" файлы?
3) Где почитать, какие есть группы и чем смотреть инфомацию по файлам для разнесения по группам?
TotalCommander определил группы chm (CHM), compound (DOT), elf (файл conslin без расширения), pe (DLL,EXE,RES,SYS) и zip (DOTM,INI,KUB,ZIP). Остальные (ADM,BAT,BIS,CFG,COD,CPR,DAT,DIN,DT*,EXE,FON,INF,KEY,NX*,PAK,RX*,ST*,TOR,TT*,TXT,USR) ему не известны.
4) Что значит "начинать все методы с rep или srep, чтобы избавиться от избыточности"? Надо корректировать arc.ini?
5) На какие кнопки жать в FreeArc, чтобы запустить сжатие с нужными параметрами (если можно "на пальцах")?
Простите за нубство. Спасибо!
 
Upd:
-- В версии FreeArc 0.51 от 28.04.2009 было заявлено авто-определение типов файлов. Сейчас оно есть?
-- В региональной сборке нашёл ещё 4 новых расширения файлов, сэмпл обновил.

Всего записей: 770 | Зарегистр. 19-09-2009 | Отправлено: 23:53 18-04-2016 | Исправлено: Hunter23071985, 01:31 19-04-2016
HelioSS



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Извиняюсь за оффтоп: существует ли на форуме отдельная тема по WinRK (особенно интересует наличие темы о нём в варезнике)?

Всего записей: 4458 | Зарегистр. 26-11-2007 | Отправлено: 00:21 19-04-2016
Benchmark



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
HelioSS

Цитата:
Извиняюсь за оффтоп: существует ли на форуме отдельная тема по WinRK

В программах вряд ли, слишком экзотическая штука.
 

Цитата:
особенно интересует наличие темы о нём в варезнике

http://forum.ru-board.com/topic.cgi?forum=35&topic=18797&start=120#lt

Всего записей: 6246 | Зарегистр. 01-10-2002 | Отправлено: 04:01 19-04-2016
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Hunter23071985
LZturbo можно попробовать как самостоятельный архиватор, с FA почему-то плохо уживается.
Дубликатов в релизе по-хорошему быть не должно, пользователь выбирает свою версию, локализацию, и качает. Если никак не обойтись без дубликатов в 1 архиве - тогда нужно использовать метод rep или srep (ищут повторения на больших расстояниях и сжимают их), кстати для portable-сборки можно вообще обойтись только ими, поскольку распаковывается мгновенно. Собственно реп это быстрый LZ77- архиватор. Но если важно место на диске - тогда после придётся сжать чем-то тяжёлым. Например zpaq. В arc.ini это может выглядеть как "metod1= rep:512mb+zpaq:69", тогда при упаковке FA пишем в строку выбора метода method1, если в консоли, то  -m=method1 и всё, цепочка запустится.
Файлы KUB это deflate (можно проверить в Тотал Коммандере по CTRL-PgDn), ONLINE, INI - тоже (в секцию $precomp их). PTH и RUS - $default. Из $deflate убрать *.CHM он запакован cab'ом, его precomp не возьмёт.
PAK - это было изначально расширение древних игр типа doom, представляли из себя deflate-архивы. С которыми хорошо справляется precomp в связке с более мощным пакером. В консультанте это скорее всего какой-то свой бинарный формат. По умолчанию FA считывает groups сверху вниз и берёт первое вхождение, но лучше удалить из секции $precomp. Группы можно свои придумать, главное чтобы выдерживалось соответствие названий групп в groups и в цепочке методов arc.ini, суть в группировке схожих по содержимому файлов, т.к. для каждой группы можно подобрать свои эффективные методы.
Если есть сомнения по поводу расширения - можно его попробовать  прописать его в той или иной секции по очереди, прогнать упаковку и сравнить размеры архива. В Тотал Коммандере можно по F3 посмотреть, что внутри файла, по заголовку определить, что за формат. Кстати сейчас многие архиваторы уже со своими препроцессорами - то есть сами определяют тип (txt, jpg, bmp, pe) и автоматически выбирают оптимальный метод, так что препроцессор BCJ перед nanozip для pe-файлов (секция $exe) уже не требуется, соответственно и группу $exe можно не выделять. В 0.51 версии "автоопределение"  я так полагаю заключается в сопоставлении расширений на входе с имеющимися в arc.groups, и затем обработка групп расширений цепочками, прописанными в arc.ini в зависимости от выбранного метода.  
Кстати если делать SFX-архивы FreeArc с использованием внешних компрессоров, то все использованные компрессоры и препроцессоры должны находиться в той же папке, что и exe, иначе не распакуется.

Всего записей: 934 | Зарегистр. 17-04-2007 | Отправлено: 10:15 19-04-2016 | Исправлено: crotoff, 13:28 19-04-2016
HelioSS



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Benchmark

Цитата:
http://forum.ru-board.com/topic.cgi?forum=35&topic=18797&start=120#lt

Он и там заброшен

Всего записей: 4458 | Зарегистр. 26-11-2007 | Отправлено: 10:22 19-04-2016
HelioSS



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
7zip на параметры указанные в таблице тут ругается. Говорит, неверный параметр.

Всего записей: 4458 | Зарегистр. 26-11-2007 | Отправлено: 20:43 19-04-2016
Hunter23071985

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
crotoff
Спасибо! Частично понял. Сегодня/завтра буду пробовать.
Upd: вынужден отложить минимум до выходных - завал на работе.

Всего записей: 770 | Зарегистр. 19-09-2009 | Отправлено: 21:29 19-04-2016 | Исправлено: Hunter23071985, 21:36 20-04-2016
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Hunter23071985
отпишись потом что получилось

Всего записей: 934 | Зарегистр. 17-04-2007 | Отправлено: 22:16 19-04-2016
Hunter23071985

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
All
Где-нибудь есть актуальная обновляемая подборка консольных архиваторов с описанием поддерживаемых ими команд, т.е. режимов сжатия?

Всего записей: 770 | Зарегистр. 19-09-2009 | Отправлено: 19:26 23-04-2016
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Hunter23071985
Matt Mahoney тестирует и у себя на http://mattmahoney.net/dc/ выкладывает, разработку обсуждают на форуме http://encode.ru/
Кстати там же у Булата можно спросить по его FreeArcу http://encode.ru/threads/43-FreeArc
Команды, ключи, опции консольный архиватор обычно показывает если его в консоли CMD запустить с ключом -h или просто так

Всего записей: 934 | Зарегистр. 17-04-2007 | Отправлено: 21:12 23-04-2016 | Исправлено: crotoff, 21:14 23-04-2016
Engaged Clown



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Hunter23071985

Цитата:
Другие архиваторы, поддерживающие nCPU (типа Plzip)... выложены в виде source или не выложены вообще.
Как ими пользоваться не понятно.  

Скомпилировали по моей просьбе:
http://download.savannah.gnu.org/releases/lzip/plzip/plzip-1.5-rc2.w32-w64.zip
Ждём тестов.

----------
Опросы ru-board'а

Всего записей: 7382 | Зарегистр. 08-06-2006 | Отправлено: 13:55 07-05-2016
Hunter23071985

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
crotoff, Engaged Clown
Спасибо! Тесты будут обязательно, как только с работой разгребусь...

Всего записей: 770 | Зарегистр. 19-09-2009 | Отправлено: 16:57 07-05-2016
UriF

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Не знаю, это оф-топ или нет.  Я написал Рошалю и Павлову по поводу multimedia algorithms (WavPack & Jpeg),  но ни тот, ни другой не планируют этим заняться.  На сегодня multimedia включена из коммерческих проектов только в Stuff-It и WinZip (поддержка PowerArchiver).  Кто-нибудь может объяснить отсутствие интереса к этим технологиям?  По-моему, сегодня, судя по этой нитке, этим интересуются только ради "научного" интереса.  У каждого из нас есть большой архив фото и видео, который мы не смотрим каждый день, а, следовательно, почему бы не сжать?  Stuff-It сжимает jpeg на 25%, а mp3 на 15%.  Я даже сжимал Stuff-It несколько avi на 20%.  В принципе, если у вас огромные архивы, то неплохо???   Использовать экспериментальные проекты в качестве бекапа, наверно, рискованно (я читал, что пакеты, сжатые KGB Archiver, портились).

Всего записей: 548 | Зарегистр. 14-06-2004 | Отправлено: 17:39 26-05-2016
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47

Компьютерный форум Ru.Board » Компьютеры » Программы » Архиваторы. Сравнение сжатия

Имя:
Пароль:
Сообщение

Для вставки имени, кликните на нем.

Опции сообщенияДобавить свою подпись
Подписаться на получение ответов по e-mail
Добавить тему в личные закладки
Разрешить смайлики?
Запретить коды


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2017

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru