Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Архиваторы. Сравнение сжатия

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56

Открыть новую тему     Написать ответ в эту тему

www_r3mteam_net



BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Правило темы: согласно п. 2.4 Правил, содержание ответа должно быть в виде сравнения, и единственным доводом в данном топике является сравнение в цифрах.
 
Каким архиватором вы пользуетесь, обсуждается только в этой теме;
вопросы настройки обсуждаются только в темах архиваторов.
 
Сайты, на которых сравнивается и обсуждается сжатие:
http://maximumcompression.com
http://compressionratings.com
http://squeezechart.com
http://metacompressor.com/uploads.aspx
http://heartofcomp.altervista.org/MOC/MOC.htm
http://uclc.info


http://blackfox.wz.cz/benchmark/
http://cs.fit.edu/~mmahoney/compression/#benchmarks
http://cs.fit.edu/~mmahoney/compression/uiq/


http://compression.ru
http://arctest.narod.ru
http://maxcompress.narod.ru
http://compressionmax.com (Французский)
http://blackfox.wz.cz/pcman/benchmark.htm
http://freewebs.com/emilcont/benchmark.htm
http://enotus.at.tut.by/Articles/ArchiversReview/index.html
(Похоже, данные этих сайтов устарели!)
 
Добавляйте новые!

Также на страницах этой темы много тестов, проведённых участниками форума. Не игнорируйте их, они столь же полезны, как и те тесты, что вывешены на сайтах о сжатии!
 
Тесты, проведённые участниками этого форума:
Тесты от arsvrn
Тесты от Panzer
Тесты от Viewgg
Тесты от egor23 (самые свежие! Самые полные!) old version
Максимальное практическое сжатие: WinRK, ccm(x), uharc, FreeArc и 7-zip от автора FreeArc


Прежде чем задать вопрос, читайте тему! Велика вероятность, что ответ на ваш вопрос уже есть!

Всего записей: 24 | Зарегистр. 20-05-2003 | Отправлено: 20:08 21-05-2003 | Исправлено: Nikolai2004, 01:05 12-12-2010
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Serkin70
Посмотрел ваш сайт, вот результаты, в скобках предварительно заtarеные.
UHARC 0.6a (WinUha 2.0rc1) необратил внимание сразу, но тк сжимаем токо текст мультимедия оптимизация мешает, дольше пакует. При упаковке делалось два прогона, при одинаковых настройках (архиватор, параметры), чтобы следующий упаковщик не получил преимущество над первым из-за того, что данные уже в памяти.
UHARC(PPM,32Мб словарь, мультимедия отключена)  - 150,7кб 10сек (127кб 7сек)
UHARC(PPM,32Мб словарь, мультимедия включена)   - 150.6кб 24сек (127,2кб 21сек)
7z(макс,LZMA,32Мбсловарь,273слово)                     - 148,4кб 1мин  (153,1кб 1мин 4сек)
7z(макс,PPMd,384Мбсловарь,32слово)                     - 572,5кб 6сек  (576,8кб 6сек)
Winrar(макс, solid, 4Мбсловарь)                              - 316,2кб 10сек (226,3кб 9сек)

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 15:09 28-01-2006 | Исправлено: egor23, 02:25 29-01-2006
Viewgg



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
egor23

Цитата:
Вот если кто-нить реализовал бы оболочку, в которой была бы возможность задавать для разных типов данных (или файлов) архиватор, метод компресии и т.п. Это было вещь.  

Похожее предложение развивалось здесь.Panzer

Цитата:
Вообще поразительное дело, можно подумать, что Касперский оптимизировал свой viruslist.com под uharc или наоборот, uharc затачивался под сайт Касперского.  

Похожую ситуацию, помнится, обсуждали здесь в связи с CAB, который на какой-то проге обскакал 7-zip и WinRAR, хотя обычно это не так.

----------
Клуб "Вы"-кателей Руборда

Всего записей: 3012 | Зарегистр. 07-12-2004 | Отправлено: 19:04 28-01-2006
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
arsvrn

Цитата:
То, что затареные данные сжались лучше несмотря на установку непрерывных(solid)-архивов, по-моему, можно объяснить тем, что в каталоге 2700 файлов с именами длиной по несколько десятков байт.

Лучше проверить, (wildsoft.ru | viruslist) файлы были переименованы (1-1218.php | 1-2733.htm), переименование было сплошным, через все папки, сортировка сбилась, результаты оказались не совсем сравнимые - сортировка файлов оказала большее влияние на упаковку, чем длина имени файла.
UHARC(PPM,32Мб словарь, мултимедия отключена)
 - 148,8кб 9.7сек (130,5кб 7сек) | 972,2кб 24.9сек (861,7кб 18.8сек)
7z(макс,LZMA,32Мбсловарь,273слово)  
 - 150,6кб 1мин1сек  (153,9кб 1мин 4сек) | 1,094Мб 3мин 13сек (1,095 3мин 5сек)
7z(макс,PPMd,384Мбсловарь,32слово)   - 577,1кб 5сек  (581,7кб 5сек) | 1,32Мб 31сек (1,33 12сек)
Winrar(макс, solid, 4Мбсловарь)            - 297,8кб 9сек (234,1кб 9сек) | 1,64Мб 24сек (1,45Мб 23сек)

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 02:13 29-01-2006 | Исправлено: egor23, 02:24 29-01-2006
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ну что-ж подведём итоги упаковки сайтов:
1. На размер архивом оказывает некоторое влияние сортировка файлов (по имени, по расширению), те в частности лучше для сайта wildsoft.ru - по расширению, viruslist - по имени, на практике воспользоваться проблематично. Возникает вопрос как передать архиватору последовательность файлов?
2.Архиваторы:
Winrar - хранит путь и мена файлов в неупакованом виде, даже если отнять объём требуемый на хранение путь-имя файла, соравно получается больше примерно на  50-60%, чем у 7z, размер словаря сказывается, всего 4Мб малова-то будет.
7z - PPMd показала себя кряйне не эффективно, LZMA проявила себя хорошо. Плюс к этому 7z лишен недостатка Winrar с путь-имя файла.
UHARC - PPM проявил крайне хорошо (сжатие\время) сжатие сопостовимо с 7z, но так в 7z приходиться пользоваться для упаковки методом который не ориентирован на текст, 7z уступает существеннопо времени упаковки.
Вывод
Для упаковки сайтов, большого объёма наиболее подходит UHARC.
 
Может в шапку добавить какой архиватор, что лучше пакует?

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 13:44 29-01-2006
Enotus

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
1. На размер архивом оказывает некоторое влияние сортировка файлов (по имени, по расширению), ... Возникает вопрос как передать архиватору последовательность файлов?  

Архиваторы с непрерывным режимом сами сортируют файлы (по заложенному алгоритму). Для тара можно сортировать в тоталкоммандере при помощи кнопочки "B" и выбора сортировки.
 

Цитата:
Для упаковки сайтов, большого объёма наиболее подходит UHARC.  

Смотря с чем сравнивать.

Всего записей: 27 | Зарегистр. 23-01-2004 | Отправлено: 19:46 29-01-2006
TCPIP

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
egor23
13:44 29-01-2006
Цитата:
по имени, на практике воспользоваться проблематично. Возникает вопрос как передать архиватору последовательность файлов?  

У WinRAR вроде бы есть возможность выбрать варианты сортировки.
Файл же текстовый, RarFiles.lst, в папке WinRAR лежит, :

Цитата:
File order list for solid archiving

 
Так что у RAR'а флексибилити лучше, чем у TAR'а. Впрочем, все-таки эра лентовых накопителей...

Всего записей: 4667 | Зарегистр. 31-01-2003 | Отправлено: 23:13 29-01-2006 | Исправлено: TCPIP, 23:33 29-01-2006
arsvrn

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Enotus

Цитата:
Для тара можно сортировать в тоталкоммандере при помощи кнопочки "B" и выбора сортировки

Только не "B", а "Ctrl-B".

Цитата:

Цитата:
Для упаковки сайтов, большого объёма наиболее подходит UHARC.

Смотря с чем сравнивать.

А с чем еще? Вроде практически все наиболее эффективные перебрали. Разве что какой-нибудь paqar* не пробовали. Хотя, конечно, уж очень опробованные наборы файлов не типичны - слишком много файлов с похожими данными, за счет этого и такое бешеное сжатие (в 100 и более раз). Сейчас вот по быстрому попробовал сжать папку с файлами ру-боарда (из кеша HandyCache, 22907935 байт) и сразу вышла более привычная картина;
board.rar :  2976744 (m5 md4096 solid);
board.7z  :  2758416 (LZMA mx=9);
board.uha:  2533236 (PPM md32768);
board.uda:  2404019 (Mode 3);
board.fb (Slim): 2348880.
Здесь никаких проб с настройками я не делал, просто в Total'e заархивировал с обычными для меня настройками. Архивировал заTARеные файлы (23429632 байт). Только WinUDA архивировал не tar, т.к. в предыдущих экспериментах он показал результат лучше именно в таком режиме. Сжатие раз в 10, не очень большая разница объемов, Slim - лучший.

Всего записей: 1238 | Зарегистр. 08-09-2004 | Отправлено: 23:27 29-01-2006 | Исправлено: arsvrn, 23:29 29-01-2006
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Serkin70
Крайне интересно как у Вас с упаковкой сайта, какие результаты получили?
 
arsvrn

Цитата:
слишком много файлов с похожими данными..

Большинство крупных сайтов так и построена, страницы, большая их часть, можно сказать существенная, однотипны.

Цитата:
попробовал сжать папку с файлами ру-боарда

речь идёт о форуме, если правильно понял, форум - это не сайт, плюс чем меньше лишнего в оформлении на форуме, тем лучше.
 
Viewgg

Цитата:
Похожее предложение развивалось здесь

Чё то не уымлел, где предложение. Наверно я плохо выразился, Архиватор(или оболочка), которая позволяет при упаковке данных в пределах одного архива задать для разных файлов, разные параметры, например: *.doc - Winrar, rus.txt - 7z, eng.txt - UHARC и тд.

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 01:12 30-01-2006
Serkin70



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Крайне интересно как у Вас с упаковкой сайта, какие результаты получили?

4 233 418кб -  есть картинки в формате jpg примерно 200шт. Всего 118тыс. файлов
7-zip = 62 325кб (за 2 часа) режим ульра (остальное не менял)
WinRar = 77 007кб (за 1 час) максимальный режим непрерывный архив (уже писал, что без непрерывного 755мб было)
WinUha = отказался сжимать указывая, что размер более 2гб (попробовал разные варианты всегда ответ "2гб не могу больше") Подскажите, если в курсе что там не так выставил.
ПЫС: всякие там сортировки не пробовал, только назначаю метод и вперёд. Мне главное простое удобство в работе.
 

Всего записей: 1451 | Зарегистр. 31-07-2003 | Отправлено: 03:21 30-01-2006
Enotus

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Только не "B", а "Ctrl-B".  

Точно
 

Цитата:
А с чем еще?  

Дурилка, PAQ8 ("всего" в 2 раза медленней WinUDA), EPM.

Всего записей: 27 | Зарегистр. 23-01-2004 | Отправлено: 09:20 30-01-2006
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Serkin70

Цитата:
WinUha = отказался сжимать указывая, что размер более 2гб

Ну вот, а всё так хорошо начиналось. Недоглядел ограничения UHARC.

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 11:24 30-01-2006
arsvrn

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Enotus

Цитата:
Дурилка, PAQ8 ("всего" в 2 раза медленней WinUDA), EPM

Добавляю.
Wildsoft.ru (затареный):
wildsoft.dur:  89272
wildsoft.paq: 110512
Кеш форума (затареный):
board.paq: 2279666
board.dur: 2447839
Дурилка использовалась с ключем -t2, PAQ8a с методом -7 (больше у меня память не позволяет).

Всего записей: 1238 | Зарегистр. 08-09-2004 | Отправлено: 13:19 30-01-2006 | Исправлено: arsvrn, 13:22 30-01-2006
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Выборка в 50Мб сайта wildsoft.ru, оказалась маленькой, было проведена дополнительно упаковка большей выборки html, сайта wildsoft.ru.
Исходные данные:
WinXP SP2rus, NTFS, средняя скорость чтения на лог.диске 40Мб\с,
процессор Sempron64 2500+(2.1Ггц), 512Мб опер.памяти PC3200(468МГц).
Папка wildsoft (57931 файл html) 1.84Гб (1 985 002 358)
Заtarеная папка wildsoft 1.88Гб (2 030 005 248)
Во время упаковки папки wildsoft, выявилось еще одна особенность:
UHARC тратил 15мин (может варьироваться) на Поиск и анализ файлов и всего 8мин на упаковку, те на распаковку должно в теории уходить тоже 8мин или +\-.
7z тратил 2мин 36сек на "поиск файлов".
Winrar - 2мин 36сек на "поиск файлов".
По сути слабым звеном (скорости упаковки) становиться дисковая подсистема: скорость винчестера, фрагментация файлов, файловая система, возможно еще и операционная система.
 
папка wildsoft:
UHARC(PPM,32Мбсловарь,мультимедия отключена)  - 9,34Мб (9 798 395)  23мин
7z(макс,LZMA,32Мбсловарь,273слово)                    - 8,92Мб (9 358 252)  1ч 6мин
7z(макс,PPMd,384Мбсловарь,32слово)                    - 23,6Мб (24 831 832) 27мин 49сек
Winrar(макс, solid, 4Мбсловарь)                             - 17,5Мб (18 416 748) 27мин 46сек
 
папка wildsoft заtarеная:
UHARC(PPM,32Мбсловарь,мультимедия отключена)  - 6,87Мб (7 211 436)  4мин 49сек
7z(макс,LZMA,32Мбсловарь,273слово)                    - 8,12Мб (8 523 596)  47мин 8сек
7z(макс,PPMd,384Мбсловарь,32слово)                    - 23,5Мб (24 707 832) 4мин 11сек
Winrar(макс, solid, 4Мбсловарь)                             - 13,2Мб (13 908 367) 5мин 50сек

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 19:26 01-02-2006 | Исправлено: egor23, 21:23 01-02-2006
arsvrn

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
egor23
Интересно, почему же так проваливается 7zip с PPMd - ведь он вроде должен отлично обрабатывать текстовые данные?

Всего записей: 1238 | Зарегистр. 08-09-2004 | Отправлено: 22:26 01-02-2006
Serkin70



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
UHARC тратил 15мин (может варьироваться) на Поиск и анализ файлов и всего 8мин на упаковку, те на распаковку должно в теории уходить тоже 8мин или +\-.  
7z тратил 2мин 36сек на "поиск файлов".  
Winrar - 2мин 36сек на "поиск файлов".  
По сути слабым звеном (скорости упаковки) становиться дисковая подсистема: скорость винчестера, фрагментация файлов, файловая система, возможно еще и операционная система.

Не опечатка с WinRAR?  
Хочу еще отметить, что для открытия этой папки требуется около 5 минут (чтобы просто посмотреть внутренности) в проводнике или в ТС.  

Всего записей: 1451 | Зарегистр. 31-07-2003 | Отправлено: 01:16 02-02-2006
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
arsvrn

Цитата:
Интересно, почему же так проваливается 7zip с PPMd - ведь он вроде должен отлично обрабатывать текстовые данные?

Думаю model order for PPMd, которая максимум 32, недостаточно.
Попробывал PPMonstr (Monstrous PPMII compressor based on PPMd var.I, Apr 30 2002)
PPMONSTR.EXE e -m384 -o32 wildsoft.ru.tar
(o32, o64, o128)
wildsoft.ru.tar это первая выборка в 50Мб
o32   399,2кб (408 781)
o64   141,8кб (145 281)
o128 113,7кб (116 477)
7z(макс,PPMd,384Мбсловарь,32слово) - 594,3кб (608 626)
 
Добавлено:
Serkin70

Цитата:
Winrar - 2мин 36сек

Нет не опечатка, первый раз когда упаковывал вообще было пару секунд, закэшировал где-то. У меня чуть больше 2 минут открывает папку в TC, посмотрю после перезагрузки, чтоб наверняка знать.
 
Добавлено:
Для тех кому нужна wildsoft.ru вторая выборка можно взять здесь..

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 01:22 02-02-2006 | Исправлено: egor23, 02:11 02-02-2006
arsvrn

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
egor23

Цитата:
Попробывал PPMonstr

Следовательно, на первой выборке с wildsoft.ru пока что лидер - дурилка с 89272 байт.

Всего записей: 1238 | Зарегистр. 08-09-2004 | Отправлено: 07:55 02-02-2006
Panzer

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
arsvrn
egor23
Господа, вы обратили внимание когда я говорил о языке? В uharc судя по всему встроен хороший анализатор английского. На русском тексте он проседает весьма сильно. Все никак не соберусь выложить цифры.

Всего записей: 1681 | Зарегистр. 23-10-2003 | Отправлено: 22:51 02-02-2006
TCPIP

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Panzer
22:51 02-02-2006
Цитата:
В uharc судя по всему встроен хороший анализатор английского.

Угу. Еще один вариант, проседающий на неанглицких текстах --- RK (по крайней мере, так было раньше).

Всего записей: 4667 | Зарегистр. 31-01-2003 | Отправлено: 03:07 03-02-2006
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Panzer

Цитата:
Господа, вы обратили внимание когда я говорил о языке

обратили, было проведено архивирование, сегодня еще добавил Индивидульный подход.
Смотрим сюда..

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 04:41 03-02-2006 | Исправлено: egor23, 03:40 13-03-2007
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56

Компьютерный форум Ru.Board » Компьютеры » Программы » Архиваторы. Сравнение сжатия


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru