Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154

Открыть новую тему     Написать ответ в эту тему

spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору



Oбсуждаем какими утилитами и каким способом оптимизировать файлы для лучшего сжатия.

 

 
Precomp (по-русски) Прекомпрессор с интерфейсом командной строки. Вы можете использовать его для достижения лучшего сжатия некоторых типов файлов (работает с файлами, сжатыми методами ZLib или Deflate, и GIF-файлами). Precomp пытается произвести распаковку потоков этих файлов, и, если они декомпрессированые при последующей перекомпрессии идентичны бит-в-бит оригинальному потоку, то перекомпрессия не производится.
 
В результате получается .pcf-файл (PCF = PreCompressedFile), который содержит больше декомпрессированных данных, чем оригинальный файл. Обратите внимание, что этот файл больше оригинального, но, если сжать его методом сжатия сильнее, чем Deflate, он сожмётся лучше, чем оригинал (или использовать lprepaq для прекомпрессии и сжатия за один шаг).

пример для командной строки | Важно: Precomp 0.4.1 и выше | пример для Inno Setup
 
Если файл, который дали Precomp'у он смог обработать (разжать), то в результате получится файл большего размера. Если дали файл JPG и т.п., то в результате получится файл меньшего размера.
 
Rep (Встроен в FreeArc) LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на больших дистанциях (до половины объёма ОЗУ, max 2gb).
 
SRep aka SuperREP LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на сверхбольших дистанциях (в 10-20 раз больше размера ОЗУ при -l512 и ещё дальше при увеличении -l). В отличии от Rep при распаковке копирует повторяющиеся данные непосредственно из распакованного файла.
 
PackJPG Программа разработанная специально для перепаковки JPEG файлов без потерь (восстановление идёт бит в бит). В среднем уменьшает размер JPEG файлов на 18%.
 
PNGOut и OptiPNG Aлгоритмы для cжатия PNG.
png optimize suite(Win32) Набор консольных компрессоров для PNG с батником, брутфорсит PNGи
 
Tiff Precompression of Tiff files encoded with packbits. It precompresses only the first page of multi-page tiff files yet.
 
DICT (Встроен в FreeArc) Словарный препроцессор для текстовых файлов, заменяющий часто встречающиеся последовательности символов на краткие коды, таблица замены создаётся путём анализа каждого блока данных (по умочанию по 64 мб)
 
Delta (Встроен в FreeArc) Препроцессор (фильтр) увеличивающий сжатие табличных данных в бинарных файлах. Он обнаруживает табличные данные и затем 1) вычитает последовательные значения в каждой колонке, 2) переставляет колонки стараясь максимизировать дальнейшее сжатие
 
MM (Встроен в FreeArc) Простой препроцессор мультимедийных данных, не уменьшающий их размеры, но вычитающий последовательные значения. Используя GRZip или PPMd на его выходных данных, можно добиться сжатия на уровне rar, uharc и sbc. Использует модуль mmdet для определения структуры (кол-во каналов*размер сэмпла) входных данных.
 
Rad Video Tools Программа для сжатия/создания файлов с расширением .bik и .smk. Tак же можно добавлять/удалять звуковые дорожки в этих файлах. пример
 
NVidia nvDXT tool Mощная утилита для сжатия текстур (.dds). пример
 
AMD Compressonator Mощная утилита для сжатия текстур (.dds и не только). Бывший ATI Compress.
 
Xdelta Tool and library for differential compression. Xdelta release version 3 supports VCDIFF encoding and decoding. Supports compressing 64 bit files on Windows, Linux, etc. пример
 
батники для перекомпрессии ZIP-ресурсов игр и офисных (MS Office2007; Oo) файлов Cкрипты осуществляют рекурсивный поиск и распаковку в одноимённые папки zipов для более плотного сжатия FA, а также последующее сжатие содержимого папок в одноимённые файлы. Маски прописывать в скрипте пример
 
XWRT 3.2 Препроцессор/компрессор, заточенный под XML (часто встречаются в играх а также в офисных 2007файлах)
Описание: XWRT is a good XML compressor, actually working with all textual files. It transforms XML to more compressible form and uses zlib (default), LZMA, PPMVC, or lpaq6 as back-end compressor. The program also creates a semi-dynamic dictionary and replaces frequently used words with shorter codes.
пример
 
Примечание для всех участников

Перед тем, как задать вопрос: Первый вариант: загрузите "версию для печати" (ссылка справа вверху, над номерами страниц) и попробуйте поискать средствами браузера (ctrl+F).
Большинство типовых задач уже решались, причем неоднократно!

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 15:02 24-04-2009 | Исправлено: Maz, 14:53 06-09-2021
sergey3695



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
как сжать .dds с помощью NVidia nvDXT tool? и как потом разжать при установке?

Всего записей: 181 | Зарегистр. 13-11-2010 | Отправлено: 14:40 14-03-2013
Samarskii



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Столкнулся с такой проблемой:  
Пакую фриарком с параметрами: precs+...............lzma:128mb:max, пакутеся на ура, долго, но очень эффективно.  
Но инстал не распаковывает, ссылаясь на то, что не знает параметр precomp042 -t-j
чем может быть вызвана ошибка?

Всего записей: 2 | Зарегистр. 01-01-2013 | Отправлено: 19:26 22-03-2013
Shad0w001

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ребят, скажите параметры для precomp'a и srep'a для максимального сжатия

Всего записей: 1 | Зарегистр. 19-03-2013 | Отправлено: 11:31 08-04-2013
5peciali5t



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Доброго времени суток!
 
Хотелось еще немного уменьшить размеры наборов обновлений для своих офисных репаков.
 
Исходные файлы сейчас пока .msp просто без предварительной декомпрессии сжимаются в 7zip со 192мб словарем по алгоритму LZMA2 с 1055,2 до 602,2 мб
 
Если их предварительно обработать installaware setup decompressor они сжимаются по вышеуказанной схеме с 2069,4 до 495 Мб. (временных файлов вдвое больше, а выхлоп по сжатию всего около 18%)
 
Кто сталкивался с компрессией .MSP файлов и добился хороших результатов прошу поделиться опытом здесь или в ЛС (желательно в виде, легковоспринимаемом для нубов, с указанием приемов, программ и параметров командной строки)
 
Исходные файлы в 7zip sfx, которые требуется замучать, можно скачать здесь
 
Заранее благодарен за любую помощь!

Всего записей: 1472 | Зарегистр. 17-07-2009 | Отправлено: 03:36 29-04-2013
Highpass

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
5peciali5t
Скачал Updates.exe и посмотрел. Не сочти за грубость, но сжато не ахти )
Ты не используешь solid сжатия, да и LZMA2 надо сказать хреноват, хотя имеет некоторые преимущества по сравнению с LZMA, но не в плане сжатия.
Сейчас я тебе покажу как легко сжать все это дело в 205 МБ
Прежде всего непонятно почему ты говоришь, что "временных файлов вдвое больше". Setup Decompressor просто конвертирует сжатые потоки внутри MSP в несжатые. То есть на выходе ты получаешь те же MSP, только большего размера. В данном случае все 58 файлов "расжались" в 2 326 289 408 байт.
Ради интереса я попробывал пропустить через Precomp, но не стоит овчинка выделки. Там есть сжатые потоки, которые обрабатываются Precomp-ом, но сжатие улучшается только на 200 КБ. Учитывая размер самого Precomp, это невыгодно.
Далее. Так как у нас эти MSP файлы содержат обновление програмного обеспечения, то неплохо бы применить какой нить фильтр для исполняемого кода. Например BCJ2 из 7-zip или dispack из FreeArc. Собственно по тестам dispack лучше.
Пробуем посмотреть как будет работать delta. Оказывается что выгода есть, так что тестим связку delta+dispack и dispack+delta. Выходит что лучше сначала delta а потом dispack.
Теперь конечно применим srep. Банально srep:m3f. Тестирование опций -l я оставляю тебе )
Ну и конечно подбираем параметры lzma. В конце получаем строку для FreeArc:
-mdelta+dispack+srep:m3f+lzma:a1:d768m:mfbt4:lc0:fb192:lp2:pb2:mc112
Для параметра mc я выставил параметр по аналогии с 7-zip. То есть по принципу (fb/2)+16
Результат: 214 593 983 bytes
 
Надо сказать что я использовал внешний lzma для FreeArc, ибо вполне ясно и известно, что внутренний lzma в паре с matchfinder BT4 может быть только 255 для параметра d (размер словаря).
Естественно, что тебе надо подбирать параметры lzma исходя из возможностей компа. Плюс возможно ты не захочешь использовать srep, а только внутренние алгоритмы и более скромное потребление памяти. Тогда можно вот так:
-mdelta+dispack+rep:512m:a99+lzma:a1:d64m:mfbt4:lc0:fb192:lp2:pb2:mc112
Но результат конечно будет хуже: 300 827 442 bytes
Кстати тебе понадобится FreeArc 0.67 December 12 2012 или выше )
Если будут вопросы, то пиши. Могу кстати сделать SFX который будет работать и со SREP, без необходимости внешних файлов.

Всего записей: 72 | Зарегистр. 23-06-2009 | Отправлено: 20:17 01-05-2013
Engaged Clown



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
5peciali5t
Стоит попробовать RAR5, там прорыв в сжатии, получается что-то сравнимое с FreeArc. Как по скорости, так и по сжатию.

----------
Опросы ru-board'а

Всего записей: 8782 | Зарегистр. 08-06-2006 | Отправлено: 20:42 01-05-2013
Highpass

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ты ошибаешься.
Я бы не назвал это прорывом. Словарь в 1GB, доступный в RAR5, конечно улучшает сжатие, но сама модель сжатия и возможности препроцессинга не сровнятся FreeArc. В RAR5 простенький exe фильтр (который хуже bcj\bcj2\dispack) и обычный delta, несравнимый с delta из FreeArc. Кроме того в RAR5 были удалены некоторые алгоритмы и фильтры. В частности алгоритм текстового сжатия (основаный на ppmd), фильтр для изображений и аудио, препроцессор для Itanium.
Например на словаре в 1GB и потребляя при этом 6 Гб оперативки, RAR5 сжал вышеописанные файлы в 311 182 657 байт. FreeArc (c только внутренними алгоритмами) сжал в 300 827 442, потребляя примерно 1.25 Гб памяти. И я уж не говорю про результат с использованием внешних алгоритмов )
Так что нет, WinRAR аутсайдер, хотя как качественный формат с хорошим multi-thread он вполне хорош для каждодневного использования.

Всего записей: 72 | Зарегистр. 23-06-2009 | Отправлено: 21:23 01-05-2013
Engaged Clown



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Highpass

Цитата:
Например на словаре в 1GB и потребляя при этом 6 Гб оперативки, RAR5 сжал вышеописанные файлы в 311 182 657 байт. FreeArc (c только внутренними алгоритмами) сжал в 300 827 442, потребляя примерно 1.25 Гб памяти. И я уж не говорю про результат с использованием внешних алгоритмов )  

Что-то мне подсказывает, что выигрыш  в 10 мегабайт несущественен в данном случае.
А как насчёт скорости распаковки?

----------
Опросы ru-board'а

Всего записей: 8782 | Зарегистр. 08-06-2006 | Отправлено: 21:28 01-05-2013
5peciali5t



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Engaged Clown
спасибо за отклик, параметры доступные из GUI выставил максимальную компрессию и непрерывный архив - получил архив на 820 метров. дожно быть надо консольно выставлять все параметры сжатия...
 
Highpass
отписал в ЛС

Всего записей: 1472 | Зарегистр. 17-07-2009 | Отправлено: 21:44 01-05-2013 | Исправлено: 5peciali5t, 21:49 01-05-2013
tofw

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите, может кто сжимал уже The Incredible Adventures of Van Helsing, нужна подсказка.
Там есть две папки Models и Terrains (16,6 Гб) лучшее что у меня получается это из 18,248,591,406  в 3,866,761,528  
srep:m3f:l256+lzma64:a1:mfbt4:d640m:fb273:mc1000:lc8, хотя на ресурсах инета увидел репак от R.G. Revenants, так у них получилось 3,549,534,710.
Или там размер словаря около 1гб, или какой-то финт.
 
п.с. хотел спросить на форуме krinkels.org, но не могу там зарегится, не приходит письмо на емаил. может кто есть здесь из команды R.G. Revenants, расскройте плиз секрет
п.с.2 это для личного архива

Всего записей: 7 | Зарегистр. 12-12-2007 | Отправлено: 18:49 24-06-2013 | Исправлено: tofw, 18:53 24-06-2013
LonerDergunov



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Перезалейте, пожалуйста, последнюю версию Packers Show (5.0 beta 1 + локализации).
На оф.форуме зарегистрироваться не получается - пробовал разные почтовые ящики, ответ не приходит.

Всего записей: 2972 | Зарегистр. 11-07-2007 | Отправлено: 22:25 14-07-2013
V2driver



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
tofw, LonerDergunov
Починили - регайтесь

----------
Переехал на krinkels.org

Всего записей: 462 | Зарегистр. 01-02-2010 | Отправлено: 19:57 16-07-2013
LonerDergunov



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
V2driver
Регня не проходит - капча не принимается.
Да и оффтоп тут про регистрацию - достаточно просто перезалить программу и занести её в шапку данной темы.

Всего записей: 2972 | Зарегистр. 11-07-2007 | Отправлено: 19:58 17-07-2013
V2driver



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
LonerDergunov

Цитата:
Регня не проходит - капча не принимается.

С регой проблем нет, только что проверил.

Цитата:
Да и оффтоп тут про регистрацию

Тут за всё время столько оффтопа было, так что это капля в море.

Цитата:
достаточно просто перезалить программу и занести её в шапку данной темы.

Я как видно из подписи, уже не поддерживаю тут шапку. Так что можете сами зарегаться на оф. форуме и делайте что хотите!

----------
Переехал на krinkels.org

Всего записей: 462 | Зарегистр. 01-02-2010 | Отправлено: 07:38 20-07-2013 | Исправлено: V2driver, 07:42 20-07-2013
IDeepI

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
прикрутил к срепу и прекомпу интерфейс для удобства  
 скрин  
http://i58.fastpic.ru/big/2013/0905/84/0df14c7aa83e89f7c62834a549d3ed84.jpg
 FAQ  
  1. Кидаете в папку с срепом и прекомпом.  
  2. сам среп и прекомп должны называться srep.exe и precomp.exe, версии могут быть любые.  
  3. кнопка общий старт запускает сначала прекомп, ждёт его завершения и запускает среп следующим. при этом в параметрах срепа обязательно нужно вписать имя файла которое получится после обработки прекомпа.  
  зы. кому нада могу прикрутить профили для параметров чтоб постоянно их вручную не вбивать.  
http://rghost.ru/48579293  
  в архиве для х32 и х64 версий винды

Всего записей: 2 | Зарегистр. 06-09-2013 | Отправлено: 12:41 06-09-2013 | Исправлено: IDeepI, 12:42 06-09-2013
Fenixx3000

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Господа помогите пожалуйста сжатием, сжимаю фаил а архив выходит больше чем оригинал, в чем может быть проблемма? может параметр сжатия какой другой надо?

Всего записей: 8 | Зарегистр. 28-11-2011 | Отправлено: 11:03 27-09-2013
aibek1996

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Доброго времени суток!  
скиньте ссылку на справочник по параметрам LZMA

Всего записей: 5 | Зарегистр. 06-01-2014 | Отправлено: 09:42 31-01-2014
VitaminP



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Попробовал архиватор Srep для сжатия четырёх ".iso" образов DVD дисков для уставновки Windows 7. Результатом впечатлён: удалось сжать 12Гб до 5Гб. Попутно использовался Winrar (можно 7-zip). Набросал скрипт автоматизации упаковки/распаковки подобного процесса. Если кому интересно скрипт здесь: http://yadi.sk/d/k3KkRs8rJ2su4

Всего записей: 306 | Зарегистр. 28-08-2013 | Отправлено: 11:16 17-02-2014 | Исправлено: VitaminP, 23:10 14-05-2014
Pasha_ZZZ



Platinum Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
VitaminP
Попробуй еще SmartVersion...

Всего записей: 12398 | Зарегистр. 11-03-2002 | Отправлено: 11:19 17-02-2014
qqwwrr

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
delete

Всего записей: 407 | Зарегистр. 16-10-2007 | Отправлено: 04:22 25-04-2014 | Исправлено: qqwwrr, 04:24 25-04-2014
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154

Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru