Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154

Открыть новую тему     Написать ответ в эту тему

spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору



Oбсуждаем какими утилитами и каким способом оптимизировать файлы для лучшего сжатия.

 

 
Precomp (по-русски) Прекомпрессор с интерфейсом командной строки. Вы можете использовать его для достижения лучшего сжатия некоторых типов файлов (работает с файлами, сжатыми методами ZLib или Deflate, и GIF-файлами). Precomp пытается произвести распаковку потоков этих файлов, и, если они декомпрессированые при последующей перекомпрессии идентичны бит-в-бит оригинальному потоку, то перекомпрессия не производится.
 
В результате получается .pcf-файл (PCF = PreCompressedFile), который содержит больше декомпрессированных данных, чем оригинальный файл. Обратите внимание, что этот файл больше оригинального, но, если сжать его методом сжатия сильнее, чем Deflate, он сожмётся лучше, чем оригинал (или использовать lprepaq для прекомпрессии и сжатия за один шаг).

пример для командной строки | Важно: Precomp 0.4.1 и выше | пример для Inno Setup
 
Если файл, который дали Precomp'у он смог обработать (разжать), то в результате получится файл большего размера. Если дали файл JPG и т.п., то в результате получится файл меньшего размера.
 
Rep (Встроен в FreeArc) LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на больших дистанциях (до половины объёма ОЗУ, max 2gb).
 
SRep aka SuperREP LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на сверхбольших дистанциях (в 10-20 раз больше размера ОЗУ при -l512 и ещё дальше при увеличении -l). В отличии от Rep при распаковке копирует повторяющиеся данные непосредственно из распакованного файла.
 
PackJPG Программа разработанная специально для перепаковки JPEG файлов без потерь (восстановление идёт бит в бит). В среднем уменьшает размер JPEG файлов на 18%.
 
PNGOut и OptiPNG Aлгоритмы для cжатия PNG.
png optimize suite(Win32) Набор консольных компрессоров для PNG с батником, брутфорсит PNGи
 
Tiff Precompression of Tiff files encoded with packbits. It precompresses only the first page of multi-page tiff files yet.
 
DICT (Встроен в FreeArc) Словарный препроцессор для текстовых файлов, заменяющий часто встречающиеся последовательности символов на краткие коды, таблица замены создаётся путём анализа каждого блока данных (по умочанию по 64 мб)
 
Delta (Встроен в FreeArc) Препроцессор (фильтр) увеличивающий сжатие табличных данных в бинарных файлах. Он обнаруживает табличные данные и затем 1) вычитает последовательные значения в каждой колонке, 2) переставляет колонки стараясь максимизировать дальнейшее сжатие
 
MM (Встроен в FreeArc) Простой препроцессор мультимедийных данных, не уменьшающий их размеры, но вычитающий последовательные значения. Используя GRZip или PPMd на его выходных данных, можно добиться сжатия на уровне rar, uharc и sbc. Использует модуль mmdet для определения структуры (кол-во каналов*размер сэмпла) входных данных.
 
Rad Video Tools Программа для сжатия/создания файлов с расширением .bik и .smk. Tак же можно добавлять/удалять звуковые дорожки в этих файлах. пример
 
NVidia nvDXT tool Mощная утилита для сжатия текстур (.dds). пример
 
AMD Compressonator Mощная утилита для сжатия текстур (.dds и не только). Бывший ATI Compress.
 
Xdelta Tool and library for differential compression. Xdelta release version 3 supports VCDIFF encoding and decoding. Supports compressing 64 bit files on Windows, Linux, etc. пример
 
батники для перекомпрессии ZIP-ресурсов игр и офисных (MS Office2007; Oo) файлов Cкрипты осуществляют рекурсивный поиск и распаковку в одноимённые папки zipов для более плотного сжатия FA, а также последующее сжатие содержимого папок в одноимённые файлы. Маски прописывать в скрипте пример
 
XWRT 3.2 Препроцессор/компрессор, заточенный под XML (часто встречаются в играх а также в офисных 2007файлах)
Описание: XWRT is a good XML compressor, actually working with all textual files. It transforms XML to more compressible form and uses zlib (default), LZMA, PPMVC, or lpaq6 as back-end compressor. The program also creates a semi-dynamic dictionary and replaces frequently used words with shorter codes.
пример
 
Примечание для всех участников

Перед тем, как задать вопрос: Первый вариант: загрузите "версию для печати" (ссылка справа вверху, над номерами страниц) и попробуйте поискать средствами браузера (ctrl+F).
Большинство типовых задач уже решались, причем неоднократно!

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 15:02 24-04-2009 | Исправлено: Maz, 14:53 06-09-2021
WinDXD

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Всем привет. Сейчас что используют для лучшего сжатия? Кроме FreeArc и Precomp. Вижу Srep, но не знаю что это. Это что? Как им пользоваться?

Всего записей: 72 | Зарегистр. 04-06-2010 | Отправлено: 10:10 11-10-2010 | Исправлено: WinDXD, 10:16 11-10-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
WinDXD

Цитата:
Вижу Srep, но не знаю что это. Это что? Как им пользоваться?
это то же, что и rep, только super) позволяет найти практически все повторы в очень больших файлах, используя оперативки лишь порядка 5% от размера файла. При распаковке требуется только 16мб. Если командной строкой умеешь пользоваться, то как им пользоваться ты бы и так знал, так что используй Packers Show

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 11:20 11-10-2010
Kosako



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
WinDXD
Что это такое, в шапке написано. А пользоваться либо через консоль, либо PaсkersShow скачай. В дополнительных командах пишешь -l*циферки* (по умолчанию установлено 512). Чем меньше цифра, тем лучше результат. Меньше 128 лучше не ставить.

Всего записей: 243 | Зарегистр. 27-11-2009 | Отправлено: 11:22 11-10-2010
WinDXD

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А в скрипт что-нибудь прописывать нужно?

Всего записей: 72 | Зарегистр. 04-06-2010 | Отправлено: 11:30 11-10-2010
V2driver



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Я не знаю, юзает ли кто-нибудь brute вообще?

Я юзаю.
WinDXD где прописывать?

Всего записей: 462 | Зарегистр. 01-02-2010 | Отправлено: 16:56 11-10-2010
WinDXD

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Так что еще использовать чтобы хорошо жать кроме FreeArc и Precomp?

Всего записей: 72 | Зарегистр. 04-06-2010 | Отправлено: 17:23 11-10-2010
BaRS 74



Newbie
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Всем доброго времени суток, Возможо вопрос глупый, но разобраться не могу.
использую, для плотного сжатия 7z+precomp+srep и все это запихиваю в Freearc.
Распаковку провожу через inno setup (ISDone).Что бы избежать консольных окошек ( т.к. не знаю как через bat файлы)
Но вылазиет вот такая ошибка
 
 
Т.е. freearc проходит норм, а вот уже на стадии распаковки Srep все заканчивается.
Пожалуйста, подскажите в чем проблема.
Заранее спасибо, за ответ!
И вот кусок кода idone
Подробнее...

Всего записей: 5 | Зарегистр. 11-10-2010 | Отправлено: 18:53 11-10-2010 | Исправлено: BaRS 74, 18:54 11-10-2010
ReFLeXxe



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Цитата:-brute  
 
это жестоко)

да так то оно так)) Но когда обрабатывал прекомпом файлы получались в 3 раза больше. И сжимаются лучше чем -slow.И вообще -slow толком ничего и не дал. с -slow repack выходил на 2.3Gb а так 1.8  
 
 
Добавлено:

Цитата:
Всем доброго времени суток, Возможо вопрос глупый, но разобраться не могу.  
использую, для плотного сжатия 7z+precomp+srep и все это запихиваю в Freearc.  
Распаковку провожу через inno setup (ISDone).Что бы избежать консольных окошек ( т.к. не знаю как через bat файлы)  
Но вылазиет вот такая ошибка  
   
 
Т.е. freearc проходит норм, а вот уже на стадии распаковки Srep все заканчивается.  
Пожалуйста, подскажите в чем проблема.  
Заранее спасибо, за ответ!  
И вот кусок кода idone  
Подробнее... [?]

 if not ISArcExtract    ( 0, OveralPct, 50, ExpandConstant('{src}\GameData.bin'),  ExpandConstant('{app}\GameData.srp'),                false,CallBack, '',    '',     '') then break;
 
 ExpandConstant('{app}\GameData.srp'), - это ваша папка для распаковки а не файл; должно быть так
вся первая строчка;
 
 if not ISArcExtract    ( 0, OveralPct, 50, ExpandConstant('{src}\GameData.bin'),  ExpandConstant('{app}\'),                false,CallBack, '',    '',     '') then break;

Всего записей: 40 | Зарегистр. 09-10-2010 | Отправлено: 19:07 11-10-2010
BaRS 74



Newbie
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Спасибо, попробую
 
Добавлено:
ReFLeXxe
Спасибо, все получилось.
Только вот проблемка, при распаковке и восстановлении файлов в оригинал, прогресс бары как бы уходит за граници! Не подскажите, как бороться ? На солько я знаю, надо расставить корректно проценты, что бы в сумме было 100? Так ли это ?

Всего записей: 5 | Зарегистр. 11-10-2010 | Отправлено: 19:26 11-10-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
BaRS 74
в readme же это прописано. А у тебя сумма 155% получилась. Подгоняй под 100 и все будет ок.

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 20:23 11-10-2010
ReFLeXxe



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
 Не подскажите, как бороться ? На солько я знаю, надо расставить корректно проценты, что бы в сумме было 100? Так ли это ?

надо раскоментировать строчку #define records, если не поможет по образцу самому раставить проценты

Всего записей: 40 | Зарегистр. 09-10-2010 | Отправлено: 20:25 11-10-2010 | Исправлено: ReFLeXxe, 20:26 11-10-2010
BaRS 74



Newbie
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
ReFLeXxe
Спасибо. Мыслил в ту сторону.

Всего записей: 5 | Зарегистр. 11-10-2010 | Отправлено: 20:31 11-10-2010
manuchu



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Скажите, как можно добиться максимального сжатия??
Какой связкой?? Вот например:
Есть репак Готики 4 от a1chem1st (просто беру в пример), как там сжать до 3,85?????
Я вырезал повторяющиеся ролики и пробовал связку:
7z->Rep->Srep->Arc
И размер получился 5гб
Пробовал обработать прекомпом файлы .pak без толку
Вообще интересует, какая связка самая эффективная? И в какой последовательности лучше использовать прекомп, среп, реп и т.д.
Заранее спасибо

Всего записей: 155 | Зарегистр. 22-03-2010 | Отправлено: 17:08 12-10-2010 | Исправлено: manuchu, 17:16 12-10-2010
tabak96



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
всем привет.я прогнал через прекомп дарксайдерс(папку media ,без видео(7.13 гб)) у меня получилось 13.8 гб,теперь думаю через srep.с какими параметрами у srep можно добиться наилучшего сжатия?

Всего записей: 21 | Зарегистр. 05-10-2010 | Отправлено: 17:24 12-10-2010
manuchu



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ну народ, не ужели ни кто не может подсказать?

Всего записей: 155 | Зарегистр. 22-03-2010 | Отправлено: 18:47 12-10-2010
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
manuchu

Цитата:
Пробовал обработать прекомпом файлы .pak без толку

прекомп используется
precomp+rep+lzma
Video\ и Speech0.pak лежат не упакованные
data1.bin - Data.pcf 2,652,557,073
data2.bin - Data1.pcf 2,378,680,294

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 20:49 12-10-2010 | Исправлено: egor23, 20:55 12-10-2010
Shegorat



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
tabak96
Для большинства данных оптимальное значение -l512 или -l256. Меньшие значения -l конечно уменьшат размер данных, но тут нужно смотреть какой размер будет после дожатия данных алгоритмом lzma
 
 
Добавлено:
manuchu

Цитата:
Вообще интересует, какая связка самая эффективная? И в какой последовательности лучше использовать прекомп, среп, реп и т.д.

Универсальных цепочек сжатия не существует. Для каждого типа данных нужно подбирать свой алгоритм сжатия.

Цитата:
Я вырезал повторяющиеся ролики и пробовал связку:  
7z->Rep->Srep->Arc

Попробуй лучше связку  
7z-Srep->Rep->Arc
Так srep сначала найдет больше повторов, а rep+lzma потом дожмет файлы.
А вообще поэкспериментируй с различными алгоритмами сжатия.

----------
Krinkels.org - создание инсталляционных пакетов.
Как много дел считались невозможными, пока они не были осуществлены.

Всего записей: 695 | Зарегистр. 09-06-2009 | Отправлено: 09:05 13-10-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
7z-Srep->Rep->Arc  
 Так srep сначала найдет больше повторов, а rep+lzma потом дожмет файлы.
Если и юзать rep, то только перед srep'ом для уменьшения количества информации для обработки им. А так то вообще для сжатия srep'ом с -m3 rep и не нужен.

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 10:03 13-10-2010
Shegorat



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Profrager

Цитата:
Если и юзать rep, то только перед srep'ом для уменьшения количества информации для обработки им. А так то вообще для сжатия srep'ом с -m3 rep и не нужен.

Если использовать связку rep+srep в итоге размер файла может молучится больше чем при связке srep+rep. Но если использовать srep с параметром -m3 то тут уже rep не требуется, с этим я согласен.

----------
Krinkels.org - создание инсталляционных пакетов.
Как много дел считались невозможными, пока они не были осуществлены.

Всего записей: 695 | Зарегистр. 09-06-2009 | Отправлено: 10:17 13-10-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Shegorat
ну я особо не тестил, только на данных мафии второй, там размер немного меньше становился. В общем srep -m3 по-любому рулит) Вот бы еще Булат сделал что-то типа держания самых частых совпадений в оперативке в рамках заданного размера, например 512мб.Возможно даже заданного еще в момент упаковки, чтобы так сильно винт не кромсался при декомпрессии.

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 10:41 13-10-2010
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154

Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru