Перейти из форума на сайт.

Новости • Файловые архивы
Поиск • Активные темы • Топ лист
Правила • Кто в on-line?
Вход • Забыли пароль? • Первый раз на этом сайте? • Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия

Модерирует : gyra, Maz

 Версия для печати • Подписаться • Добавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154

Открыть новую тему     Написать ответ в эту тему

spider91

Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Oбсуждаем какими утилитами и каким способом оптимизировать файлы для лучшего сжатия.

 

 
Precomp (по-русски) Прекомпрессор с интерфейсом командной строки. Вы можете использовать его для достижения лучшего сжатия некоторых типов файлов (работает с файлами, сжатыми методами ZLib или Deflate, и GIF-файлами). Precomp пытается произвести распаковку потоков этих файлов, и, если они декомпрессированые при последующей перекомпрессии идентичны бит-в-бит оригинальному потоку, то перекомпрессия не производится.
 
В результате получается .pcf-файл (PCF = PreCompressedFile), который содержит больше декомпрессированных данных, чем оригинальный файл. Обратите внимание, что этот файл больше оригинального, но, если сжать его методом сжатия сильнее, чем Deflate, он сожмётся лучше, чем оригинал (или использовать lprepaq для прекомпрессии и сжатия за один шаг).
пример для командной строки | Важно: Precomp 0.4.1 и выше | пример для Inno Setup
 
Если файл, который дали Precomp'у он смог обработать (разжать), то в результате получится файл большего размера. Если дали файл JPG и т.п., то в результате получится файл меньшего размера.
 
Rep (Встроен в FreeArc) LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на больших дистанциях (до половины объёма ОЗУ, max 2gb).
 
SRep aka SuperREP LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на сверхбольших дистанциях (в 10-20 раз больше размера ОЗУ при -l512 и ещё дальше при увеличении -l). В отличии от Rep при распаковке копирует повторяющиеся данные непосредственно из распакованного файла.
 
PackJPG Программа разработанная специально для перепаковки JPEG файлов без потерь (восстановление идёт бит в бит). В среднем уменьшает размер JPEG файлов на 18%.
 
PNGOut и OptiPNG Aлгоритмы для cжатия PNG.
png optimize suite(Win32) Набор консольных компрессоров для PNG с батником, брутфорсит PNGи
 
Tiff Precompression of Tiff files encoded with packbits. It precompresses only the first page of multi-page tiff files yet.
 
DICT (Встроен в FreeArc) Словарный препроцессор для текстовых файлов, заменяющий часто встречающиеся последовательности символов на краткие коды, таблица замены создаётся путём анализа каждого блока данных (по умочанию по 64 мб)
 
Delta (Встроен в FreeArc) Препроцессор (фильтр) увеличивающий сжатие табличных данных в бинарных файлах. Он обнаруживает табличные данные и затем 1) вычитает последовательные значения в каждой колонке, 2) переставляет колонки стараясь максимизировать дальнейшее сжатие
 
MM (Встроен в FreeArc) Простой препроцессор мультимедийных данных, не уменьшающий их размеры, но вычитающий последовательные значения. Используя GRZip или PPMd на его выходных данных, можно добиться сжатия на уровне rar, uharc и sbc. Использует модуль mmdet для определения структуры (кол-во каналов*размер сэмпла) входных данных.
 
Rad Video Tools Программа для сжатия/создания файлов с расширением .bik и .smk. Tак же можно добавлять/удалять звуковые дорожки в этих файлах. пример
 
NVidia nvDXT tool Mощная утилита для сжатия текстур (.dds). пример
 
AMD Compressonator Mощная утилита для сжатия текстур (.dds и не только). Бывший ATI Compress.
 
Xdelta Tool and library for differential compression. Xdelta release version 3 supports VCDIFF encoding and decoding. Supports compressing 64 bit files on Windows, Linux, etc. пример
 
батники для перекомпрессии ZIP-ресурсов игр и офисных (MS Office2007; Oo) файлов Cкрипты осуществляют рекурсивный поиск и распаковку в одноимённые папки zipов для более плотного сжатия FA, а также последующее сжатие содержимого папок в одноимённые файлы. Маски прописывать в скрипте пример
 
XWRT 3.2 Препроцессор/компрессор, заточенный под XML (часто встречаются в играх а также в офисных 2007файлах)
Описание: XWRT is a good XML compressor, actually working with all textual files. It transforms XML to more compressible form and uses zlib (default), LZMA, PPMVC, or lpaq6 as back-end compressor. The program also creates a semi-dynamic dictionary and replaces frequently used words with shorter codes. пример
 
Примечание для всех участников

Перед тем, как задать вопрос: Первый вариант: загрузите "версию для печати" (ссылка справа вверху, над номерами страниц) и попробуйте поискать средствами браузера (ctrl+F).
Большинство типовых задач уже решались, причем неоднократно!
Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 15:02 24-04-2009 | Исправлено: Maz, 14:53 06-09-2021
Bulat_Ziganshin

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Result:= FreeArcCmd(callback,'x','-o+','-dp'+AnsiToUtf8(Destination),'--',AnsiToUtf8(Source),'-w'+AnsiToUtf8(Destination),'','','','');  // код ошибки

советую переставить -w перед '--'. иначе перестанет работать со следующей версией unarc.dll (она должна не принимать опции после "--", то что они принимались - это моя ошибка)
Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 22:49 07-12-2009
crotoff

Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Kosako
думаешь, злой_дед dllки из exeшников сделал? Чтобы чёрные окна во время распаковки не выскакивали? Прекомпом скорей всего zip-ресурсы обработал а сверху чем-то ассиметричным, раз быстро распаковывается. Можно кстати попробовать свои профили подобрать под каждую игруху и в шапке выкладывать
Всего записей: 961 | Зарегистр. 17-04-2007 | Отправлено: 09:00 08-12-2009 | Исправлено: crotoff, 09:03 08-12-2009
Xuligator

Newbie		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Замени вот эту строчку:  
Result:= FreeArcCmd(callback,'x','-o+','-dp'+AnsiToUtf8(Destination),'--',AnsiToUtf8(Source),'','','','','');  // код ошибки  
на вот эту:  
Result:= FreeArcCmd(callback,'x','-o+','-dp'+AnsiToUtf8(Destination),'--',AnsiToUtf8(Source),'-w'+AnsiToUtf8(Destination),'','','','');  // код ошибки

 

Цитата:
советую переставить -w перед '--'. иначе перестанет работать со следующей версией unarc.dll

 
Спасибо огроменное, замена на строку
Result:= FreeArcCmd(callback,'x','-o+','-dp'+AnsiToUtf8(Destination),'-w'+AnsiToUtf8(Destination),'--',AnsiToUtf8(Source),'','','','');
принесла долгожданные результаты, наконец-то temp файлы precomp архивов не ломятся на системный диск, а идут стройными колоннами в целевую папку установки!
 
Для полного счастья не хватает только одного: элиминации precomp окна при распаковке с Inno Setup. Оно упорно всплывает на архивах Freearc 3 December + скрипт 3.4.
В соседней теме у человека при определённых параметрых оно вроде не всплывает, но при указанной выше связке оно появляется с завидным постоянством (я заранее извиняюсь, может я что-то пропустил - мну не было полтора месяца, и наука шагнула далеко вперёд с тех пор, и избавилась наконец от этого чёрного окна, но как этого добиться?)
Всего записей: 16 | Зарегистр. 26-06-2007 | Отправлено: 09:41 08-12-2009
egor23



Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Kosako

Цитата:
там экзешники в dllки переделаны. Короче, чтобы сильно жать, надо программирование знать.



Цитата:
Convert.dll  
msvcr80.dll  
packjpg_dll.dll  
Precomp.dll  
Unpack.dll  
zip.dll  
zlib1.dll

setup.exe 4МБ - инсталл
Gamedata 681МБ - папка с main\video\ *.bik
data-a.bin 1.58ГБ - архив FreeArc (lzma:512mb:normal:128:mc2:lc4) (внутри *.ff.pcf)
data-b.bin 1.43ГБ - архив FreeArc (lzma:512mb:normal:128:mc2:lc4) (внутри распакованные iw_XX_iwd)
data-c.bin 462МБ - архив FreeArc (lzma:128mb:normal:bt4:128) (внутри распакованные iw_XX_iwd, localized_russian_iwXX_iwd)
 
Convert.dll (Convert.exe) - OggDec 1.0.1  
msvcr80.dll  
packjpg_dll.dll  
Precomp.dll (Precomp.exe) - Precomp v0.3.8
Unpack.dll (Unpack.exe) - FreeArc 0.60 RC (November 3 2009)
zip.dll (zip.exe) - Zip 2.32
zlib1.dll
Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 09:57 08-12-2009 | Исправлено: egor23, 11:53 08-12-2009
crotoff

Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
стало быть, ресурсы жмутся LZMA уже предварительно распакованные? Видимо после извлечения они запаковываются обратно в *.iwd  с помощью zip.dll - вот и весь секрет
Всего записей: 961 | Зарегистр. 17-04-2007 | Отправлено: 10:17 08-12-2009 | Исправлено: crotoff, 10:26 08-12-2009
egor23



Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
crotoff

Цитата:
стало быть, ресурсы жмутся LZMA уже предварительно распакованные?

*.ff - Precomp расжал

Цитата:
Видимо после извлечения они запаковываются обратно в *.iwd  с помощью zip.dll - вот и весь секрет

секрет в том что звук пожат (пережат: mp3 в mp3) в mp3 и ogg, соответственно эти ресурсные файлы полюбому распаковывать нужно было...
 
Добавлено:

Цитата:
(пережат: mp3 в mp3)

это если установленная версия, что под рукой была, оригинальная
Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 10:42 08-12-2009 | Исправлено: egor23, 10:45 08-12-2009
Bulat_Ziganshin

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Для полного счастья не хватает только одного: элиминации precomp окна при распаковке с Inno Setup.

а то что при этом индикатор прогресса будет долгое время стоять на одном месте - ничего? с окошком хоть виден прогресс распаковки в precomp
Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 10:49 08-12-2009
egor23



Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
crotoff

Цитата:
секрет в том что звук пожат (пережат: mp3 в mp3) в mp3 и ogg, соответственно эти ресурсные файлы полюбому распаковывать нужно было...

и *.bik пережаты (attract.bik отсутствует)
http://forum.ru-board.com/topic.cgi?forum=5&topic=30239&start=480#5
Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 11:53 08-12-2009 | Исправлено: egor23, 12:02 08-12-2009
Kosako



Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
блин, не пойму в чем дело...
прекомп работать нормально перестал. Раньше работал со средней скоростью, а сейчас в начале вроде скорость нормальная, потом уменьшается и под конец (примерно на 99.5%) просто виснет. 9Гб обрабатывал часов за 5-6, сейчас 5Гб за сутки не съел.  
Сдается мне, что это после пары не удачных экспериментов началось. До этого прекомп запускался из C:\Program Files\FreeArc\PowerPack\Max, а теперь из C:\Windows\system32\cmd.exe, в общем через ком строку срабатывает. Как его оттуда выковырнуть и заставить снова запускаться из папки Max? В PATH путь до precomp прописан (C:\Program Files\FreeArc\PowerPack\Max\precomp.exe)
Всего записей: 243 | Зарегистр. 27-11-2009 | Отправлено: 12:09 08-12-2009 | Исправлено: Kosako, 12:10 08-12-2009
Bulat_Ziganshin

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
В PATH путь до precomp прописан (C:\Program Files\FreeArc\PowerPack\Max\precomp.exe)

в PATH должен быть каталог, т.е. C:\Program Files\FreeArc\PowerPack\Max
Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 12:16 08-12-2009
1pik1

Newbie		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
egor23
ну раз вы в этом разбираетесь,то ответьте мне на пару вопросов:
что это за вещи такие внутри распакованные iw_XX_iwd,внутри распакованные iw_XX_iwd, localized_russian_iwXX_iwd?

и как бы мне всё это собрать в одно:

Цитата:
setup.exe 4МБ - инсталл  
Gamedata 681МБ - папка с main\video\ *.bik  
data-a.bin 1.58ГБ - архив FreeArc (lzma:512mb:normal:128:mc2:lc4) (внутри *.ff.pcf)  
data-b.bin 1.43ГБ - архив FreeArc (lzma:512mb:normal:128:mc2:lc4) (внутри распакованные iw_XX_iwd)  
data-c.bin 462МБ - архив FreeArc (lzma:128mb:normal:bt4:128) (внутри распакованные iw_XX_iwd, localized_russian_iwXX_iwd)  
 
Convert.dll (Convert.exe) - OggDec 1.0.1  
msvcr80.dll  
packjpg_dll.dll  
Precomp.dll (Precomp.exe) - Precomp v0.3.8  
Unpack.dll (Unpack.exe) - FreeArc 0.60 RC (November 3 2009)  
zip.dll (zip.exe) - Zip 2.32  
zlib1.dll

хотелось бы узнать где это всё взять и можно ли это всё реанимировать с помощью freearc_example-ext ?
Всего записей: 20 | Зарегистр. 03-12-2009 | Отправлено: 15:27 08-12-2009
egor23



Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
1pik1

Цитата:
что это за вещи такие внутри распакованные iw_XX_iwd,внутри распакованные iw_XX_iwd, localized_russian_iwXX_iwd?

распакованные файлы *.iwd

Цитата:
и как бы мне всё это собрать в одно:

и это и есть "всё одно целое"

Цитата:
хотелось бы узнать где это всё взять

там же где и все берут, где-то скачать... (4.2ГБ)
 

Цитата:
data-a.bin 1.58ГБ - архив FreeArc (lzma:512mb:normal:128:mc2:lc4) (внутри *.ff.pcf)

для тех кому интересно
если пережать содержимое data-a.bin
например srep+lzma:512m
можно получить архив на 465МБ меньше.
Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 17:23 08-12-2009 | Исправлено: egor23, 17:24 08-12-2009
1pik1

Newbie		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
egor23
а как мне freearc архивы сделать вот втакой формат: data-a.bin?
так всё-таки можно всё это реанимировать через freearc_example-ext?(это подразумевал под и как бы мне всё это собрать в одно)
Всего записей: 20 | Зарегистр. 03-12-2009 | Отправлено: 17:33 08-12-2009
AtotIK



Junior Member		Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
У меня несколько вопросиков, чисто для ознакомления:
 
1. И как же применять Precomp? Пробовал, у меня файлы получаются идентичные....Мож я дурак или лыжи не едут?
 
2. FreeArc vs. 7-Zip. Не заметил разницы + реализация под Инно проще...Концовка такая же как и в 1 вопросе...
 
З.Ы. + Precomp'овские файлы порой получаются намного больше оригинальных файлов...что это такое вообще????
Всего записей: 153 | Зарегистр. 17-09-2006 | Отправлено: 17:36 08-12-2009 | Исправлено: AtotIK, 17:37 08-12-2009
egor23



Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
1pik1

Цитата:
а как мне freearc архивы сделать вот втакой формат: data-a.bin?

взять data-a.arc и переименовать в data-a.bin
 
AtotIK

Цитата:
З.Ы. + Precomp'овские файлы порой получаются намного больше оригинальных файлов...что это такое вообще????

Precomp предназначен для разжатия, соответственно размер данных после Precomp'а будет больше.
Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 20:09 08-12-2009
1pik1

Newbie		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
egor23
а какие файлы посоветуешь разжимать precomp'ом?
Всего записей: 20 | Зарегистр. 03-12-2009 | Отправлено: 21:17 08-12-2009
egor23



Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
1pik1
http://schnaader.info/precomp.html
 
Добавлено:
перевод
http://translate.google.com/translate?js=y&prev=_t&hl=ru&ie=UTF-8&layout=1&eotf=1&u=http%3A%2F%2Fschnaader.info%2Fprecomp.html&sl=en&tl=ru
Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 21:22 08-12-2009
milwaukeeman



Junior Member		Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Люди. Вопрос назрел. как прекомпит файлы одглго расширения все сразу а не по одному?
Всего записей: 136 | Зарегистр. 17-02-2009 | Отправлено: 21:39 08-12-2009
lol2xD

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Рип Мв2 делается легко. =))
1.Жмем Видео процентов на 50,удаляем видео файл attract.bik(трейлер код4)
2.Заходим в zone\russian там удаляем файл у которых в названии есть mp
3.Файлы из zone\russian обрабатываем прекомпом потом жмем во фриарк
4.В папке main распаковываем архивы(*.iwd) так что бы на пример (Архив iw_00.iwd ра распаковываем так что бы получилось папка iw_00 а там внутри файлы из архива (папка images и файл fileSysCheck.cfg)
5.Тоже самое делаем с остальными архивами.
6.Жмем wav ки в ogg.mp3 файлы жать не знаю как =( (самому интересно)
7.Что б восстановить игровые архивы во время установки юзаем это _http://rghost.ru/685762
кидаем все файлы в {app}.В builder.ini пишем какие папки архивировать например
Подробнее...
П.с ну а так игровые архивы можно не восстанавливать.Но тогда что б игра работала нужно просто распаковать так.Правой кнопкой мыши>7zip>Распаковать здесь.ит ак со всеми архивами.
НУ вот в принципе наверно и всё.
 
Добавлено:
milwaukeeman
Все файлы можно в exe архив 7zipa запихать (без сжатия)а потом работать с ним.Я лично так делаю,но можно и по другому.
Всего записей: 183 | Зарегистр. 18-05-2009 | Отправлено: 21:43 08-12-2009
Xuligator

Newbie		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
И как же применять Precomp? Пробовал, у меня файлы получаются идентичные....Мож я дурак или лыжи не едут?

 
Проще всего запустить Freearc, выбрать нужный файл -> Упаковать.
 
2. В строке "Сжатие" стереть всё к чёртовой бабушке и вставить:  
-max -ld=768m (где 768 - кол-во оперативной памяти, которая потребуется впоследствии этому архиву для распаковки. Можно поставить 512 или сколько хошь)
 
3. Freearc сам сначала разожмёт файл через precomp, а потом сам же упакует с максимальным сжатием
 
4. Всё, архив та-да-да.arc готов
 
P.S. Конечно не все файлы жмутся через прекомп, а только те, в которых есть jpeg потоки - то есть игровые архивы с текстурами там всякими, и т.п....
 

Цитата:
а то что при этом индикатор прогресса будет долгое время стоять на одном месте - ничего? с окошком хоть виден прогресс распаковки в precomp

 
поскольку при наличии precomp архива в скрипте 3.4 (и в ранних тоже, конечно) не срабатывает определение времени завершения распаковки и висит одно слово "завершение", то можно вместо него поставить "ожидайте" =) и всё будет очень даже эстетичненько, имхо ....
Всего записей: 16 | Зарегистр. 26-06-2007 | Отправлено: 21:53 08-12-2009 | Исправлено: Xuligator, 21:53 08-12-2009
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154

Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru