Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » FreeArc (часть 4)

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157

Открыть новую тему     Написать ответ в эту тему

Widok



Moderator-Следопыт
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Часть 1 | Часть 2 | Часть 3


Скачать последний релиз - FreeArc 0.666 от 20 мая 2010 г. Что нового: ускорение работы в 1.5-2 раза благодаря новой технологии многопоточного сжатия, распаковка архивов многих форматов используя технологии 7-zip, запуск файлов из архива, исправлены все проблемы интеграции с Explоrer (подробнее)
Текущая альфа версия: 0.67 - загрузка | список исправлений | блог


Подробное описание используемых алгоритмов
Почему он сжимает лучше и быстрее, чем 7-zip/rar...
Результаты тестов, подтверждающие его крутизну...
Почему для использования 2+ гб памяти желательно установить 64-битную версию Windows
Планы дальнейшего развития
Что подразумевается под "интеграцией с Explorer"
Старая FreeArc wiki (включая описание формата архива)
Логотип и иконки FreeArc - обсуждение того, как облагородить внешний вид программы


Сторонние оболочки для работы с FreeArc:
wArc - простая и понятная программа управления архивами (требует .NET Framework 2.0)
PeaZip - менеджер архивов с поддержкой большого количества форматов, для Windows и Linux


Родственные темы:
Inno Setup плюс внешние упаковщики - использование архивов FreeArc в инсталяторах
ISDone.dll - библиотека распаковки архивов в инсталяторах
REP & SREP
Пережатиe/Pекомпрессия/Oптимизация файлов для лучшего сжатия - "а как сжать ещё лучше?"
FreeArc и Unix - для альтернативно одарённых
• репозиторий FreeArc 'Next на github.com
• тема FreeArc 'Next на форуме encode.su
• раздел FreeArc на форуме krinkels.org

 
Другие архиваторы:
WinRAR
7-zip
PowerArchiver
HaoZip
BandiZip


Всего записей: 24190 | Зарегистр. 07-04-2002 | Отправлено: 11:36 23-11-2010 | Исправлено: Release, 10:58 24-04-2023
Inoz2000



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
-mx=9 -mfb=273 -md=29 -ms=8g -mmt=off  

Наделать такую чушь и потом жаловаться на низкую скорость - это прикол такой, да?
 

Цитата:
Мне нужно упаковать 700Gb почти одинаковых виртуальных машин

Скоростной метод WinRAR со словарём превышающим размер вашей виртуальной машины вполне решит вопрос и без сюрпризов.

----------
Мы все умрём. (-:

Всего записей: 5035 | Зарегистр. 23-04-2009 | Отправлено: 06:57 16-05-2024 | Исправлено: Inoz2000, 16:30 20-05-2024
RazorX911

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Inoz2000: Откуда у нас столько данных, где мы возьмем ~2 ТБ RAM? Размер словаря RAR7 ограничен 64 ГБ, хотя формат RAR7 может обрабатывать словари объемом до 1 ТБ.
 
muzf: Упаковывать 700 ГБ данных в TAR-файл было совершенно ненужным шагом! Попробуйте ZPAQ 7.15 или ZPAQFRANZ.
 
Можно найти здесь: https://encode.su/threads/456-zpaq-updates/page101
 
Хотя в принципе режим STDIN/OUT должен работать для SREP, но подозреваю, что памяти не хватает, поэтому при такой упаковке не должно создаваться "srep-virtualmemory.tmp" или подобные большие временные файлы. На FileForums я не знаю, что они посоветуют по этому поводу.
 
Архивирование самого старого файла изображения и создание дельта-патчей не будет хорошим решением, если все остальное не поможет?

Всего записей: 43 | Зарегистр. 01-06-2011 | Отправлено: 12:01 16-05-2024
Inoz2000



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Для тестов взял 4 почти одинаковых виртуальных машины по 2gb, итого 8гб.

 
RazorX911

Цитата:
где мы возьмем ~2 ТБ RAM?

Кто такие «мы»?

Всего записей: 5035 | Зарегистр. 23-04-2009 | Отправлено: 15:20 16-05-2024
RazorX911

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Трезвые пользователи.
 
Для сжатия 700 ГБ данных потребуется словарь как минимум такого же размера, в случае формата RAR7. Умножьте это значение на 1,5*, чтобы получить требуемую память. Поэтому я и написал, где взять столько памяти. Нам нужно другое решение.
 
Может быть, будут использоваться «Delta-patch», это разумнее?

Всего записей: 43 | Зарегистр. 01-06-2011 | Отправлено: 15:45 16-05-2024
Inoz2000



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Попробуйте ZPAQ 7.15 или ZPAQFRANZ.  

тогда удобнее peazip в качестве gui для zpaq
-method 1 — используемый по умолчанию как раз подойдёт.
 
RazorX911
Если размер виртуальных машин примерно 2gb, то 'в случае формата RAR7' нужен словарь 4GB – это 10 гигов RAM, но конечно zpaq быстрее
 
Добавлено:
к тому же 4GB - это RAR5

Всего записей: 5035 | Зарегистр. 23-04-2009 | Отправлено: 16:37 16-05-2024
RazorX911

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Inoz2000: Если файлы изображений на самом деле имеют размер 2–3 ГБ, а при архивировании в формате «RAR5/7» используется больший размер словаря (например, 4–6 ГБ), RAR найдет все дублирования в данных, начиная с самых старых. или самый маленький файл, причем по ~350 разных файлов?
 
ps: С венгерского или английского очень сложно перевести на русский, с разными переводчиками, если текст более сложный. Надеюсь, вы сможете прочитать то, что я написал.

Всего записей: 43 | Зарегистр. 01-06-2011 | Отправлено: 16:12 17-05-2024 | Исправлено: RazorX911, 16:20 17-05-2024
muzf

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
1. Winrar7 даже со словарём 8гб без опций дедупликаций не умеет находить дедупликации, 4 образа vhd на 8гб он сжал всего в 2 раза до 4гб, с дедупликацией до 600мб, но намного медленней. То есть большой размер словаря ещё не гарантирует хорошую степень сжатия повторяющихся данных, как здесь писал insorg: "Можно на быстром алгоритме без спец ключей-усилителей. Просто победить словарём. Для виртуалок обычно и этого достаточно.". Так что нет, недостаточно.
 
2.
Simple Code

Цитата:
Вот собрал архив, там нужные утилиты и сценарий с примером.  
 

Ссылка на fazip64 уже не работает, можно её так быстро не удалять ?
 
 
 
3. Попробовал соорудить pipe сжатие каталога через 7z tar напрямую в srep3.93 без временных файлов
Сжатие:
7z a dummy -ttar -so k:\comptest | "c:\Program Files (x86)\FreeArc\bin\srep64i.exe" -m3o -d2g -a8 - k:\Comptest-res\pipetest3o.srep
Распаковка :
"c:\Program Files (x86)\FreeArc\bin\srep64i.exe" -d k:\Comptest-res\pipetest.srep - | 7z x -ttar -si k:\Comptest2
 
Команда работает, но 7z-tar -> srep даёт какой-то сбойный .srep, который после распаковки в tar даёт неправильный tar-архив. Если запускать команды по отдельности, то работает, то есть сначала каталог в tar, затем в srep, затем вручную srep->tar. Но цель то без промежуточных файлов. Пробовал и m3o, и m3, одинаково. Непойму, поддержка stdin что ли сбойная в srep.

Всего записей: 155 | Зарегистр. 23-11-2007 | Отправлено: 23:06 19-05-2024
Inoz2000



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
со словарём 8гб без опций дедупликаций не умеет находить дедупликации, 4 образа vhd на 8гб он сжал всего в 2 раза до 4гб, с дедупликацией до 600мб, но намного медленней.
Это правда интересно. Такого даже не ожидал. А почему вы не пробуете peazip + zpaq? Не важно, какой метод - или 0, или 1.
Кокой результат будет на этих 4 образах vhd?

Всего записей: 5035 | Зарегистр. 23-04-2009 | Отправлено: 23:17 19-05-2024
muzf

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Попробовал zpaqfranzhw.exe 59.4, запуск с настройками по умолчанию -m1. Жмёт на скорости 100мб/сек (winrar7 30, srep 200-300).
В -m2 режиме скорость 40мб, почти как winrar7 с дедупликацией (long range search), на выходе 1.1гб.
8гб сжал до 1.2гб, winrar7 и srep+lzma сжимают до 700мб.
 
Srep на m3 пока вне конкуренции по скорости, только научиться бы его использовать без временных файлов.

Всего записей: 155 | Зарегистр. 23-11-2007 | Отправлено: 23:57 19-05-2024 | Исправлено: muzf, 23:58 19-05-2024
Inoz2000



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
В RAR7 нет дедупликации на уровне данных, есть большой словарь.

 
Добавлено:

Цитата:
srep+lzma сжимают до 700мб.  

Раз уж вы не против того, чтобы обрабатывать файлы в два прохода
(первый проход — дедупликация, второй проход — сжатие)
воспользуйтесь советом RazorX911
используйте zpaq -method 0 — нет никаких танцев с промежуточным файлом или stdin
потом сжатие, какое предпочитаете на ваш вкус.

Всего записей: 5035 | Зарегистр. 23-04-2009 | Отправлено: 06:36 20-05-2024 | Исправлено: Inoz2000, 16:32 20-05-2024
muzf

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Не вижу смысла в zpaq m0, он сжимает медленно (100мб/c), как и m1, и плохо, 8->3gb, ещё и зачем-то возможные пляски с pipe ради двух проходов.

Всего записей: 155 | Зарегистр. 23-11-2007 | Отправлено: 11:54 23-05-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
muzf
Если вам нужно сделать бекап 700 Гб похожих виртуальных машин,
http://forum.ru-board.com/topic.cgi?forum=5&topic=35164&start=3100#14
почему для этого не попробовать софт, специально разработанный для бекапа виртуальных машин с дедупликацией и сжатием?
Хотя, Veeam система Enterprise уровня, не Home...
http://forum.ru-board.com/topic.cgi?forum=35&topic=40170&start=3300
Здесь можно спросить, не помню, кто хорошо в дедупликацию умеет, может gutasiho подскажет, он таким увлекается...
http://forum.ru-board.com/topic.cgi?forum=5&topic=0111&start=2320#lt

Всего записей: 2878 | Зарегистр. 13-10-2006 | Отправлено: 13:56 27-05-2024 | Исправлено: lelik007, 14:15 27-05-2024
Simple Code

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
del

Всего записей: 188 | Зарегистр. 19-11-2022 | Отправлено: 11:23 29-05-2024 | Исправлено: Simple Code, 05:02 30-05-2024
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157

Компьютерный форум Ru.Board » Компьютеры » Программы » FreeArc (часть 4)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru