muzf
Junior Member | Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
insorg
Я не увидел никакой рабочей дедупликации по типу srep ни в 7zip, ни в rar. Зато их супермедленную скорость очень даже увидел.
Для тестов взял 4 почти одинаковых виртуальных машины по 2gb, итого 8гб.
Для 7zip здесь приводили пример параметров сжатия якобы самой лучшей дедупликацией, по факту скорость в 100 раз медленнее srep+m81 (xtor:3:4m:h32k), и итоговый размер в 3 раза больше - 2.1гб
7z a -r -t7z -m0=lzma2 -mx=9 -mfb=273 -md=29 -ms=8g -mmt=off -mmtf=off -mqs=on -bt -bb3
Rar7 со всеми включенными галочками Long Range Search=Force и Exhaustive search, сжатие Normal оказался в 10 раз медленнее srep+m81(xtor:3:4m:h32k), и точно так же в 3 раза больше по объёму.
Для сравнения, freearc на m94 (настройки от Shuld -
rep:2gb:96:c16:d4m:s48:h25+4x4:tor:6:4mb:h8mb) сжимает на 10% (1,9gb) лучше 7z/rar и в 10/100 раз быстрее соответственно, примерно как srep+m81 (xtor:3:4m:h32k), где временный 8gb файл помещается в файловый кэш. Полные данные 700gb конечно были бы намного медленнее, упираясь пару раз в скорость диска на создание временного файла в 700gb и далее на его чтение, но всё равно в разы быстрее rar/7z.
Тесты на 6 ядерном 4930k/48gb.
Так что я не понимаю, как в оперативку влезут 700gb, если нужно просто нормальную реализацию однопроходного srep m3f через stdin/stdout без изврата с временными файлами на 700gb.
Добавлено:
mover54
Цитата: распаковывает зачем-то тонны всего в Temp (зачем???)
скорее всего это происходит, т.к. там используется цепочка из разных алгоритмов сжатия (REP -> LZP -> LZMA и т.д.), и всё сразу в оперативку не поместится, поэтому и пишет на диск. Такая архитектура изначально. |
Невнимательно читаешь. Команда test archive ничего не распаковывает в temp (если не использовать внешний srep), для встроенных rep/4x4/tor/xlz4/lzma это не требуется. Глючит и засирает temp именно автоматический тест архива после создания, ручной тест архива не глючит и не засирает. |
Всего записей: 155 | Зарегистр. 23-11-2007 | Отправлено: 00:33 16-05-2024 | Исправлено: muzf, 00:43 16-05-2024 |
|
