BorlandIMHO
Silver Member | Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору EugeneRoshal Цитата: никакого интереса к большим словарям я не увидел. Ни тестов, ни вопросов, ни примеров использования | Ну, на данный момент времени - необходимость больших словарей не наблюдается. Во-первых, они имеют смысл только для ОЧЕНЬ больших {наборов} данных. Которые мало у кого есть. Во-вторых - оперативность работы с архивом, особенно solid. {Те же самые бэкапы виртуалок - удобнее держать в формате "1 архив - 1 виртуалка"}. То, что упаковка занимает солидное время - полбеды, но ведь и на извлечение потребно существенное время. А уж обновление мега-архива - вообще выйдет за рамки приличия, даже если в нём заменять текстовик на пару кб... Тесты? Пожалуйста... Тестовый набор на ~2,71 Тб: https://archive.org/details/msdn-full Winrar: скачанный с rarlab ~6 часов назад английский 7b1 x64 Параметры сжатия: best, solid, со словарём 32Гб (остальные настройки - по умолчанию) Система: W10 22H2 на [Xeon E5-2678v3 (12c24t) + 128Gb DDR4] Текущее состояние: Как нетрудно заметить, {текущая} степень сжатия не поражает воображения. В отличие от времени, потребного на упаковку... Потом сделаю тест со словарём 64Гб. Но уже сейчас могу сказать, что снижение оперативности доступа (если мне, например, потребуется достать один исошник с NT4 из середины архива) перебивает всю пользу от повышенной степени сжатия... Единственное применение больших словарей (да и больших архивов в целом) - сжатие единичных больших файлов либо (больших наборов файлов, представляющих собой единую сущность) типа бэкапов больших баз данных, не предназначенных для оперативного использования. Именно бэкапы БД обычно не упаковываются в архив, и именно из-за оперативности доступа. Да и тот же SQL 2012, если "пофиг скорость, главное компактность", вполне неплохо упаковывает свои дампы непосредственно при снятии... Из целевых наборов данных остаются, по факту, виртуалки... И опять мы возвращаемся к оперативности: БОЛЬШИЕ наборы данных {типа 20 виртуалок одним куском} потребуют большого времени на распаковку. Для небольших {типичная одиночная ВМ Vbox, "голый" Server 2022 для опытов с VHD на 150Гб} - избыточен, в общем-то, даже словарь в 4Гб. Там всех данных ~15Гб. Нет, я не призываю отказываться от больших словарей. Виртуалки, если что, тоже проявляют тенденцию к распуханию... Но пока в плане работы со словарями было бы полезнее прикрутить некую эвристику {выбор предположительно оптимального размера словаря под конкретный набор данных}. Если, конечно, такое возможно... P.S. А кроме дистрибутивов и {у некоторых} виртуалок, практически все большие файлы на домашних компах - медиафайлы, которые уже сжатые и потому архиватором их паковать бессмысленно...
| Всего записей: 2654 | Зарегистр. 12-10-2006 | Отправлено: 23:05 05-11-2023 | Исправлено: BorlandIMHO, 23:11 05-11-2023 |
|