Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Активные темы » Zstandard | zstd

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12

Открыть новую тему     Написать ответ в эту тему

Fenrizz



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Zstandard — алгоритм сжатия данных без потерь, разрабатываемый с 2015 года Яном Колле (фр. Yann Collet) при поддержке Facebook'а; zstd — эталонная реализация алгоритма Zstandard на языке программирования Си под свободной лицензией BSD. Версия 1.0 алгоритма и реализации были представлены в конце августа 2016 года[5][6].  
 
Сочетает словарный алгоритм сжатия данных типа LZ77 и эффективное энтропийное кодирование типа tANS (FSE — Finite State Entropy), алгоритм, сходный с кодом Хаффмана, реализующий нецелое количество бит для хранения символов[7][8].  
 

 
GitHub - https://facebook.github.io/zstd  
Release v1.5.6 - https://github.com/facebook/zstd/releases/tag/v1.5.6
Total Commander plugin - http://franke.ms/download/wcx_zstd_1_1_3_5.zip
https://github.com/facebook/zstd/blob/dev/programs/zstd.1.md
https://manpages.ubuntu.com/manpages/focal/en/man1/zstd.1.html

Всего записей: 677 | Зарегистр. 12-09-2017 | Отправлено: 20:25 25-05-2020 | Исправлено: lelik007, 23:00 30-03-2024
fscpsd



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Эксперимент с использованием SQLite в качестве контейнера для архивирования файлов
Проект Pack предпринял попытку создания формата для архивирования файлов, построенного на базе библиотеки SQLite и алгоритма сжатия ZSTD (Zstandard). Подготовленный прототип, написанный на языке Pascal и распространяемый под лицензией Apache 2.0, обогнал по скорости создания архивов наиболее распространённые архиваторы, при том, что его работа сводилась к чтению данных, сжатию библиотекой libzstd и выполнению SQL-операций по добавлению сжатых данных в файл с БД SQLite.
Подробнее...

Всего записей: 1854 | Зарегистр. 16-09-2010 | Отправлено: 04:24 26-03-2024
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ну вот, ещё БД разбирать теперь. Явно ж какой-то "умник" решит это выпустить в публику и выложит такое. Бить по рукам. У вас уже есть свой .tar - ну так и используйте его. Хоть в одну сторону (.tar.zst), хоть в обратную (куча zst внутри tar).

Всего записей: 16755 | Зарегистр. 04-11-2010 | Отправлено: 04:39 26-03-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
insorg
Не взялось ниоткуда в любом случае, посмотри здесь - CTRL+F - Databases, сколько БД уже его применяют:
https://facebook.github.io/zstd/
Для сжатия данных в режиме реального времени, очень даже лучше чем Deflate, хотя бы тем, что непрерывное сжатие.

Всего записей: 2770 | Зарегистр. 13-10-2006 | Отправлено: 06:25 26-03-2024
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007
Я не в контексте применения его внутри БД, а о том, что особо одарённые побегут "паковать" файлы в БД, и потом это везде выкладывать. Точно как бегали со своими кастомными 7z контейнерами с zstd внутри, которые не может прочитать ни оригинальный 7zip, ни официальный распаковщик zstd...
А к целевому применению БД по назначению вопросов нет. Тем более, если оно эффективнее работает.

Всего записей: 16755 | Зарегистр. 04-11-2010 | Отправлено: 06:37 26-03-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
insorg
Ну как тебе сказать, если есть FOSS - будут и форки

Цитата:
Точно как бегали со своими кастомными 7z контейнерами с zstd внутри, которые не может прочитать ни оригинальный 7zip, ни официальный распаковщик zstd...  

Вот именно. У Игоря своя программа, у Яна своя и если на уровне разных реализаций форматов, как Deflate в ZIP, можно нормально сделать, то кастомы - дело кастомщиков.

Всего записей: 2770 | Зарегистр. 13-10-2006 | Отправлено: 07:01 26-03-2024 | Исправлено: lelik007, 08:15 26-03-2024
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Посмотрим. Главное - чтоб эти кастомщики нормальным людям жизнь не усложняли мимикрированием "не туда".

Всего записей: 16755 | Зарегистр. 04-11-2010 | Отправлено: 07:34 26-03-2024
terenty79

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
а никто не знает, где скачать  готовые бинарники zlib1 под 32 битную виндовс? последней версии 1.3.1. нужно попробывать месу для виндовс, а самый быстрые ее буилд, требует для запуска 2 сторонние библиотеки. это zstd, именно который моментально нагуглился, и скачался мной с гитхуба, уже в прекрасно собранном виде под виндовс и самой последней ревизии. а вторая библиотека zlib1.dll, и с ней оказалось большая проблема, ее автор madler и я очень и очень хочу его обозвать сильно нехорошо, готовых бинарников увы не предоставляет. в инете гуглится только доисторическая древняя версия, сделанная в 2005 году, похоже еще для win95. может у кого нормального, всетаки выложен готовый скомпилированный последний релиз.
 
Добавлено:
ой, этот человек имеет ник madler, а я его с этим мусором перепутал lordmulder, со слепу. но все равно, нехорошо не выкладывать готовые библиотеки под самую распостраненную в мире ось.

Всего записей: 1562 | Зарегистр. 26-02-2006 | Отправлено: 11:22 26-03-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
terenty79
Попробуйте, вроде поновее, но как она собрана...
https://sourceforge.net/projects/libpng/files/zlib/1.2.8/zlib128-dll.zip/download

Всего записей: 2770 | Зарегистр. 13-10-2006 | Отправлено: 14:09 26-03-2024
los

Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007

Цитата:
...очень даже лучше чем Deflate, хотя бы тем, что непрерывное сжатие.

чем в этом плане(непрерывность) отличаются gzip и zstd?

Всего записей: 7336 | Зарегистр. 08-09-2001 | Отправлено: 15:00 26-03-2024
terenty79

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Попробуйте, вроде поновее, но как она собрана...

да поновее, спасибо.но это опять не последний релиз. которому уже больше года по моему. странно как то, такая распостраненная библиотека, и никто в актуальном виде не поддерживает ее.

Всего записей: 1562 | Зарегистр. 26-02-2006 | Отправлено: 15:02 26-03-2024
los

Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
terenty79,
https://github.com/MarekKnapek/zlibwin
или скачайте ImageMagick https://imagemagick.org/script/download.php#windows, там тоже испольуется zlib.

Всего записей: 7336 | Зарегистр. 08-09-2001 | Отправлено: 15:34 26-03-2024
terenty79

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
https://github.com/MarekKnapek/zlibwin

ура. скачал. спасибо.  32 бит версия 1.3.0.1, меня все устраивает.

Всего записей: 1562 | Зарегистр. 26-02-2006 | Отправлено: 15:51 26-03-2024 | Исправлено: terenty79, 15:55 26-03-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
los
Результатами главное
Конкретно у Deflate, где бы он ни был, непрерывного сжатия нет, что от того изменится, что им сжали в gzip, формат, который, поддерживает solid-сжатие. А у ZSTD нативное непрерывное сжатие, так как он жмет поток данных, то есть 1 solid-блок и получается. Я бы сказал, что он solid only. А если им tar сжимать, так все форматы на базе tar относят к непрерывным.  
 
terenty79
Без понятия, что нашел.

Всего записей: 2770 | Зарегистр. 13-10-2006 | Отправлено: 16:05 26-03-2024 | Исправлено: lelik007, 16:55 26-03-2024
terenty79

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Без понятия, что нашел.

как раз, что надо, вы  нашли.

Всего записей: 1562 | Зарегистр. 26-02-2006 | Отправлено: 16:22 26-03-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
terenty79
Это хорошо, так как я только сегодня про нее услышал
los
Главное - другое, добавляете 5-7 копий одного файла в tar, пробуете сжать, если выходит ~ размер одного файла - это и есть solid-сжатие. ZSTD так может, значит solid это и есть.

Всего записей: 2770 | Зарегистр. 13-10-2006 | Отправлено: 16:34 26-03-2024 | Исправлено: lelik007, 16:43 26-03-2024
los

Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007

Цитата:
Конкретно у Deflate, где бы он ни был, непрерывного сжатия нет, что от того изменится, что им сжали в gzip, формат, который, поддерживает solid-сжатие. А у ZSTD нативное непрерывное сжатие, так как он жмет поток данных, то есть 1 solid-блок и получается. Я бы сказал, что он solid only. А если им tar сжимать, так все форматы на базе tar относят к непрерывным.


Цитата:
Главное - другое, добавляете 5-7 копий одного файла в tar, пробуете сжать, если выходит ~ размер одного файла - это и есть solid-сжатие. ZSTD так может, значит solid это и есть.

 
Не уверен что вы достаточно хорошо разобрались в вопросе.

Всего записей: 7336 | Зарегистр. 08-09-2001 | Отправлено: 17:10 26-03-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
los

Цитата:
Не уверен что вы достаточно хорошо разобрались в вопросе.

Я тоже не уверен, но мне главное практическая часть, а что gzip в linux как то сжимает методом delfate с непрерывным сжатием?

Всего записей: 2770 | Зарегистр. 13-10-2006 | Отправлено: 17:34 26-03-2024
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007

Цитата:
Я бы сказал, что он solid only.  

Он не солид-онли, а просто неспособен в более одного файла внутри. Да и тот "файл" хранит весьма условно. Ни имени, ни меток времени или атрибутов. Просто поток жатых байтиков.  
Такой же огрызок архиватора, как всякие там gz, bz, и им подобные...
 
Добавлено:

Цитата:
delfate с непрерывным сжатием

А смысл? Там словари не более 32 кБ. Для deflate64 чуть больше - аж но 64 кБ.
Хочешь поиграться им - упакуй .tar.zip и увидишь отсутствие смысла сей затеи.
 
Добавлено:

Цитата:
добавляете 5-7 копий одного файла в tar, пробуете сжать, если выходит ~ размер одного файла - это и есть solid-сжатие

Вообще мимо кассы.
Солид - это возможность жать набор разных файлов как один поток. А уж выйдет ли каменный цветок пожать их до размера одной копии - это для солид архива всё зависит только от словаря.
А засовывание копий в tar - это лютое извращение. Особенно с учётом того, что тар у тебя наглухо прибивает гвоздями порядок файлов, а любой адекватный архиватор с поддержкой солидов (7z, Rar, Arc, Ace) перед началом упаковки ещё и сортирует данные в правильном порядке, часть из которых ещё и через препроцессоры прогоняется (привет BCJ из 7z или "медиа" в Rar).
 
Добавлено:

Цитата:
если им tar сжимать, так все форматы на базе tar относят к непрерывным

Это не "относят", а попытки натянуть сову на глобус. Огрызки архиваторов, которые не способны хранить внутри себя более 1 файла "потока байтов" - не могут быть солидом по определению.
С таким успехом ты можешь просто склеить все свои файлы в один любым другим инструментом (не обязательно tarить) и точно так же радоваться своей изобретательности. Но увы. Это так не работает.
До тех пор, пока ты не можешь засунуть более 1 полноценного файла (а не просто потока байтов) внутрь полноценного файла архива (а не просто набора сжатых байтов), говорить о более сложных сущностях типа межфайловой непрерывности данных внутри - вообще смешно.

Всего записей: 16755 | Зарегистр. 04-11-2010 | Отправлено: 19:01 26-03-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
добавляете 5-7 копий одного файла в tar, пробуете сжать, если выходит ~ размер одного файла - это и есть solid-сжатие
Вообще мимо кассы.

Ага, а попробуй так сделать без solid-сжатия, s=off напиши и посмотри, что LZMA без него может. Для любого архива, много зависит от словаря.

Цитата:
Солид - это возможность жать набор разных файлов как один поток.

Да, а ты сам пишешь, что ZSTD хранит:

Цитата:
Просто поток жатых байтиков

Здесь согласен, в привычных терминах будет solid like.

Цитата:
Хочешь поиграться им - упакуй .tar.zip

Я в хоть каком Deflate особенно смысла не вижу. С g он или без, в tar он или где, кроме распространенности.

Всего записей: 2770 | Зарегистр. 13-10-2006 | Отправлено: 20:26 26-03-2024
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007
Ты внимательнее свой же пост перечитай

Цитата:
добавляете 5-7 копий одного файла в tar

Здесь будет пофиг на s=off, ты ж один файл пакуешь тут, а не "5-7"...
 
Добавлено:

Цитата:
Здесь согласен, в привычных терминах будет solid like

Не будет ни солид-лайк, ни солид. Ничего. Просто один файл, хоть это tar, хоть iso, хоть ещё какой изврат. Точка.
Ты с тем же успехом свой "один файл" можешь засунуть в любой архив, и оно сработает.
Но ты не можешь упаковать в .zst более 1 такого файла. И на этом вся "солидность" разваливается. Ибо её не может быть по определению у вещи, которая не умеет даже второй файл внутри своего контейнера.
Если провести аналогию: чтобы научиться бегать, нужно начать ходить, а оно даже на ноги не встало.

Всего записей: 16755 | Зарегистр. 04-11-2010 | Отправлено: 20:28 26-03-2024
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12

Компьютерный форум Ru.Board » Компьютеры » Программы » Активные темы » Zstandard | zstd


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru