Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Активные темы » Zstandard | zstd

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12

Открыть новую тему     Написать ответ в эту тему

Fenrizz



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Zstandard — алгоритм сжатия данных без потерь, разрабатываемый с 2015 года Яном Колле (фр. Yann Collet) при поддержке Facebook'а; zstd — эталонная реализация алгоритма Zstandard на языке программирования Си под свободной лицензией BSD. Версия 1.0 алгоритма и реализации были представлены в конце августа 2016 года[5][6].  
 
Сочетает словарный алгоритм сжатия данных типа LZ77 и эффективное энтропийное кодирование типа tANS (FSE — Finite State Entropy), алгоритм, сходный с кодом Хаффмана, реализующий нецелое количество бит для хранения символов[7][8].  
 

 
GitHub - https://facebook.github.io/zstd  
Release v1.5.6 - https://github.com/facebook/zstd/releases/tag/v1.5.6
Total Commander plugin - http://franke.ms/download/wcx_zstd_1_1_3_5.zip
https://github.com/facebook/zstd/blob/dev/programs/zstd.1.md
https://manpages.ubuntu.com/manpages/focal/en/man1/zstd.1.html

Всего записей: 677 | Зарегистр. 12-09-2017 | Отправлено: 20:25 25-05-2020 | Исправлено: lelik007, 23:00 30-03-2024
los

Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007, я больше о разделении на физические и логические ядра.

Всего записей: 7336 | Зарегистр. 08-09-2001 | Отправлено: 16:19 12-02-2023
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
los
Ну так хорошо, чтобы со всяким Intel HT не промахнуться.
Просто таких машин пока нет, не попробовать.

Всего записей: 2771 | Зарегистр. 13-10-2006 | Отправлено: 16:55 12-02-2023
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
los
Цитата:
Использование zstd как алгоритма в zip, 7z это больше побочное явление
Побочное вредное, т.к. ломает узнаваемость и совместимость контейнера с уже существующими версиями софта.
А его обновление далеко не всегда возможно.
 
neorion
Цитата:
Если они стали собирать msys'ом, то скорее всего официальной 32 битной версии больше не будет. Msys официально поддерживает и рекомендует только 64 бита. Хотя, 32 битный msys еще существует, запрятан только далеко и может быть не очень свежий.
Тогда вопросов нет. На 1.5.2 я успел увидеть, что при некоторых упаковках он ругается на перебор в настройках сжатия, так что особого смысла не нашёл.
В 1.5.4 они, видимо, решили решить проблему капитально - нет 32-битки, нет проблем.

Всего записей: 16767 | Зарегистр. 04-11-2010 | Отправлено: 18:34 12-02-2023
los

Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
insorg

Цитата:
Побочное вредное, т.к. ломает узнаваемость и совместимость контейнера с уже существующими версиями софта.  
А его обновление далеко не всегда возможно.  

Это все уже было к примеру с rar и др. программами/форматами. Считают разработчики zip, 7z и т.п. нужным добавить поддержу того или иного алгоритма значит пользователям придется привыкать.

Всего записей: 7336 | Зарегистр. 08-09-2001 | Отправлено: 19:05 12-02-2023
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
los
Не совсем. Одно дело, когда разработчики своего контейнера+компрессора делают это у себя. А совсем другое, когда другие на волне хайпа пытаются впихнуть невпихуемое везде (а не себе), наплевав на официальных разработчиков.
Привет всяким форкам 7zip-zstd и ему подобным. А ещё привет официальным спекам на zip, в который теперь допускается совать zstd сжатие вместо deflate. Зачем? Почему? Для чего? Никто не знает. Просто файсбук занёс денежку для продвижения своего компрессора. А остальным теперь, за неимением других вариантов, придётся под это прогибаться, удобно оно или нет.

Всего записей: 16767 | Зарегистр. 04-11-2010 | Отправлено: 19:12 12-02-2023 | Исправлено: insorg, 19:17 12-02-2023
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
los
insorg
Насчет 7-zip, я бы хотел поддержку распаковки zst, ZipX ZSTD, tar.zst
А вот насчет засунуть официально метод Zstandard в 7-zip для сжатия,
я сильно сомневаюсь, что это кто то кроме Игоря нормально сделает,
а ему сильно не надо.

Всего записей: 2771 | Зарегистр. 13-10-2006 | Отправлено: 20:42 12-02-2023
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007
Так теперь и придётся везде просить-уламывать разработчиков архиваторов, чтобы эти все извращения с zstd в .7z и .zip файлах читать можно было.
 
Добавлено:
Впрочем, в спеках .zip контейнера если его уже утвердили, то им и самим придётся это делать, чтобы соответствовать.

Всего записей: 16767 | Зарегистр. 04-11-2010 | Отправлено: 20:45 12-02-2023
Inoz2000



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Таки чито? - нету больше контейнеров, в которые можно вот так формат сжатия втулить. 7z – всегда был открыт для новых форматов, а куда ж ещё бедному zstd податья…

----------
Мы все умрём. (-:

Всего записей: 4916 | Зарегистр. 23-04-2009 | Отправлено: 20:54 12-02-2023
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Inoz2000
Смесь бульдога с носорогом. Вот взять то же 7-zip Zstandard, у него стандартная документация
7-zip. Если как GUI использовать, то в поле "Параметры", я ничего кроме long=31 вписать не смог,
там типа clog - говорит, твоя моя не понимает. Где это читать? А CLI 7-zip Zstandard - пусть уж будут отдельно
zstd.exe и 7z.exe - по тому документация есть и по тому. На что оно мне вместе нужное, оно что удобней? Надежней?

Всего записей: 2771 | Зарегистр. 13-10-2006 | Отправлено: 21:42 12-02-2023 | Исправлено: lelik007, 21:44 12-02-2023
Inoz2000



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Не нравится 7z, тогда freearc
Ещё варианты?

----------
Мы все умрём. (-:

Всего записей: 4916 | Зарегистр. 23-04-2009 | Отправлено: 21:52 12-02-2023
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Inoz2000

Цитата:
Не нравится 7z, тогда freearc

Ещё лучше. Ископаемый архиватор с этим хоть вообще заведётся?

Всего записей: 16767 | Зарегистр. 04-11-2010 | Отправлено: 22:13 12-02-2023
los

Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007, с этими форками 7z+zstd ситуация чуть другая, они больше заточены под использование алгоритма zstd в 7z архиве, от того и возмущения что скачав foo.7z стандартной программой 7zip архив не распаковать. Но это касается не только zstd, но и brotli и т.п.

Всего записей: 7336 | Зарегистр. 08-09-2001 | Отправлено: 22:35 12-02-2023 | Исправлено: los, 22:36 12-02-2023
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
los
И это тоже в том числе.
Когда под видом чего-то одного общепринятого начинают подсовывать совсем другое неочевидное редкоземельное. Собсна, почему freearc  и не взлетел на уровень с WinRAR/7Zip, ибо своей фичастостью и кучей подключаемого хлама убил на корню всё удобство и совместимость с распаковщиками, не обвешанными внешними фильтрами и обработками.

Всего записей: 16767 | Зарегистр. 04-11-2010 | Отправлено: 22:39 12-02-2023
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
los
Я хотел в закладки добавить, но забыл. У нас уже было в какой то теме на форуме такое.
Один пациент выложил .7z ZSTD - реакция предсказуемая. Его реакция - скачайте кодек. Опять
предсказуемая реакция. На Github чего только нет. С чего качать непонятно что и ставить себе.
Да, у Modern7zip лучше репутация, но вот опять же. Там же и Brotli и LZ4 и прочего напихали.
Это тоже в 7z совать?  

Всего записей: 2771 | Зарегистр. 13-10-2006 | Отправлено: 23:09 12-02-2023
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007
Цитата:
Один пациент выложил .7z ZSTD - реакция предсказуемая.
Естественно никто такому извращению рад не будет.
Цитата:
Его реакция - скачайте кодек. Опять предсказуемая реакция.
Его реакция - попытки оправдать собственную страсть и извращением. А сам факт выкладывания в общественное использование подобных вещей, для чтения которых нужны редкоземельные вещи, - явный признак неуважения к собеседникам. Особенно в тех случаях, когда эта редкоземельность ничем адекватным не оправдывается.
Потому что это выкладывающий должен позаботиться об удобстве чтения его поделок, а не собеседники должны рвать ж ломать мозг в попытках это всё разгрести.
Я ничего не имею против плюс ещё одного кодека, который где-то может оказаться полезным. Но я тоже буду недоволен всем попыткам насовать его туда, где ему не место, особенно без обоснованных на то причин.

Всего записей: 16767 | Зарегистр. 04-11-2010 | Отправлено: 00:05 13-02-2023 | Исправлено: insorg, 00:07 13-02-2023
los

Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007

Цитата:
С чего качать непонятно что и ставить себе.

используйте стандартный, за всеми разновидностями не угонишься.

Всего записей: 7336 | Зарегистр. 08-09-2001 | Отправлено: 09:47 13-02-2023
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ndp48-x86-x64-allos-enu.exe 115,6M - 7z SFX, LZMA:29 BCJ2 (словарь 512M)
https://download.visualstudio.microsoft.com/download/pr/2d6bb6b2-226a-4baa-bdec-798822606ff1/8494001c276a4b96804cde7829c04d7f/ndp48-x86-x64-allos-enu.exe
SHA-256 68C9986A8DCC0214D909AA1F31BEE9FB5461BB839EDCA996A75B08DDFFC1483F
Распакованный и упакованный в TAR, 2,35 Gb
 
Мерялось в PWS - 5.1.19041.2364
Core i5-2500K, 8 Gb Ram
======================
ZStandard 1.5.4
Measure-Command {.\zstd.exe --long=31 --ultra -22 -v ndp48-x86-x64-allos-enu.tar -o ndp48-x86-x64-allos-enu-u22.tar.zst}
Minutes:9 Seconds:1
117,2M
Потребление памяти: до 3200M
 
Measure-Command {.\zstd.exe --long=31 --ultra -22 -v -T2 ndp48-x86-x64-allos-enu.tar -o ndp48-x86-x64-allos-enu-u22t2.tar.zst}
Minutes:5 Seconds:15
117,2M
Потребление памяти: до 4000M
 
Measure-Command {.\zstd.exe --long=31 --ultra -22 -v -T3 ndp48-x86-x64-allos-enu.tar -o ndp48-x86-x64-allos-enu-u22t3.tar.zst}
Minutes:3 Seconds:54
117,2M
Потребление памяти: до 4700M
-----------------------------
Measure-Command {.\zstd.exe --long=31 -12 -v -T2 ndp48-x86-x64-allos-enu.tar -o ndp48-x86-x64-allos-enu-12t2.tar.zst}
Minutes:0 Seconds:29
136,1M
Потребление памяти: до 2500M
 
Measure-Command {.\zstd.exe --long=31 -12 -v -T3 ndp48-x86-x64-allos-enu.tar -o ndp48-x86-x64-allos-enu-12t3.tar.zst}
Minutes:0 Seconds:19
136,1M
Потребление памяти: до 2900M

Всего записей: 2771 | Зарегистр. 13-10-2006 | Отправлено: 13:51 14-02-2023 | Исправлено: lelik007, 17:14 25-02-2024
Inoz2000



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007
вот правда, не вижу смысла в вашем сообщении.
оно большое, но толку мало
нет сортировки ни по размеру, ни по времени
вывод времени в две строки это чистое издевательство
делать тесты на таком малом количестве памяти бессмысленно
 
тема есть Архиваторы. Сравнение сжатия — я прошу вас, если вдруг соберётесь туда, то строчите как-то компактнее
 
ps zstd реально может сжать ваш ndp48-x86-x64-allos-enu до 115 мб и что?

----------
Мы все умрём. (-:

Всего записей: 4916 | Зарегистр. 23-04-2009 | Отправлено: 09:51 15-02-2023
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Inoz2000
Цитата:
тесты на таком малом количестве памяти бессмысленно  
8 гигов - это мало?  
Или тут все сидят на серваках с 64+ ГБ ДДР5 в квад-канале?

Всего записей: 16767 | Зарегистр. 04-11-2010 | Отправлено: 04:02 16-02-2023
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Inoz2000
Вам не поможет в любом случае.
insorg
Именно, что тесты для себя делались. На каком железе есть, ну если человек думает, что на 8 Gb оперативы нельзя архиватор запускать,
о чем с ним говорить.
All
Вообще, из мануалов -
7-zip: словарь * 11 = память.
Еще кол-во потоков важно, но хоть как считать понятно, примерно.
---
Для ZStandard я не знаю как это посчитать. Это зависит и от размера файла и от количества потоков и от количества памяти имеющейся.
Вот и посмотрел режимы возможные на большем файле. Образ Windows жать, просто очень много времени бы заняло.

Всего записей: 2771 | Зарегистр. 13-10-2006 | Отправлено: 10:41 16-02-2023 | Исправлено: lelik007, 19:11 18-02-2024
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12

Компьютерный форум Ru.Board » Компьютеры » Программы » Активные темы » Zstandard | zstd


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru