Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » ICEECC | QuickPAR | MultiPAR | RSC32 и др.

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Открыть новую тему     Написать ответ в эту тему

persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Программы данного раздела служат для обнаружения и исправления ошибок, возникающих при передаче данных и их долговременном хранении. Как правило, восстановление возможно, если суммарный объем повреждений в искаженных файлах вместе с объемом полностью утраченных файлов не превышает объем корректирующей информации, которая заблаговременно дописывается на носитель.
 
 
Контроль целостности без возможности восстановления
 
RHash
Описание: замечательная кроссплатформенная консольная утилита для вычисления огромного количества криптографически-стойких hash-функций, в том числе и используемых в p2p сетях. Программы этой группы не способны к исправлению данных сами по себе, но способны указывать на ситуации, когда необходимо воспользоваться резервной копией или перекачать файл заново
 
Домашняя страница: https://github.com/rhash/RHash
Страница для скачивания: http://sourceforge.net/projects/rhash/files/rhash/
 
RapidCRC Unicode
Описание: профессиональное средство для расчета hash-функций, в том числе и современных быстрых многопоточных функций blake2sp и blake3.
 
Домашняя страница: https://www.ov2.eu/programs/rapidcrc-unicode
Страница для скачивания: https://www.ov2.eu/programs/rapidcrc-unicode
 
CHK Hash Sum
Описание: портативная утилита для контроля целостности файлов с поддержкой Юникода и перетягивания.  
 
Домашняя страница: https://compressme.net/
Страница для скачивания: https://compressme.net/
 
 
8-битные коды Рида-Соломона
 
DVDisaster
Описание: Программа для защиты данных на оптических дисках CD, DVD и BD путём добавления к нему избыточной информации.
 
Домашняя страница: https://sourceforge.net/projects/dvdisaster/
Страница для скачивания: https://sourceforge.net/projects/dvdisaster/files/dvdisaster/
 
 
16-битные коды Рида-Соломона
 
WinRAR
Описание: популярный архиватор, начиная с версии 5.0 создает до 65535 томов восстановления. Кроме того, использует коды RS и для добавления информации восстановления к архивам, выгодно отличаясь от всех других архиваторов.
 
Домашняя страница: http://www.win-rar.ru/
Страница для скачивания: https://www.win-rar.com/download.html?&L=4
 
MultiPAR
Описание: Мощная программа для защиты файлов от повреждений. Одновременно работает в 32- и 64-разрядном окружении. Поддержка многопоточности, Юникода, русского языка. Использует ускорение AVX2 и вычисления GPU. Постоянно обновляется.
 
Домашняя страница: http://hp.vector.co.jp/authors/VA021385/
Страница для скачивания: http://www.vector.co.jp/soft/dl/winnt/util/se460801.html
 
ICEECC
Описание: программа во многом аналогична MultiPAR, но появилась на несколько лет раньше. Русский язык отсутствует. Не обновлялась с 2009 года. На сегодня работает примерно в 5 раз медленнее, чем MultiPAR.
 
Домашняя страница: http://www.ice-graphics.com/ICEECC/IndexR.html
Страница для скачивания: http://www.ice-graphics.com/ICEECC/DownloadR.html
 
 
32-битные коды Рида-Соломона
 
RSC32
Описание: консольная утилита для контроля целостности файлов с использованием hash-функций CRC32, CRC64, MD5, SHA1, SHA256, Tiger и blake2sp. Реализация эффективных 32-разрядных кодов Рида-Соломона позволила оперировать сотнями тысяч и миллионами блоков без драматического влияния на быстродействие. Использует FAR Manager как свой GUI
 
Страница для скачивания: https://disk.yandex.ru/d/yFtikZtmyWuQ1w
 


Схожая тема: ZIDRAV и CRC Recovery 2005

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 11:35 18-07-2007 | Исправлено: persicum, 11:39 29-10-2021
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ajaja
 
А перезалить ваши сборки b2sum x64 и x32 можете? А то с их сайта бинарь вылетает на b2sp.
 
Жалко, что моя прога конкретно сливает в два раза -((. Но для чтения с HDD это не будет заметно. может, переделаю когданить на SSE4.1
 
А 32-бит версия b2sum такая же быстрая на x64?
 

Цитата:
128 бит от 256 в rsc32 по скорости ничем не отличаются

Алгоритм один, просто берется 128 бит результата чтоб глаза не мозолили.
 

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 20:26 04-01-2014 | Исправлено: persicum, 20:40 04-01-2014
Ajaja

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
persicum

Цитата:
А перезалить b2sum можете?

http://rghost.ru/51400543
Это x64. Но, повторюсь, собирал для своего компа c -march=native. На процессорах старей Sandy Bridge может не пойти.
 
Собрал без привязки к архитектуре, 32 и 64 бита, референсный код, без SSE/AVX и пр., должен работать на всех процессорах (но медленно):
http://rghost.ru/51402046
 
 
 
 

Всего записей: 1032 | Зарегистр. 17-06-2004 | Отправлено: 20:50 04-01-2014 | Исправлено: Ajaja, 21:34 04-01-2014
Ajaja

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
persicum

Цитата:
Алгоритм один, просто берется 128 бит результата чтоб глаза не мозолили.  

Берется как-то по хитрому?  Читая описание на сайте рзработчика ("produces digests of any size between 1 and 32 bytes") думал, что можно просто половину цифр выкинуть. Но в RSC32 цифры у 128-битного и 256-битного хеша получаются совершенно разные.

Всего записей: 1032 | Зарегистр. 17-06-2004 | Отправлено: 01:14 05-01-2014
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
думал, что можно просто половину цифр выкинуть

 
Так и есть, ненужные цифры просто выкидываются и все. Плюс маленький секретик.
Сначала интересно спросить, зачем разрабы сделали так, чтобы маленькие хеша отличались от первых цифр полного? Это хорошо или плохо? Чем грозило бы, если бы не отличались?
 
Добавлено:
Проверил на 32-бит Win. Отставание RSC32 от b2sum поменьше, раза в 1.5 изза sse4.1 -)):
 
3969 ms : rsc32 -b2s2 f_1g
2610 ms : b2sum -a blake2s f_1g

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 08:36 05-01-2014 | Исправлено: persicum, 13:00 05-01-2014
Ajaja

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
RHash - sha3-256 - 35 сек (пипец, неужели это после всех оптимизаций?)  

Я так понял, что keccak плохо оптимизирован под 32 бита. У меня получился такой результат:

Код:
 
PS Z:\> Measure-Command { .\sha3sum64.exe 1gb_file }
TotalMilliseconds : 6652,1269
 
PS Z:\> Measure-Command { .\sha3sum32.exe 1gb_file }
TotalMilliseconds : 23686,0954
 
PS Z:\> Measure-Command { .\rhash64.exe --sha3-256 .\1gb_file }
TotalMilliseconds : 9722,8049
 
PS Z:\> Measure-Command { .\rhash32.exe --sha3-256 .\1gb_file }
TotalMilliseconds : 22082,8374
 

sha3sum собирал из исходников с http://sourceforge.net/projects/sha3sumandthensome/
Это был оптимизированый код (KeccakF-1600\Optimized), собраный с -O3 и -march=native. Рефренсный же код (KeccakF-1600\Reference) вообще ужасно медленный:

Код:
 
PS Z:\> Measure-Command { .\sha3sumr64.exe 1gb_file }
TotalMilliseconds : 88209,435
 
PS Z:\> Measure-Command { .\sha3sumr32.exe 1gb_file }
TotalMilliseconds : 227703,8711
 

Всего записей: 1032 | Зарегистр. 17-06-2004 | Отправлено: 15:55 05-01-2014 | Исправлено: Ajaja, 16:05 05-01-2014
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
RSC32 обновилась до версии 3.08
 
What's new:
1) блейк2 переписан на SSE4.1, что дало 30-40% процентов прироста быстродействия:
 
Было:
rsc32 -b2t -offsse41
blake2s  1 thread(s) took: 5515 ms
blake2sp 1 thread(s) took: 5844 ms
blake2sp 2 thread(s) took: 4078 ms
blake2sp 3 thread(s) took: 3766 ms
blake2sp 4 thread(s) took: 3265 ms
 
Стало:
rsc32 -b2t
blake2s  1 thread(s) took: 3938 ms
blake2sp 1 thread(s) took: 4234 ms
blake2sp 2 thread(s) took: 3032 ms
blake2sp 3 thread(s) took: 2843 ms
blake2sp 4 thread(s) took: 2547 ms
 
Отставание от b2sum, конечно, остается, но теперь не такое позорное на 32-бит архитектуре:
 
5782 ms : RSC32.exe -b2s2 -offsse2 file_1g
4187 ms : RSC32.exe -b2s2 -offssse3 file_1g
3907 ms : RSC32.exe -b2s2 -offsse41 file_1g
2907 ms : RSC32.exe -b2s2 file_1g
2641 ms : b2sum -a blake2s file_1g
 

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 17:52 07-01-2014
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
В версии RSC32 3.11 исправлены конфликты между нитями b2sp на двухядерных машинах

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 21:19 09-01-2014
Leginoff

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите, когда программа выдаёт
 
Recovery is NOT possible... ;(
 
существует ли возможность сделать частичное восстановление файлов?

Всего записей: 2 | Зарегистр. 14-12-2005 | Отправлено: 21:22 09-01-2014
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Возможности частичного восстановления нет - или все, или ничего. Причем это не недостаток, а фича. Блоков то много - обычно 200000 или 500000. Тогда 3% уже дают 15000 блоков коррекции, то есть способность исправить 15000 любых дыр.
Ну а 10% - 50000 тысяч дыр. Это заведомо превосходит все разумные потребности. Если файл потерялся на флешке - снять образ и приобщить к делу - данные найдутся.
 
1) можно попробовать с ключом -dv  - глубокий долгий поиск томов
2) нужно убедиться, что это не ошибка и не недоразумение, томов действительно не хватает.
 
можно посмотреть на лог, если вопрос не праздный

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 21:35 09-01-2014 | Исправлено: persicum, 10:02 10-01-2014
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Беда.. -((
 
Из четырех блейков в rsc32 один реализован НЕ правильно, а именно b2p1 - он же главнейший по умолчанию. Сказывается новизна блейков и отсутствие тестовых примеров для некоторых случаев. Будет пофикшено в 3.12

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 20:18 12-01-2014
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Обновление 3.12, изменен алгоритм расчета блейк2sp-128, надеюсь, что в последний раз -))

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 20:30 15-01-2014
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Обновление RSC32 v3.14.
 
Что нового?
1) Наконец появился INI-файл, где можно прописать пути для временных файлов и некоторые параметры.

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 20:50 23-01-2014
Ajaja

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
persicum
Что нового в v3.15?

Всего записей: 1032 | Зарегистр. 17-06-2004 | Отправлено: 23:30 27-01-2014
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
1) отменен бредовый приоритет хэшей, который я зачем-то сделал. Теперь какой ключ стоит последним, то и вычисляется.
 
2) алгоритм усиления паролей был дополнен алгоритмом удлинения, хотя имхо это один хрен. Изучать и следовать букве kdf2 было лень, наворотил своего - мало не покажется -))
 
3) в блейк2sp поменялась нагрузка на ядра, чтобы главный поток содержал не меньше задач, чем фоновые ядра. Так разумнее. Например, было 2 3 3, а стало 3 3 2. Когда главный поток заканчивает, остальные нити уже отсрелялись.
 
 
Короче - мелкие улучшения, не считая несовместимости паролей -))

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 07:37 28-01-2014
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Обновление RSC32 v3.16
 
Что нового?
1) ключи -s и -se для сортировки файлов по именам и расширениям;
2) поиск дубликатов -d теперь сканирует файлы, имеющие равный размер, а остальные игнорирует

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 21:04 29-01-2014
yanko12



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
2ALL  
 
А вот контрольная сумма ДЛЯ ПАПКИ С ПОДПАПКАМИ (не файла) - чем её можно сделать ? Для бэкапов на винтах надо (от вирей, от порчи винтов, от искажений инфы рэками и прочими usb-интерфейсами..  
 
Нашлась темка для макось - Контрольная сумма md5
но нужна софтинка под винду, которой буду постоянно пользоваться, желательно чтоб выдавала подробный отчётец - например md5 каждого файла с путём к нему и общую контрольную сумму на папку и подпапки + возможность быстро найти испортившийся (изменившийся) файл или изменившееся название папки. И поддержка размеров папки с подпапками - до 0.5Tb желательна, длинных русских имён файлов обязательна.

Всего записей: 477 | Зарегистр. 18-01-2005 | Отправлено: 12:20 31-01-2014 | Исправлено: yanko12, 12:24 31-01-2014
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Смысл приписывать контрольную сумму папкам не очень понятен. Почему нельзя запомнить просто суммы для каждого файла, а в конце выдать список всех изменившихся файлов?
 
Существуют технологии быстрого обновления хешей для целых дисков на основе деревьев, но тут это вам не нужно, так задача отловить несанкционированные изменения в глубине листьев. А для этого надо все все пересчитывать.
 
Рекурсивно считает хэш RHash, если разберетесь с его ключами. Прога консолевая. С русскими буквами проблем не будет, так как есть Юникод.
 
Моя rsc32 хорошо работает с русской страницей, но Юникода боится - если встретит ё или й как диакретику из двух наложенных символов, не говоря уже про ãåāàáâä - сразу вылетит.
 
Проблема, что красивые графические проги предназначены в основном для любование единичными хешами, для массированных поисков не приспособлены. Ну может ТоталКоммандер поможет? Я с ним не работал много.
 
Rsc32 в версии 3.16 обнаружила много наведенных ошибок, специфических только для этой версии изза неудачной правки кода, поэтому удалена, скоро выложу фикс 3.17.

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 19:51 31-01-2014 | Исправлено: persicum, 20:28 31-01-2014
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
RSC32 реанимирована до версии 3.17;
 
Что нового?
1) Пофикшены многочисленные наведенные ошибки, возникшие в версии 3.16 в результате неудачной оптимизации
2) Для потерянных файлов теперь выводится пустота либо ожидаемый размер, это вместо 0.
3) Много кода было переписано
 
yanko12
Можно поюзировать rsc32
1) сохранить хеши с поддиректориями
rsc32 -wt -r
2) проверить хеши
rsc32 -rt
3) обновить хеши для новых файлов
rsc32 -at -r
4) поискать и убрать дубликаты файлов
rsc32 -d -dd -r
 
Для адекватной работы нужен консольный менеджер файлов, то есть FAR

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 17:01 01-02-2014
nightkeeper



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Persicum
 
А можно сделать чекинг еще и по CRC16 или какой-нибудь альтернативный, но чтобы был очень быстрый?? Понятно, что при этом он будет совсем не криптостойкий и будет гарантировать целостность файло не со 100%, но, например, часто бывает "МНОГО ГИГ" надо кинуть с одного винта на другой и БЫСТРО почекить что более-менее правильно все записалось. CRC32 то побыстрей любого блейка, но иногда хочется еще больше пожертвовать "вероятностью точности" ради скорости...
 
Упс... Или я что-то тупанул жестко? Сейчас померял, блейк вроде быстрее старого CRC32...

Всего записей: 30 | Зарегистр. 31-12-2002 | Отправлено: 17:52 18-02-2014 | Исправлено: nightkeeper, 18:13 18-02-2014
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
на i7-4770 скорость crc32c - 128 ГБ/с, vmac-128 - 40 ГБ/с, blake2sp - 3 ГБ/с

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 18:32 18-02-2014
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Компьютерный форум Ru.Board » Компьютеры » Программы » ICEECC | QuickPAR | MultiPAR | RSC32 и др.


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru