Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » ICEECC | QuickPAR | MultiPAR | RSC32 и др.

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Открыть новую тему     Написать ответ в эту тему

persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Программы данного раздела служат для обнаружения и исправления ошибок, возникающих при передаче данных и их долговременном хранении. Как правило, восстановление возможно, если суммарный объем повреждений в искаженных файлах вместе с объемом полностью утраченных файлов не превышает объем корректирующей информации, которая заблаговременно дописывается на носитель.
 
 
Контроль целостности без возможности восстановления
 
RHash
Описание: замечательная кроссплатформенная консольная утилита для вычисления огромного количества криптографически-стойких hash-функций, в том числе и используемых в p2p сетях. Программы этой группы не способны к исправлению данных сами по себе, но способны указывать на ситуации, когда необходимо воспользоваться резервной копией или перекачать файл заново
 
Домашняя страница: https://github.com/rhash/RHash
Страница для скачивания: http://sourceforge.net/projects/rhash/files/rhash/
 
RapidCRC Unicode
Описание: профессиональное средство для расчета hash-функций, в том числе и современных быстрых многопоточных функций blake2sp и blake3.
 
Домашняя страница: https://www.ov2.eu/programs/rapidcrc-unicode
Страница для скачивания: https://www.ov2.eu/programs/rapidcrc-unicode
 
CHK Hash Sum
Описание: портативная утилита для контроля целостности файлов с поддержкой Юникода и перетягивания.  
 
Домашняя страница: https://compressme.net/
Страница для скачивания: https://compressme.net/
 
 
8-битные коды Рида-Соломона
 
DVDisaster
Описание: Программа для защиты данных на оптических дисках CD, DVD и BD путём добавления к нему избыточной информации.
 
Домашняя страница: https://sourceforge.net/projects/dvdisaster/
Страница для скачивания: https://sourceforge.net/projects/dvdisaster/files/dvdisaster/
 
 
16-битные коды Рида-Соломона
 
WinRAR
Описание: популярный архиватор, начиная с версии 5.0 создает до 65535 томов восстановления. Кроме того, использует коды RS и для добавления информации восстановления к архивам, выгодно отличаясь от всех других архиваторов.
 
Домашняя страница: http://www.win-rar.ru/
Страница для скачивания: https://www.win-rar.com/download.html?&L=4
 
MultiPAR
Описание: Мощная программа для защиты файлов от повреждений. Одновременно работает в 32- и 64-разрядном окружении. Поддержка многопоточности, Юникода, русского языка. Использует ускорение AVX2 и вычисления GPU. Постоянно обновляется.
 
Домашняя страница: http://hp.vector.co.jp/authors/VA021385/
Страница для скачивания: http://www.vector.co.jp/soft/dl/winnt/util/se460801.html
 
ICEECC
Описание: программа во многом аналогична MultiPAR, но появилась на несколько лет раньше. Русский язык отсутствует. Не обновлялась с 2009 года. На сегодня работает примерно в 5 раз медленнее, чем MultiPAR.
 
Домашняя страница: http://www.ice-graphics.com/ICEECC/IndexR.html
Страница для скачивания: http://www.ice-graphics.com/ICEECC/DownloadR.html
 
 
32-битные коды Рида-Соломона
 
RSC32
Описание: консольная утилита для контроля целостности файлов с использованием hash-функций CRC32, CRC64, MD5, SHA1, SHA256, Tiger и blake2sp. Реализация эффективных 32-разрядных кодов Рида-Соломона позволила оперировать сотнями тысяч и миллионами блоков без драматического влияния на быстродействие. Использует FAR Manager как свой GUI
 
Страница для скачивания: https://disk.yandex.ru/d/yFtikZtmyWuQ1w
 


Схожая тема: ZIDRAV и CRC Recovery 2005

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 11:35 18-07-2007 | Исправлено: persicum, 11:39 29-10-2021
SurferNet



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
persicum
Вот тут просят сравнить с MultiPar.
 
Я не опытный пользователь usenet'а, но с увеличением объемов пересылаемых данных QuickPAR и MultiPAR становятся просто громоздкими монстрами.
Не раз встречал жалобы, что для того, чтобы создать тома для Bluray диска требуется 1.5-2 часа не на самых слабых компьютерах. Соответственно на какую-нибудь антологию из 3-х двуслойных дисков может уходить до половины суток.
 
Так что, теоретически ваша утилита может заменить этих монстров в будущем.
Но, наверное, для этого нужна кроссплатформенность(хотя бы mac и linux) и GUI, хотя бы простой, в виде надстройки над консолью.

Всего записей: 176 | Зарегистр. 14-09-2005 | Отправлено: 14:50 10-11-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Не раз встречал жалобы, что для того, чтобы создать тома для Bluray диска требуется 1.5-2 часа

 
Сейчас у меня уходит 13 мин на слой, процесс занимает несколько стадий, из них многопоточная только одна. Так что из этих 13 мин CPU трудится только процентов 20 от общего времени =))
 
А Мultipar грузит все ядра под 100%, это вроде хорошо, но порой даже на клаве нельзя набирать текст параллельно.
 
Наверное, проще вставить нормальные мозги в какой-нить ICEECC, чем добавить все его удобства в RSC32.

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 15:17 10-11-2011 | Исправлено: persicum, 16:15 10-11-2011
Dimsoft

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Всего записей: 2750 | Зарегистр. 17-11-2003 | Отправлено: 18:15 10-11-2011 | Исправлено: Dimsoft, 18:23 10-11-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Я не опытный пользователь usenet'а, но с увеличением объемов пересылаемых данных QuickPAR и MultiPAR становятся просто громоздкими монстрами.  

 
RSC32 - этот монстёр всем монстрам монстёр =)) Сколько-сколько там понадобится свободного пространства и физически раздельных жестких дисков для защиты/лечения вами упомянутой антологии 3D дисков? За все приходится платить, одни проги страшно жрут время, а более новые решения - HDD.

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 08:02 11-11-2011
SurferNet



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
persicum
Я не любитель полных дисков(меня вполне устраивают рипы 720p), поэтому хотелось бы увидеть сравнение от вас, хотя бы здесь на форуме.
По времени, по нагрузке на hdd. Можно ещё описать преимущества/недостатки.

Всего записей: 176 | Зарегистр. 14-09-2005 | Отправлено: 13:57 11-11-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Совершенно несопоставимые вещи по сложности реализованных кодов РидаСоломона.
Для большого числа блоков время создания томов в случае RSC32 несоизмеримо короче, в сотни раз.
Для малого числа блоков время создания такое же или в пару раз медленнее/быстрее. Но малое число блоков уже не интересно если можно быстро сделать много блоков.  
 
Время лечения в случае RSC32 не зависит от степени повреждений и его требуется в два раза больше, чем было затрачено на создание файлов восстановления.
У QuickPAR/MultiPAR/ICEECC время лечения фактически зависит от степени реальных повреждений, от нескольких минут до нескольких суток (даже для небольшого объема данных)
 
Объем требуемого дискового пространства у RSC32/конкурентов составляет 2x/1x для создания и 3x/2x для лечения по отношению к объему файлов. Т.е. RSC32 практикует массивный своппинг и под него желателен отдельный физический диск.
 
 
бенчмарк 8 гиг. 1000 блоков, 3%
MultiPAR - 3мин
RSC32 - 5 мин (много потрачено на своппинг)
 
бенчмарк 8 гиг. 20000 блоков, 20%
MultiPAR - 3 часа (тушите свет)
RSC32 - 5 мин 10 sec

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 14:30 11-11-2011 | Исправлено: persicum, 21:56 11-11-2011
Engaged Clown



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Чуть дополнил заголовок для удобного поиска по фильтру и добавил тему по схожему софту в шапку.
Надеюсь никто не против.

Всего записей: 8782 | Зарегистр. 08-06-2006 | Отправлено: 14:57 11-11-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Engaged Clown
Программы схожие, пусть живут. Но кодов РС там нет. То есть ты не сможешь послать лечилку самому себе, из прошлого в будущее. Также не сможешь приготовить лечилку заранее, не зная что конкретно побилось.

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 15:25 11-11-2011 | Исправлено: persicum, 15:46 11-11-2011
nightkeeper



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ух ты, вышла очередная новая версия!!! =)

Всего записей: 30 | Зарегистр. 31-12-2002 | Отправлено: 13:53 09-12-2011
campoviy



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
persicum
Проблема: RSC32 не выдает содержимое файла таблицы в консоль, если текущая папка не совпадает с папкой, в которой лежит файл.
 
Тест: создаем папки D:\0 и D:\1, в папку D:\0 кладём файл data.FHash.RSC32. Открываем консоль, переходим в папку D:\0 и выполняем команду:
Код:
rsc32 -vt -ya -bn"D:\0\data.FHash.RSC32"
— содержимое таблицы выводится. Теперь переходим в папку D:\1 и выполняем ту же команду — выводится сообщение:
Цитата:
Error! Cannot open data.FHash.RSC32

 
Также хорошо бы иметь опцию для указания папки, откуда брать файлы для добавления в таблицу (от этого будет зависеть, относительно какой папки будут пути в таблице). Это нужно опять же для случая, когда текущая папка не совпадает с папкой, где лежат исходные файлы.

----------
Пластмассовый мир победил, макет оказался сильней
Последний кораблик остыл, последний фонарик устал…
(ГО – «Моя оборона», авт. Е. Летов)

Всего записей: 515 | Зарегистр. 19-01-2011 | Отправлено: 19:04 13-12-2011 | Исправлено: campoviy, 19:18 13-12-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
RSC32 не выдает содержимое файла таблицы в консоль, если текущая папка не совпадает с папкой

 
А почему выдранные из контекста ключи должны работать как вам хочется, а не как они прописаны в FAR? Проблеме вашей помочь можно:
 
rsc32 -vtD:\0 -ya -bndata
 

Цитата:
Также хорошо бы иметь опцию для указания папки, откуда брать файлы для добавления в таблицу (от этого будет зависеть, относительно какой папки будут пути в таблице). Это нужно опять же для случая, когда текущая папка не совпадает с папкой, где лежат исходные файлы.
 

 
Для указания пути, отличного от текущего, специально ключа не нужно, просто в имени файла нужно задать полный путь:
 
rsc32 -wt c:\mydir\*.*
 
Другое дело, вы можете захотеть, чтобы общие пути не прописывались в таблицу, тогда:
 
rsc32 -wt -twc:\mydir c:\mydir\*.*

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 09:06 14-12-2011
campoviy



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
persicum
Цитата:
А почему выдранные из контекста ключи должны работать как вам хочется, а не как они прописаны в FAR? Проблеме вашей помочь можно:
 
rsc32 -vtD:\0 -ya -bndata
Спасибо, указание папки с файлом в ключе -vt работает. Но логичнее было бы, если бы утилита сама брала этот путь из ключа -bn (имя файла от пути она уже отделять умеет), чтобы не нужно было разбивать полный путь к файлу на путь и имя вручную.
 
Кстати, почему не так, как прописаны? В FarMenu.txt есть только 1 пример использования ключа -vt, и путь в нём не прописан:
Код:
rsc32 -vt -bn%RSC32_BaseName%

Цитата:
Для указания пути, отличного от текущего, специально ключа не нужно, просто в имени файла нужно задать полный путь:
 
rsc32 -wt c:\mydir\*.*
 
Другое дело, вы можете захотеть, чтобы общие пути не прописывались в таблицу, тогда:
 
rsc32 -wt -twc:\mydir c:\mydir\*.*
Да, в таблице нужны именно пути относительно базовой папки. Ключ -tw делает то, что нужно.
 
С восстановлением файлов тоже проблема, если текущая папка не совпадает с базовой папкой с восстанавливаемыми файлами. Например, таблица и тома лежат в папке D:\out, поврежденные файлы в папке D:\data_dmg, текущая папка — D:\work, хочу поместить восстановленные файлы в папку D:\work\recovered, чтобы структура папки recovered была как у папки data_dmg. Выполняю:
Код:
rsc32 -rrr"..\out" -mf -pr"..\data_dmg2" -po"recovered" -rr -bn"data"
Программа исходные файлы находит нормально, но зачем-то кладёт восстановленные не прямо в папку recovered, а в папку recovered\..\data_dmg2. А если указывать не относительный путь, а абсолютный (-pr"D:\data_dmg2"), то вообще в папке recovered дублирует полный путь, помещая файлы в папку recovered\Drive_D\data_dmg2. Есть ли параметры, позволяющие решить задачу?
 
Возможно, синтаксис и ключи стоит описать подробнее, а то не совсем понятно, на что влияет указание путей после некоторых ключей (примеры бы тоже не помешали), и чем отличаются -pr, -pw, -pc и т. п.

----------
Пластмассовый мир победил, макет оказался сильней
Последний кораблик остыл, последний фонарик устал…
(ГО – «Моя оборона», авт. Е. Летов)

Всего записей: 515 | Зарегистр. 19-01-2011 | Отправлено: 15:34 14-12-2011 | Исправлено: campoviy, 16:06 14-12-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Но логичнее было бы, если бы утилита сама брала этот путь из ключа -bn (имя файла от пути она уже отделять умеет), чтобы не нужно было разбивать полный путь к файлу на путь и имя вручную.  

 
Ключ -bn разбивает даже сам путь, например из c:\work\mydir\ оставит только mydir для базового имени. поэтому для заданной цели не очень...
 

Цитата:
А если указывать не относительный путь, а абсолютный (-pr"D:\data_dmg2"), то вообще в папке recovered дублирует полный путь, помещая файлы в папку recovered\Drive_D\data_dmg2. Есть ли параметры, позволяющие решить задачу?  

 
Ну это логично, потом можно мувнуть всю структуру и перезатереть битые файлы оригинала.  
Но для вас вышла версия 3.02 - разблокирован -to для -rrr
 

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 20:31 14-12-2011 | Исправлено: persicum, 21:35 14-12-2011
campoviy



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
persicum
Цитата:
Ключ -bn разбивает даже сам путь, например из c:\work\mydir\ оставит только mydir для базового имени. поэтому для заданной цели не очень...
Ага, в Options.txt действительно написано, что -bn задаёт базовое имя. Но в аддоне для Мультиарка используется как раз этот ключ.
Цитата:
Ну это логично, потом можно мувнуть всю структуру и перезатереть битые файлы оригинала. Но для вас вышла версия 3.02 - разблокирован -to для -rrr
Спасибо! Теперь всё работает!
Код:
%rsc32% -ya -wt"D:\out" -r -md5 "D:\data\*" -tw"D:\data\"
%rsc32% -ya -wrr4096v-10%%-"D:\out" -pr"D:\data\"

Код:
%rsc32% -ya -rrr"D:\out" -mf -pr"D:\data_dmg\" -po"recovered" -to"D:\data_dmg\" -rr

Цитата:
Этот трюк я никогда не использую, поэтому прога с "../" работать не будет или будет непредсказуемо. Всегда пишу полные имена (вернее в FAR для этого есть сочетания клавиш)
Это был просто пример. В батнике так, естественно, никто писать не будет, полные пути будут передаваться в параметрах.

----------
Пластмассовый мир победил, макет оказался сильней
Последний кораблик остыл, последний фонарик устал…
(ГО – «Моя оборона», авт. Е. Летов)

Всего записей: 515 | Зарегистр. 19-01-2011 | Отправлено: 21:36 14-12-2011 | Исправлено: campoviy, 21:37 14-12-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Насчет размера блока 4096 осторожней только. Самый козырный и дефолтный алгоритм не выравнивается под степеня двойки. Из остальных самый быстрый -tm8, но он не потянет больше 512000 блоков. -tm10 потянет два или четыре миллиона, но он уже в три раза медленнее будет.
 
Нормально задавать как 200000-10% или 500000-10%, тогда будет еще выигрыш в скорости около двух раз. Ну а с произвольным размером блока нужно смириться

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 07:11 15-12-2011 | Исправлено: persicum, 07:11 15-12-2011
folta

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
persicum
вот меня far всегда отпугивал. ну не лежит душа и всё тут.
думаю большинство выросших без доса и нортонкоммандера тоже косо смотрят на это дело
 
вот был бы иной gui, свой или на что нибудь другое нацепленное,то дело бы пошло.
или хотя бы присобачили в какую-нибудь портабельную фарину и комплектом отлили. чтобы сел и поехал.
народ нынче привередливый, любит саночки катать, но не конструировать.
это не требование, совет. вернее советик

Всего записей: 1177 | Зарегистр. 24-11-2010 | Отправлено: 13:16 11-03-2012
palandy

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Здравствуйте, впервые озаботился сохранностью своих файлов.
Прочитал тему и появилось несколько вопросов по программе rsc32.  
1. Можно ли с помощью rsc32 защитить iso и встроить туда инфу для восстановления.
2. Например если сделать инфу для восстановления для 100 файлов, затем удалить 15, мне выдаст recovery NOT POSSIBLE. Можно восстановить хотя-бы несколько файлов? или в таком случае ни одного восстановить не удастся?
Поясните что за "RAIDы из дисков 3:1". Это 3 одинаковых копии диска или это разные диски + 1 для восстановления? А если нужно будет восстановить инфу с 1 из дисков, а диск для восстановления тоже частично не читаем, восстановление будет не возможно? т.е. что будет если сама инфа для восстановления повреждена?  
Как вы делаете эти RAIDы дисков, каков алгоритм? напр, вот есть у меня 3 диска, их нужно скопировать в одно место создать инфу для восстановления и записать на отдельный диск?
Заранее спасибо.

Всего записей: 5 | Зарегистр. 30-04-2011 | Отправлено: 20:43 25-03-2012
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
1) защищалки бывают файловые и дисковые. Первые записывают избыточную инфу в обычные отдельные файлы, а вторые - встраивают в ISO незаметно, свободное место уменьшается, а файлов коррекции не видно. Выбирайте то что нравится.
 
2) число файлов не играет никакой роли для востановления, а играет роль их объем. Если создать 10% избыточности, а потом стереть 1000 небольших файлов, чтобы суммарно занимали не более 10% от всего объема данных, восстановить все 1000, без разницы.
Файловые кодировщики обычно восстанавливают или все или ничего, для дисковых возможно частичное восстановление.. RSC32 - это файловая защищалка, не специально дисковая.
 
3) raid 3:1 в этой терминологии - три диска с файлами, а один целиком под коды восстановления. Первые три должны быть записаны не под самую завязку, но обычно пару сот мегабайт и так свободно.
 
Такой райд может восстановить любой один полностью потерянный диск, а также любую комбинацию ошибок если суммарный объем ошибок не превышает 33%. Разумеется, все четыре диска могут быть частично нечитаемы, если только удалось прочитать со всех дисков суммарно 66% и более - все будет восстановлено.
 
Специальные программы для этого мне неизвестны, поэтому нужно применять файловые кодировщики, то есть скопировать три диска в три разные папочки, и создать 4,7 гигов кодов восстановления. Их записать потом на отдельный диск, четвертый.
 

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 09:40 27-03-2012 | Исправлено: persicum, 09:44 27-03-2012
palandy

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
persicum

Цитата:
 raid 3:1 в этой терминологии - три диска с файлами, а один целиком под коды восстановления. Первые три должны быть записаны не под самую завязку, но обычно пару сот мегабайт и так свободно.

Первые три должны быть записаны не под самую завязку, потому что при уровне избыточности 30%,  recovery-данные будут больше 4.7 гига и не влезут на двд? Я правильно понял?  
 

Всего записей: 5 | Зарегистр. 30-04-2011 | Отправлено: 18:17 05-04-2012
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Не совсем правильно. Просто при записи кодов Рида-Соломона на пустой диск 4.7 Г некоторая небольшая часть, скажем 1% объема тратится на служебную информацию, заголовки и тому подобное.

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 19:01 05-04-2012
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Компьютерный форум Ru.Board » Компьютеры » Программы » ICEECC | QuickPAR | MultiPAR | RSC32 и др.


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru