Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Активные темы » ICEECC | QuickPAR | MultiPAR | RSC32 и др.

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Открыть новую тему     Написать ответ в эту тему

persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Программы данного раздела служат для обнаружения и исправления ошибок, возникающих при передаче данных и их долговременном хранении. Как правило, восстановление возможно, если суммарный объем повреждений в искаженных файлах вместе с объемом полностью утраченных файлов не превышает объем корректирующей информации, которая заблаговременно дописывается на носитель.
 
 
Контроль целостности без возможности восстановления
 
RHash
Описание: замечательная кроссплатформенная консольная утилита для вычисления огромного количества криптографически-стойких hash-функций, в том числе и используемых в p2p сетях. Программы этой группы не способны к исправлению данных сами по себе, но способны указывать на ситуации, когда необходимо воспользоваться резервной копией или перекачать файл заново
 
Домашняя страница: https://github.com/rhash/RHash
Страница для скачивания: http://sourceforge.net/projects/rhash/files/rhash/
 
RapidCRC Unicode
Описание: профессиональное средство для расчета hash-функций, в том числе и современных быстрых многопоточных функций blake2sp и blake3.
 
Домашняя страница: https://www.ov2.eu/programs/rapidcrc-unicode
Страница для скачивания: https://www.ov2.eu/programs/rapidcrc-unicode
 
CHK Hash Sum
Описание: портативная утилита для контроля целостности файлов с поддержкой Юникода и перетягивания.  
 
Домашняя страница: https://compressme.net/
Страница для скачивания: https://compressme.net/
 
 
8-битные коды Рида-Соломона
 
DVDisaster
Описание: Программа для защиты данных на оптических дисках CD, DVD и BD путём добавления к нему избыточной информации.
 
Домашняя страница: https://sourceforge.net/projects/dvdisaster/
Страница для скачивания: https://sourceforge.net/projects/dvdisaster/files/dvdisaster/
 
 
16-битные коды Рида-Соломона
 
WinRAR
Описание: популярный архиватор, начиная с версии 5.0 создает до 65535 томов восстановления. Кроме того, использует коды RS и для добавления информации восстановления к архивам, выгодно отличаясь от всех других архиваторов.
 
Домашняя страница: http://www.win-rar.ru/
Страница для скачивания: https://www.win-rar.com/download.html?&L=4
 
MultiPAR
Описание: Мощная программа для защиты файлов от повреждений. Одновременно работает в 32- и 64-разрядном окружении. Поддержка многопоточности, Юникода, русского языка. Использует ускорение AVX2 и вычисления GPU. Постоянно обновляется.
 
Домашняя страница: http://hp.vector.co.jp/authors/VA021385/
Страница для скачивания: http://www.vector.co.jp/soft/dl/winnt/util/se460801.html
 
ICEECC
Описание: программа во многом аналогична MultiPAR, но появилась на несколько лет раньше. Русский язык отсутствует. Не обновлялась с 2009 года. На сегодня работает примерно в 5 раз медленнее, чем MultiPAR.
 
Домашняя страница: http://www.ice-graphics.com/ICEECC/IndexR.html
Страница для скачивания: http://www.ice-graphics.com/ICEECC/DownloadR.html
 
 
32-битные коды Рида-Соломона
 
RSC32
Описание: консольная утилита для контроля целостности файлов с использованием hash-функций CRC32, CRC64, MD5, SHA1, SHA256, Tiger и blake2sp. Реализация эффективных 32-разрядных кодов Рида-Соломона позволила оперировать сотнями тысяч и миллионами блоков без драматического влияния на быстродействие. Использует FAR Manager как свой GUI
 
Страница для скачивания: https://disk.yandex.ru/d/yFtikZtmyWuQ1w
 


Схожая тема: ZIDRAV и CRC Recovery 2005

Всего записей: 466 | Зарегистр. 27-06-2007 | Отправлено: 11:35 18-07-2007 | Исправлено: persicum, 11:39 29-10-2021
FLINT80

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Кто знает где найти русик для ICEECC  ver 2.6 ?

Всего записей: 78 | Зарегистр. 15-10-2008 | Отправлено: 18:02 14-12-2008
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Кто знает где найти русик для ICEECC  ver 2.6 ?

 
Автор ICEECC сам родом из России. Попроси на их русскоязычном форуме, скоро выйдет версия 2.7 с новым ядром совместимым с WinE

Всего записей: 466 | Зарегистр. 27-06-2007 | Отправлено: 19:34 17-12-2008
SUBMARINA



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Что такое ICE EСС ?
 
ICE ECC - это утилита для проверки и восстановления повреждённых файлов. ICE ECC позволяет защитить Ваши важные файлы от повреждения используя коды Рида-Соломона.
 
Вы знаете, что типичные CD-R/DVD-R диски начинают деградировать уже после нескольких лет хранения? ICE ECC решение этой проблемы. Прежде, чем Вы запишите Ваши данные на CD-R/DVD-R, защитите их от повреждения с помошью ICE ECC.
 
ICE ECC легко использовать. Чтобы защитить файлы от повреждения, выделите файлы и нажмите "Create". ICE ECC создаст файл/файлы с кодами коррекции ошибок (.ecc) для выделенных файлов. Вы можете легко контроллировать размер и количество файлов .ecc.
 
Когда Вам нужно проверить, если Ваши файлы были модифицированы или повреждены, просто выберите .ecc файл и нажмите "Verify". ICE ECC сделает анализ целостности и сообщит, если файлы были повреждены или утрачены. В этом случае ICE ECC сможет автоматически восстановить их.
 
ICE ECC предлагает новые технологии для защиты Ваших файлов:
 
1. ICE ECC может защищать не только отдельные файлы. ICE ECC может работать с каталогами тоже. Вы можете легко защитить весь CD-R или DVD-R диск или любыв файлы или каталоги от повреждений.
 
2. Коды Рида-Соломона требуют мощный процессор для вычислений. ICE ECC обеспечивает самую быструю реализацию кодов Рида-Соломона в мире.
 
3. ICE ECC имеет полную поддержку Unicode. Это означает, что файлы с любыми именами файлов могут быть защищены от повреждения.
 
4. ICE ECC не имеет ограничений на количество или размер защищаемых файлов.
 
5. ICE ECC использует распределённый механизм для хранения файлов с кодами коррекции ошибок (.ecc). Восстановление информации возможно даже, если файлы с кодами коррекции ошибок сильно повреждены.
 
6. ICE ECC использует специальную компрессию для хранения каталога файлов. Это обеспечивает минимальный размер .ecc файлов даже для больших коллекций защищаемых файлов.
 
7. ICE ECC может не только восстанавливать повреждённые файлы. ICE ECC может восстановить утраченные файлы, если их размер меньше, чем размер всех файлов файлов с кодами коррекции ошибок.
 
8. ICE ECC использует алгоритм, который позволяет находить сдвинутые данные независимо от расстояния сдвига и будет работать с блоками любого размера. Как .ecc файлы, так и файлы данных не чувствительны к сдвигу.
 
9. ICE ECC поддерживает очереди для любых операций.
 
10. ICE ECC поддерживает мультиядерные процессоры или многопроцессорные системы.
 
11. Имеется полная поддержка командной строки в ICE ECC. Команды из командной строки автоматически добавляются в очередь и исполняются асинхронно.
 
версия 2.7 http://www.ice-graphics.com/ICEECC/DownloadR.html

Всего записей: 427 | Зарегистр. 21-01-2006 | Отправлено: 21:48 19-09-2009
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
версия 2.7 http://www.ice-graphics.com/ICEECC/DownloadR.html

 
Спасибо

Всего записей: 466 | Зарегистр. 27-06-2007 | Отправлено: 20:30 06-11-2009 | Исправлено: persicum, 09:53 09-11-2009
PhoenixUA



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
QuickPAR в отличие от ICE ECC позволяет в три клика (конт. меню, Create Recovery Volumes, Create) создать файлы для восстановления...

Всего записей: 2184 | Зарегистр. 17-11-2005 | Отправлено: 10:55 24-02-2010
Povor



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Nero SecurDisc.  
Материал из Википедии: "Область диска (CD, DVD), не занятая основными данными, заполняется информацией, которую может использовать специальная программа в случае физического повреждения основных данных".  
 Кто пользовался отпишитесь. Пробовал записать диск используя Nero SecurDisc - диск с виду полный но никаких дополнительных данных для восстановления не отображается. Может у кого есть опыт?! В интернете об этом ни слова!

Всего записей: 1173 | Зарегистр. 11-11-2008 | Отправлено: 20:36 19-10-2010 | Исправлено: Povor, 20:53 19-10-2010
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
http://file.qip.ru/file/-Tw9bAvE/rsc32.html
 
Поигравшись со всеми вышеупомянутыми прогами, написал свою скромную консольную прогу RSC32. Она работает через менюшку ФАРа. Бессмысленно конечно ее рекламировать и рекомендовать. Скажу только, что там используются очень быстрые и единственные в мире 32-разрядные коды РидаСоломона, позволяющие кодировать миллионы блоков, чья целостность контролируется через CRC. В этом отношении прога оставляет далеко позади ICEECC и QuickPAR, которые скрипя задницей едва ли могут кодировать даже 5000 блоков - очень медленно.
 

Цитата:
диск с виду полный но никаких дополнительных данных для восстановления не отображается

Это нормально, типа как в DVDisaster. Информация восстановления невидима в основном каталоге. К сожалению, на сайте NeroSecurDisk ничего не сказано об алгоритме восстановления. Думаю, он идентичен тому что в DVDisaster.

Всего записей: 466 | Зарегистр. 27-06-2007 | Отправлено: 19:28 02-01-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Эх, никто тебя не похвалит, пока сам себя не похвалишь =)))
Устроим маленький бенчмарк... Поскольку скорость проги RSC32 _НЕ_ЗАВИСИТ_ от числа блоков, то возьмем где-нить 20000 их штук, чтобы конкуренты совсем загнулись. И особенно ICE, дурачинушка, который украсил свой сайт словами о самых "быстрых" кодах Рида-Соломона в мире и не торопится менять вывеску =)))
 
Тестировалось на не самой плохой 4-ядерной машине.  
Было 8G данных, разбитых на 20000 блоков по 400 кбайт, и 2000 блоков коррекции, т.е. 10% избытка.
 
QuickPAR 0.9.1 - 2h:49min
ICEECC 2.7 - 1h:08m
MultiPAR 1.1.7.5 PAR2 - 59m:46s
MultiPAR 1.1.7.5 PAR3 - 32m:27s  
RSC32 2.77 - 6m:15s
 
Продемонстрировано отставание ICEECC от RSC32 в 10 раз =)))

Всего записей: 466 | Зарегистр. 27-06-2007 | Отправлено: 15:25 31-01-2011 | Исправлено: persicum, 09:39 02-02-2011
Hakkai



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Потестил RSC32, действительно шустренько ^_^
ICEECC реально настоящий тормоз.
 
persicum, а можно куда-нибудь выложить подробную документацию к этой программе, если таковая имеется?

Всего записей: 3 | Зарегистр. 23-03-2009 | Отправлено: 21:43 14-02-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Достоинства программы RSC32:
1) Сверхбыстрые коды РидаСоломона кодят 30метров/c на c2d и 100м/c на i5-i7. При этом коды не имеют никаких уловок, изъянов или укорочений - это полноценные коды для блочного исправления ошибок. Каждый блок коррекции гарантированно исправляет любой блок данных, как и в случае ICEECC
 
2) Поддерживается большое число блоков, 1000000+ их штук.
 
3) Скорость кодирования *не зависит* от числа блоков. А у ICEECC при перехоже например от 2000 к 20000 или 200000 скорость замедляется в 10 или 100 раз соответственно
 
4) Скорость кодирования *не зависит* от избыточности. А у ICEECC при переходе от 5% к 10% или 15% скорость замедляется в 2 или 3 раза соответственно.
 
5) скорость кодирования *не зависит* от объеиа RAM, 500M достаточно, на крайняк 1G. А у ICEECC для разгона проги требуется много RAMа, что частенько приводит к ошибке 204.
 
6) прога сохраняет не только контрольные суммы блоков, но и отдельных файлов. Можно выбрать между crc32, crc64, md5, sha1, tiger. поэтому может служить ревизором файлов.
 
Недостатки:
1) нет понтов: Юникод GUI очереди и т.д.
 
2) требует 100% свободного места на HDD при кодировании и 200% при декодировании. А ICEECC требует только 100% при декодировании и то не всегда, а когда есть ошибки со сдвигами
 
3) Даже один байт ошибки вызывает грандиозную процедуру восстановления. проге пофигу что лечить один байт или сто метров. Поэтому при лечении малых повреждений ICEECC может исцелять мгновенно, а RSC32 всегда требует в 2 раза больше времени чем было затрачено на создание файлов коррекции.
 
Предостережения:
прога не предназначена для скрупулезной посекторной защиты - начала файлов не синхронизируются, концы не дополняются до 2048 байт нулями, размер блока не кратен 2048 байт вследствие особой математики. ICEECC можно сделать кратным 2048 байт, но бессмысленно, поскольку ее архитектура тоже не предназначена для посекторной защиты по тем же причинам.
 
 
 
Ну вот и все пока, будут еще вопросы - отвечу тут.
 

Всего записей: 466 | Зарегистр. 27-06-2007 | Отправлено: 13:00 15-02-2011
HandyCache

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Как RSC32 прикрутить к Total Commander? Если можно пример кнопки.

Всего записей: 139 | Зарегистр. 09-10-2008 | Отправлено: 15:56 10-03-2011
Povor



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Как RSC32 прикрутить к Total Commander? Если можно пример кнопки.
Присоеденяюсь и ещё, хотолось бы, всётаки GUI.

Всего записей: 1173 | Зарегистр. 11-11-2008 | Отправлено: 17:43 10-03-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
К сожалению, я не имею возможности прикручивать к проге те фичи, которые лично сам использовать не буду (т.е. Тоталь, ГУИ, Юникод, интеграция в проводник 64-бит и т.д.), равно как и заниматься раскруткой продукта. Если кому нужно, берем stdin stdout stderr перелопачиваем доки и вперед. По крайней мере, в ФАРе никаких ключей знать и набирать не надо, сделано Меню.  
 
прога обновилась до 2.82. Улучшена работа с очень большими файлами в отношении стабильности. Как оказалось, NTFS и LBA-винты поддерживают большие 64/48-битные файлы скорее формально. Мелкомягкие реально никогда не тестировали свои форточки на этот предмет, даже XP SP3. Когда мы копируем 5 горбов, это обычно протекает гладко. А при копировании 50 или сотни горбов может случиться разное... Устройство не готово, аксессуар не поддерживается, могу-но-не-хочу-писать-в-файл и прочие глюки.
 
вобщем, теперь RSC32 можно заюзывать с файлами хоть 500 гиг.

Всего записей: 466 | Зарегистр. 27-06-2007 | Отправлено: 10:44 17-03-2011 | Исправлено: persicum, 10:50 17-03-2011
nightkeeper



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Использовал долгое время прогу CRC32, за все это время, я так понял, прога претерпела массу изменений, будучи даже переименованной в RSC32 для пущей убедительности =))  
 
Интересует старый вопрос, но с новыми дополнениями. Как (какими ключами) можно сделать RAID на DVD, когда, например, на 5 DVD болванок идет 1-а, 6-ая чисто под коды восстановления, так чтобы эта волшебная болвнка могла, в случае чего, восстановить любую из предыдущих 5-ти с данными (на случай если болванка с данными потеряется, исцарапается или взорвется в недрах привода)!!
Как реализовать это, какие ключики у проги крутить и на что обращать внимание?
Сколько лучше блоков выбрать для надежной защиты и как это будет влиять на скорость кодирования?  
 
У проги по прежнему есть выбор между кодами Рида-соломона и "альтернативными" или теперь она работает с каким-то одним видом кодов?
 
Напомню что раньше алгоритм действий для вышеописанной мной операции был следующий:
 
Попробуем замерить чистое время кодирования для 30G данных, 15% избытка:
RS32, 5000 блоков –  2ч 40мин
LDPC, 30000 блоков – 50 мин
 
Порядок действий таков:
1) Создаем директории Disk1, Disk2, Disk3…, копируем туда диски.
2) Рассчитываем контрольные суммы-64бит  
сrc32 –wt –r –n2
3) Если отдаем предпочтение Риду-Соломону и 5000 блокам, тогда
crc32 -wrr5000-fittodvd -ed -mu1.5g -sn10 -hr10 -tm3
4) Если отдаем предпочтение LDPC и 30000 блокам, тогда
crc32 –wrr30000-fittodvd -ed -mu1.5g -sn10 -hr10 –tm2
5) После кодирования проверяем, что все файлы на месте
сrc32 –rt
6) Проверяем еще, что все блоки тоже на месте
сrc32 –crr
 
Ключики все те же или теперь "что-то новенькое"? =))

Всего записей: 30 | Зарегистр. 31-12-2002 | Отправлено: 12:42 01-04-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Не скрою, что проект RSC32 вырос из проекта CRC32 за последнюю пару лет…
Приведенные выше ключи сильно морально устарели, т.к. в проекте RSC32 были дополнительно реализованы куда более мощные и быстрые алгоритмы. Из них самый последний и по умолчанию – он же самый лучший и упраздняет остальные практически во всех случаях. Нововведения такие:
 
1) Памяти теперь не нужно много, достаточно 500M по умолчанию. Однако, появилась обратная сторона – прога сильно свапит на жесткий диск, для 30G будь готов выделить 30G под кодирование и 60G для декодирования.
 
2) Скорость теперь от числа блоков не зависит, чем больше – тем быстрее, т.к. лучше выполняется распараллеливание. Однако нельзя допускать, чтобы заголовки уж слишком разрастались. См. поле efficiency. Где-нить 98% это хорошо, а 60% плохо. Поэтому думаю 256000 из менюшки Фара достаточно, хотя сам юзирую 500000.  
 
3) Для решения поставленной задачи нужно в менюшке ФАРа выбрать сначала SetBaseName и установить главное имя файлам защиты. Оно не должно содержать точек, поскольку будет обрезано до первой точки
 
4) Потом пойти в Add files и добавить целую директорию – добавится активная панель. Будут рассчитаны CRC64 всех файлов. Если есть опасения в подделке контрольных сумм то заменить везде в менюшке –md2 на –sha1 или –tig. В пакете поставки по умолчанию прописано CRC64 – умеренный уровень параноидальной мании без глюков.
 
5) Потом пойти в Protect with 262144 и выбрать fit to empty DVD-R или DVD+R. При возникновении проблем с влезанием информации на диск вместо –ds4700m следует написать что-нить по-точнее.
 
Ну вот и все.  

Всего записей: 466 | Зарегистр. 27-06-2007 | Отправлено: 17:00 01-04-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
nightkeeper
Попробовал на практике получить из 30G одну волшебную болванку DVD, которая исправляла бы любую другую, а также общий суммарный объем повреждений на 4.7G. Что могу сказать. Лучше всетаки поддать проге памяти до 1G ключем -mu1g . Тогда на свапеж уходит 10 мин, на обсчет 8 мин. Всего менее 20 минут на современном железе. Относительно числа блоков сам смотри - хошь оставь 256000, а хошь поставь 512000 или миллион. Следи за размером заголовков.  

Всего записей: 466 | Зарегистр. 27-06-2007 | Отправлено: 08:12 02-04-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Прога RSC32 обновилась до вер. 2.84. Стали доступны точки в Базовом_Имени.
Вот я подумал, а почему собссно их запрещать/обрезать? =)))

Всего записей: 466 | Зарегистр. 27-06-2007 | Отправлено: 15:40 23-04-2011
nightkeeper



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Откуда качать новую версию проги?? =)

Всего записей: 30 | Зарегистр. 31-12-2002 | Отправлено: 03:37 29-04-2011
Spate



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
nightkeeper

Цитата:
Откуда качать новую версию проги?

Ссылка выше.

----------
Core i5 2500K, ASUStek P8P67 Pro, Sapphire HD6970, 8Gb RAM, HDD Hitachi P7K500, W7

Всего записей: 584 | Зарегистр. 15-01-2003 | Отправлено: 06:57 29-04-2011
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Компьютерный форум Ru.Board » Компьютеры » Программы » Активные темы » ICEECC | QuickPAR | MultiPAR | RSC32 и др.


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru