Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » CopyMik

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9

Открыть новую тему     Написать ответ в эту тему

RusMikle

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
CopyMik


 
CopyMik - консольная программа по идеологии напоминающая robocopy или rsync но имеющая ряд существенных нововведений и отличий:
• Разделение ключей для файлов и папок
• Возможность использования в одном ключе нескольких масок одновременно
• Копирование прав для файлов и папок раздельно
• Тонкая настройка параметров копируемых файлов
• Переименование файлов и папок в процессе копирования с тонкой настройкой
• Транслитерация имен файлов и папок с учетом специфики более 9ти основных языков постсоветского пространства
• Сжатие или разжатие файлов при копировании
• Возможность шифрование и дешифровки файлов при копировании более чем 12ю различными алгоритмами
• Сочетание сжатия и шифрования и соотв дешифрации и разжатия файлов при копировании
• Использование в качестве ключа шифрования внешнего файла (до 2х Mb)
• Создание зеркальных копий папок и подпапок (/MIR как и в robocopy)
• Возможность выполнить внешнюю программу для каждого успешно обработанного файла указав последний в параметрах её запуска (напр. что бы послать E-Mail со сжатым и зашифрованным файлом)
• В зависимости от успешного или ошибочного результата выполнения копирования/сжатия/шифрации выполнить ту или иную внешнюю программу передав ей в качестве параметра лог выполнения операций (напр. чтобы в случае ошибки послать лог администратору по E-Mail)
• Вывод лога в файл, в том числе, в CSV формате
• Режимы резервного копирования со сжатием и шифрованием (удобно для переноса файлов на носителе имеющем опасность быть утерянным)
• Резервное копирование файлов в папку с настраиваемым именем (напр. дата и время) перед их заменой или удалением (напр. при использовании ключа /MIR)
• Возможность использования в названиях папок и файлов предопределённых переменных (наподобие даты, времени, размера и.т.п)
• Использование регулярных выражений в качестве масок при копировании, сжатии и шифровании а также в операциях переименования и транслитерации папок и файлов
• Копирование файлов длина пути к которым превышает 256 символов
• чтение ключей и масок из внешних текстовых файлов (в кодировке utf-8)
и многое другое ....
 
Например:
copymik "c:\Folder name" "d:\Folder name" /MIR /BDEL /BREPL
делает образ папки "c:\Folder name" в папку "d:\Folder name" а если при этом происходит удаление или замена файлов то перед удалением или заменой будет сделана их резервная копия соотв. в папки d:\Folder name_BDEL\ДатаВремя и d:\Folder name_BREPL\ДатаВремя
 
или
 
copymik "c:\Folder name" "d:\Folder name" /B пароль /BDEL /BREPL
делает резервное копирование (со сжатием и шифрованием) папки "c:\Folder name" в папку "d:\Folder name" а если при этом происходит удаление или замена файлов то перед удалением или заменой будет сделана их резервная копия соотв. в папки d:\Folder name_BDEL\ДатаВремя и d:\Folder name_BREPL\ДатаВремя
 
 
ПРОГРАММА БЕСПЛАТНА, В ТОМ ЧИСЛЕ И ДЛЯ КОММЕРЧЕСКОГО ИСПОЛЬЗОВАНИЯ


Сайт программы:http://www.superbasis.de/copymik/index.htm#rus
 
С программой CopyMik удобно использовать программу DelT.
Она служит для быстрого удаления папок и удобна настраиваемыми переменными. К примеру, delt c:\Backup\{WEEKOFYEAR-3} /S удалит папку с текущим номером недели минус 3. Удобно если Вам (по соображениям экономии места) нужны резервные копии только текущей и 2x предведущих недель. (ключ /S нужен только если есть пути длиннее 256 символов). Её удобно комбинировать с CopyMik которая собственно эти резервные копии и делает. Операции вычитания и сложения можно использовать со всеми переменными даты (включая текстовые названия дней недели и месяцев).

Всего записей: 119 | Зарегистр. 12-11-2002 | Отправлено: 13:42 04-12-2015 | Исправлено: RusMikle, 12:53 24-02-2018
RusMikle

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
По простому нельзя. Если извращаться то на сайте copymik есть програмка md5. Она позволяет получить список файлов в нужном виде. Далее импользовать kdiff для их сравнения и выделения отличных и потом подставить это всё в файл масок с которым уже умеет работать copymik. Гораздо проще в Вашей ситуации использовать wget предоставив к обоим компьютерам доступ по ftp. Он как раз для медленных соединений и справляется с большим количеством файлов. Для интернета следует использовать интернет протоколы.

Всего записей: 119 | Зарегистр. 12-11-2002 | Отправлено: 21:47 17-08-2018
RusMikle

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
да, ну и конечно можно наладить копирование со сжатием с машины на которой лежат копируемые данные а потом разжимать их на принимающей машине. Но это думаю и так понятно.

Всего записей: 119 | Зарегистр. 12-11-2002 | Отправлено: 14:10 28-08-2018
s32

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Кстати, отличная идея про сжатие - я не подумал про это
А насчет wget - я нашел более изящное решение. Запускаю copymik на источнике с фильтром DTS от нужной даты.

Всего записей: 2 | Зарегистр. 21-06-2007 | Отправлено: 16:05 28-08-2018
ru4room



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Здравствуйте. Можете подсказать, реально ли реализовать такую функцию - при копировании набора файлов, если скорость чтения файла-источника падает ниже указанной отметки, пропустить копирование файла и перейти к следующему?

Всего записей: 37 | Зарегистр. 22-12-2003 | Отправлено: 11:36 26-10-2018
RusMikle

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Реально, только не могу себе представить где такое может понадобиться. Опишите пример. Подумаю.

Всего записей: 119 | Зарегистр. 12-11-2002 | Отправлено: 14:10 26-10-2018
ru4room



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Реальный узкоспециализированный пример у меня))
Есть умирающий HDD с фильмами, я с него копирую на живой, часть файлов копируется в нормальном скоростном режиме, часть - очень медленно (исчисляется кбпс).
Так вот те, которые качаются медленно, нужно пропускать - гораздо быстрее их перекачать заново из Интернета, чем ждать по часу и более )
Поискав по менеджерам копирования, в некоторых нашёл только ограничение по скорости сверху, и то, это просто ограничение всего копирования без опций.
Если сделаете - будет уникальная фича вашей программы)

Всего записей: 37 | Зарегистр. 22-12-2003 | Отправлено: 10:31 28-10-2018
RusMikle

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Другими словами если скорость чтения блока выросла во столько то раз прервать копирование данного файла.  В принципе можно добавить в след. версию. Посмотрю.

Всего записей: 119 | Зарегистр. 12-11-2002 | Отправлено: 11:15 28-10-2018
ru4room



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Наоборот, если скорость упала. И, лучше бы в абсолютной, а не относительной величине.
Т. е., наприрер, не копировать файл, если в какой-то момент скорость копирования упала до 100 kbps

Всего записей: 37 | Зарегистр. 22-12-2003 | Отправлено: 18:04 28-10-2018 | Исправлено: ru4room, 18:06 28-10-2018
Tagg33

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
.

Всего записей: 79 | Зарегистр. 04-10-2015 | Отправлено: 14:04 01-11-2018 | Исправлено: Tagg33, 21:34 02-11-2018
RusMikle

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
По поводу Вашего вопроса в личку о теневых копиях позволю себе ответить тут поскольку может быть интересно другим. Vss теневое копирование это технология встроенная в windows и программы её использующие, в данном случае copymik, просто получают доступ в область созданной теневой копии и копируют данные из неё. Создание теневой копии происходит всегда на уровне тома (по простому или весь диск или ничего. Отдельную папку нельзя поместить в теневую копию) поэтому в copymik не реализовано создание самой теневой копии т.к. это не соответствует назначению copymik и делается либо командой windows либо с помощью утилиты приложенной к copymik. Преимущество второй в том что она сразу возвращает линк на созданную теневую копию что позволяет сразу начать копирование из неё. Можно конечно запихать функционал этой утилиты во внутрь copymik но зачем если всё уже реализовано в отдельной утилите которая прекрасно с copymik комбинируется. Как, описано в примере на сайте copymik, если что то не совсем понятно спрашивайте, охотно отвечу.
 
Добавлено:
По поводу замера скорости копирования и прерывания копирования при падении скорости до определённого уровня, надо будет подумать как лучше реализовать. Copymik читает данные блоками (по размеру программного буфера) соотв. надо будет замерять скорость получения такого блока. Так же надо будет учитывать и дисковый кэш, данные из которого получаются намного быстрее есть и другие тонкости. Подумаю.

Всего записей: 119 | Зарегистр. 12-11-2002 | Отправлено: 11:58 02-11-2018
HORiSi

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
RusMikle
 
а будет ли UI ?
 
PS.с целью исключения ошибок в синтаксисе

Всего записей: 162 | Зарегистр. 24-05-2006 | Отправлено: 11:12 03-12-2018
RusMikle

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
>>а будет ли UI ?  
 
надо бы, сам уже забываю некоторые ключи, тут даже (смотри эту ветку) кто то даже ваять начал как плагин для Far. У меня, если честно, на это время не хватает (хотя, конечно, руки чешутся). Всё надеюсь может кто сваяет, будет первым может даже заработает немного. Мне самому не хватает время даже статью нормальную на хабре написать. Всё время сжирают коммерческие проекты. Посмотрю короче, если никто не разродится может сделаю.

Всего записей: 119 | Зарегистр. 12-11-2002 | Отправлено: 14:22 03-12-2018
HORiSi

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
плагин для Far

 
как бэ оно конечно да, однако смысл UI (имхо) сохранить скрипт запуска, дабы в дальнейшем запускать не волнуясь за правильность и при необходимости править кое-что за 5 сек не вспоминая какой ключ за что в ответе.
 
вощем в ожидании рук магистра

Всего записей: 162 | Зарегистр. 24-05-2006 | Отправлено: 16:52 03-12-2018
alexnoy123

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Зеркалирование (/MIR) по сети при очень большом количестве обрабатываемых файлов (45000) на сервере не успевают освобождаться дескрипторы файлов и все... На серваке пишет "too many open files". В логи пишет например:  
ERROR [07.01.2019 15:19:32]: By copy file  ( Datei "\\?\UNC\OmniOS\Backups\Dark\ASUS\Documents\Visual Studio 2017\Projects\OpenLDVProbeApp\OpenLDVProbeApp\Data\PetrolVessel.cs" kann nicht erstellt werden. Системе не удается открыть файл )  \\?\GLOBALROOT\Device\HarddiskVolumeShadowCopy19\Users\ASUS\Documents\Visual Studio 2017\Projects\OpenLDVProbeApp\OpenLDVProbeApp\Data\PetrolVessel.cs ----> \\OmniOS\Backups\Dark\ASUS\Documents\Visual Studio 2017\Projects\OpenLDVProbeApp\OpenLDVProbeApp\Data\PetrolVessel.cs
ERROR [07.01.2019 15:19:32]: By copy file  ( Datei "\\?\UNC\OmniOS\Backups\Dark\ASUS\Documents\Visual Studio 2017\Projects\OpenLDVProbeApp\OpenLDVProbeApp\Data\PrepayRequired.cs" kann nicht erstellt werden. Системе не удается открыть файл )  \\?\GLOBALROOT\Device\HarddiskVolumeShadowCopy19\Users\ASUS\Documents\Visual Studio 2017\Projects\OpenLDVProbeApp\OpenLDVProbeApp\Data\PrepayRequired.cs ----> \\OmniOS\Backups\Dark\ASUS\Documents\Visual Studio 2017\Projects\OpenLDVProbeApp\OpenLDVProbeApp\Data\PrepayRequired.cs
 
По мере освобождения дескрипторов проскакивают успешные записи синхронизации (SKIP или COPY), но опять доходит до предела и ERROR.
 
С ключами /WAIT и /REPEAT иногда проскакивают:
ERROR [07.01.2019 15:55:14]: Unable to set Attribute and Date for Dir \\?\UNC\OmniOS\Backups\Dark\ASUS\AppData\Roaming\Wing IDE 6\snippets\html\content.ctx
WAIT Nr.:1 (15 sec.)  [07.01.2019 15:55:14]: \\?\GLOBALROOT\Device\HarddiskVolumeShadowCopy20\Users\ASUS\AppData\Roaming\Wing IDE 6\snippets\html\content.ctx
 
но большинство файлов ERROR без WAIT-а.
 
Первое копирование проходит успешно (для копирования надо время и дескрипторы успевают освобождаться), а вот при дальнейшей синхронизации большинство файлов SKIP, т.к. дата и размер не поменялись, но при запросе атрибутов открывается дескриптор и теперь не успевает освобождаться.
 
Моя строка запуска:
 
copymik.exe %1\Users \\SRV\ProbeBak /DSKIP /NSKIP /REPEAT /WAIT /CMF /TH 1 /MIR /LOG /CAD -P /OF /XCF ntuser.dat* IconCache.db /XCD  ::MasksForExcept.txt
 
(/TH 1 тоже не помогает...)
 
Можно ли что-либо сделать для такой ситуации? То ли где-то не закрывается дескриптор файла (при проверке атрибутов?), то ли с это таймауты какие-нибудь TCP-шные или SMB-шные, но настройки их не нашел... Может сделать копирование пачками по 1000 файлов например с паузой или еще что придумать?

Всего записей: 1 | Зарегистр. 24-01-2017 | Отправлено: 20:16 07-01-2019
RusMikle

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Зеркалирование (/MIR) по сети при очень большом количестве обрабатываемых файлов (45000) ...

интересная проблема, ранее с такой не сталкивался и никто о подобной не писал. Посмотрите настройки сервера на тему кэширования (как системного так и аппаратного), походу файлы маленькие и в кэш влазит больше чем система позволяет открыть одновременно. Можно попробовать уменьшить кэш или вообще его отключить. Со стороны copymik попробуйте поиграться с ключем /PR. Например /PR LOV- или другие его вариации.  При низких приоритетах copymik отдаёт больше ресурсов системе, возможно тогда она будет успевать чистить кэш. Если получится отпишитесь, интересно. Кстати какой антивирус в системе?
 
 

Всего записей: 119 | Зарегистр. 12-11-2002 | Отправлено: 22:35 08-01-2019
iifoks447



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
RusMikle
 
Ещё раз спасибо за великолепную программу.
---------------------------------------------------------------
 
Пару хотелок по возможности:
 
1. Ключ, при котором переименованию подвергались бы уже имеющиеся в папке назначения подобные файлы, а не копируемые (как при ключе /RFT), то бишь копируемые файлы сохраняют свои имена в случае совпадения.
 
2. Возможность создавать в указанной (/BREPL) резервной папке копии для поступающих в эту папку замененных целевых файлов.  
Например:

Код:
copymik.exe c:\Documents d:\DocArchiv /OF /SOLDF /BREPL d:\DocArchiv\@bak@\{DATE}

 
Копирует все файлы папки c:\Documents в папку d:\DocArchiv и в случае совпадения файлов создает резервные копии старых файлов в -> \целевая папка\@bak@\{DATE} >>>> заменённые файлы будут поступать в папку с текущей датой , в случае совпадения очередным поступившим в резервную папку копиям должен присваиваться номер, по типу {NR} при ключе /RFT.

Всего записей: 74 | Зарегистр. 04-04-2013 | Отправлено: 07:19 31-08-2019 | Исправлено: iifoks447, 10:07 05-09-2019
HORiSi

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
RusMikle
Скажите, пожалуйста, какой должен быть ключ для копирования занятых файлов?
 
Например, юзером открыт и редактируется Занят.docx. Как скопировать "сохраненную" на диске версию файла Занят.docx?
 

Код:
 
copymik.exe "\\?\UNC\011.vs.local\d$\Docs" "d:\Personal\User" /USR /LOG c_user_{DATE}.log /DCSV {TAB} /MIR /SDTSF /PRIORITY LOW- /XCD ::excludeDir.txt /XCF ::exclude.txt /STH /EBEEP /BEEP
 

 
exclude.txt — содержит исключения аудио/видео файлов.

Всего записей: 162 | Зарегистр. 24-05-2006 | Отправлено: 08:58 02-04-2020
ach e1

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Программа жива?

Всего записей: 79 | Зарегистр. 21-05-2006 | Отправлено: 08:30 12-12-2022
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9

Компьютерный форум Ru.Board » Компьютеры » Программы » CopyMik


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru