Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Командная строка, батники, сценарии (bat, cmd)

Модерирует : gyra, Maz

Maz (19-09-2020 13:36): Командная строка, батники, сценарии (bat, cmd) Часть 6  Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199

   

cchameleone



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Командная строка, батники\сценарии (bat, cmd)
(часть 1) (часть 2) (часть 3) (часть 4)
Вопросы, задачи и их решения по работе с командной строкой, файлами, а также сопутствующие ссылки.

Важно: копируя батник через буфер обмена из форума не забывайте удалять пробелы в конце каждой строки, т.к. в некоторых случаях из-за этого программа будет работать неправильно!!! Чтобы не копировались концевые пробелы из форума, жмите на ссылку "Редактировать" в посте, и уже из редактора копируйте батник без пробелов.
 
Примечание: Большие куски кода заключайте в тэг [ more ].  

Смежные темы:
В помощь системному администратору » Автоматизация администрирования
Microsoft Windows » Сценарии Windows

Полезные ссылки:
· Из Windows XP Professional Product Documentation:
» Описание Cmd.exe » Command shell overview
» Using batch files » Using batch parameters » Using filters » Using command redirection operators
 
· Уроки bat-аники (для начинающих): первый и второй
· Курс из 19 лекций "Командная строка и сценарии Windows"
· Попов А. Командная строка и сценарии Windows (PDF). Курс лекций для начинающих
· Бокалий В. Командная строка (pdf-брошюрка в 20 страниц)
· Александров А., Дибров А. Урок bat-аники (pdf)
· Уильям Р. Станек - Командная строка Windows. Справочник администратора
 
· Скрываем консольные окна, Выполнение BAT-скриптов без вызова окна консоли
· cmdow — изменение параметров и видимости дос-окна, Статья в КОМПЬЮТЕРРАONLINE
· Набор GNU утилит для win32
· HS_Packet.7z - Пакет утилит для организации интерфейса в bat-файлах
· Использование ansi.sys
· blat — отправка почты из консоли
· Команды RunDll32
· Quick Batch File Compiler - Позволяет превратить ваш батник в независимое приложение
· Easy Batch Builder+Rus+Crack - Редактор BAT файлов.Через графический интерфейс программы вы сможете быстро конструировать пакетные файлы практически любой сложности. (В комплекте есть Лоадер созданный с помощью Sign Of Misery некоторые антивирусы обзывают его вирусом. Вам решать: ставить или не ставить) (ЗЕРКАЛО)
· Простой способ получать текущую дату всегда в одном формате (не зависит от языков и настроек) ещё и ещё
· Переход из 32-битной версии cmd.exe в 64-битную (1) (2)(3)

Всего записей: 2271 | Зарегистр. 16-10-2015 | Отправлено: 09:22 29-04-2016 | Исправлено: Maz, 08:47 26-03-2020
Sinclair83

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Да-а-а... думаю такие объёмные файлы будет считать довольно долго, если вообще не захлебнётся. Что ж... я просто хотел помочь. Удачи!
 
Добавлено:
Мысли вслух:
при таких объёмах наврное лучше рассмотреть вариант с разбиением каждого 40-Гигабайтного файла на более мелкие части, чем их склеивание в один архив. А на приёмнике собрать всё обратно. Будет надёжнее IMHO. Может быть даже после передачи каждой части производить их сравнение. Если разнятся, то повторно передать несоответствующую оригиналу часть. Ведь это несравненно быстрее, чем по новой тянуть 40ГБ! в случае ошибки.
По-поводу утилиты: честно говоря не тестировал на таких больших файлах. На мелких отрабатывает нормально.

Всего записей: 744 | Зарегистр. 07-01-2009 | Отправлено: 15:21 10-07-2017 | Исправлено: Sinclair83, 16:34 10-07-2017
Pasha_ZZZ



Platinum Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Falcon99
Так-то MS SQL поддрерживает дифференциальные бекапы. И только 1 набор файлов будет иметь указанный размер. И если данные не пошифрованы - лучше использовать архивацию, что-то типа 7-Zip + ZStandard. Нестандартный конечно вариант, но для выигрыша в скорости самое оно.

Всего записей: 10071 | Зарегистр. 11-03-2002 | Отправлено: 16:38 10-07-2017
Falcon99



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Все-таки получение контрольных сумм занимает гораздо меньше времени. На один файл размером в 42 Гб. уходит около 10 минут, это при работе с локальными файлами, как с сетевыми проверю этой ночью. Поэтому предварительно останавливаюсь на варианте создания файлов с контрольными суммами и сравнение этих файлов между собой командой fc.

Всего записей: 590 | Зарегистр. 12-10-2005 | Отправлено: 14:28 11-07-2017
Sinclair83

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Falcon99
Попробуй сплиттер.
Положить рядом с батником и строка запуска такая же:

Код:
start "" /WAIT splitter %path_sourse%

1. в %path_sourse% не должно быть пробелов.
2. %path_sourse% не должен быть пустым каталогом.
 
Режет найденные файлы, размер которых превышает ~100 MB, на части по ~100 MB (104 857 600). Файлы же меньшего размера - не обрабатываются. Также создаётся log-файл с хэшами каждой из частей. Нарезка сохраняется рядом с оригиналом. Оригинал не удаляется!

Всего записей: 744 | Зарегистр. 07-01-2009 | Отправлено: 17:16 11-07-2017
Falcon99



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Sinclair83
Зачем мне резать файлы?
Мне надо просто скопировать файлы backup'а на NAS и убедиться что файлы скопировались нормально. Для этого вполне достаточно сравнить контрольные суммы после копирования. Или, как я думал ранее, перед копированием заархивировать файлы, а после окончания копирования проверить целостность скопированных файлов.

Всего записей: 590 | Зарегистр. 12-10-2005 | Отправлено: 17:30 11-07-2017
Sinclair83

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
В предыдущем своём посте уже говорил зачем это нужно. Если какая-либо часть или несколько частей скопируются с ошибкой, то её/их передать будет быстрее, чем вновь копировать 40ГБ. Дело конечно хозяйское, но мне представляется это именно так.

Всего записей: 744 | Зарегистр. 07-01-2009 | Отправлено: 17:48 11-07-2017
MAGNet



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Поэтому можно производить копирование с проверкой идентичности скопированных файлов?

Falcon99, можно, но xcopy тут не при чем.
нужно пользоваться утилитой RoboCopy - она устанавливает двустороннюю связь и делает проверку в процессе копирования блоков файла. Проверка целостности делается на уровне протокола и если какой-то блок скопировался неправильно, то он запрашивается заново. В случае обрыва связи программа ждет, когда связь снова восстановится и продолжает копирование/синхронизацию.
По ссылке обратите внимание на раздел Retry options
При использовании этой утилиты нет необходимости в проверке CRC, потому что она делает синхронную копию, целостность которой проверяется в процессе копирования.
Я с её помощью синхронизирую поломанные DFS'ы - лучшего нативного инструмента не найти. XCopy - это как бы зародыш RoboCopy.
Осваивайте.
 
Добавлено:

Цитата:
как с сетевыми проверю этой ночью

не имеет смысла. в таком случае ошибка сети не исключается

Всего записей: 2024 | Зарегистр. 31-03-2004 | Отправлено: 18:12 11-07-2017
Sinclair83

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
не имеет смысла. в таком случае ошибка сети не исключается

Естественно. Поэтому изначально предполагалось использовать удалённый запуск приложения сверки контрольных сумм средствами PsExec. А RoboCopy действительно хорош, подтверждаю. Пользовался ещё из пакета Windows Server 2003 Resource Kit Tools. Не рекомендовал его только по причине таких объёмных файлов (не доводилось передавать такие объёмы).

Всего записей: 744 | Зарегистр. 07-01-2009 | Отправлено: 18:31 11-07-2017
MAGNet



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Не рекомендовал его только по причине таких объёмных файлов (не доводилось передавать такие объёмы)

Замечательно работает. Такие большие не таскал, а пятнадцатигиговые архивы нормально ходят. На тестах даже специально сетевой кабель выдергивал на пару секунд - всё без ошибок ))
Тут одно исключение - с линуксовыми НАСами не работает.
В таком случае нужно смотреть в сторону Rsync, но я бы не стал держать такую гетерогенную среду..
..хотя у меня бэкапами заведует начальник и у него до сих пор всё пакуется раром и отправляется через xcopy, но это его личное дело - мне не по окладу )))

Всего записей: 2024 | Зарегистр. 31-03-2004 | Отправлено: 18:42 11-07-2017
Sinclair83

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Замечательно работает.

Не знал. Спасибо за информацию.
Раз уж пошёл разговор про утилиты копирования, то также следует отметить весьма не плохую XXCOPY.

Всего записей: 744 | Зарегистр. 07-01-2009 | Отправлено: 18:57 11-07-2017
MAGNet



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
XXCOPY

не могу поддержать тему - не пользовался.
товарищу Falcon99'у рекомендовал бы пересмотреть подход к бэкапам. делать всё из командного файла - это хардкорно и олдскульно - это бесспорно фэйловер, но мне кажется, что стоит поискать какие-то другие методы.

Всего записей: 2024 | Зарегистр. 31-03-2004 | Отправлено: 19:18 11-07-2017
Pasha_ZZZ



Platinum Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Falcon99
Цитата:
Мне надо просто скопировать файлы backup'а на NAS и убедиться что файлы скопировались нормально.
Посчитать хэш и скопировать файлы вместе с хэш-файлом на NAS. На NAS в cron задание повесить, в котором при наличии хэш-файла начинать проверку через, скажем, md5deep -x с выводом в файл (туда попадет список плохих файлов) где-нибудь во временном месте.
После проверки, если список плохих файлов пустой - перемещать/удалять хэш-файл.
Если список плохих непустой - перемещать его в место, где его увидит батник.
 
После окончания копирования батник ждет одного из событий и:
а) при пропадании хэш-файла - завершает работу (все нормально скопировано);
б) при появлении списка плохих - копирует файлы из списка по новой.

Всего записей: 10071 | Зарегистр. 11-03-2002 | Отправлено: 19:58 11-07-2017
MAGNet



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Посчитать хэш и скопировать файлы вместе с хэш-файлом на NAS

не выдерживает никакой критики. копирование по сети - компрометация данных по умолчанию. как можно передавать проверочные данные по скомпрометированному каналу?

Всего записей: 2024 | Зарегистр. 31-03-2004 | Отправлено: 20:12 11-07-2017
Pasha_ZZZ



Platinum Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
MAGNet
Можно, когда данные защищаются от непредумышленного изменения.

Всего записей: 10071 | Зарегистр. 11-03-2002 | Отправлено: 20:18 11-07-2017
MAGNet



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Falcon99, Sinclair83, Pasha_ZZZ, друзья мои, вы пытаетесь решить на самом верхнем уровне то, что давно уже решено за вас на нижних.
CRC уже давно проверяется на уровне сети и ошибочный пакет просто не придет адресату. Мы не в 1989-м году. Ошибок на уровне сети уже давно не бывает.
Если вы спросите зачем всякие разные программисты публикуют MD5 своих архивов, то это для того, чтобы ты был уверен, что скачал именно тот пакет, а не какой-нибудь хакер тебя обманул.
Просто выключайте свою паранойю и доверьтесь тем тысячам программистов, которые разработали протоколы передачи данных на первых трех уровнях

Всего записей: 2024 | Зарегистр. 31-03-2004 | Отправлено: 20:20 11-07-2017
Pasha_ZZZ



Platinum Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
MAGNet
Пакет может передаться без ошибок, но записаться с ошибкой по причине отказа оборудования, скачка или отключения напруги... в общем, есть 100500 причин.
Тем более "нескомпрометированность" CRC и ее достаточность всегда вызывали массу вопросов.

Всего записей: 10071 | Зарегистр. 11-03-2002 | Отправлено: 20:24 11-07-2017
MAGNet



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Pasha_ZZZ, вы себя слышите? по ненадежному каналу пакет доехал, а по надежному он провалился.
или вы считаете, что запись данных на диск следует дополнительно проверять? контроллер диска, а следом контроллер дискового накопителя, а следом драйвер системы, а следом система, а следом копирующая программа этого не делают?
может вам не в 1989-й, а в 1969-й?
прекратите болтать ерундой!
вы ещё на 6-м уровне ОСИ начните контрольные суммы считать и проверять

Всего записей: 2024 | Зарегистр. 31-03-2004 | Отправлено: 20:30 11-07-2017
Pasha_ZZZ



Platinum Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
MAGNet
Была поставлена задача. Человек хочет проверять. Я сам говорил, что произойдет при ошибке.
Решение было предложено.
А так можно и дальше брызгать слюной, что бекапы не нужны, что MS SQL - зло и вообще переходите на RAID, но вопрос был не в этом.

Всего записей: 10071 | Зарегистр. 11-03-2002 | Отправлено: 20:35 11-07-2017
MAGNet



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Pasha_ZZZ, немного не в ту сторону вас загнуло.
я говорю, что даже при использовании xcopy ошибка на уровне передачи данных исключена, потому что..
ну вы поняли. если будет ошибка на уровне передачи данных, то процесс завершится с ошибкой.
диктую большими буквами:
ЕСЛИ ЛЮБОЙ ПРОЦЕСС КОПИРОВАНИЯ ПРОШЕЛ БЕЗ ОШИБОК, ТО НЕТ СМЫСЛА ПРОВЕРЯТЬ CRC!
потому что там ошибок нет.
что я не понятно объяснил?

Всего записей: 2024 | Зарегистр. 31-03-2004 | Отправлено: 20:45 11-07-2017
Pasha_ZZZ



Platinum Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
MAGNet
У вас с психикой порядок. Еще раз говорю: человек хочет. Я предлагаю решение. Вы ничего не предлагаете.
 
Вам советую этот пост повторять перечитывать до полного просветления.

Всего записей: 10071 | Зарегистр. 11-03-2002 | Отправлено: 20:52 11-07-2017
   

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199

Компьютерный форум Ru.Board » Компьютеры » Программы » Командная строка, батники, сценарии (bat, cmd)
Maz (19-09-2020 13:36): Командная строка, батники, сценарии (bat, cmd) Часть 6


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru