Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » Записть объемной информации на внешний ХДД

Модерирует : lynx, Crash_Master, dg, emx, ShriEkeR

 Версия для печати • ПодписатьсяДобавить в закладки

Открыть новую тему     Написать ответ в эту тему

timkuptsov

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Есть желание автоматизировать или хотя бы упростить одну из самых рутинных задач в конторе.
Есть папка с файлами и папкам общим объемом около 300гб.
Есть внешние винчестеры подключаемые по USB (около 20 штук).
Каждый день папка копируется на эти винчестеры с перезаписью новых файлов.
Вот задумал собрать компьютер специально для этой задачи.
И хотел бы поспрашивать, вдруг есть какое-то оптимальное решение?
Железное, софтовое?
В идеале представляю себе ящик с кучей USB3.0 с SSD внутри, чтобы пользователь сам ткнулся в USB и процесс копирования начался автоматически.

Всего записей: 72 | Зарегистр. 16-06-2010 | Отправлено: 15:57 21-10-2019
igor me v2



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
ящик с кучей USB3.0 с SSD внутри

Это что за ящик такой, не видал...

Цитата:
подключаемые по USB  

Это обязательное условие? Mobil Rack, напрмиер, не покатит? Хотя если они уже есть...
А почему собссно она рутинная? Скопировать-вставить и пошёл пить чай, или там не просто копирование, а с условиями?
Одна и та же папка абсолютно одинаковое содержимое на ВСЕХ винтах? Это что-ли типа "мобильных" жёстких дисков, выдаются "выездным" работникам для работы в "поле"? Или это просто резервные копии??? Если второе - вариантов может быть больше. Если это резервирование - может изначально надо было подумать о чём-то типа стриммера?

Всего записей: 2767 | Зарегистр. 27-03-2016 | Отправлено: 17:45 21-10-2019
timkuptsov

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Это что за ящик такой, не видал...  

Сам еще не видал. Так в мыслях вырисовывается.

Цитата:
Это обязательное условие?

Да.

Цитата:
Это что-ли типа "мобильных" жёстких дисков, выдаются "выездным" работникам для работы в "поле"?

Абсолютно верно.

Цитата:
А почему собссно она рутинная?

Ну по мне так это рутина. Однообразная монотонная работа.

Всего записей: 72 | Зарегистр. 16-06-2010 | Отправлено: 18:10 21-10-2019
shuum



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
timkuptsov
На мой взгляд типа такого вам нужно, это "Dual application, slot-in/out" диск с реком, который когда вы его втыкаете в рэк - работает через SATA, а когда он в "полях" работает через USB. Материнку берите с SAS и ставьте экспандер на SATA (там до 256 портов можно накрутить), корпус тоже можно подобрать типа такого куда все эти рэки и вкрутить.
 
Добавлено:
timkuptsov
Вопрос автоматизации процесса тоже не сложен, берете что-то типа AutoIt и всех делов. Или скрипт-ланчер в планировщик на каждые 3 секунды, чтобы он мониторил появление диска, считывал его SN и асинхронно запускал процесс копирования.

Всего записей: 207 | Зарегистр. 01-11-2006 | Отправлено: 07:50 22-10-2019
timkuptsov

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
shuum
Много денег на это не дадут.
 
 
Думаю собрать отдельный ПК с 4 USB3.0 на задней планке материнки для начала (потом можно еще контроллер поставить, если затея удастся).
SSD на 500гб с которого копировать.
 
Нужен ли для такой задачи шустрый проц?
Вроде в простом копировании он не особо участвует.
 
На что вообще стоит обратить внимание при выборе MB+CPU?
Задача только одна - как можно выше скорость записи по USB на HDD...

Всего записей: 72 | Зарегистр. 16-06-2010 | Отправлено: 15:36 22-10-2019
ipmanyak



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
timkuptsov Один из вариантов без контроллера:  
Берешь мать с 3-4-мя   портами USB 3.0, покупаешь подобную хрень с адаптером питания в количестве 3 штук
   
втыкаешь все  20 флэшек разом, в батнике утилитой robocopy  копируешь на флэшки.  Предварительно нужно убедиться, что все 20 флэшек сели на 20 букв устройств. Учитываем, что всего букв - 26, из них минимум один занят, ака  диск C:\
 
Ссылка на сей гаджет на али
https://ru.aliexpress.com/item/4000104637294.html?spm=a2g0o.productlist.0.0.6d625233j45PKC&algo_pvid=9f1788c8-bf9a-412c-a28e-4eafbcc668cd&algo_expid=9f1788c8-bf9a-412c-a28e-4eafbcc668cd-8&btsid=77b2e8ee-6db3-4445-b354-bfdfe235d8d8&ws_ab_test=searchweb0_0,searchweb201602_8,searchweb201603_52
 и у нас они есть в продаже подобные
https://www.dns-shop.ru/product/591ada9035851b80/usb-razvetvitel-dexp-h7013/
DEXP я бы не стал брать. DEXP это бренд от самого DNS-SHOP, сделанный в Китае  
Глянь на этот https://www.dns-shop.ru/product/84f74ac6d67b3361/usb-razvetvitel-tp-link-uh-700/
к TP-LINK у меня доверия больше, хоть и тоже в Китае собран.  
P.S.
При копировании большого количеств мелких файлов утилита robocopy    имеет преимущество перед xcopy, так как по дефолту юзает 8 потоков.  Можно запускать 20 батников, а можно запустить один с 20 командами:
start  "flash disk H:" /MIN robocopy ...  
start  "flash disk G:" /MIN robocopy ...
команда start запустит задание и не ожидась его завершения будет стартовать последующие.
если хочешь дождаться завершения, то еще и с логами:
start  "flash disk G:" /MIN robocopy "C:\откуда" "G:\куда"   /R:1 /NP /E /LOG:"C:\SCRIPTS\LOGS\ FLASH_G.txt"
start  "flash disk G:" /MIN /WAIT xcopy  /L ...    >   FLASH_G.txt  
 
логи надо создавать, чтобы потом прочитать, можно в конце сразу выводить их на экран  
type  "C:\SCRIPTS\LOGS\ FLASH_G.txt"
или  
notepad  "C:\SCRIPTS\LOGS\ FLASH_G.txt"
 
Частота проца для такой задачи не критична. В NAS-ах стоят двухядерные  Intel Atom® Processor D2700 (1M Cache, 2.13 GHz)   и его хватает  для обслуживания кучи шар.
 
 


----------
В сортире лучше быть юзером, чем админом...

Всего записей: 9982 | Зарегистр. 10-12-2003 | Отправлено: 07:30 23-10-2019 | Исправлено: ipmanyak, 07:57 23-10-2019
timkuptsov

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Частота проца для такой задачи не критична. В NAS-ах стоят двухядерные  Intel Atom® Processor D2700 (1M Cache, 2.13 GHz)   и его хватает  для обслуживания кучи шар.

Я как-то имел дело с домашним NAS. Через неделю я от него избавился и желание их трогать абсолютно никакого нет. Правда, справедливости ради, это был 2010 год.
 
Решил выпросить денег на обычный комп (написал выше).
Если копировать с sata винта через USB3.0 скорость порядка 70мб/с.
Если запускать второе копирование параллельно - скорость падает раза в два.
Ставить параллельно еще копирование смысла уже нет.
Для этих целей и хочу копировать с SSD.
Вот интересно на какой скорости будет копировать в 4 потока (хотя бы)?
 
Вот и ищу инфу, влияет ли проц на такую задачу. Будет ли разница celeron или core i7?
Кол-во ОЗУ, частота - важно ли?
 
И ещё такой момент. Мы в поиске идеального внешнего винта на USB3.0.
Уж столько винтов перепробовали, но все они страдают одной и той же болячкой.
Купили новый - скорость записи 130мб/с. Через год - 70 и ниже. Некоторые вообще отказываются определяться USB3.0. И это даже у самых аккуратных сотрудников. Смарт винтов - идеальный. Пытался менять коробочки, в т.ч. со встроенным проводом - только хуже. Они с рождения не дают и сотни.
В общем в поиске железа и информации.

Всего записей: 72 | Зарегистр. 16-06-2010 | Отправлено: 12:20 08-11-2019 | Исправлено: timkuptsov, 12:20 08-11-2019
igor me v2



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Для этих целей и хочу копировать с SSD.  
Вот интересно на какой скорости будет копировать в 4 потока (хотя бы)?  

Ну дык это, прикинем. Винт, средний такой, со скоростью 70-80 Мб\с уж точно пишет. SSD, средний такой ну где-то мегов 200-250 в секунду читает. Второе делим на первое минус накладные расходы. Хотя нет, немного вру, скорость поднимет кэш, так что надо ещё умножить на коэффициент некий, мможет на 1,5 хотя бы?
Прикол в чём, надо бы искать софт, который читает  нужную инфу ОДНОКРАТНО c источника, а "тиражирует" её уже в памяти. Но вот при записи всё равно одна и та же инфа будет писАться в несколько потоков (мне думается не существует чисто программных средств, которые как либо ликвидировали бы эту "проблему", аппаратные - наверное есть), а значит всё равно упрёмся в пропускную способность шины, скажем - USB. Этот порог выше, но и он не безграничен.

Цитата:
Купили новый - скорость записи 130мб/с

Это нормально, ну так это почти потолок для средних винтов.

Цитата:
Через год - 70 и ниже

Ну просто так такое не должно происходить. Возможна с годами некоторая просадка скорости как записи, так и чтения в силу ряда "внутренних" причин, но не в 2 раз - это точно! Я знаю, о чём говорю, винты ковыряю давно и довольно глубоко! На старых винтах, типа 80-10-250-500 Гб - такого массово не наблюдал никогда. Может это у вас система просто "засирается". Вы её оптимизируете хоть иногда? А то я знаю, что несколько лет неоптимизированная система может работать в 2-3 раз медленнее свежей или хорошо оптимизированной, к слову...

Цитата:
Я как-то имел дело с домашним NAS. Через неделю я от него избавился и желание их трогать абсолютно никакого нет

Я имел дело может не совсем с домашним (Aquarius NAS-4000, он же по идее Intel SS4000) - ничего плохого не скажу.
Очень общая и пространная фраза, ну хозяин-барин. Я могу единственно предположить, что из-за скорости сети вам показалось что-то, наверно была 100МБит. Но даже на ней, если "не спешить на войну", можно работать, а уж на ГБит всё должно летать (насколько это возможно при передаче по сети)...

Цитата:
Будет ли разница celeron или core i7?  

Думается нет, на проценты может быть разница. DMA там и прочее везде понатыкано. Проц же через себя данные не прокачивает...

Цитата:
Кол-во ОЗУ, частота - важно ли?  

В разумных пределах тоже нет. Если система не тормозит - дальнейшее увеличение не должно никак влиять...

Всего записей: 2767 | Зарегистр. 27-03-2016 | Отправлено: 01:17 09-11-2019
Valery_Sh



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
timkuptsov

Цитата:
Для этих целей и хочу копировать с SSD.
Вот интересно на какой скорости будет копировать в 4 потока (хотя бы)?

 
У нормального SSD на 4-потоках, например, скорость выше чем при 1. Если дури контроллера достаточно, то упрётся в интрефейс.
А вот с "гирлядной" usb устройств на одном канале гложут сомнения - тут-то скорость делится между устройствами. Плюс то, что и с одним устройством она далека от физического максимума.
 
По поводу Сети. Когда-то сравнивал HTS721010A9E630 в usb3 боксе и в "nas". Так вот в "nas" (обычный писюк на пеньке SB) время копирования всегда было намного меньше. Проверялось не попугаями, а копированием реальных разношёрстных данных объёмом ~900 ГБ.

Всего записей: 1816 | Зарегистр. 30-06-2008 | Отправлено: 17:32 10-11-2019
igor me v2



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
У нормального SSD на 4-потоках, например, скорость выше чем при 1

Это как? :-\ Физику отменили? Такое возможно, только если при одном потоке скорость искусственно занизить...

Цитата:
 Так вот в "nas" (обычный писюк на пеньке SB) время копирования всегда было намного меньше.

Таки вы скорость сети бы указли. Гигабитка видимо. 100Мбит уж точно не обогнал бы...

Всего записей: 2767 | Зарегистр. 27-03-2016 | Отправлено: 22:15 10-11-2019
timkuptsov

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Ну просто так такое не должно происходить.

А происходит. Как писал выше, сами винты в порядке и чувствуют себя прекрасно в ноутах.
А вот что с коробочками происходит...
Скорость падает не на одной машине, на всех. Оптимизация ни при чём.
Что-то видимо с проводом-разъемом на винтах...

Всего записей: 72 | Зарегистр. 16-06-2010 | Отправлено: 09:14 11-11-2019
Camran09

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Купили новый - скорость записи 130мб/с. Через год - 70 и ниже.

Речь про ХДД в коробочках, 2,5 дюйма? Туда обычно на 5400 винты суют
 
Чудес не бывает, не может быть такого падения скорости на пустом месте. Как проходили тесты?
Вот типичная скорость чтения-записи любого ХДД. Нет у них никакой ФИКСИРОВАННОЙ скорости записи. Запись/чтение в начале диска примерно в 2 раза выше чем в конце.
 

Всего записей: 22 | Зарегистр. 29-03-2019 | Отправлено: 10:12 11-11-2019
timkuptsov

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Camran09
Да, именно про внешние винты 2,5" с 5400 внутри.
Никаких тестов.
Купили винт, распаковали, записали инфу - 130.
Еженедельно - стерли старое, записали новое. Периодически форматируем и снова записываем.
Через пару лет начинаются проблемы, то пишет на скорости 2.0, то вообще не определяются на USB3.0 разъеме. Но ни один на 130, как при рождении, уже не пишет.
Примерно в 10% случаях может помочь другой проводок, от умерших, разобранных ранее винтов, но не надолго.
ЗЫ: По прежнему в поиске идеальной качественной коробочки (последний раз, правда, смотрел рынок год назад)...

Всего записей: 72 | Зарегистр. 16-06-2010 | Отправлено: 10:34 11-11-2019 | Исправлено: timkuptsov, 10:36 11-11-2019
igor me v2



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
сами винты в порядке и чувствуют себя прекрасно в ноутах.  
А вот что с коробочками происходит...  

СтопЭ. Так это только в коробках? Ну так значит сами винты не причём, про что и говорил. Ну а коробки - хрен знает, что за электронику туда пихают или как её паяют, особенно если в дешёвых. Может электроника деградирует, может плата подгнивает (кабели, если используют в стационаре и аккуратно, если они не окровенное китайское гЭ, в которых со временем даже медь начинает зеленеть и окисляться сама - служат достаточно долго...).
Плату элементарно пробовали пропаять?

Всего записей: 2767 | Зарегистр. 27-03-2016 | Отправлено: 21:13 11-11-2019 | Исправлено: igor me v2, 21:18 11-11-2019
timkuptsov

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Плату элементарно пробовали пропаять?

нет

Всего записей: 72 | Зарегистр. 16-06-2010 | Отправлено: 17:31 12-11-2019
igor me v2



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ОЧЕНЬ-НА рекомендуется! Я в своё время такой прикольный CHIEFTEC'овский чёрный алюминиевый боксик (правда под 3,5, хотя у меня есть такой же маленький и под 2,5 miniIDE, оооо ) взял, как неисправный, по факту глючил, отваливался от интерфейса. Так ПРОСТО ПРОПАЯВ контакты SATA-разъёма (!) - до сих пор пашет, скоро 10 лет
А вроде Chieftec...понятно, шо китайцы паяли. Так это тогда, а СЕЙЧАС такое может быть на порядок больше сплошь и рядом...

Всего записей: 2767 | Зарегистр. 27-03-2016 | Отправлено: 23:06 12-11-2019 | Исправлено: igor me v2, 23:07 12-11-2019
Открыть новую тему     Написать ответ в эту тему

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » Записть объемной информации на внешний ХДД

Имя:
Пароль:
Сообщение

Для вставки имени, кликните на нем.

Опции сообщенияДобавить свою подпись
Подписаться на получение ответов по e-mail
Добавить тему в личные закладки
Разрешить смайлики?
Запретить коды


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2018

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru