Перейти из форума на сайт.

Новости • Файловые архивы
Поиск • Активные темы • Топ лист
Правила • Кто в on-line?
Вход • Забыли пароль? • Первый раз на этом сайте? • Регистрация
Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » BACKUP 4TB

Модерирует : lynx, Crash_Master, dg, emx, ShriEkeR

 Версия для печати • Подписаться • Добавить в закладки

Открыть новую тему     Написать ответ в эту тему

korggrodno



Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
У меня есть файловое хранилище 4TB  
и лежит оно все на RAID6 из 4 винтов
 
каждый день пользователи офиса
Усиленно работают с этими данными.  
 
Мы очень переживаем за эти 4TB данных
 
можно было бы купить еще один компьютер  
с дисковым пространством 8TB
И туда по сети закачивать BACKUP моего хранилища
каждую ночь
Но сети 1Gb не достаточно чтобы за 12 часов перегнать 4TB
 
Можно конечно, полный BACKUP делать в выходные.  
А каждую ночь делать уже Incremental Backup
тогда вроде бы по цифрам все сходится.  
 
----------------------------------------------------------
Подскажите как толково организовать бекапирование 4TB хранилища
- Чтобы бекапирование успевало произойти за ночь
- Чтобы можно было получить версии файлов пользователей на любую дату  
- Чтобы за зря лишнего не загружать сеть.  
- Чтобы железяка с бекапами удаленно находилась от хранилища 4TB
Всего записей: 384 | Зарегистр. 15-11-2007 | Отправлено: 10:49 30-09-2013
Prophion

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Чтобы бекапирование успевало произойти за ночь  

Выполнять резервное копирование на лету, т.е. когда изменилось, тогда и скопировали. Например, поднять репликацию сервера, тогда у вас будет не только бекап данных актуальный на текущий момент, но и запасной сервер, в случаи выхода из строя основного.

Цитата:
Чтобы можно было получить версии файлов пользователей на любую дату

Перевести файловое хранилище на сервис Subversion (SVN). В этом случаи у Вас будет возможность иметь доступ к различным версиям файлов (редакции на разные даты).

Цитата:
Чтобы за зря лишнего не загружать сеть.

Копирование на лету и агрегация, например, по два канала 1Гб/сек в каждый сервер и никто не заметит нагрузки. Только не забывайте что агрегацию умеет не всякое оборудование. Обратите своё внимание на сетевые карты Intel и их Teaming.

Цитата:
Чтобы железяка с бекапами удаленно находилась от хранилища 4TB  

Сервер-реплика может стоять где угодно, хоть у Вас дома, лишь бы связь до него была хорошая и стабильная.
Всего записей: 142 | Зарегистр. 18-02-2006 | Отправлено: 11:24 30-09-2013 | Исправлено: Prophion, 03:02 01-10-2013
bga83



Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
У меня есть файловое хранилище 4TB  
и лежит оно все на RAID6 из 4 винтов  

не самый лучший выбор с точки зрения производительности. Массив 10-го уровня был бы пошустрее.
Всего записей: 2008 | Зарегистр. 30-11-2007 | Отправлено: 14:22 30-09-2013
golychev



Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
bga83

Цитата:
не самый лучший выбор с точки зрения производительности. Массив 10-го уровня был бы пошустрее.

 
рэйд10 никто не использует под хранение резервных копий, только 5 или 6 ... рэйд10 ест 50% пространства.
 
korggrodno
я думаю все делают так, ну или большинство:
1. полная копия выходные.
2. по буднях дифференциальная, не инкр. чтобы восстанавливать было удобнее.
3. или как вариант использовать ПО типа veeam которое может делать forever incremental и из них потом делает синтетик фулл. Очень удобно так как фулл он делает прям на том сторе где лежит бекап не используя источник первоначальных данных.
Всего записей: 636 | Зарегистр. 09-02-2005 | Отправлено: 16:56 30-09-2013
urodliv



Gold Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Мне тут недавно попался на глаза прикольный скрипт на базе rsync`а. В нём ведётся работа с жёсткими ссылками через опцию "--link-dest". Естественно работает не во всех файловых системах.

----------
Очень скоро еда станет совершенно безвкусной, и тогда этот недостаток придётся компенсировать хорошо развитым воображением.
Всего записей: 6760 | Зарегистр. 29-04-2009 | Отправлено: 19:15 30-09-2013
tankistua

Gold Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
надо сервер ставить, а внешний накопитель использовать по прямому назначению - для бекапов.
Всего записей: 9572 | Зарегистр. 15-01-2002 | Отправлено: 22:14 30-09-2013
bga83



Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
рэйд10 никто не использует под хранение резервных копий, только 5 или 6 ... рэйд10 ест 50% пространства.  

на 4 дисках как у korggrodno конечный объем как RAID10 так RAID6 будет одинаковым. Вот только в 6-м запись будет вестись ощутимо медленнее, по причине необходимости расчета "контрольной суммы" по 2 различным алгоритмам.
Хотя если совсем по уму, то надо задуматься над 2-х уровневой системой резервного копирования: несколько оперативных копий на дисковой полке и определенный запас архивных копий на ленточных библиотеках.
Всего записей: 2008 | Зарегистр. 30-11-2007 | Отправлено: 09:49 01-10-2013
Prophion

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
bga83
Про бумажный архив забыли. Чтобы если вдруг всё размагнитится и потеряется можно было документы заново вбить
Всего записей: 142 | Зарегистр. 18-02-2006 | Отправлено: 11:27 01-10-2013
golychev



Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
на 4 дисках как у korggrodno конечный объем как RAID10 так RAID6 будет одинаковым.

поэтому я написал 5 или 6, если исползовать 5 то всего 25% места уйдет, ну да медленнее, зато больше влезет
Всего записей: 636 | Зарегистр. 09-02-2005 | Отправлено: 15:10 01-10-2013
ASE_DAG



Gold Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
urodliv
> прикольный скрипт на базе rsync`а. В нём ведётся работа с жёсткими ссылками через опцию "--link-dest".
 
Для случая, когда на источнике много мелких файлов, а не несколько крупных, и нужно держать несколько версий, лучшего подхода, наверное, действительно не придумать.
 
Но обращаю внимание, что для этого же самого есть более серьезный скрипт, называется rsnapshot (есть в репозитории почти любой системы). Весьма рекомендую, по крайней мере, познакомиться.
 
Однако сразу отмечу его существенный, мне кажется, недостаток — не реализована обработка накладок ротации на синхронизацию. Т. е. если случится так, что ко времени ротации еще не завершилось копирование, то ротации просто не будет.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]
Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 15:57 01-10-2013 | Исправлено: ASE_DAG, 16:01 01-10-2013
korggrodno



Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Есть файловый сервер.  
Не большой - 4TB.  
На данный момент пользователи работают с данными через smb+ntfs.  
Делают некие изменения с данными: удаляют, создают новое, изменяют и др.
 
Часто возникают следующие вопросы:
- Кто удалил такой то файл.  
- Кто изменял и когда такой то файл.
- Кто читал когда читал такой то файл.  
Текущая система на это ответить не может.  
 
В общем это все умеет svn server
Но у меня большинство пользователей бухгалтеры и т.п.
И им будет очень сложно разобраться что такое клиент svn и как этим пользоваться
Может быть существует что нить на подобие svn сервера.  
И для пользователей, чтобы это все выглядело как обычные сетевые папки
Всего записей: 384 | Зарегистр. 15-11-2007 | Отправлено: 11:52 12-11-2013
bga83



Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Часто возникают следующие вопросы:
- Кто удалил такой то файл.  
- Кто изменял и когда такой то файл.
- Кто читал когда читал такой то файл.  
Текущая система на это ответить не может.  

 
а что мешает сейчас просто аудит настроить?
Всего записей: 2008 | Зарегистр. 30-11-2007 | Отправлено: 15:14 12-11-2013
55550000



Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Народ,  
 
Подскажите, хочу организовать дома надежное хранилище информации, но при этом использовать минимум ресурсов (денежных).
 
Каким образом сделать?  
 
В хранилище должны лежать:  
1. сотни тысяч фотографий (примерно 1 тб под это дело)  
2. Около сотни важных копий DVD, либо фильмов в других форматах. Еще около 0,5 - 1,0 тб места  
3. Бекап образы с двух домашних Mac (time machine) - еще примерно 2-4 тб места.  
 
Это все дело должно резервного котироваться (вдруг что то случайно измениться, либо удалиться..)  
 
Вопрос - как и на чем это организовать, и какой бюджет заложить?  
 
Сейчас тупо стоит слабенький комп, на нем поднят Nas4free. На него копируются данные в ручном режиме. Часть важных данных руками копируются на внешний USB винт.
НО это так не надежно...

----------
Челябинск - родина сладкой стекловаты... Челябинские мужчины настолько суровы, что...
Всего записей: 1852 | Зарегистр. 16-11-2004 | Отправлено: 15:44 16-02-2014
urodliv



Gold Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
55550000

Цитата:
НО это так не надежно...

По каким критериям вы оценили "ненадёжность"?
По тому, что много ручного труда? Или по тому, что нет резервирования данных вне вашего дома?
В общем и целом направление вы выбрали верно. Но есть что обсудить.

----------
Очень скоро еда станет совершенно безвкусной, и тогда этот недостаток придётся компенсировать хорошо развитым воображением.
Всего записей: 6760 | Зарегистр. 29-04-2009 | Отправлено: 16:09 16-02-2014 | Исправлено: urodliv, 16:19 16-02-2014
real_rockin

Member		Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Чтобы не было таких диких объёмов информации для резервного копирования, следует для начала разделить эту информацию по степени важности и по "степени изменяемости".
 
Осуществлять резервное копирование через задание необходимо только для изменяемых(!) файлов. Архивы не надо копировать постоянно! Просто нужно периодически снимать копию "архивных файлов"
Всего записей: 368 | Зарегистр. 25-07-2004 | Отправлено: 19:29 16-02-2014 | Исправлено: real_rockin, 19:30 16-02-2014
55550000



Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
urodliv
 
Почему не наделжно:
 
1. Все на одном диске (максимум) двух дисках - следовательно падение этого самого диске все уничтожит. Второй диск может выйти из строя аналогично в любой момент.
2. Нет проверки контрольных сумм, а значит файл, который лежит скажем год, может потерять условно бит информации и станет измененным...Заметить это практически не возможно.
3. Хранение всего всего в одном месте само собой не надежно.
 
 
Что касается данных - я указал - мне очень критично важны ФОТО и образы DVD, фильмы, и они должны храниться неизменными и неповрежденными на ближайшее обозримое будущее (10-20 лет).  
 
Бекаапы моих домашних машин - это лишь временные образы, которые должны постоянно обновляться - как раз такой алгоритм и есть у Time Machine.
 
стоит ли создавать raid? или можно просто поставить несколько дисков, настроить на них резервное копирование с проверкой сумм и с разным временным интервалом? и конечно параллельное копирование вне дома?

----------
Челябинск - родина сладкой стекловаты... Челябинские мужчины настолько суровы, что...
Всего записей: 1852 | Зарегистр. 16-11-2004 | Отправлено: 22:04 16-02-2014
goletsa



Gold Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
55550000

Цитата:
1. Все на одном диске (максимум) двух дисках - следовательно падение этого самого диске все уничтожит. Второй диск может выйти из строя аналогично в любой момент.  
2. Нет проверки контрольных сумм, а значит файл, который лежит скажем год, может потерять условно бит информации и станет измененным...Заметить это практически не возможно.  
 

Используйте ZFS RAID-Z2
Для надежности надо будет 6 дисков, тогда будет оптимальный состав массива.  
Переживает смерть любых 2 дисков, контрольные суммы для всех файлов, есть встроенные механизмы проверки целостности данных.

Цитата:
3. Хранение всего всего в одном месте само собой не надежно.  

Это только распаралеливанием на 2 железки, причем вторая будет если географически отдельно, а то вдруг пожар, метеорит или еще какая гадость.
 
 
Добавлено:
55550000

Цитата:
они должны храниться неизменными и неповрежденными на ближайшее обозримое будущее (10-20 лет).  

А бы так далеко не заглядывал.
Средний срок жизни дисков сейчас 2-3 года. Больше 3 уже страшно на  смарт смотреть.  
Потом приходится мигрировать на новый массив.
Всего записей: 5801 | Зарегистр. 21-06-2005 | Отправлено: 23:01 16-02-2014
urodliv



Gold Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
55550000
Собственно уважаемый goletsa уже всё сказал.
А я вам приведу один пример, как у меня реализовано резервирование данных в одной конторе, на пять пользователей.
Nas4Free стоит на стареньком компьютере (i865 + celeron 2,53 + 1 Гб ОЗУ). В нём три винта: IDE 40 под систему и два sata2 1000 в zfs mirror под данные. Каждый рабочий день в обед пользовательские компьютеры по ftp закидывают на nas свои заархивированные данные. По пятницам на все компьютеры приходит оповещение, что надо достать из сейфа внешний винч и подсоединить его к nas`у. Ещё через полчаса после этого оповещения с помощью rsnapshot (ещё раз огромная благодарность за наводку ASE_DAG) происходит синхронизация данных на внешний винт.
Каждую ночь скрипт с моего nas`а запускает синхронизацию и получает данные с клиентского хранилища.

----------
Очень скоро еда станет совершенно безвкусной, и тогда этот недостаток придётся компенсировать хорошо развитым воображением.
Всего записей: 6760 | Зарегистр. 29-04-2009 | Отправлено: 00:18 17-02-2014 | Исправлено: urodliv, 00:18 17-02-2014
55550000



Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
goletsa
 
Изучу матчасть по поводу ZFS RAID-Z2, с таким не сталкивался еще.
 
Относительно распараллеливания - так и так придется делать, но может не за один присест только.

Цитата:
метеорит или еще какая гадость.  
- Да у нас таки пролетают иногда

Цитата:
Средний срок жизни дисков сейчас 2-3 года. Больше 3 уже страшно на  смарт смотреть.  

Планирую строить систему с расчетом того, чтобы раз в три года (или чаще по необходимости) менять диски. Желательно конечно сделать это с минмимальными потерями времени и сил.
 
urodliv
Такая же система (за исключением синхронизации через нет стоит на работе).
 
Вот у меня была идея:
Берем комп и ставим в него диски по 4 тб каждый - штук 6. Далее для ценнной инфы выделяю один диск 2 тб. На него скидываю все как обычно через комп. Далее он скриптом сразу делает копию всего на второй винт. Это копирование происходит скажем раз в сутки, либо при изменении каких либо данных.
Далее раз в неделю вся инфа копируется на третий диск (здесь хранятся архивы и сами автооновляются) Далее раз в месяц все копируется еще на четвертый диск (опять же архивами). И соответственно далее раз в какой то промежуток все это скидывается на удаленный комп, на котором стоит такая же система. При необходимости замены дисков - просто разархивирую актуальную версию и меняю диск...  
 
Это условная схема.

----------
Челябинск - родина сладкой стекловаты... Челябинские мужчины настолько суровы, что...
Всего записей: 1852 | Зарегистр. 16-11-2004 | Отправлено: 15:20 17-02-2014
goletsa



Gold Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
55550000

Цитата:
Изучу матчасть по поводу ZFS RAID-Z2, с таким не сталкивался еще.  
 

Там не сложно, главное правильно выбрать конфигурацию дисков и массива.
У меня сейчас собран массив из 5x3TB WD Green RAID-Z1
Уже пришлось 1 диск менять, вылетел через пару месяцев работы.
Особых сложностей не было.

Цитата:
Берем комп и ставим в него диски по 4 тб каждый - штук 6.

4ТБ дорого! На данном этапе оптимально собирать на 3ТБ дисках.

Цитата:
 Далее для ценнной инфы выделяю один диск 2 тб. На него скидываю все как обычно через комп. Далее он скриптом сразу делает копию всего на второй винт. Это копирование происходит скажем раз в сутки, либо при изменении каких либо данных.  

Очень сложно выходит. Чем проще система тем меньше точек отказа.
Всего записей: 5801 | Зарегистр. 21-06-2005 | Отправлено: 22:14 17-02-2014
Открыть новую тему     Написать ответ в эту тему

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » BACKUP 4TB


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2025

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru