2gusia (2gusia) wrote,
2gusia
2gusia

Categories:

Домашний автоматический 2-уровневый бекап

В современном мире, особенно когда дома маленький ребенок, уникальный личный цифровой фото-видео архив растёт быстро. И, что ещё важнее, прибывает постоянно. А жесткие диски, как известно, внезапно смертны. Чтобы избежать нравственных страданий, случить такое, надо делать бекап.

Требуется, т.е. бекап мне нужен
1) Автоматический, руками быстро надоедает и делать регулярно перестаёшь. А фото-видео всё прибывает.
2) На отдельное устройство(-а), чтобы смерть блока питания не утащила с собой все копии
3) Инкрементальный. То есть перекачивать только то, что изменилось-добавилось
4) Файловый, то есть не архивы, которые открываются специальным софтом, а чтобы все файлы лежали в исходном виде по папочкам.
5) Двухуровневый. То есть первая копия на одном устройстве, а вторая - на другом независимом. Назовите меня параноиком.
6) Ну и текущий объём - 170 Gb, с тенденцией к росту. Что несколько затрудняет использование облачных сервисов.
7) Наконец, хочется всё иметь на бесплатном, желательно - открытом софте.

Решение.
Получилось всё сделать через RSYNC.
1. У любимой выспрошено, в какие папки на компьютере она складывает новые фото-видео. На эти папки натравлен виндовой rsync. При включении компа смотрит на время последнего бекапа и, если прошло более суток, бекапит на NAS. Настройка тут: Бекап через RSYNC. Часть 1 - сервер. Часть 2 - клиент

2. Также мы складываем видео с мобильников по WiFi в несколько папок на NAS. На эти папки натравлен локальный RSYNC, настройка тут Часть 3 - локально

В результате всё сложено на zfs raidz пул, выдерживающий выход из строя одного из дисков. Но хочется иметь второй уровень бекапа, на случай смерти NAS как целого. Планировал запускать второй NAS, но внимательно поглядев по сторонам обнаружил подходящее устройство в хозяйстве.

3. Медиаплеер Dune - доступен по сети 24/7, тк не выключаем, а переводим в спящий режим. Оборудован достаточно большим жёстким диском. Нагуглил RSYNC для Дюны, установил - всё работает. Подробности. Надо только галочку оставить, чтобы не с Дюны на NAS, а с NAS на Дюну копировалось.

Недостатки есть. (1) на Дюне 100 мбит сеть. Решается перекачкой первоначального объёма с подключением диска к ББ. А ежедневную дельту - пусть по ночам по крону качает. (2) Папка верхнего (и только верхнего, подпапки - можно кириллические) уровня для бекапа должна быть с именем из латинских букв и цифр. (3) Очень медленно, см UPD 1, 2

Так что заливаю инфу на диск Дюны и будет она у меня бекап сервером второго уровня. Бинго!

UPD 1 Вроде работает. Но процессор в Дюне сильно небыстрый. Мои 170 Gb в 16 тыс фалов что-то очень долго перебирает... Будем посмотреть.

UPD 2 от 11 марта 2013. Чтобы понять - насколько плохо...
Установил сегодня в полдень, пока никто не трогает, снова процесс синхронизации провести.
Старт в 12:02:00
Финиш 20:13:49 sent 11.868.630 bytes received 126.419.966 bytes total size 174.910.916.639
499 последних картинок (у меня показывать 500 строк лога настроено)
с 19:45:13 по 20:11:34= 0:26:21 то есть 3.17 сек на картинку. Не на копирование - на сверку картинки :(

UPD 3 от 12 марта. Синхронизация коллекции мультов, в основном 720p
2013/03/12 12:02:00  Start
2013/03/12 19:40:30  sent 44.705.240 bytes received 11.659.398.653 bytes total size 415.493.194.093
В основном всё было одинаково, но больше 10 гиг докачалось.
Видно, что тоже долго, но терпимо. Большие файлы быстрее обрабатываются.


PS В принципе, нашёл и облачное решение, возможно подходящее под мой сценарий использования. www.symform.com Люди собирают дисковое пространство с юзверей в соотношении 2:1 - даешь 24/7 доступное место за пристойным каналом - получаешь половину в облаке. Данные шифруются, делятся на 64М куски и каждый по Риду-Соломону превращают в 96 меговых кусочков. Чтобы собрать исходный кусок достаточно набрать 64 любых кусочков из 96 всего - отдалённо как для RAID6.

Видно, что в профите у организаторов остаётся 25% отданного пользователем дискового пространства - они продают его за 15 центов в мес за гиг. На что и живут.

Я пока не испытывал, тем более, что FreeBSD и, уж кончно, напрямую nas4free не поддерживают. Но идея простая - сунуть в NAS старый терабайтник, скормить его виртуальной машине с клиентом от symform. Получить в ответ полутерабайтное облако - вроде неплохо. Платить придется поддержанием 24/7 работы - но у меня и так это в наличии. Часть канала придётся наполнить чужим трафиком - но текущий тариф 80/100 позволяет 10 мегабит отдать безболезненно. Ну разве что, уезжая в отпуск, не удастся интернет отключать - ну и не такая большая на том экономия...

Однако, пока это для меня теория. На практике - не мацал. Надо ведь теперь объяснить себе - на кой грех мне столько места в облаке, если весь уникальный контент уже в трёх копиях на трёх устройствах хранится :)

Tags: backup, dune, nas, nas4free, rsync, руками
Subscribe

  • OpenZFS и XigmaNAS

    Месяц назад я писал про Open ZFS. Там были мысли о том, когда он будет доступен в XogmaNAS. А в конце декабря зацепился на эту тему языками с…

  • Как провожают жесткие диски

    Сдох у меня жесткий диск в NAS Как видно - из SMART отпахал 70428 часов, то есть если 24/7 - больше 8 лет. И, я вам скажу, он не просто крутился…

  • О добавлении диска в ZFS raidz

    Проект OpenZFS дал новый импульс развитию этой файловой системы. Прежде всего потому, что Linux сообщество разработчикоы велико и подключение их к…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 23 comments

  • OpenZFS и XigmaNAS

    Месяц назад я писал про Open ZFS. Там были мысли о том, когда он будет доступен в XogmaNAS. А в конце декабря зацепился на эту тему языками с…

  • Как провожают жесткие диски

    Сдох у меня жесткий диск в NAS Как видно - из SMART отпахал 70428 часов, то есть если 24/7 - больше 8 лет. И, я вам скажу, он не просто крутился…

  • О добавлении диска в ZFS raidz

    Проект OpenZFS дал новый импульс развитию этой файловой системы. Прежде всего потому, что Linux сообщество разработчикоы велико и подключение их к…