?

Log in

Previous Entry | Next Entry

[sticky post] NAS: оглавление

Этот журнал пишу для собственного удовольствия и на разнообразные темы, кроме, за редким исключением, профессиональных. Профессиональные темы помечены тегом LATISTA, подробнее - latista.ru. На вопрос о странном названии  - см первый пост блога, про имя.

В этом бложике, как опыт показывает, наибольший интерес вызывает тема NAS, а она разрослась. Решил для удобства сделать оглавление именно этой теме.



Самодельный NAS на nas4free для дома в изложении для простых смертных

1. Теория, обсуждение, предварительные соображения, выбор
1.1 Профильная конференция NAS своими руками
1.2 FAQ конференции
1.3 Моя, старая, но во многом по-прежнему актуальная, статья на ixbt.com "NAS для дома своими руками"
Часть 1: холодное железо
Часть 2, программное обеспечение
1.4 постановка задачи. - зачем NAS может понадобиться
1.5 выбор софта -  какой есть выбор, я сам выбрал nas4free, ниже будет по большей части о нём. См также про FreeNAS
1.6 Примерный алгоритм выбора софта для домашнего NAS
1.7 Собирать домашний NAS самому или купить готовый?
1.8 Систематизация функционала NAS

2. Выбор железа NAS

Самый бюджетный NAS - на дачу, на базе роутера
nas4free на banana pi m1
RAID на материнской плате: когда лекарство опаснее болезни
ZFS и битая память на практике раз, два.
Железо для ZFS NAS (планирую вскоре обновить)
Моя миграция NAS на другое железо
Корпуса для NAS на много дисков

3. Настройка и считай, обязательный коробочный функционал
3.1 Выбор установки nas4free - embedded vs full

3.2 Установка nas4free
  3.2.1 Установка nas4free на обычный (Intel - совместимый) компьютер
  3.2.2 Установка nas4free на arm компьютер (Raspberry PI, Odroid-c1)
  3.2.3 Завершение установки через WEB интерфейс

3.3 Обслуживание системы nas4free
  3.3.1 Сохранение и подгрузка файла конфигурации
  3.3.2 Апгрейд из Web интерфейса
  3.3.3 Апгрейд с чистой установкой
  3.3.4 Мажорный, т.е. с исзменением версии FreeBSD, апгрейд версии nas4free
      3.3.4.4 с 10.x на 10.3 - также для 10.x до 10.y
3.3.4.3 с 9.3 на 10.x
      3.3.4.2  с 9.2 на 9.3, описание в 6 частях: кратко что нового, предварительные замечания, возникшая у меня при апгрейде проблема, бекап и сам апгрейд,
      3.3.4.1 с 9.1 на 9.2, детальное описание в 4 частях: раз, два, три, четыре. Апгрейд zfs пула

  3.3.5 Проверка целостности данных на ZFS NAS - scrub

3.4 Тонкая настройка nas4free
  3.4.1 Сохранение лога - nas4free log
  3.4.2 Про тюнинг памяти nas4free 11.0
3.4.3 Тюнинг энергопотребления в nas4free

3.5. командная строка - необязательный пункт для более продвинутых. Важен, тк понадобится для всех продвинутых настроек, но не нужен для пользователя базового функционала.

3.6 настройка дисков NAS - общие замечания (см также 6.)
  3.6.1 Настройка жёстких дисков в zfs пул, вариант для новичков
  3.6.2 превращаем zfs пул на номерах разделов в пул на GPT метках
  3.6.3 zfs пул на gpt разделах
  3.6.4 SWAP и ZFS разделы на жёстком диске.
      3.6.4.1 Немного теории nas4free и SWAP
      3.6.4.2 nas4free 11.0 - включите SWAP
  3.6.5 импорт существующих zfs массивов (при апгрейде или переносе пула с другой системы)
  3.6.6 Настройка дисков с форматированием в UFS
  3.6.7 Монтируем ISO образ

3.7 Сетевые папки и доступ по локальной сети
  3.7.1 Про сетевые папки
     3.7.1.1 Курица и яйцо - как создать папки, пока у нас НЕ настроен сетевой доступ
     3.7.1.2 Необходимый минимум о правах доступа к файлам и папкам
  3.7.2 Про очень мощный и рекомендуемый вариант папок - zfs датасеты
     3.7.2.1 Создаём zfs датасет - базовый вариант
     3.7.2.2 Создаём zfs датасет - командная строка
  3.7.3 Сетевой файловый доступ к nas4free
     3.7.3.1 ftp, для быстрой закачки
     3.7.3.2 nfs, для *nix систем, медиаплееров в частности
     3.7.3.3 smb, для Windows
                 см. также Корзина в NAS4FREE
     3.7.3.4 макинтош -  afp и TimeMachine
  3.7.4 Настройка сети
     3.7.4.1 iperf3: измеряем скорость сети
3.7.5Блочный доступ: чуть теории
    3.7.5.1iSCSI из коробки
    3.7.5.2AoE target с поддержкой zvol
    3.7.5.3 AoE initiator для Windows


3.8 Торренты
     3.8.1 Торрент клиент - начальная настройка
     3.8.2 Активируем чёрный список

3.9 UPS ака ИБП
  3.9.1 Настройка UPS
  3.9.2 Win7 машина и nas4free на одном UPS

4. Дополнительный коробочный функционал
4.1 DLNA. Общие соображения см DLNA на NAS
  4.1.1 Настройка miniDLNA. Прим IMHO из двух этот - предпочтительнее. Но не умеет транскодировать.
  4.1.2 Настройка Fuppes
Прим см Plex ниже, IMHO гораздо сильнее.
  4.1.3 Запуск программ по расписанию - cron

4.2 Виртуализация. Ср также jail, chroot, vbox на nas4free - зачем столько и что выбрать?
  4.2.1 Virtualbox на nas4free из коробки: сервер, noVNC клиент (см также по тегу virtual)
                                            (На рассмотрение Virtualbox на nas4free, ч 5 Старт-стоп)

4.3 Меню Advanced - обращаться с осторожностью
    4.3.1 Редактор текстовых файлов
    4.3.2 Файловый менеджер nas4free - QuiXplorer
    4.3.3Команды через веб интерфейс

4.4Копируем терабайты внутри NAS с использованием tmux

4.5 SyncThing - синхронизация папок по Интернет, свободная альтернатива BTSync (см также по тегу syncthing)

4.6 Веб сервер на NAS и его применение для загрузки книжек в iBook

4.7 Бекап через RSYNC.
    4.7.1 Часть 1 - сервер
    4.7.2 Часть 2 - клиент
    4.7.3 Часть 3 - локально
    4.7.4 с одного NAS на другой
    4.7.5 2-x уровневый бекап, на Дюну




5. Расширение коробочного функционала nas4free (embedded вариант, если прямо не указано иное)
jail, chroot, vbox на nas4free - зачем столько и что выбрать?
    5.1Прямая установка приложений
        5.1.1Пример использования - mc

    5.2 Специально написанные расширения nas4free
        5.2.1 OBI - менеджер расширений для nas4free
        5.2.2 RRDGraphs - графики загрузки NAS
        5.2.3 Расширенный интерфейс nas4free - Extended GUI
                5.2.3.1 Обновление Extended GUI
        5.2.4 Plex как расширение nas4free (я пока предпочитаю вариант через chroot)
        5.2.5 Downloady aka Загружалка
        5.2.6 Расширение для NextCloud и Owncloud

    5.3Клетки FreeBSD jail
        5.3.1Cоздание клетки и управление ею вручную
        5.3.2Консоль клетки
        5.3.3Менеджер клеток TheBrig - управление клетками через вебгуй
              5.3.3.1 Установка TheBrig
              5.3.3.2 Апгрейд TheBrig
              5.3.3.3 Создание клетки через TheBrig
              5.3.3.4 Обновление клетки через TheBrig
              5.3.3.5 Обновляем пакеты, установленные через pkg в клетку
             ( 5.3.3.6 Обновляем порты, установленные из исходных кодов)
              5.3.3.7 Редактируем fstab для клетки, созданной в TheBrig
              5.3.3.8 Удаление TheBrig
                    5.3.3.8.1 Штатное
                    5.3.3.8.2 Хирургическое
        5.3.4qjail - клетки по-быстрому
        5.3.5Шпаргалка по pkg и апдейт клетки до pkgng (актуально для jail на FreeBSD 9.2 и более ранних)

    5.4Finch chroot - полная FreeBSD поверх nas4free
        5.4.1Текущее и минорное обновление finch и софта в нем
        5.4.2Мажорное обновление finch
        5.4.2Редактируем fstab chroot



6. ZFS might and magic (см также 3.6)
    6.1 зачем ZFS дома - о сильно передовой файловой системе и на что она вам и мне сдалась. Практический пример полезности zfs
        6.1.1zfs raidz overhead
        6.1.2Заменяем диск в zfs raidz
        6.1.3Удаляем .nop устройства из zfs пула
    6.2 Про очень мощный и рекомендуемый вариант папок - zfs датасеты
        6.2.1 Создаём zfs датасет - базовый вариант
        6.2.2Создаём zfs датасет - командная строка
    6.3 snaphots, они же снимки ZFS - что такое
        6.3.1 zfs снимки - создание вручную
        6.3.2 zfs снимки - ежедневные автоматические
        6.3.3 zfs снимки - доступ к машине времени из Windows
        6.3.4 zfs снимки - доступ по сети
        6.3.5 zfs снимки - откат
        6.3.6 zfs снимки - удаление вручную
        6.3.7 zfs снимки - магия клонов
        6.3.8 zfs снимки - реальная история с вирусом шифровальщиком
        6.3.9 iSCSI target на zfs zvol, снимки и откат после криптовируса
    6.4 ZFS backup aka send/receive
        6.4.1 ZFS backup - пул на USB диске
        6.4.2 ZFS send/recive на локальный диск
        6.4.3 ZFS send/receive по сети
    6.5ZFS трюки и извращения
        6.5.1 zfs on fake disk - это памятка для продвинутого пользователя о трюке: как перестраивать zfs при недостатке дисков
        6.5.2 ZFS: Cannot replace a replacing device

7.Медиасервер PLEX
    7.1Ставим и настраиваем Plex в chroot Прим. ставим chroot
    7.2Приделаем кинопоиск к Plex (2 разных плагина)
    7.3Перенос библиотек на новую инсталляцию Plex
    7.4Текущее обновление finch и софта в нем, включая plex
    7.5Plex для Дюны старый, emplexer и новый, DunePlexCatalog, для Popcorn
    7.6Учим Plex каталогизировать BD папки и ISO К сожалению, работает не ах..., но DunePlexCatalog поддерживает
Прим. Ряд ранних постов о plex устарел и удалён из оглавления.

8. Полезности
    8.1 Альтернативные торрент клиенты
       8.1.1deluge на nas4free в клетке
       8.1.2qBittorrent на nas4free в клетке порт помечен как битый
    8.2Торрентмонтор / torrentmonitor или пусть NAS сам следит за выходом новых серий.
    Что за зверь, подготовка jail, установка и настройка
NB Работает с лостфильмом через зеркало - lostfilm-mirror. Про другие трекеры - см в форуме автора - ситуация периодически меняется.
   8.3 Устройство записи на ленту во FreeBSD
         Проброс физического устройства стримера в jail
8.4 Медиа - {платфома, сервер, плеер} - по тегу медиа
   8.5 Чьи-то проблемы и их решения под тегом разбор полётов Постоянно добавляется

9. Безопасность и доступ из Интернет
Про (не) доступность NAS извне
    9.1 fail2ban - также см по тегу
      9.1.1 Запускаем fail2ban в хосте nas4free
    9.2Secure SFTP Configuration (по английски)

Чердак[Частично неразобранные старые ссылки. Смотреть только если что-то сильно надо.]

Частично неразобранные старые ссылки. Смотреть только если что-то сильно надо.

На всякий случай я снял слепок по состоянию на 12 дек 2015 и поместил сюда.

10) NAS пишет нам письма


В. Выбор железа NAS
1) SATA и SAS контроллеры; Dell PERC 200A и его прошивка в LSI
2) Железо - часть 1, часть 2, часть 3 - бюджетное и из кладовки, часть 4 - на декабрь 2013. В тексте несколько ссылок на другие железячные посты, не стоящие выноса в оглавление.
3) Выбор и настройка дисков для домашнего NAS. Железо. Парковка головок. ZFS и диск с 4K сектором, о парковке головок на Сигейтах
4) 4Tb диск
5) Каким должен быть блок питания для NAS. Это финальный пост из 6 на тему моих танцев с БП, ссылки на остальные 5 - в его шапке.
6) Лето 2013: Haswell как платформа для NAS?
7) FAQ HDD: выбор жёсткого диска для NAS
8) Железо ZFS NAS, по состоянию на начало 2015, но это рекомендации и принципы выбора, а не марки и модели, так что должно сохранять актуальность долго.

Г. Backup, удалённая синхронизация, облака
1) По RSYNC cм. Настройка самодельного NAS, А. п 11
2) NTFS USB диск - подключение к nas4free
3) Яндекс диск - если кто-то хочет мне помочь получить полгига, получив себе гиг.

5) BitTorrentSync как расширение nas4free; Апгрейд BTSync до версии 1.4 , бекап с Андроида, с iOS устройства
6) Доступ к локальной сети из Интернет - DDNS на примере no-ipПроброс портов на роутере
7) Собственное облако: ставим owncloud в jail nas4free Обновлено для v 8.0.0
8) Syncthing как расширение для nas4free (свободная замена BitTorrentSync, впавшего в менетизацию)

Д. Связанные с NAS вопросы
1) Вредные советы - как угробить NAS
2) О пользе чистой настройки - опыт лечения одного глюка
3) Что стало с флешкой из-под nas4free? - как вернуть отформатировать флешку, на которую вы ставили nas4free
4) Упала скорость домашней сети - опыт решения проблемы
5) Что делать, если в NAS сдохла системная флешка


З. DLNA/UPnP на личном опыте
1) DLNA и UPnP - это одно и то же?; DLNA на NAS
2)
Что и зачем
3) Бытовой сценарий, mp3 и видео на iPad - запускаем сервер, выбираем плеер
4) Медиасервер Plex ставим в джейл и пр - см раздел L ниже.
5) HMS под VirtualBox, подробнее см гл И.2

И. VirtualBox и NAS
1) Virtual Box на Windows машине - как предельно безопасно и без специального компьютера протестировать софт, например - NAS
2) Virtualbox на nas4free - ч 1 Сервер, ч 2 Клиент, ч 3 гостевая WinXP, ч 4 гостевой Linux, ч 5 автоматический старт-стоп, ч 6 HMS приделан, ч 7 HMS под Kubuntu+Wine, ч 8 VNC клиенты для iOS и Android
3) XPEnology - софт от готового NAS на виртуалке



8) Фотогаллерея на nas4free

Comments

rimlyanin
Jul. 25th, 2015 03:10 pm (UTC)
http://www.modding.kh.ua/articles/261-domashniy-nas-12.html

This email was generated by the smartd daemon running on:

host name: nas4free.local
DNS domain: local
NIS domain:

The following warning/error was logged by the smartd daemon:

Device: /dev/ada0, unable to open device

For details see host's SYSLOG.

You can also use the smartctl utility for further investigation.
No additional email messages about this problem will be sent. smartctl 5.43 2012-06-30 r3573 [FreeBSD 9.1-RC2 amd64] (local build)
Copyright (C) 2002-12 by Bruce Allen, http://smartmontools.sourceforge.net

Smartctl open device: /dev/ada0 failed: No such file or directory

Ну ты понял, да?

И, конечно же
ZFS pool list:
--------------
NAME SIZE ALLOC FREE CAP DEDUP HEALTH ALTROOT
data 10.9T 6.96T 3.91T 64% 1.00x DEGRADED -
wd1tb 928G 118M 928G 0% 1.00x ONLINE -


Ну а за сутки до этого, этот же винт:
9 Power_On_Hours 0x0032 077 077 000 Old_age Always - 20221

20 тыс часов, т.е. примерно 842 суток, примерно два с половиной года круглосуточной работы. И это для винта, у которого не заявлена работа 24/7 :)
2gusia
Jul. 25th, 2015 08:34 pm (UTC)
и всё равно не факт, что диск умер, а не кабель сгнил или контакт отвалился.
rimlyanin
Jul. 26th, 2015 01:01 pm (UTC)
18е :
This email was generated by the smartd daemon running on:

host name: nas4free.local
DNS domain: local
NIS domain:

The following warning/error was logged by the smartd daemon:

Device: /dev/ada0, 8 Currently unreadable (pending) sectors

и почти сразу за ним

This email was generated by the smartd daemon running on:

host name: nas4free.local
DNS domain: local
NIS domain:

The following warning/error was logged by the smartd daemon:

Device: /dev/ada0, 8 Offline uncorrectable sectors

а 25го:

This email was generated by the smartd daemon running on:

host name: nas4free.local
DNS domain: local
NIS domain:

The following warning/error was logged by the smartd daemon:

Device: /dev/ada0, unable to open device

а 10го для ADA2 было два письма:

Device: /dev/ada2, 56 Currently unreadable (pending) sectors
Device: /dev/ada2, 56 Offline uncorrectable sectors

Так что это винты. Срок им приходит. Интересно дальше ?
rimlyanin
Aug. 28th, 2015 05:37 am (UTC)
В общем, на текущий момент NAS продолжает мне слать письма, но в ZFS pool status пула нет, в SCSI disk есть только из 4х дисков пула, причем у одного из этих трех тоже не все в порядке в S.M.A.R.T., Ну и из сегодняшнего письма:
System uptime:
--------------
8:00AM up 12 days, 11:09, 1 user, load averages: 0.00, 0.00, 0.00
"моя в шоке" :)

Latest Month

February 2017
S M T W T F S
   1234
567891011
12131415161718
19202122232425
262728    

Tags

Page Summary

Powered by LiveJournal.com