?

Log in

Previous Entry | Next Entry

[sticky post] NAS: оглавление

Этот журнал пишу для собственного удовольствия и на разнообразные темы, кроме, за редким исключением, профессиональных. Профессиональные темы помечены тегом LATISTA, подробнее - latista.ru. На вопрос о странном названии  - см первый пост блога, про имя.

В этом бложике, как опыт показывает, наибольший интерес вызывает тема NAS, а она разрослась. Решил для удобства сделать оглавление именно этой теме.


Самодельный NAS на nas4free для дома в изложении для простых смертных

1. Теория, обсуждение, предварительные соображения, выбор
1.1 Профильная конференция NAS своими руками
1.2 FAQ конференции
1.3 Моя, старая, но во многом по-прежнему актуальная, статья на ixbt.com "NAS для дома своими руками"
Часть 1: холодное железо
Часть 2, программное обеспечение
1.4 постановка задачи. - зачем NAS может понадобиться
1.5 выбор софта -  какой есть выбор, я сам выбрал nas4free, ниже будет по большей части о нём. См также про FreeNAS
1.6 Примерный алгоритм выбора софта для домашнего NAS
1.7 Собирать домашний NAS самому или купить готовый?
1.8 Систематизация функционала NAS

2. Железо NAS NEW
2.1 Аппаратные требования NAS4FREE

2.2 Подробнее о железе для NAS4FREE на Q2 2017
   2.2.1 Процессор
   2.2.2 RAM. См также битая память без ECC и ZFS на практике раз, два, три
   2.2.3 Сеть
   2.2.4 Дисковый контроллер - SATA, SAS, HBA, RAID...
      2.2.4.1 RAID на материнской плате: когда лекарство опаснее болезни
      2.2.4.2 Аппаратный RAID в домашнем NAS?
      2.2.4.3 SATA/SAS порты для ZFS массива
      2.2.4.4 SATA диск на SAS sff8482 разъёме
   2.2.5 Диски - HDD, SSD, USB...
      2.2.5.1 Системный накопитель для embedded и full установки
      2.2.5.2 Какой жёсткий диск надёжнее?
      2.2.5.3 Каких жёстких дисков избегать?
      2.2.5.4 Мой личный опыт: диски для домашнего NAS
      2.2.5.5 Отключаем парковку головок дисков WD и  Seagate
      2.2.5.6 SSD в домашнем NAS
      2.2.5.7 Оптимальная температура HDD NEW
      2.2.5.8 Предсказание выхода из строя HDD по SMART NEW
   2.2.6 Материнская плата
   2.2.7 Корпуса для NAS на много дисков и дисковые корзины
   2.2.8 Блок питания
   2.2.9 ИБП, он же UPS
   2.2.10 Можно и всё вместе - HP Microserver Gen10 NEW

2.3 NAS не на x86 железе
   2.3.1 Самый бюджетный NAS - на дачу, на базе роутера
   2.3.2 nas4free на banana pi m1
   2.3.3 Ср также п 3.2.2 и архив в п. 3.1.1

2.4 Моя миграция NAS на другое железо

3. Настройка и считай, обязательный коробочный функционал
3.1 Выбор установки nas4free - embedded vs full
   3.1.1 nas4free - актуальные, архивные и ночные сборки NEW

3.2 Установка nas4free
  3.2.1 Установка nas4free на обычный (Intel - совместимый) компьютер
  3.2.2 Установка nas4free на arm компьютер (Raspberry PI, Odroid-c1)
  3.2.3 Завершение установки через WEB интерфейс
  3.2.4RootOnZFS из коробки в nas4free NEW

3.3 Обслуживание системы nas4free
  3.3.1 Сохранение и подгрузка файла конфигурации
  3.3.2 Апгрейд из Web интерфейса
  3.3.3 Апгрейд с чистой установкой
  3.3.4 Мажорный, т.е. с исзменением версии FreeBSD, апгрейд версии nas4free
      3.3.4.4 с 10.x на 10.3 - также для 10.x до 10.y и далее до актуальной 11.0
3.3.4.3 с 9.3 на 10.x
      3.3.4.2  с 9.2 на 9.3, описание в 6 частях: кратко что нового, предварительные замечания, возникшая у меня при апгрейде проблема, бекап и сам апгрейд,
      3.3.4.1 с 9.1 на 9.2, детальное описание в 4 частях: раз, два, три, четыре. Апгрейд zfs пула

  3.3.5 Проверка целостности данных на ZFS NAS - scrub

3.4 Тонкая настройка nas4free и одержание
  3.4.1 Сохранение лога - nas4free log
  3.4.2 Про тюнинг памяти nas4free 11.0
  3.4.4  вебгуй недоступен, есть ssh - редактируем конфиг по живому NEW

3.5. командная строка - необязательный пункт для более продвинутых. Важен, тк понадобится для всех продвинутых настроек, но не нужен для пользователя базового функционала.

3.6 настройка дисков NAS - общие замечания (см также 6.)
  3.6.1 Настройка жёстких дисков в zfs пул, вариант для новичков
  3.6.2 превращаем zfs пул на номерах разделов в пул на GPT метках
  3.6.3 zfs пул на gpt разделах
  3.6.4 Немного теории nas4free и SWAP
      3.6.4.1 nas4free 11.0 - включите SWAP
      3.6.4.2SWAP и ZFS разделы на новом жёстком диске.
      3.6.4.3swap раздел на уже занятом zfs диске, с бекапом и пересозданием
      3.6.4.4 SWAP на ZVOL
3.6.5 импорт существующих zfs массивов (при апгрейде или переносе пула с другой системы)
  3.6.6 Настройка дисков с форматированием в UFS
  3.6.7 Монтируем ISO образ

3.7 Сетевые папки и доступ по локальной сети
  3.7.1 Про сетевые папки
     3.7.1.1 Курица и яйцо - как создать папки, пока у нас НЕ настроен сетевой доступ
     3.7.1.2 Необходимый минимум о правах доступа к файлам и папкам
  3.7.2 Про очень мощный и рекомендуемый вариант папок - zfs датасеты
     3.7.2.1 Создаём zfs датасет - базовый вариант
     3.7.2.2 Создаём zfs датасет - командная строка
  3.7.3 Сетевой файловый доступ к nas4free
     3.7.3.1 ftp, для быстрой закачки
     3.7.3.2 nfs, для *nix систем, медиаплееров в частности
     3.7.3.3 smb, для Windows
                 см. также Корзина в NAS4FREE
     3.7.3.4 макинтош -  afp и TimeMachine
  3.7.4 Настройка сети
     3.7.4.1 iperf3: измеряем скорость сети
3.7.5Блочный доступ: чуть теории
    3.7.5.1iSCSI из коробки
    3.7.5.2AoE target с поддержкой zvol
    3.7.5.3 AoE initiator для Windows
3.7.6 Блажь сетевая, вам вряд ли нужная
    3.7.6.1 Настраиваем доступ к nas4free через WiFi
    3.7.6.2 (небыстрая!) WiFi точка доступа на nas4free

3.8 Торренты
     3.8.1 Торрент клиент - начальная настройка
     3.8.2 Активируем чёрный список
     3.8.3Автоматическое обновление чёрных списков NEW
     3.8.4DHT, чтобы не иссяк торрент NEW

3.9 UPS ака ИБП
  3.9.1 Настройка UPS
  3.9.2 Win7 машина и nas4free на одном UPS

4. Дополнительный коробочный функционал
4.1 DLNA. Общие соображения см DLNA на NAS
  4.1.1 Настройка miniDLNA. Прим IMHO из двух этот - предпочтительнее. Но не умеет транскодировать.
  4.1.2 Настройка Fuppes
Прим см Plex ниже, IMHO гораздо сильнее.
  4.1.3 Запуск программ по расписанию - cron

4.2 Виртуализация. Ср также jail, chroot, vbox на nas4free - зачем столько и что выбрать?
  4.2.1 Virtualbox на nas4free из коробки: сервер, noVNC клиент (см также по тегу virtual)
                                            (На рассмотрение Virtualbox на nas4free, ч 5 Старт-стоп)
          Костыль для нормальной остановки витуалок
4.3 Меню Advanced - обращаться с осторожностью
    4.3.1 Редактор текстовых файлов
    4.3.2 Файловый менеджер nas4free - QuiXplorer
    4.3.3Команды через веб интерфейс

4.4Копируем терабайты внутри NAS с использованием tmux

4.5 SyncThing - синхронизация папок по Интернет, свободная альтернатива BTSync (см также по тегу syncthing)

4.6 Веб сервер на NAS и его применение для загрузки книжек в iBook

4.7 Бекап
   4.7.1 Через RSYNC.
      4.7.1.1 Часть 1 - сервер
      4.7.1.2 Часть 2 - клиент
      4.7.1.3 Часть 3 - локально
      4.7.1.4 с одного NAS на другой
      4.7.1.5 2-x уровневый бекап, на Дюну
   4.7.2 ZFS бекап
      4.7.2.1 Домашний бекап, устойчивый к атаке шифровальщика

4.8 Мониторинг NEW

5. Расширение коробочного функционала nas4free (embedded вариант, если прямо не указано иное)
jail, chroot, vbox на nas4free - зачем столько и что выбрать?
    5.1Прямая установка приложений
        5.1.1Пример использования - mc

    5.2 Специально написанные расширения nas4free
        5.2.1 OBI - менеджер расширений для nas4free
        5.2.2 RRDGraphs - графики загрузки NAS С 11 версии включено в стандартный функционал, см п 4.8
        5.2.3 Расширенный интерфейс nas4free - Extended GUI
                5.2.3.1 Обновление Extended GUI
        5.2.4 Plex как расширение nas4free (я пока предпочитаю вариант через chroot)
        5.2.5 Downloady aka Загружалка
        5.2.6 Расширение для NextCloud и Owncloud

    5.3Клетки FreeBSD jail
        5.3.1Cоздание клетки и управление ею вручную
        5.3.2Консоль клетки
        5.3.3Менеджер клеток TheBrig - управление клетками через вебгуй
              5.3.3.1 Установка TheBrig
              5.3.3.2 Апгрейд TheBrig
              5.3.3.3 Создание клетки через TheBrig
              5.3.3.4 Обновление клетки через TheBrig
              5.3.3.5 Обновляем пакеты, установленные через pkg в клетку
             ( 5.3.3.6 Обновляем порты, установленные из исходных кодов)
              5.3.3.7 Редактируем fstab для клетки, созданной в TheBrig
              5.3.3.8 Удаление TheBrig
                    5.3.3.8.1 Штатное
                    5.3.3.8.2 Хирургическое
        5.3.4qjail - клетки по-быстрому
        5.3.5Шпаргалка по pkg и апдейт клетки до pkgng (актуально для jail на FreeBSD 9.2 и более ранних)

    5.4Finch chroot - полная FreeBSD поверх nas4free
        5.4.1Текущее и минорное обновление finch и софта в нем
        5.4.2Мажорное обновление finch
        5.4.2Редактируем fstab chroot



6. ZFS might and magic (см также 3.6)
    6.1 зачем ZFS дома - о сильно передовой файловой системе и на что она вам и мне сдалась. Практический пример полезности zfs
        6.1.1zfs raidz overhead
        6.1.2Заменяем диск в zfs raidz
        6.1.3Удаляем .nop устройства из zfs пула
    6.2 Про очень мощный и рекомендуемый вариант папок - zfs датасеты
        6.2.1 Создаём zfs датасет - базовый вариант
        6.2.2Создаём zfs датасет - командная строка
    6.3 snaphots, они же снимки ZFS - что такое
        6.3.1 zfs снимки - создание вручную
        6.3.2 zfs снимки - ежедневные автоматические
        6.3.3 zfs снимки - доступ к машине времени из Windows
        6.3.4 zfs снимки - доступ по сети
        6.3.5 zfs снимки - откат
        6.3.6 zfs снимки - удаление вручную
        6.3.7 zfs снимки - магия клонов
        6.3.8 zfs снимки - реальная история с вирусом шифровальщиком
        6.3.9 iSCSI target на zfs zvol, снимки и откат после криптовируса
    6.4 ZFS backup aka send/receive
    6.5ZFS трюки и извращения
        6.5.1 zfs on fake disk - это памятка для продвинутого пользователя о трюке: как перестраивать zfs при недостатке дисков
        6.5.2 ZFS: Cannot replace a replacing device
    6.6 ZFS и битая память без ECC на практике раз, два, три


7.Медиасервер PLEX
    7.1Ставим и настраиваем Plex в chroot Прим. ставим chroot
    7.2Приделаем кинопоиск к Plex (2 разных плагина)
    7.3Перенос библиотек на новую инсталляцию Plex
    7.4Текущее обновление finch и софта в нем, включая plex
    7.5Plex для Дюны старый, emplexer и новый, DunePlexCatalog, для Popcorn
    7.6Учим Plex каталогизировать BD папки и ISO К сожалению, работает не ах..., но DunePlexCatalog поддерживает
Прим. Ряд ранних постов о plex устарел и удалён из оглавления.

8. Полезности
    8.1 Альтернативные торрент клиенты
       8.1.1deluge на nas4free в клетке
       8.1.2qBittorrent на nas4free в клетке порт помечен как битый
    8.2Торрентмонтор / torrentmonitor или пусть NAS сам следит за выходом новых серий.
    Что за зверь, подготовка jail, установка и настройка
NB Работает с лостфильмом через зеркало - lostfilm-mirror. Про другие трекеры - см в форуме автора - ситуация периодически меняется.
   8.3 Устройство записи на ленту во FreeBSD
         Проброс физического устройства стримера в jail
8.4 Медиа - {платфома, сервер, плеер} - по тегу медиа
   8.5 Чьи-то проблемы и их решения под тегом разбор полётов Постоянно добавляется

9. Безопасность и доступ из Интернет
Про (не) доступность NAS извне
    9.1 fail2ban - также см по тегу
      9.1.1 Запускаем fail2ban в хосте nas4free
    9.2Secure SFTP Configuration (по английски)
    9.3 MySQL в клетке nas4free NEW
    9.3Частное облако seafile в клетке nas4free
        9.3.1 seafile с MySQL NEW
        9.3.2 seafile с SQLite NEW

Чердак[Частично неразобранные старые ссылки. Смотреть только если что-то сильно надо.]

Частично неразобранные старые ссылки. Смотреть только если что-то сильно надо.

На всякий случай я снял слепок по состоянию на 12 дек 2015 и поместил сюда.

10) NAS пишет нам письма


В. Выбор железа NAS
1) SATA и SAS контроллеры; Dell PERC 200A и его прошивка в LSI


Г. Backup, удалённая синхронизация, облака
1) По RSYNC cм. Настройка самодельного NAS, А. п 11
2) NTFS USB диск - подключение к nas4free

5) BitTorrentSync как расширение nas4free; Апгрейд BTSync до версии 1.4 , бекап с Андроида, с iOS устройства
6) Доступ к локальной сети из Интернет - DDNS на примере no-ipПроброс портов на роутере
7) Собственное облако: ставим owncloud в jail nas4free Обновлено для v 8.0.0
8) Syncthing как расширение для nas4free (свободная замена BitTorrentSync, впавшего в менетизацию)

Д. Связанные с NAS вопросы
1) Вредные советы - как угробить NAS
2) О пользе чистой настройки - опыт лечения одного глюка
3) Что стало с флешкой из-под nas4free? - как вернуть отформатировать флешку, на которую вы ставили nas4free
4) Упала скорость домашней сети - опыт решения проблемы
5) Что делать, если в NAS сдохла системная флешка


З. DLNA/UPnP на личном опыте
1) DLNA и UPnP - это одно и то же?; DLNA на NAS
2)
Что и зачем
3) Бытовой сценарий, mp3 и видео на iPad - запускаем сервер, выбираем плеер
4) Медиасервер Plex ставим в джейл и пр - см раздел L ниже.
5) HMS под VirtualBox, подробнее см гл И.2

И. VirtualBox и NAS
1) Virtual Box на Windows машине - как предельно безопасно и без специального компьютера протестировать софт, например - NAS
2) Virtualbox на nas4free - ч 1 Сервер, ч 2 Клиент, ч 3 гостевая WinXP, ч 4 гостевой Linux, ч 5 автоматический старт-стоп, ч 6 HMS приделан, ч 7 HMS под Kubuntu+Wine, ч 8 VNC клиенты для iOS и Android
3) XPEnology - софт от готового NAS на виртуалке



8) Фотогаллерея на nas4free

Comments

2gusia
Mar. 10th, 2013 10:08 am (UTC)
Это, несомненно, рекомендованный путь для IT-продвинутых. Но непосильный для начинающих.

Я сейчас, уверен, справлюсь. Но когда собирал первый NAS - точно бы не взялся.

С другой стороны, я пока только две вещи не сумел на nas4free сделать - монтирование CIFS шар с перекодировкой имён файлов и WebDAV как файловая система. В обоих случаях в зависимостях perl, который велик для Nas4free embedded.

И, кстати, возможно сейчас стоит и Linux рассмотреть. Я ставил на виртуалк zfs on linux - вполне прилично выглядит. Во многом, говорят, благодаря людям из Ливерморской Лаборатории.
rimlyanin
Mar. 10th, 2013 10:39 am (UTC)
а я вот собрал себе тестовый сервачек, из того, что залежалось дома, и взятого взаймы винта, поставил тудя фряху 9й ветки, и уже даже поставил виртуалбокс и запустил в нем гостевую систему. И это все без гуя.

:) было чем заняться бессонной ночью.
2gusia
Mar. 10th, 2013 11:26 am (UTC)
поздравляю с приятно проведённым временем :)

как ставил - на диск, на флешку в выносом папок с интенсивной записью на пул/в память; на UFS или root on zfs?
rimlyanin
Mar. 10th, 2013 11:47 am (UTC)
не, ставил на винт с адвансед форматом (4К сектора) с правильным выравниванием, с GPT и прочими плюшками.
Даже gmirror уже используется, хотя, пока, и с одним HDD.
Ну а далее - putty&google наше все. Оказалось, не так тривиально, как казалось изначально поставить и запустить virtualbox без гуя на госте.
Ну а попутно обновил все собранное с портов на одном из серваков, сбакапил другой, посмотрел несколько серий сериала (компилится оно не быстро).

В общем, рассказывать долго...

Теперь ещё надо на фре поднять NAT, и пробросить порты в гостевую, и будет такая себе терминальная виртуалочка под защитой фряхи.

Latest Month

July 2017
S M T W T F S
      1
2345678
9101112131415
16171819202122
23242526272829
3031     

Tags

Page Summary

Powered by LiveJournal.com