Форум русскоязычного сообщества Ubuntu


Следите за новостями русскоязычного сообщества Ubuntu в Twitter-ленте @ubuntu_ru_loco

Автор Тема: Электронный архив документов на предприятии  (Прочитано 1159 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн gilmor

  • Автор темы
  • Новичок
  • *
  • Сообщений: 10
    • Просмотр профиля
Доброго времени суток.

Прошу проконсультировать знающих людей по следующему вопросу:
Руководством предприятия поставлена задача по созданию электронного архива документов на предприятии (техническая и проектная документация, паспорта на оборудование и т. д. и т.п. что взбредет в голову руководству).
После изучения информации в Интернете и небольшого тестирования в виртуальной среде, мой выбор пал на https://www.alfresco.com/alfresco-community-editions
Базовый функционал системы полностью устраивает и не требует никаких доработок.

Однако есть вопрос, который не даёт мне покоя, а именно:
Архив имеет свойство разрастаться, то есть со временем нужно расширять дисковое пространство, ну и соответственно количество дисков. Так же возможно более выгодным решением будет замена дисков одной ёмкости на диски более ёмкие (например 1Тб на 3Тб)...
Не последнее место имеет вопрос надёжности хранения данных.
Мы конечно не Google :-) и кратковременный простой допускается, но вот надёжность хранения данных хотелось бы повысить до максимума, ибо если с архивом что то случиться, то ... сами понимаете.

Как по Вашему мнению будет наиболее правильно организовать дисково-файловую структуру, что бы было и относительно дёшево, но при этом надёжно, а так же максимально маштабируемо в плане увеличения (добавления) дискового пространства для хранения данных.

У меня пока в голове есть только две мысли:
1) ZFS RAIDZ2
2) Аппаратный RAID6 + LVM

Хотелось бы услышать мнение опытных людей, может быть кто-то решал подобного рода задачи и может поделиться опытом.
Заранее спасибо за любое мнение (особенно за реальный опыт).

Оффлайн graddata

  • PreSale
  • Администратор
  • Старожил
  • *
  • Сообщений: 1763
  • BIGCloud
    • Просмотр профиля
    • История Пскова и псковской области
возьмите в аренду 2 сервера.  На один проц получше, а на другом дисков побольше. На первом вы поднимете ubuntu для приложения, а на втором FreeNas. Пространство будете раздавать как smb том, что бы не было проблем с объёмом. ну а RAID, поднимите RAID6. Регулировать объёмом дискового пространства будете  на FreeNas.
Станислав П. LinkedIn
«Не согласен – критикуй, критикуешь–предлагай, предлагаешь–делай, делаешь–отвечай»

Оффлайн gilmor

  • Автор темы
  • Новичок
  • *
  • Сообщений: 10
    • Просмотр профиля
возьмите в аренду 2 сервера.  На один проц получше, а на другом дисков побольше. На первом вы поднимете ubuntu для приложения, а на втором FreeNas. Пространство будете раздавать как smb том, что бы не было проблем с объёмом. ну а RAID, поднимите RAID6. Регулировать объёмом дискового пространства будете  на FreeNas.

С Linux и Ubuntu в частности работаю не так давно, поэтому не судите строго если некоторые вещи которые я пишу будут выглядеть смешно (ну или тупо... :-)

По поводу раздачи дискового пространства как smb том, не уверен, что такое возможно в Alfresco (точнее даже не представляю что и где в настройках этой системы нужно изменить, чтобы это сделать). На форуме посвящённом Community версии разработчики как то неохотно делятся информацией (возможно мне так показалось)...

Сервер к сожалению (или к счастью) будет один физический, примерно вот такой (по крайней мере стоимость этого железа согласована):
  • Корпус   SuperMicro CSE-743T-500B
  • Материнская плата   SuperMicro X11SSH-F
  • Процессор   Intel® Xeon® E3-1280 v6
  • Кулер SNK-P0046A4
  • Модуль памяти 16GB DDR4-2400 2RX8 ECC VLP UDIMM
  • Системный диск 2 X SuperMicro SSD-DM032-SMCMVN1 SATA-DOM 32Gb
  • Жесткий диск 6 X SEAGATE ST2000NM0008
  • Корзина для HDD Mobile Rack CSE-M35TQB

Как не очень опытный человек в Linux, я рассуждал и действовал так:
Alfresco ставиться в каталог /opt/alfresco со всеми настройками по умолчанию, соответственно самый простой вариант (ну мне так тогда казалось) - это смонтировать этот раздел на отдельный RAID6, при этом систему установить на отдельный RAID1.

В дальнейшем при помощи LVM уже можно будет манипулировать дисковым пространством, делать "бэкапы" по средствам снэпшотов и т. п. ...

Однако чем больше я читал различных статей (и узнавал стоимость RAID контроллеров), тем больше я начинал сомневаться в своих мыслях... Можно конечно не заморачиваться с отдельным RAID контроллером и использовать встроенный в материнку, но опять же чем больше читаешь разной информации, тем больше сомнений...

P.S. К сожалению, стоимость сервера для архива нужно было озвучить быстро (иначе денег бы не выделили вообще :-( ), поэтому пришлось быстро набросать "конфигурацию" не владея в достаточной мере информацией о поставленной задаче... Стоимость железа зашита так сказать с запасом и многое можно удешевить, но лучше больше, чем меньше :-)









« Последнее редактирование: 22 Январь 2018, 20:47:54 от gilmor »

Оффлайн Dzhoser

  • Активист
  • *
  • Сообщений: 352
    • Просмотр профиля
По своему опыту скажу что железный Raid предпочтительней. На работе замучался с софтвенным. Надежность sdd меньше чем hdd. Два сервера лучше чем один. Один основной второй резервный. Если сломается корзина данные можете потерять. Если нет в документах ничего секретного можно сохранять в облаке. Alfresco это позволяет по моему, но это не точно.

Оффлайн pfg21

  • Участник
  • *
  • Сообщений: 172
    • Просмотр профиля
масштабируемость есть в zfs - в пул подсоединяются новые физические носители и размер пула растет (LVM даж не нужен, он "встроен" в zfs).
таким же образом можно делать обновление железа, запланировать раз в нн-ое время (гарантированное время работы носителя) полное/частичное обновление носителей.

для 100% гарантии сохранности бекап данных (инкрементальный для эффективности) с хранением бекапа в удаленном месте (облаке). бекап шифровать. для практики пару раз развернуть бекап на "пустую" машину.
смешно сказать, но на одном предприятии стенка рухнула (старый кирпич однако) - близрасположенное оборудование попортила. ничто не вечно.

рабочая мозоль нарабатывается только опытом однако.

Оффлайн gilmor

  • Автор темы
  • Новичок
  • *
  • Сообщений: 10
    • Просмотр профиля
По своему опыту скажу что железный Raid предпочтительней.
Подскажите пожалуйста недалёкому человеку а что случиться с рэйд-массивом если диски живые, а контроллер умер (сгорел например и ремонту не подлежит) + скажем его сняли с производства и купить такой же не реально.

Возможно ли в этом случае, установив другой контроллер и подключив к нему диски быстро без танцов с бубнами восстановить работоспособность массива? Или в описанной мною ситуации про данные можно забыть (я имею в виду если массив RAID6)?

Если сломается корзина данные можете потерять.
Я если честно думал, что там нечему ломаться :-)

масштабируемость есть в zfs - в пул подсоединяются новые физические носители и размер пула растет (LVM даж не нужен, он "встроен" в zfs).
Я где то читал (давно правда) что в Ubuntu с установкой ZFS какие-то траблы возникают и вроде как нормально ZFS работает только во FreeBSD или я отстал от жизни?


таким же образом можно делать обновление железа, запланировать раз в нн-ое время (гарантированное время работы носителя) полное/частичное обновление носителей.
Это кстати интересная мысль, спасибо. А есть где нибудь инфа со статистикой жизни различных HDD / SSD или рассчитывать замену нужно исходя из заявлений производителя диска?


для 100% гарантии сохранности бекап данных (инкрементальный для эффективности) с хранением бекапа в удаленном месте (облаке). бекап шифровать. для практики пару раз развернуть бекап на "пустую" машину.
Машину для хранения бэкапов обещали купить в этом году ближе к концу... Буду надеяться, что не передумает руководство.



смешно сказать, но на одном предприятии стенка рухнула (старый кирпич однако) - близрасположенное оборудование попортила. ничто не вечно.
:)

Оффлайн pfg21

  • Участник
  • *
  • Сообщений: 172
    • Просмотр профиля
Я где то читал (давно правда) что в Ubuntu с установкой ZFS какие-то траблы возникают и вроде как нормально ZFS работает только во FreeBSD или я отстал от жизни?
оригинальный соларисовский код zfs не совместим с ядром линукса по религиозным убеждениям лицензиям и следственно напрямую впендюрить код zfs из соляриса в ядро линукса низзя - максимум только через fuse, что и лежит в репе в пакете zfs-fuse. но fuse-прослойка сильно тормозит скорость общения с диском.

есть сторонняя, относительно оригинального соляриса, разработка openzfs, которую можно нативно впихнуть в ядро линукса, лежит в пакете zfs-dkms. быстрее, стабильно.
поподробнее тебе без меня распишут. zfs не ставил - памяти столько нет.

кстати посмотри на btrfs, то же самое "только вид сбоку", по необходимой функциональности полный аналог.
были проблемы со стабильностью, хотя вроде бы и убраны.

Это кстати интересная мысль, спасибо. А есть где нибудь инфа со статистикой жизни различных HDD / SSD или рассчитывать замену нужно исходя из заявлений производителя диска?
такой информации много, но она распылена по интернету. гугли.
для начальства солиднее будет если циферка возьмется из красивой бумажки, идущей вместе с железякой.
начальство-ж.

Машину для хранения бэкапов обещали купить в этом году ближе к концу... Буду надеяться, что не передумает руководство.
меня конечно проклянут бородатые админы, но на мой язгляд бекапам нужна не одна крутая машина, а множество простых. я вот, дублирую бекапы с машинки, на которую они собираются (весьма не крутой кстати), на компутер секретарши шефа, у нее стоит 700 гиговый винт, из которого она со всеми картинками-музыками и сотни не жрет, остальное место забито бекапами, плюс копирую в облако. бекапы шифрованы - воровства не боюсь.
т.е каждая из корзинок не самая стабильная, но их несколько - и в сумме они дорогую железяку переживут.
« Последнее редактирование: 24 Январь 2018, 10:56:27 от pfg21 »

Оффлайн Dzhoser

  • Активист
  • *
  • Сообщений: 352
    • Просмотр профиля
Я если честно думал, что там нечему ломаться :-)
Дабы не флуидить в теме вот поучительная история бывалого сис админа https://habrahabr.ru/post/100744/
На мой взгляд сервер от известного вендера будет в разы надежней самопальной сборки. А два сервера еще лучше.
« Последнее редактирование: 24 Январь 2018, 00:24:33 от Dzhoser »

Оффлайн DimanBG

  • Активист
  • *
  • Сообщений: 956
    • Просмотр профиля
По своему опыту скажу что железный Raid предпочтительней.
Минимум один запасной контроллер, а если используется встроенный, то мат. плату в запас.
Надежность sdd меньше чем hdd.
Враньё. Просто существенно дороже.
Подскажите пожалуйста недалёкому человеку а что случиться с рэйд-массивом если диски живые, а контроллер умер
Пипец.
скажем его сняли с производства и купить такой же не реально.
Пипец.
Всё заново и восстановление данных из бекапа.
для начальства солиднее будет если циферка возьмется из красивой бумажки, идущей вместе с железякой.
начальство-ж.
Это точно.
На БП не эконимить и следить за питанием и состоянием дисков. Дисковая подсистема на любой машине чаще убивается говённым БП, холодом или жарой, чем брак попадётся. И не доводить до края ресурса.

Оффлайн pfg21

  • Участник
  • *
  • Сообщений: 172
    • Просмотр профиля
Надежность sdd меньше чем hdd.

Враньё. Просто существенно дороже.
тут мне кажется точнее было сказать время жизни / кол-во перезаписи в sdd на порядки меньше hdd, даже в SLC потолок всего сотни тысяч. в более дешевой MLC счет идет уже на десятки тысяч.
если это отбросить, sdd гораздо надежнее hdd - полное отсутствие движущихся частей, не чувствителен к  ударам, нормально работает даже при большой вибрации.

Оффлайн Dzhoser

  • Активист
  • *
  • Сообщений: 352
    • Просмотр профиля
ssd при сбое сложнее вытащить информацию. Если сгорит кристал данным хана. Да и вибрации для сервера считаю не актуальным. Есть hdd заточенные под сервера и raid. На них как правило гарантия 5 лет. На ssd я такого не видел. Если знаете инфу дайте ссылку.

 

Страница сгенерирована за 0.157 секунд. Запросов: 25.