Форум русскоязычного сообщества Ubuntu


Хотите сделать посильный вклад в развитие Ubuntu и русскоязычного сообщества?
Помогите нам с документацией!

Автор Тема: BTRFS RAID-10 vs MDRAID RAID-10  (Прочитано 1600 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн thunderamur

  • Автор темы
  • Заслуженный пользователь
  • Старожил
  • *
  • Сообщений: 6846
    • Просмотр профиля
BTRFS RAID-10 vs MDRAID RAID-10
« : 29 Сентября 2018, 15:42:25 »
Всем привет!

Задумался вот в использовании BTRFS на новом файловом сервере. Данную ФС использую на нескольких ПК и ноутах уже 3 года, за которые не было ни одного сбоя. Правда сценарий использования простой, из фич btrfs использую только сжатие и снимки, последний год на регулярной основе после того как узнал про Timeshift. RAID на базе btrfs не использовал, дедубликацию тоже.

Раньше читал, что у людей возникали проблемы с BTRFS, но всегда речь шла о более активном испоьзовании фич btrfs, вроде raid и той самой дедубликации. Возможно кривые руки, возможно полумертвые диски, но то, что проблемы были запомнилось. Хотелось бы услышать опыт использования (стабильность, производительность) BTRFS в конфигурациях с RAID, особенно level=10, или может быть для btrfs на 4-х дисках оптимальнее использовать другой уровень raid?

И как сейчас, на свежих ядрах с работоспособностью файловой дедубликации? Раньше, опять же не все гладко было, вроде.

Оффлайн AnrDaemon

  • Заслуженный пользователь
  • Старожил
  • *
  • Сообщений: 28366
    • Просмотр профиля
Re: BTRFS RAID-10 vs MDRAID RAID-10
« Ответ #1 : 29 Сентября 2018, 20:41:23 »
Дедупликацию ты используешь, раз используешь BTRFS.
Единственная явная проблема - RAID56 write hole.
Плюс производительность в мультидисковых массивах может быть лучше, но это не проблема как таковая.

IMO, сейчас выбор стоит между btrfs native RAID10 и mdadm raid6 + btrfs single/single.
Сколько дисков в сервере планируется?

Пользователь добавил сообщение 29 Сентября 2018, 20:42:02:
P.S.
https://btrfs.wiki.kernel.org/index.php/Status
Хотите получить помощь? Потрудитесь представить запрошенную информацию в полном объёме.

Прежде чем [Отправить], нажми [Просмотр] и прочти собственное сообщение. Сам-то понял, что написал?…

Оффлайн thunderamur

  • Автор темы
  • Заслуженный пользователь
  • Старожил
  • *
  • Сообщений: 6846
    • Просмотр профиля
Re: BTRFS RAID-10 vs MDRAID RAID-10
« Ответ #2 : 30 Сентября 2018, 16:59:18 »
IMO, сейчас выбор стоит между btrfs native RAID10 и mdadm raid6 + btrfs single/single.
Сколько дисков в сервере планируется?

4 диска, поэтому у меня выбор стоит между btrfs native RAID10 и mdadm raid10 + btrfs single/single.

mdraid 1 и 10 использую давно и никогда с ними не было проблем и диски менялись в массивах по кругу по причине износа, всегда спокойно и без неожиданностей. Но сейчас очень хочется снимки, уж очень они в btrfs удобно реализованы и домашнее использование в течение 3-х лет на всем что только можно тоже не выявило ни одного сбоя ФС.

Пользователь добавил сообщение 30 Сентября 2018, 17:24:25:
Спасибо за ссылку. Выходит 5, 6 до сих пор имеет проблемы со стабильностью.
Про 1, 10 заявлено, что возможно ускорение чтения в будущем, т.е. пока не на 100% работает. Интересно mdraid 10 + btrfs будет быстрее btrfs raid 10. Поищу тесты, ну и производительность можно самому замерить. Со стабильностью все хорошо - это главное, что сам быстро не протестишь на тестовых данных.
« Последнее редактирование: 30 Сентября 2018, 17:24:25 от thunderamur »

Оффлайн AnrDaemon

  • Заслуженный пользователь
  • Старожил
  • *
  • Сообщений: 28366
    • Просмотр профиля
Re: BTRFS RAID-10 vs MDRAID RAID-10
« Ответ #3 : 30 Сентября 2018, 18:00:08 »
mdadm raid10 бессмысленен.

btrfs raid56 имеет проблемы не со стабильностью, а с устойчивостью к отказам оборудования. Причём эти отказы в достаточной степени теоретические.
Хотите получить помощь? Потрудитесь представить запрошенную информацию в полном объёме.

Прежде чем [Отправить], нажми [Просмотр] и прочти собственное сообщение. Сам-то понял, что написал?…

Оффлайн thunderamur

  • Автор темы
  • Заслуженный пользователь
  • Старожил
  • *
  • Сообщений: 6846
    • Просмотр профиля
Re: BTRFS RAID-10 vs MDRAID RAID-10
« Ответ #4 : 30 Сентября 2018, 18:07:41 »
Нашел такое мнение по RAID 10 btrfs vs md:
(Перевод машинный, но вполне читабельный.)
Цитировать
Как правило, MD превзойдет BTRFS в обозримом будущем. BTRFS в настоящее время сериализует записи на несколько устройств и только считывает их из одного для данного вызова read().

Что касается безопасности данных, то вам лучше использовать BTRFS для репликации, чем MD или LVM2. Из-за внутреннего контрольного пакета блока, выполняемого BTRFS, он может сказать, когда вы делаете вызов для чтения, действительно ли данные хороши и автоматически отбрасываются на другую копию, если это не так, и он правильно выбирает хорошую копию блок на основе блока при чистке.

Теперь все, что было сказано, лучший вариант, который я нашел до сих пор, - это использовать BTRFS в режиме raid1 поверх двух томов MD или LVM2 RAID0. Хотя это не так хорошо, как ext4 или XFS поверх MD RAID10, он по-прежнему работает намного лучше, чем реализация raid10 BTRFS, или работает на одном устройстве BTRFS поверх MD RAID10 на тех же устройствах и обеспечивает такую ​​же безопасность данных гарантии. К сожалению, для этого требуется четыре устройства.

Т.о. заявляется:
1. Надежность btrfs raid-1 выше, чем md raid-1, но производительность md выше, т.к. btrfs читает только одну копию данных из 2-х имеющихся.
К этому вопросов нет.
2. Называется хорошим вариантом btrfs raid-1 на 2 x md raid-0.
А вот с этим не могу согласиться. Получается RAID-01 - построение резервирования на базе 2-х быстрых, но ненадежных устройствах. Выход 1 диска из строя приводит массив к виду RAID-0 на 2-х дисках, т.е. вероятность отказа в 2 раза выше, чем у одиночного диска. В случае с mdraid-10 выход из строя 1 диска приводит к массиву с вероятностью отказа такой же как у одиночного диска.
О, так ведь получается, что на 4-х дисках mdraid-6 надежнее, чем mdraid-10.

Тогда да, выбор стоит именно так:
Цитировать
IMO, сейчас выбор стоит между btrfs native RAID10 и mdadm raid6 + btrfs single/single.

Точнее не стоит уже, т.к. btrfs raid-10 при выходе из строя одного из дисков имеет вероятность отказа в 3 раза выше, чем у одиночного диска, т.к. умрет при выходе из строя любого из 3-х оставшихся дисков, если я правильно понял, то как работает 10-й на btrfs.

Так что mdadm raid6 + btrfs single/single.

Пользователь добавил сообщение 30 Сентября 2018, 18:09:25:
mdadm raid10 бессмысленен.
Уже вижу, но все же латентность у него поменьше, чем у 6.

Пользователь добавил сообщение 30 Сентября 2018, 18:19:00:
https://www.phoronix.com/scan.php?page=article&item=btrfs_raid_mdadm

Довольно древние тесты, но даже на них Btrfs raid был в общем быстрее mdraid + btrfs. А с тех пор btrfs ощутимо вырос.
А про теоритеческие проблемы с btrfs raid-5/6 можно подробнее?

Пользователь добавил сообщение 30 Сентября 2018, 18:21:48:
Цитировать
Unstable: do not use for other then testing purposes, known severe problems, missing implementation of some core parts
И все же не рискну использовать инструмент в таком статусе.
« Последнее редактирование: 30 Сентября 2018, 18:21:48 от thunderamur »

Оффлайн AnrDaemon

  • Заслуженный пользователь
  • Старожил
  • *
  • Сообщений: 28366
    • Просмотр профиля
Re: BTRFS RAID-10 vs MDRAID RAID-10
« Ответ #5 : 30 Сентября 2018, 19:01:14 »
Подробнее ищите описание "raid write hole"
Я сам смутно представляю проблему, так что пересказывать не возьмусь.
Если совсем коротко, то при записи данных на два устройства есть проблема определения истинности записи.
Хотите получить помощь? Потрудитесь представить запрошенную информацию в полном объёме.

Прежде чем [Отправить], нажми [Просмотр] и прочти собственное сообщение. Сам-то понял, что написал?…

Оффлайн ALiEN

  • Администратор
  • Старожил
  • *
  • Сообщений: 6743
  • 20% Cooler
    • Просмотр профиля
Re: BTRFS RAID-10 vs MDRAID RAID-10
« Ответ #6 : 30 Сентября 2018, 19:49:39 »
thunderamur, на офсайте с btrfs вполне себе
https://btrfs.wiki.kernel.org/index.php/Status#RAID56
🖥 AsRock B550M Pro4 :: AMD Ryzen 5 3600 :: 16 GB DDR4 :: AMD Radeon RX 6600 :: XFCE
💻 ACER 5750G :: Intel Core i5-2450M :: 6 GB DDR3 :: GeForce GT 630M :: XFCE

Оффлайн AnrDaemon

  • Заслуженный пользователь
  • Старожил
  • *
  • Сообщений: 28366
    • Просмотр профиля
Re: BTRFS RAID-10 vs MDRAID RAID-10
« Ответ #7 : 30 Сентября 2018, 20:04:27 »
ALiEN175,
Цитировать
The write hole is the last missing part, preliminary patches have been posted but needed to be reworked.
Хотите получить помощь? Потрудитесь представить запрошенную информацию в полном объёме.

Прежде чем [Отправить], нажми [Просмотр] и прочти собственное сообщение. Сам-то понял, что написал?…

Оффлайн ALiEN

  • Администратор
  • Старожил
  • *
  • Сообщений: 6743
  • 20% Cooler
    • Просмотр профиля
Re: BTRFS RAID-10 vs MDRAID RAID-10
« Ответ #8 : 30 Сентября 2018, 20:25:24 »
AnrDaemon, грубо говоря, патчи есть, но нужно от них избавляться.
У btrfs oстался единственный затык c raid56.

Mostly OK - не считаю за глобальную проблему.
🖥 AsRock B550M Pro4 :: AMD Ryzen 5 3600 :: 16 GB DDR4 :: AMD Radeon RX 6600 :: XFCE
💻 ACER 5750G :: Intel Core i5-2450M :: 6 GB DDR3 :: GeForce GT 630M :: XFCE

Оффлайн AnrDaemon

  • Заслуженный пользователь
  • Старожил
  • *
  • Сообщений: 28366
    • Просмотр профиля
Re: BTRFS RAID-10 vs MDRAID RAID-10
« Ответ #9 : 30 Сентября 2018, 20:32:32 »
Не "избавляться" а "переписать".
Полагаю, там требуется патчинг совсем другой части ядра, общей для многих систем, поэтому так всё долго.
Хотите получить помощь? Потрудитесь представить запрошенную информацию в полном объёме.

Прежде чем [Отправить], нажми [Просмотр] и прочти собственное сообщение. Сам-то понял, что написал?…

 

Страница сгенерирована за 0.049 секунд. Запросов: 25.