[HowTo] Soft Raid для самых маленьких

[kroxa90]

Итак.
Сегодня представляю вам очередной ненужный топик.
Он будет создан по аналогии "LVM для самых маленьких"
Только в этот раз мы будем ковыряться с немного другой технологией, а именно RAID.
Что такое RAID (дисковый массив) неплохо описано в http://ru.wikipedia.org/wiki/Raid
Потому повторяться не буду.
Что такое software RAID - это RAID на программном уровне (уровне ядра системы), а не как обычно на специальной недешевой железке.
Это значит, что вы сможете создать его на любом компутере без закупок контроллеров.
Особенно советую озаботится оным на серверах. Лично сама всегда использую RAID-5, потому как жадная. Если у вас с баблом напрягов нет, то советую RAID-10.
Плюсы Software RAID по сравнению с HARDWARE RAID очивидны: гибче, !!!дешевле!!!, управляемей, стабильней, во многих случаях быстрей.
Минус пожалуй только один: на него нельзя засунуть /boot. То-есть вы не сможете грузиться с software RAID. Хотя можно установить на него операционку и пользовать как вам хочется. /boot все-же придется сложить куда-нить в другое место (хоть на флешку, если жалко отдельного винта) и грузиться с него.

Мы будем создавать RAID из виртуальных дисков. Чтоб не заморачиваться закупками винтов. Так, поиграемся.
Даже нашла себе применение такого массива - держу образы этих дисков на нескольких полудохлых винтах разного размера, что дает прирост скорости в разы
Почти все действия происходят от имени root. Так что сначала sudo -i

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

#Установим программу для работы с RAID
apt-get install mdadm

# Создаем файлики (будущие диски)
# Размер каждого 10М умножить на 10 раз итого, 100М
# При желании создавайте любые размеры, главное чтоб они были равны
dd if=/dev/zero of=./d01.img bs=10M count=10
dd if=/dev/zero of=./d02.img bs=10M count=10
dd if=/dev/zero of=./d03.img bs=10M count=10
dd if=/dev/zero of=./d04.img bs=10M count=10
dd if=/dev/zero of=./d05.img bs=10M count=10
 
#создаем loop устройства из наших файликов
losetup -f --show ./d01.img
losetup -f --show ./d02.img
losetup -f --show ./d03.img
losetup -f --show ./d04.img
losetup -f --show ./d05.img
#У меня создались  /dev/loop1 /dev/loop2 /dev/loop3 /dev/loop4 /dev/loop5
#Потому как   /dev/loop0 уже занят, чем расскажу в другой раз
 
#Создаем RAID
mdadm --create --verbose /dev/md0 --level=5 --raid-devices=5 /dev/loop1 /dev/loop2 /dev/loop3 /dev/loop4 /dev/loop5
 
#Активация
#mdadm --assemble --scan
#Первый раз не нужна mdadm --create - сразу и активирует его
 
#Смотрим статистику по RAID
mdadm -D /dev/md0
cat /proc/mdstat
 
#Разметим его наш новый массив
fdisk /dev/md0
#n
#p
#1
#
#
#w
 
#Отформатируем его
mkfs.ext3 /dev/md0p1
 
#Примонтируем
mkdir -p /mnt/raid
blkid|grep md0
#У меня
#/dev/md0p1: UUID="84a53389-3123-4ec9-9fe6-8095be5080de" SEC_TYPE="ext2" TYPE="ext3"
mount UUID=84a53389-3123-4ec9-9fe6-8095be5080de /mnt/raid/ -t ext3
 
#Теперь покопируем туда файлики, попользуем его всячески
 
 
#Отмонтируем
umount /mnt/raid/
 
 
#Деактивируем RAID
mdadm -S /dev/md0
 
#Отмонтируем loop убъем его
#Типа у нас сдох винт
losetup -d /dev/loop3
rm ./d03.img
 
#Активируем массив
mdadm --assemble --scan
 
#В случае если мы используем настоящие диски
#И у нас действительно погиб диск, деактивировать массив нельзя
#Помечаем диск как сбойный
mdadm --manage /dev/md0 --fail /dev/loop3
 
#Смотрим информацию
cat /proc/mdstat |grep algorithm
#Мы видим что один из дисков мертв "_"
 
#Выводим диск из RAID
mdadm --manage /dev/md0 --remove /dev/loop3
 
#Создаем новый диск
dd if=/dev/zero of=./d03.img bs=10M count=10
losetup -f --show ./d03.img
 
#Пробуем его ввести в RAID
mdadm --manage /dev/md0 --add /dev/loop3
 
#Смотрим информацию
cat /proc/mdstat |grep algorithm
#О чудо! он жив и здоров "UUUUU"


Ну вот вроде как типа вот-так.
Если Вы все-же решили попользовать software RAID, то почитайте вот это
http://www.qdesnic.ru/page/soft-raid-v1.html
https://help.ubuntu.com/community/Installation/SoftwareRAID
http://manpages.ubuntu.com/manpages/lucid/en/man8/mdadm.8.html

Будут вопросы - спрашивайте, если не я, то кто-нить точно ответит....
Поки. 

PS: Просьба к модераторам. Засуньте данный топик куда считаете нужным.

[Sly_tom_cat]

Спасибо за топик

От себя чуточку добавлю.

Когда я наигрался, встал вопрос - а как правильно снести созданный массив. Так вот задача потребовала некоторого поиска по сети (нашел не сразу). И поэтому считаю нужным дополнить эту how-to-шку.

Итак, сносим массив.

Само собой для начала с массива надо снять все нужные данные если они там были.

Далее:
sudo mdadm --stop /dev/md0 (или какой вы там создали)
sudo mdadm --misc --zero-superblock /dev/loop0
...
sudo mdadm --misc --zero-superblock /dev/loopN (сколько было loop-ов в раиде)

Ну и наконец отцепляем файлы от loop устройств

sudo losetup -d /dev/loopN (для всех ранее созданных устройств)

Ну а удалить файлы, думаю все знают как.

[truegeek]

PS: Просьба к модераторам. Засуньте данный топик куда считаете нужным.

А почему бы вам не оформить все это дело на нашей Вики. Подходящее название уже есть

[kroxa90]

А почему бы вам не оформить все это дело на нашей Вики. Подходящее название уже есть

Отличная идея!
У меня куча конспектов и записок как раз в формате mediawiki(она почти совместима с вашей). И у знакомого админа кучу конспектов натягала.
На досуге пожалуй займусь...

[truegeek]

На досуге пожалуй займусь...

Ну вот и договорились

[dimas000]

кстати, в случае с зеркалом (насчет остального не знаю) вовсе они не должны быть одного размера

Код: [Выделить]

Avail Dev Size : 1913457010 (912.41 GiB 979.69 GB)
     Array Size : 838863784 (400.00 GiB 429.50 GB)
  Used Dev Size : 838863784 (400.00 GiB 429.50 GB)raid1 (зеркало) из двух разделов - на 500Г харде раздел в 400Г, на террабайтнике - 900+Г. массив просто будет иметь размер наименьшего диска.

[drako]

Лично сама всегда использую RAID-5, потому как жадная.

Без аппаратного XOR - жутко тормознутая вещь.

Плюсы Software RAID по сравнению с HARDWARE RAID очивидны: гибче, !!!дешевле!!!, управляемей, стабильней, во многих случаях быстрей.

Минус пожалуй только один: на него нельзя засунуть /boot. То-есть вы не сможете грузиться с software RAID.

Воспользуйтесь lilo.

[badfiles]

У меня /boot на raid1, grub2. Работает. Что я делаю не так? (в 11.04 был баг (возможно уже устранили, я не проверял), который не позволял установить grub на raid. 11.10 и 10.04 этой проблемы нет)
Пользователь решил продолжить мысль 10 Ноября 2011, 10:19:04:Автору топика: не надо делать таких выводов о достоинтвах linux soft raid.

[kroxa90]

drako, конечно понимаю что круто иметь аппаратный RAID, но ведь он может быть в сервере от рамока. И тогда хочется только одно: того урода в интеле, который его создал взять за причинное место и оторвать оное. Вообще, RAID железных сейчас полно всяких. Но среди них встречаются редкостные уродцы. Как эти от интел с интерфейсом управления, аля виндовз 3.1 (без поддержки хот-замены) или как от nvidia, в котором почему-то один винт обязан быть подключен к esata, торчащему наружу из блока.

По поводу скорости: в сравнении с тем-же intel в серверах фирмы рамок, то софтовый RAID-5 как минимум в два раза шустрее чем родной железный. Учитывая, что замену винтов в работающем сервере контроллер не поддерживает - это вообще неприемлемо. Он видите-ли инициализирует винты и что-то с ними пытается делать только при перезагрузке. Да инфа не пропадет и сервер не остановится при вылетевшем винте, но вот новый винт поставить не получится.

Можно сколь угодно морщить носик, говоря что хорошая железка лучше, но... хороших железок мало и они очень-очень дороги.

Ну а по поводу гибкости: не разу лапками не трогала железный RAID, который умеет RAID-10.
Еще по гибкости: есть 2 винта (100Г и 150Г), хочу зеркало 2Х100 и 50 просто так. Не уверена, что железный RAID так сможет.

badfiles, возможно уже работает в груб. Хотя как он это делает - мистика. Может там кусочек все-же откушен для boot? ну или для MBR какой-нить, которая собирает софтовый рейд.

[drako]

kroxa90, дело же не в крутости иметь или нет аппаратный рейд, можно иметь хороший софтовый рейд. Не уверен что у интела вообще есть железные рейд-контроллеры, помнится они вставляли контроллеры других производителей. Nvidia в вашем случае явный fake-rade. Про фирму рамок вообще никогда не слышал, сдается мне это тоже какое-то fake чудо. Ну а то что вы никогда не трогали аппаратный рейд, который умеет делать 10, говорит о том что вы вообще не трогали аппаратные рейды. Да и цена не сказал бы что на аппаратные рейды кусается - буквально меньше месяца назад брал контроллер ~ 13 тысяч деревянных. А то что вы за гибкость считаете, для меня как-то дико - рейд должен быть рейдом, а не чем-то непонятным.

[kroxa90]

drako, похоже, что все это в холивар превращается;)
Не будем продолжать?

Так для инфы Фирма рамек собирает отвратное оборудование из неликвидных частей. Но у них один классный плюс - они предлагают удобные попилы. Можно грашевый сервер купить за миллион, а разницу в цене потом забрать наличными.

[drako]

Не-а не будем. Да и про всякие откаты - уж тем более не про топик.

[badfiles]

badfiles, возможно уже работает в груб. Хотя как он это делает - мистика. Может там кусочек все-же откушен для boot? ну или для MBR какой-нить, которая собирает софтовый рейд.

Совершенно точно работает, второй grub (который на самом деле другой grub) умеет грузиться с linux soft raid c рождения.
Никакой мистики, grub2 умеет грузить со всех вменяемых уровней (0, 1, 10, 5), до кучи ещё и lvm поддерживает.
Да, у меня /boot отдельно, но на raid1.

[Дмитрий Бо]

Прилепил тег.

RAID5 требует spare-диска. Есть статистика, после отказа диска во время ребилда массива отказывает и второй диск, то ли в 10%, то ли в 20% случаев х_х

Кстати, программно он небыстр, но вот в аппаратном исполнении он бывает быстрее RAID10.

[Sly_tom_cat]

Есть статистика, после отказа диска во время ребилда массива отказывает и второй диск, то ли в 10%, то ли в 20% случаев х_х

Не могли бы вы поискать - где вы такую статистику видели?
Тема то в общем то известная - но статистику я искал - найти что-то не смог.