проблемы с mdadm

[lexand]

и снова здравствуйте

такая проблема

собрал RAID 1 с помощью mdadm (из двух разделов /dev/sdb4 и /dev/sdc1)

какогото черта перестали монтироваться все NTFS разедлы
после некоторых мучений переустановил Ubuntu 10.10 с нуля (тем болле что еще с версии 9.04 не переустанваливал)
и...

порядок такой был
1. установли систему
2. при первой загрузке вошел в консоль востановления
3. запустил mdadm --assemble --scan - создалось устройство /dev/md0
4. выполнил mdadm -Es >> /etc/mdadm/mdadm.conf
5. mount /dev/md0 /home
6. внес изменения в /etc/fstab
7. загрузил систему и продолжил до устанавливать пакеты
8. во время работы разделы NTFS были видны и спокойно поключались

после перезагрузки
1. остановка во время загрузки - невозможно примонтировать /dev/md0 to /home
2. захожу в консоль смотрю рейда нет
3. снова пишу mdadm --assemble --scan - он какогото черта создал два рейда
один /dev/md0 с одним только /dev/sdb4
второй /dev/md/0 c /dev/sdc1 (inactive)
4. (забыл сказать) NTFS разделы перестали монтироваться (ошибка 21)
 
вообщем такие вопросы
1. как теперь отключить и удалить /dev/md/0 и восстановить /dev/md0 что бы он работал с /dev/sdb4 и /dev/sdc1
2. как заставить работать рейд что бы он автоматически поднимался при загрузке системы
2.1 и особенно как его заставить работать после переустановки
3. какие проблемы могут возникнуть с NTFS разделами при работе с mdadm (понимаю что вопрос бредовый)

----
как оказалось (пока еще неуверен на 100%)
что NTFS небыли нормально размонтированы
Пользователь решил продолжить мысль 24 Марта 2011, 20:46:22:с mdadm все оказалось не так уж и сложно
raid запутсился

mdadm - никакого отношения к NTFS разделам не имеет

хотя разобраться с NTFS так и не удалось...

[sivzi]

Здравствуй, lexand

У меня подобная проблема, копаю ее не первый день.
Говорят, это как-то связано с тем, что и mdadm, и ядро пытаются собрать рейд.
Люди предлагают отключить поддержку рейд в ядре, чтоб работал только mdadm.
http://en.wikipedia.org/wiki/Mdadm
http://superuser.com/questions/102086/how-to-build-initrd-without-dmraid-driver-on-ubuntu-9-10
Еще называют эту проблему "mdadm: cannot open device /dev/sda1: Device or resource busy"

Я решал так:
# mdadm --stop /dev/md0
# mdadm --stop /dev/md_d0
(и вообще все лишние рейды)
уже только потом руками собирал рейд
# mdadm --assemble /dev/md0 /dev/sda1 /dev/sdb1
Надеюсь, это поможет с вопросом 1

Создаваться рейд должен исходя из файла /etc/mdadm/mdadm.conf ...должен по идее.
У меня создается не всегда или не всегда правильно... продолжаю копать тему.
С автомонтированием еще хуже.
Надо узнать UUID файловой системы или раздела рейд но НЕ uuid самих дисков/разделов_диска.
# blkid /dev/md0
далее прописать в /etc/fstab как обычный раздел NTFS.
(одиночный раздел я монтирую так
# cat /etc/fstab |grep ntfs
UUID=58DCF8EADCF8C374 /media/storage ntfs-3g defaults 0 0
)
Не знаю, каков будет UUID именно у NTFS рейд-раздела.

!!! НО !!!
Тут возникает сложность, о которой я бы и сам хотел спросить/рассказать:
При перезагрузке если в системе нет uuid-а (например рейд упал) а в /etc/fstab есть запись о монтировании, то комп на каком-то этапе спрашивает что-то и ЖДЕТ НАЖАТИЯ КЛАВИШИ. Что он пишет - я не вижу, вместо букв квадратики. Предлагает на выбор S или M. Методом тыка S - продолжить загрузку, M - приостановить загрузку и войти в рутовый шел, и уже потом (вроде как) можно продолжить загрузку.
Проблема в том, что если комп - удаленный сервер, то ФИЗИЧЕСКИ НАЖАТЬ НА КНОПКУ не всегда возможно.
Пользователь решил продолжить мысль 25 Марта 2011, 11:37:14:Опишу подробнее про uuid самого рейда и его файловой системы (на моем примере).

Есть рейд из двух разделов

Код: [Выделить]

# mdadm --query --detail /dev/md0 | grep /dev/sd
       0       8       54        0      active sync   /dev/sdd6
       1       8       34        1      active sync   /dev/sdc2у рейда uuid такой

Код: [Выделить]

# mdadm --query --detail /dev/md0 | grep UUID
           UUID : ea5a6ffc:0c681883:6561b3a1:afcbd5e5точно такой же uuid у разделов, составляющих этот рейд

Код: [Выделить]

# blkid | grep ea5
/dev/sdc2: UUID="ea5a6ffc-0c68-1883-6561-b3a1afcbd5e5" TYPE="linux_raid_member"
/dev/sdd6: UUID="ea5a6ffc-0c68-1883-6561-b3a1afcbd5e5" TYPE="linux_raid_member"
ОДНАКО, у файловой системы uuid другой

Код: [Выделить]

# blkid /dev/md0
/dev/md0: UUID="060c5200-0702-4bdb-9ef6-5b49db9dcae6" TYPE="ext4" и именно его надо писать в /etc/fstab

Код: [Выделить]

# grep 060 /etc/fstab
UUID=060c5200-0702-4bdb-9ef6-5b49db9dcae6 /media/raid     ext4    allow_other        0       2

[lexand]

по поводу mdadm

я делал все так же, но как оказалось этого мало
после ассеблинга или прочих действий нужно убедиться что массив полностью синхронизирован
я по наивности думал, что и после перезагрузки он продолжить спокойно синхронизироваться (я специально не ждал синхронизации), оказалось нет...

ea5a6ffc:0c681883:6561b3a1:afcbd5e5

mdadm просматривает все разделы на наличие Linux raid раздела (FD)
а дальше смотрит в суперблоки и ищет указанный ИД если он одинаков то эти разделы входят в один массив
это как аналог UUID для файловой системы
тоесть можно было бы в /etc/mdadm/mdadm.conf
писать не
ARRAY blah blah uuid=ea5a6ffc:0c681883:6561b3a1:afcbd5e5
а
ARRAY blah blah devices=/dev/sdb4,/dev/sdc1

!!! НО !!!
Тут возникает сложность, о которой я бы и сам хотел спросить/рассказать:
При перезагрузке если в системе нет uuid-а (например рейд упал) а в /etc/fstab есть запись о монтировании, то комп на каком-то этапе спрашивает что-то и ЖДЕТ НАЖАТИЯ КЛАВИШИ. Что он пишет - я не вижу, вместо букв квадратики. Предлагает на выбор S или M. Методом тыка S - продолжить загрузку, M - приостановить загрузку и войти в рутовый шел, и уже потом (вроде как) можно продолжить загрузку.
Проблема в том, что если комп - удаленный сервер, то ФИЗИЧЕСКИ НАЖАТЬ НА КНОПКУ не всегда возможно.

система говорит что не может что то сделать (последнее время )))) я наблюдаю что не может примонтировать NTFS разделы
испрашивает (S) скипнуть или (M) попробовать монтировать вручную

по поводу NTFS - создал новую тему
https://forum.ubuntu.ru/index.php?topic=145028.0

[LLIeBa]

У меня есть немного вопросов связанных с mdadm, буду рад если кто-то подскажет:

Создал массив

Код: [Выделить]

sudo mdadm --create /dev/md0 -b internal --level=1 --raid-disks=2 /dev/sdb missing --auto=yes
Question number one:
почему у меня создалось много всего, на мой взгляд лишнего

Код: [Выделить]

floyd@floyd:~$ ls /dev/ |grep md
md
md_d0
md_d0p1
md_d0p2
md_d0p3
md_d0p4
floyd@floyd:~$

Question number two:
Почему массив создался не md0 (md1, md2, etc), как везде пишут, а нечто иное:

Код: [Выделить]

floyd@floyd:~$ cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md_d0 : active raid1 sda[0]
      1465138496 blocks [2/1] [U_]


[code]unused devices: <none>
floyd@floyd:~$

Question number three:
Что за папка /dev/md и что за содержимое в ней

Код: [Выделить]

floyd@floyd:~$ sudo ls /dev/md
d0  d0p1  d0p2  d0p3  d0p4
floyd@floyd:~$

PS из всего что читал о массивах mdadm ничего не понял, потому что мне кажется что все что написано в мануалах и хауту прямо разнится с тем что имею я.

Заранее спасибо за все предоставленные ответы, возможно, в зависимости от ответов будут еще вопросы. [/code]

[LLIeBa]

после обновления до 11.04 массив стал называться совсем не так как раньше

Код: [Выделить]

floyd@floyd:~$ cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md126 : active raid1 sdb[0]
      1465138496 blocks [2/1] [U_]
      bitmap: 157/175 pages [628KB], 4096KB chunk

md127 : active raid1 sda[0]
      1465138496 blocks [2/1] [U_]

unused devices: <none>
floyd@floyd:~$ ls /dev/ |grep md
md
md126
md126p1
md127
md127p1
floyd@floyd:~$ ls /dev/md
0_0  0_0p1  126_0  126_0p1
floyd@floyd:~$может мне кто нибудь понимающий в теме MDADM разжевать подробно откуда беруться такие названия массивов, ведь везде в мануалах и хауту, написанных на своих примерах, стоят маркировки типа md0, md1, etc.

[AnrDaemon]

Не помню, что именно, но что-то такое я читал. Возможно, в самом хелпе MDADM. md0 кстати плохая идея... выбивается из общего ряда. Нумерация разделов в Linux начинается с 1.

[Humpty]

У меня есть немного вопросов связанных с mdadm, буду рад если кто-то подскажет:

Создал массив

Код: [Выделить]

sudo mdadm --create /dev/md0 -b internal --level=1 --raid-disks=2 /dev/sdb missing --auto=yes
Question number one:
почему у меня создалось много всего, на мой взгляд лишнего

Потому что ты создал массив не на основе раздела, а на основе целиком блочного устройства.
Если ты опечатался, вместо /dev/sdb1 написав /dev/sdb то это одно.
Если ты это сделал специально, то вопрос - зачем?
Пользователь решил продолжить мысль 17 Мая 2011, 18:20:58:

может мне кто нибудь понимающий в теме MDADM разжевать подробно откуда беруться такие названия массивов, ведь везде в мануалах и хауту, написанных на своих примерах, стоят маркировки типа md0, md1, etc.

Было то же самое.
По-идее, проблема решается остановкой, пересборкой массива, внесением изменений в /etc/mdadm.conf и запуском update-initramfs
На деле, нихрена не помогло.
Пришлось вывести один диск из зеркала, пересоздать новый degraded массив заново, скинуть данные со старого на новый, грохнуть старый и ввести диск в новый массив. Тогда имена исправились.

[AnrDaemon]

Долго, конечно... но должно сработать. Спасибо за идею, сам с подобной ситуацией столкнулся, всё думал, как раскусить орешек, не поколов ядра.

[LLIeBa]

У меня есть немного вопросов связанных с mdadm, буду рад если кто-то подскажет:

Создал массив

Код: [Выделить]

sudo mdadm --create /dev/md0 -b internal --level=1 --raid-disks=2 /dev/sdb missing --auto=yes
Question number one:
почему у меня создалось много всего, на мой взгляд лишнего

Потому что ты создал массив не на основе раздела, а на основе целиком блочного устройства.
Если ты опечатался, вместо /dev/sdb1 написав /dev/sdb то это одно.
Если ты это сделал специально, то вопрос - зачем?

да, Вы правы, точно опечатался, это можно как-то исправть? а по поводу имен массивов - решил что и так сойдет, живет себе и хорошо, пущай живет.

появился у меня на днях новый вопрос по этой теме : массив вдруг ни с того ни с сего начал чекаться, не знаю с чем это связано, остановил самбу, почекался он соответственно быстрее, сейчас работает, но вот не знаю где посмотреть что привело к этому. что послужило причиной для checking array, подскажите где посмотреть, пытался посмотреть в /var/log/messages но там у меня пусто после обновления с 10,10 до 11,04 что тоже беспокоит и до сих пор не знаю чем лечить.

[AnrDaemon]

Плановая проверка, скорее всего.

[LLIeBa]

Плановая проверка, скорее всего.

хм, странновато как-то, плановая проверка с тоормозами настолько что я не мог даже посмотреть фильм из шары, а как часто будут проводится такие проверки и как я могу ускорить процесс, может битмап добавить к этому массиву, если это поможет то как это сделать?
Пользователь решил продолжить мысль 09 Июня 2011, 00:51:31:да, действительно, плановая проверка, выполнялась по крону.
пришло письмо с темой "Cron <root@floyd> if [ -x /usr/share/mdadm/checkarray ] && [ $(date +%d) -le 7 ]; then /usr/share/mdadm/checkarray --cron --all --idle --quiet; fi"
просто не сразу обратил внимание на него

[LLIeBa]

Доброго времени суток уважаемое сообщество, помогите разобраться в ситуации:

Потому что ты создал массив не на основе раздела, а на основе целиком блочного устройства.
Если ты опечатался, вместо /dev/sdb1 написав /dev/sdb то это одно.
Если ты это сделал специально, то вопрос - зачем?

почеаю винт как сбойный

Код: [Выделить]

root@floyd:~# mdadm /dev/md127 --fail /dev/sda
mdadm: set /dev/sda faulty in /dev/md127
root@floyd:~# cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md127 : active raid1 sda[2](F) sdb[1]
      1465138496 blocks [2/1] [_U]

unused devices: <none>удаляю его

Код: [Выделить]

root@floyd:~# mdadm /dev/md127 --remove /dev/sda
mdadm: hot removed /dev/sda from /dev/md127
root@floyd:~# cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md127 : active raid1 sdb[1]
      1465138496 blocks [2/1] [_U]

unused devices: <none>
пытаюсь добавить

Код: [Выделить]

root@floyd:~# mdadm /dev/md127 --add /dev/sda1
mdadm: /dev/sda1 not large enough to join array
что я делаю не так?

ps.

Код: [Выделить]

root@floyd:~# fdisk -l

Диск /dev/sda: 1500.3 ГБ, 1500301910016 байт
255 heads, 63 sectors/track, 182401 cylinders
Units = цилиндры of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0004ce0e

Устр-во Загр     Начало       Конец       Блоки   Id  Система
/dev/sda1               1      182401  1465136001   fd  Автоопределение Linux raid

Диск /dev/sdb: 1500.3 ГБ, 1500301910016 байт
255 heads, 63 sectors/track, 182401 cylinders
Units = цилиндры of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0004ce0e

Устр-во Загр     Начало       Конец       Блоки   Id  Система
/dev/sdb1               1      182401  1465136001   fd  Автоопределение Linux raid

Диск /dev/md127: 1500.3 ГБ, 1500301819904 байт
255 heads, 63 sectors/track, 182401 cylinders
Units = цилиндры of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0004ce0e

Устр-во Загр     Начало       Конец       Блоки   Id  Система
/dev/md127p1               1      182401  1465136001   fd  Автоопределение Linux raid

Диск /dev/sdc: 250.1 ГБ, 250059350016 байт
255 heads, 63 sectors/track, 30401 cylinders
Units = цилиндры of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x4e6ae848

Устр-во Загр     Начало       Конец       Блоки   Id  Система
/dev/sdc1   *           1         125     1000000   83  Linux
Раздел 1 не заканчивается на границе цилиндра.
/dev/sdc2             125         623     3999744   82  Linux своп / Solaris
Раздел 2 не заканчивается на границе цилиндра.
/dev/sdc3             623       12895    98573312   83  Linux
/dev/sdc4           12895       30402   140624896   83  Linux
удалил раздел из /dev/sda и создал заново

Код: [Выделить]

root@floyd:~# fdisk -l

Диск /dev/sda: 1500.3 ГБ, 1500301910016 байт
255 heads, 63 sectors/track, 182401 cylinders
Units = цилиндры of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0004ce0e

Устр-во Загр     Начало       Конец       Блоки   Id  Система
/dev/sda1               1      182401  1465136001   fd  Автоопределение Linux raid

Диск /dev/sdb: 1500.3 ГБ, 1500301910016 байт
255 heads, 63 sectors/track, 182401 cylinders
Units = цилиндры of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0004ce0e

Устр-во Загр     Начало       Конец       Блоки   Id  Система
/dev/sdb1               1      182401  1465136001   fd  Автоопределение Linux raid

Диск /dev/md127: 1500.3 ГБ, 1500301819904 байт
255 heads, 63 sectors/track, 182401 cylinders
Units = цилиндры of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0004ce0e

Устр-во Загр     Начало       Конец       Блоки   Id  Система
/dev/md127p1               1      182401  1465136001   fd  Автоопределение Linux raid

Диск /dev/sdc: 250.1 ГБ, 250059350016 байт
255 heads, 63 sectors/track, 30401 cylinders
Units = цилиндры of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x4e6ae848

Устр-во Загр     Начало       Конец       Блоки   Id  Система
/dev/sdc1   *           1         125     1000000   83  Linux
Раздел 1 не заканчивается на границе цилиндра.
/dev/sdc2             125         623     3999744   82  Linux своп / Solaris
Раздел 2 не заканчивается на границе цилиндра.
/dev/sdc3             623       12895    98573312   83  Linux
/dev/sdc4           12895       30402   140624896   83  Linux
root@floyd:~#
пытаюсь добавить

Код: [Выделить]

root@floyd:~# mdadm /dev/md127 --add /dev/sda1
mdadm: /dev/sda1 not large enough to join array
root@floyd:~#
что же все таки не так

Пользователь решил продолжить мысль 24 Июня 2011, 01:45:50:

Код: [Выделить]

root@floyd:~# cat /proc/partitions
major minor  #blocks  name

   8        0 1465138584 sda
   8        1 1465136001 sda1
   8       16 1465138584 sdb
   8       17 1465136001 sdb1
   9      127 1465138496 md127
 259        0 1465136001 md127p1
   8       32  244198584 sdc
   8       33    1000000 sdc1
   8       34    3999744 sdc2
   8       35   98573312 sdc3
   8       36  140624896 sdc4
root@floyd:~#


[AnrDaemon]

Создай новый неполный рейд на sda1, скопируй на него информацию, грохни рейд на sdb, отформатируй sdb1 и добавь в новый рейд.

[LLIeBa]

Это понятно, я мог бы так и сделать, и даже сделал, но не смог потом добавить винт по той же самой причине. Выше в теме я говорил что наверное опечатался добавляя к массиву раздел, но таки нет, поскольку мне не удалось добавить раздел я, за незнанием и неопытностью, добавил винт, т.е. блочное устройство, потом решил выкинуть его и добавить раздел, результат описал выше.

Интересует ведь причина по которой я не могу добавить абсолютно идентичный раздел к массиву. Выходом из ситуации вижу только бекап инфы, удаление рейда, фрматирование разделов и создание ПОЛНОГО рейда с нуля, НО ведь это не выход из ситуации и даже если предположить что я найду куда скопировать полтора терабайта инфы, пересоздам рейд с нуля сразу с двумя дисками, верну на них инфу то в случае вылета/смерти одного из веников я опять же не смогу добавить новый/замененный винт к массиву.

[AnrDaemon]

Причина банальна. Размер размеченного раздела уменьшается на величину блока разметки, увеличенную в сторону ближайшего большего кратного.