Создание файловой системы - RAID 0

[_uctopuk_]

Всем привет!

Купили сервер. Вставили в него диски - 10 штук.

Загрузил систему на одни диск и связал их в БИОСе в RAID 1

Остальным дискам в терминале выдал разделы  и связал в RAID 01

(Нажмите, чтобы показать/скрыть)

sgt@sgt-R2-P121610-08:~$ sudo fdisk -l
Диск /dev/loop0: 4 KiB, 4096 байт, 8 секторов
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт


Диск /dev/loop1: 74,21 MiB, 77819904 байт, 151992 секторов
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт


Диск /dev/loop2: 266,63 MiB, 279584768 байт, 546064 секторов
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт


Диск /dev/loop3: 496,98 MiB, 521121792 байт, 1017816 секторов
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт


Диск /dev/loop4: 91,69 MiB, 96141312 байт, 187776 секторов
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт


Диск /dev/loop5: 12,32 MiB, 12922880 байт, 25240 секторов
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт


Диск /dev/loop6: 505,09 MiB, 529625088 байт, 1034424 секторов
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт


Диск /dev/loop7: 39,1 MiB, 40996864 байт, 80072 секторов
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт


Диск /dev/sda: 1,75 TiB, 1920383410176 байт, 3750748848 секторов
Disk model: KINGSTON SEDC600
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт
Тип метки диска: dos
Идентификатор диска: 0xb5b1b993

Устр-во    Загрузочный начало      Конец    Секторы Размер Идентификатор Тип
/dev/sda1                2048 3750748847 3750746800   1,7T            83 Linux


Диск /dev/sdb: 1,75 TiB, 1920383410176 байт, 3750748848 секторов
Disk model: KINGSTON SEDC600
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт
Тип метки диска: dos
Идентификатор диска: 0x856e36dc

Устр-во    Загрузочный начало      Конец    Секторы Размер Идентификатор Тип
/dev/sdb1                2048 3750748847 3750746800   1,7T            83 Linux


Диск /dev/sdc: 894,25 GiB, 960197124096 байт, 1875385008 секторов
Disk model: INTEL SSDSC2KB96
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 4096 байт
Размер I/O (минимальный/оптимальный): 4096 байт / 4096 байт
Тип метки диска: gpt
Идентификатор диска: 727CA908-255B-4D3E-A084-807D82D95CFF

Устр-во     начало      Конец    Секторы Размер Тип
/dev/sdc1     2048    1050623    1048576   512M EFI
/dev/sdc2  1050624 1875384319 1874333696 893,8G Файловая система Linux


Диск /dev/sdd: 894,25 GiB, 960197124096 байт, 1875385008 секторов
Disk model: INTEL SSDSC2KB96
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 4096 байт
Размер I/O (минимальный/оптимальный): 4096 байт / 4096 байт
Тип метки диска: dos
Идентификатор диска: 0x36340b21

Устр-во    Загрузочный начало      Конец    Секторы Размер Идентификатор Тип
/dev/sdd1                2048 1875385007 1875382960 894,3G            83 Linux


Диск /dev/sde: 1,75 TiB, 1920383410176 байт, 3750748848 секторов
Disk model: KINGSTON SEDC600
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт
Тип метки диска: dos
Идентификатор диска: 0x004e98e0

Устр-во    Загрузочный начало      Конец    Секторы Размер Идентификатор Тип
/dev/sde1                2048 3750748847 3750746800   1,7T            83 Linux


Диск /dev/sdf: 1,75 TiB, 1920383410176 байт, 3750748848 секторов
Disk model: KINGSTON SEDC600
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт
Тип метки диска: dos
Идентификатор диска: 0xd6e5820d

Устр-во    Загрузочный начало      Конец    Секторы Размер Идентификатор Тип
/dev/sdf1                2048 3750748847 3750746800   1,7T            83 Linux


Диск /dev/sdg: 1,75 TiB, 1920383410176 байт, 3750748848 секторов
Disk model: KINGSTON SEDC600
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт
Тип метки диска: dos
Идентификатор диска: 0x287ca93b

Устр-во    Загрузочный начало      Конец    Секторы Размер Идентификатор Тип
/dev/sdg1                2048 3750748847 3750746800   1,7T            83 Linux


Диск /dev/sdh: 1,75 TiB, 1920383410176 байт, 3750748848 секторов
Disk model: KINGSTON SEDC600
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт
Тип метки диска: dos
Идентификатор диска: 0x08260877

Устр-во    Загрузочный начало      Конец    Секторы Размер Идентификатор Тип
/dev/sdh1                2048 3750748847 3750746800   1,7T            83 Linux


Диск /dev/sdi: 1,75 TiB, 1920383410176 байт, 3750748848 секторов
Disk model: KINGSTON SEDC600
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт
Тип метки диска: dos
Идентификатор диска: 0xb0042c74

Устр-во    Загрузочный начало      Конец    Секторы Размер Идентификатор Тип
/dev/sdi1                2048 3750748847 3750746800   1,7T            83 Linux


Диск /dev/sdj: 1,75 TiB, 1920383410176 байт, 3750748848 секторов
Disk model: KINGSTON SEDC600
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт
Тип метки диска: dos
Идентификатор диска: 0x27094640

Устр-во    Загрузочный начало      Конец    Секторы Размер Идентификатор Тип
/dev/sdj1                2048 3750748847 3750746800   1,7T            83 Linux


Диск /dev/md0: 6,99 TiB, 7680986972160 байт, 15001927680 секторов
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 524288 байт / 2097152 байт
Тип метки диска: dos
Идентификатор диска: 0x7583beb3

Устр-во    Загрузочный начало      Конец    Секторы Размер Идентификатор Тип
/dev/md0p1               4096 4294967295 4294963200     2T            83 Linux


Диск /dev/md1: 6,99 TiB, 7680986972160 байт, 15001927680 секторов
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 524288 байт / 2097152 байт


Диск /dev/md2: 6,99 TiB, 7680851705856 байт, 15001663488 секторов
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 524288 байт / 2097152 байт


Диск /dev/sdk: 7,21 GiB, 7746879488 байт, 15130624 секторов
Disk model: USB DISK 2.0   
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт
Тип метки диска: dos
Идентификатор диска: 0x6c92dbb4

Устр-во    Загрузочный начало    Конец  Секторы Размер Идентификатор Тип
/dev/sdk1  *             2048 15130623 15128576   7,2G             c W95 FAT32 (LBA)


Диск /dev/loop8: 476 KiB, 487424 байт, 952 секторов
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт


Диск /dev/loop9: 452 KiB, 462848 байт, 904 секторов
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт


Диск /dev/loop10: 38,73 MiB, 40615936 байт, 79328 секторов
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт

Соответсвенно у меня получилось 8 дисков с разделами, файловые системы я на них не создавал, и 3 RAID'a
md/0 - RAID 0
md/1 - RAID 0
md/2 - RAID 1

Вчера я не мог понять почему я не могу их выбрать для виртуализации, но сегодня узнал, что им надо создать файловую ситсему

Однако при попытке создать файловую систему на md/0 я получаю ошибку

Код: [Выделить]

[sgt@sgt-R2-P121610-08:~$ sudo mkfs.ext4 /dev/md/0
mke2fs 1.46.5 (30-Dec-2021)
/dev/md/0 is apparently in use by the system; will not make a filesystem here!

Что Я не так делаю? Подскажите, пожалуйста

Пользователь добавил сообщение 16 Апреля 2024, 10:54:27:Находил вот такую тему - https://forum.ubuntu.ru/index.php?topic=132727.0

Но помоему она не из моего разряда 

[Usermaster]

sudo mkfs.ext4 /dev/md/0

А вот здесь в твоём выводе тебя ничего не смущает?

Сравнить с твоим же выводом

Код: [Выделить]

Диск /dev/md0: 6,99 TiB, 7680986972160 байт, 15001927680 секторов

[_uctopuk_]

sudo mkfs.ext4 /dev/md/0

А вот здесь в твоём выводе тебя ничего не смущает?

Возможно в рейде нельзя создать файловую систему.
Я не знаю. Я не разбираюсь и первый раз с этим работаю
Поэтому и пришел за помощью на форум
Пользователь добавил сообщение 16 Апреля 2024, 12:16:06:

А вот здесь

Или речь про слэш? Я и с ним и без него писал. В самих "Дисках" он со слэшем, а в терминале без

[Usermaster]

Ну раз ничего не смущает, попробую объяснить.
Нафига слэш перед нулём?
Это раз.

А почему ты форматируешь сразу весь массив в файловую систему?
А разве раздел не надо создавать а потом уже форматировать?
Это два.

У меня давненько не было опыта с аппаратным рейдом, с тех пор как уволился с предыдущей работы.
Но там вроде как с рейдом обращаешься как с обычным диском, форматируешь его.

[_uctopuk_]

А почему ты форматируешь сразу весь массив в файловую систему?
А разве раздел не надо создавать а потом уже форматировать?

Я делал всё по инструкции, которую нашел в интернете. Делал на прошлой неделе. Мне дали задание рейды сделать, я их сделал. Увидел их в разделе Дисков и завершил работу.

 А теперь дали задание развернуть виртуалки. А я не могу, потому что рейды без файловой системы и создавать её не хотят, ибо "заняты"

Честно говоря саму инструкцию я найти не могу. Открывал я ее на сервере, а там в истории Лисы нет моих запросов на эту тему...

P.S. Как выключить эти загадки? Чтобы просто ответить надо уйму загадок решить

[Usermaster]

P.S. Как выключить эти загадки? Чтобы просто ответить надо уйму загадок решить

Вроде после пяти ответов отключатся. Если не ошибаюсь.

А теперь дали задание развернуть виртуалки. А я не могу, потому что рейды без файловой системы и создавать её не хотят, ибо "заняты"

Так Raid контроллеру время надо на синхронизацию дискового массива, в любом случае. Объёмы то у тебя не маленькие.
Да и форматировал то ты их не правильно.

[_uctopuk_]

Да и форматировал то ты их не правильно

Ладно. Видимо надо все переделать. Если не сложно посмотреть - по этому видео же все правильно выйдет?

[artemu88]

Может Вам пригодится моя шпаргалка по созданию RAID

Код: [Выделить]

устанавливаем mdadm:
если при установке не требуется установка почтового сервера (для отправки сообщений об ошибках RAID) то при установке нужно использовать:
sudo apt install --no-install-recommends mdadm
в противном случае:
sudo apt install mdadm

RAID1.
----------------------
0. создаем GPT на дисках:
        >>> fdisk /dev/sd{буква диска}
            :g
            :w
1. При помощи команды fdisk задаем тип ФС == fd:
>>> fdisk /dev/sdb
:n
:fd
:w
Так создаем метки для всех дисков массива RAID

Проверяем $fdisk -l /dev/sd{b..d}
Результат должен быть:
Автопредел или Linux raid autodetect
2. создаем массив:
#mdadm --create /dev/md0 --level=1 --raid-devices=3 /dev/sdb1 /dev/sdc1 /dev/sdd1
--level=1 - 1 означает создание RAID1 (для RAID0 используется 0)
#mkfs.ext4 /dev/md0 - создаем фаловую систему
#mount /dev/md0 /mnt/raid - монтируем райд к директории
#mdadm --examine --scan >> /etc/mdadm/mdadm.conf - запись информации о массиве в mdadm.conf


Замена неисправного диска.
Уникальным id для диска является только его серийный номер. Для того, чтобы его узнать, используется утилита hdparm или smartctl. Синтаксис:
$hdparm -i /dev/sd{c..d}
Для воссоздания таблицы разделов по другому диску можно использовать программу sfdisk (используется только с разбитыми дисками по системе MBR!!!!!):
$sudo sfdisk -d /dev/sdb1 | sfdisk /dev/sdc1 - копируется с диска sdb1  на диск sdc1 (неисправный и замененный).

Если рейд после замены неактивен, то нужно выполнить:
#mdadm --run /dev/md0 - где md0 - это устройство RAID

Проверка рейда на ошибки
#echo check > /sys/block/md0/md/sync_action - проверить целостность системы md0
В Ubuntu и Debian эта задача выплняется ежемесячно сценарием /usr/share/mdadm/checkarray.
Думаю, что более опытные товарищи подправят меня, если я ошибся где.
Спасибо!

[Usermaster]

Вот почитай.
Это не пошаговое руководство, это мои заметки рождённые в поисках по интернету.
Недавно настраивал по этим своим заметкам зеркальный массив.

Вот пример отформатированного диска собранного в RAID

Код: [Выделить]

Disk /dev/md1: 2 TiB, 2198886940672 bytes, 4294701056 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: dos
Disk identifier: 0x9fd2c487

Device     Boot Start        End    Sectors Size Id Type
/dev/md1p1       2048 4294701055 4294699008   2T 83 Linux
Заметь, сначала создаётся партиция на RAID а уж затем она форматируется.

[_uctopuk_]

Может Вам пригодится моя шпаргалка по созданию RAID

Код: [Выделить]

устанавливаем mdadm:
если при установке не требуется установка почтового сервера (для отправки сообщений об ошибках RAID) то при установке нужно использовать:
sudo apt install --no-install-recommends mdadm
в противном случае:
sudo apt install mdadm

RAID1.
----------------------
1. При помощи команды fdisk задаем тип ФС == fd:
>>> fdisk /dev/sdb
:n
:fd
:w
Так создаем метки для всех дисков массива RAID

Проверяем $fdisk -l /dev/sd{b..d}
Результат должен быть:
Автопредел или Linux raid autodetect
2. создаем массив:
#mdadm --create /dev/md0 --level=1 --raid-devices=3 /dev/sdb1 /dev/sdc1 /dev/sdd1
--level=1 - 1 означает создание RAID1 (для RAID0 используется 0)
#mkfs.ext4 /dev/md0 - создаем фаловую систему
#mount /dev/md0 /mnt/raid - монтируем райд к директории
#mdadm --examine --scan >> /etc/mdadm/mdadm.conf - запись информации о массиве в mdadm.conf


Замена неисправного диска.
Уникальным id для диска является только его серийный номер. Для того, чтобы его узнать, используется утилита hdparm или smartctl. Синтаксис:
$hdparm -i /dev/sd{c..d}
Для воссоздания таблицы разделов по другому диску можно использовать программу sfdisk (используется только с разбитыми дисками по системе MBR!!!!!):
$sudo sfdisk -d /dev/sdb1 | sfdisk /dev/sdc1 - копируется с диска sdb1  на диск sdc1 (неисправный и замененный).

Если рейд после замены неактивен, то нужно выполнить:
#mdadm --run /dev/md0 - где md0 - это устройство RAID

Проверка рейда на ошибки
#echo check > /sys/block/md0/md/sync_action - проверить целостность системы md0
В Ubuntu и Debian эта задача выплняется ежемесячно сценарием /usr/share/mdadm/checkarray.
Думаю, что более опытные товарищи подправят меня, если я ошибся где.
Спасибо!

Благодарю

Вот почитай.
Это не пошаговое руководство, это мои заметки рождённые в поисках по интернету.
Недавно настраивал по этим своим заметкам зеркальный массив.

Спасибо. Ознакомлюсь

[Usermaster]

Дополнил совй предыдущий пост.

[artemu88]

Добавил пункт 0 в своё сообщение выше. Забыл упомянуть, что использовать лучше GPT

[_uctopuk_]

Дополнил совй предыдущий пост.

Вчера конечно приколола меня система. Влез в /etc/fstab/ чтобы вписать массив и у меня вся система упала. Только сейчас через рекавери разобрался как строчку эту несчатсную удалить...

В общемм, удалось создать пространство, которое отображается, но нет прав в нем что либо создавать. То есть он есть как выбор в KVM но не могу


Опять что-то не так или нужно права как-то расшарить?
Пользователь добавил сообщение 17 Апреля 2024, 11:04:43:

как-то расшарить?

Попробовал по этой теме - https://forum.ubuntu.ru/index.php?topic=280373.0
Но не идет, пишет не такого каталога 

(Нажмите, чтобы показать/скрыть)

root@sgt-R2-P121610-08:/home/sgt# sudo chown sgt:sgt file:///media/sgt/0ef2f812-d52e-4fbc-a8fe-259f8cc0445b
chown: невозможно получить доступ к 'file:///media/sgt/0ef2f812-d52e-4fbc-a8fe-259f8cc0445b': Нет такого файла или каталога

[artemu88]

наверное что-то делаете не так
например:
    монтируем рейд в директорию /mnt

Код: [Выделить]

#mount /dev/md{буква диска} /mnt    проверяем, что все прошло хорошо (должна появиться скрытая папка lost+found):

Код: [Выделить]

#ls -la /mnt
    меняем владельца директории на группу sgt:

Код: [Выделить]

#chown :sgt /mntили меняем владельца директории на пользователя и группу sgt:

Код: [Выделить]

#chown sgt: /mntдобавляем запись о рейде в /etc/fstab (для автоматического монтирования при загрузке системы)

[_uctopuk_]

наверное что-то делаете не так
например:
    монтируем рейд в директорию /mnt

Код: [Выделить]

#mount /dev/md{буква диска} /mnt    проверяем, что все прошло хорошо (должна появиться скрытая папка lost+found):

Код: [Выделить]

#ls -la /mnt
    меняем владельца директории на группу sgt:

Код: [Выделить]

#chown :sgt /mntили меняем владельца директории на пользователя и группу sgt:

Код: [Выделить]

#chown sgt: /mnt

Сделал как написано:

Код: [Выделить]

root@sgt-R2-P121610-08:/home/sgt# mount /dev/md127 /mnt
root@sgt-R2-P121610-08:/home/sgt# ls -la /mnt
итого 24
drwxr-xr-x  3 root root  4096 апр 17 10:38 .
drwxr-xr-x 21 root root  4096 апр 16 17:28 ..
drwx------  2 root root 16384 апр 17 10:38 lost+found
root@sgt-R2-P121610-08:/home/sgt# chown :sgt /mnt
Но в диске все равно не дает запись сделать

добавляем запись о рейде в /etc/fstab (для автоматического монтирования при загрузке системы)

Вот это вообще не понял как делать. Я в прошлый раз сделал и больше не мог систему загрузить. Можете расписать что именно и как туда вставить?
Пользователь добавил сообщение 17 Апреля 2024, 11:30:23:

или меняем владельца директории на пользователя и группу sgt:

Вот так могу создавать всякое на нем, но не могу виртуалку в него поставить

(Нажмите, чтобы показать/скрыть)

Не удалось завершить установку: «unsupported configuration: storage type 'dir' requires use of storage format 'fat'»

Traceback (most recent call last):
  File "/usr/share/virt-manager/virtManager/asyncjob.py", line 72, in cb_wrapper
    callback(asyncjob, *args, **kwargs)
  File "/usr/share/virt-manager/virtManager/createvm.py", line 2008, in _do_async_install
    installer.start_install(guest, meter=meter)
  File "/usr/share/virt-manager/virtinst/install/installer.py", line 695, in start_install
    domain = self._create_guest(
  File "/usr/share/virt-manager/virtinst/install/installer.py", line 637, in _create_guest
    domain = self.conn.createXML(initial_xml or final_xml, 0)
  File "/usr/lib/python3/dist-packages/libvirt.py", line 4400, in createXML
    raise libvirtError('virDomainCreateXML() failed')
libvirt.libvirtError: unsupported configuration: storage type 'dir' requires use of storage format 'fat'

Окей. Смог даже в /etc/fstab всё правильно вписать