Не размечается свободное пространство в lvm после сборки raid

[korsakik]

Здравствуйте!

За наличием сервера без нормального железного RAID контроллера было принято решение собрать софт рейд уровня 0.

Имею:
1x HDD 500 гб для системы
3x SSD 2ТБ для кеш пространства

Ubuntu server 18.04

Изначально пробовал собирать рейд при установке системы, через меню установки, рейд жил до первого рестарта, потом он распадался и система не грузилась.

Сейчас установил систему без raid, подключил все диски, решил использовать LVM, mdadm ни в какую не хотел работать с >2 дисков.

Создал RAID0 и имею такую картину:

Код: [Выделить]

martin@$ df -h
Filesystem               Size  Used Avail Use% Mounted on
udev                      16G     0   16G   0% /dev
tmpfs                    3.2G  1.4M  3.2G   1% /run
/dev/sda1                466G  5.2G  461G   2% /
tmpfs                     16G     0   16G   0% /dev/shm
tmpfs                    5.0M     0  5.0M   0% /run/lock
tmpfs                     16G     0   16G   0% /sys/fs/cgroup
tmpfs                    3.2G     0  3.2G   0% /run/user/1000
[color=red][b]/dev/mapper/cache-raid0  3.7T   27G  3.5T   1% /cache[/b][/color]


Код: [Выделить]

sudo vgdisplay
  --- Volume group ---
  VG Name               cache
  System ID
  Format                lvm2
  Metadata Areas        3
  Metadata Sequence No  6
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                1
  Open LV               0
  Max PV                0
  Cur PV                3
  Act PV                3
  VG Size               <5.43 TiB
  PE Size               4.00 MiB
  Total PE              1423164
  Alloc PE / Size       976756 / <3.73 TiB
[color=red][b]  Free  PE / Size       446408 / 1.70 TiB[/b][/color]
  VG UUID               DKgwfP-SKOG-LV39-W8y8-Ehbf-7xou-IbqEMz


Код: [Выделить]

sudo lvmdiskscan
  /dev/sda1        [    <465.76 GiB]
[color=red][b]  /dev/cache/raid0 [      <3.73 TiB][/b][/color]
  /dev/sdb         [       1.86 TiB] LVM physical volume
  /dev/sdc         [      <1.75 TiB] LVM physical volume
  /dev/sdd         [      <1.82 TiB] LVM physical volume
  0 disks
  2 partitions
  3 LVM physical volume whole disks
  0 LVM physical volumes


Код: [Выделить]

sudo fdisk -l
Disk /dev/sda: 465.8 GiB, 500107862016 bytes, 976773168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: dos
Disk identifier: 0x205f8220

Device     Boot Start       End   Sectors   Size Id Type
/dev/sda1  *     2048 976771071 976769024 465.8G 83 Linux


Disk /dev/sdb: 1.9 TiB, 2048408248320 bytes, 4000797360 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes


Disk /dev/sdc: 1.8 TiB, 1920383410176 bytes, 3750748848 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes


Disk /dev/sdd: 1.8 TiB, 2000398934016 bytes, 3907029168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes


Disk /dev/mapper/cache-raid0_rimage_0: 1.9 TiB, 2048405798912 bytes, 4000792576 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes


Disk /dev/mapper/cache-raid0_rimage_1: 1.9 TiB, 2048405798912 bytes, 4000792576 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes


Disk /dev/mapper/cache-raid0: 3.7 TiB, 4096811597824 bytes, 8001585152 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 65536 bytes / 131072 bytes

Вижу что есть Free  PE / Size 446408 / 1.70 TiB, мне то они и нужны, по сути 1 диск не идёт в зачет.
Выполнял команды по расширению места в LV, но итога никакого нету.

Код: [Выделить]

sudo lvresize -l +100%FREE /dev/cache/raid0
  Using stripesize of last segment 64.00 KiB
  Size of logical volume cache/raid0 unchanged from <3.73 TiB (976756 extents).
  Logical volume cache/raid0 successfully resized.

sudo lvs
  LV    VG    Attr       LSize  Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  raid0 cache rwi-a-r--- <3.73t

Конвертировал ФС в xfs и ext4, разницы никакой.
Указывал принудительно:

Код: [Выделить]

sudo lvextend -l +446408 /dev/cache/raid0
  Using stripesize of last segment 64.00 KiB
  Insufficient suitable allocatable extents for logical volume raid0: 446408 more requiredИ все бестолку.
Подскажите, куда копать?
Ждать нормальный рейд контроллер еще 4 недели, а работать уже сейчас надо.

P.s версия Ubuntu нужна именно такая.

[AnrDaemon]

mdadm ни в какую не хотел работать с >2 дисков.

а) Бред.
б) BTRFS.
ц) RAID0 - только для ненужных данных. Т.е. вообще ненужных. Падение любого диска унесёт весь массив.

[korsakik]

mdadm ни в какую не хотел работать с >2 дисков.

а) Бред.
б) BTRFS.
ц) RAID0 - только для ненужных данных. Т.е. вообще ненужных. Падение любого диска унесёт весь массив.

А по делу?

[AnrDaemon]

Что именно было не по делу?

[Usermaster]

Изначально пробовал собирать рейд при установке системы, через меню установки, рейд жил до первого рестарта, потом он распадался и система не грузилась.

Подобное поведение обычно бывает из-за неисправности sata или кабеля.
Было такое, постоянный рассинхрон рейда.
Sata канал сменил, рейд синзронизировался, больше проблем не было с ним.
Раз система не грузилась, значит систему пробовали ставить на raid 0?
Если нет, значит что-то не правильно устанавливали.
Отдельно от системы собранный raid не влияет на загрузку, даже если развалился.
Это не надёжно, очень не надёжно.
Были не програмные raid, теперь стоит програмный, есть с чем сравнить.
Програмный лучше (раньше сам был другого мнения).
С LVM не ставил raid, мне не надо.
Так что нет времени разбираться как оно там с ним.

[korsakik]

Особое место в подвале тому, кто придумал по 5 загадок вопросов отгадывать под каждым сообщением... Ладно при регистрации... 

Подобное поведение обычно бывает из-за неисправности sata или кабеля.

Точно нет

Раз система не грузилась, значит систему пробовали ставить на raid 0?

При загрузке ОС аварийным режим ругается на то, что не может смонтировать точку /cache0 (в моём случае я прописал так эту точку)

Это не надёжно, очень не надёжно.

Мне не нужна надёжность, это кеш на основе nginx для сетевых нужд.

Что именно было не по делу?

а)спасибо за отзыв
б)спасибо за уход от изначальной темы
ц)спасибо за ненужное мнение

[F12]

korsakik, пожалуйста повнимательней при цитировании фраз, на которые пишешь ответы, у тебя с авторами путаница.

   ... ну, а по поводу твоего возмущения относительно ответов не по делу (ты же ведь возмущён? но если нет, и мне это только показалось, то извини, и дальше можешь не читать мой коммент), мой тебе совет: просто учитывай, что тут не служба поддержки платного продукта, и тут никто никому ничего не обязан, а участники обсуждения твоей проблемы, просто высказывают своё мнение (или своё видение её решения), а поможет оно тебе или нет, это уже как придется   

[alecsartania]

Что-то судя по "расширению раздела" ты как то не так в вот здесь создаешь stripe
https://www.fedora.md/2012/11/15/raid0-на-основе-lvm/

(Нажмите, чтобы показать/скрыть)

0) для debian - устанавливаем lvm2 (apt-get install lvm), в fedora/rhel ничего доустанавливать не надо.
1) открываем fdisk и размечаем партиции без файловых систем на всех дисках:
fdisk /dev/sdb
По памяти - жмём "n", "p", "1", "enter", "enter", "w". Мы создали /dev/sdb1 размером в 100% диска. Для подробностей - читаем man.
Повторяем процесс для остальных дисков.
2) создаём lvm physical volume на всех созданных разделах:
pvcreate /dev/sdb1
pvcreate /dev/sdc1
pvcreate /dev/sdd1
pvcreate /dev/sde1
3) объединяем их в группу "stripe_group"
vgcreate stripe_group /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1
4) проверяем нашу группу разделов командой "vgdisplay"
root@box:~# vgdisplay
  --- Volume group ---
  VG Name               stripe_group
  System ID
  Format                lvm2
  Metadata Areas        4
  Metadata Sequence No  3
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                2
  Open LV               2
  Max PV                0
  Cur PV                4
  Act PV                4
  VG Size               1.81 TiB
  PE Size               4.00 MiB
  Total PE              476936
  Alloc PE / Size       0 / 0
  Free  PE / Size       476936 / 1.90 TiB
  VG UUID               9DpW1d-gf3e-kdF6-eoAB-z12p-jNTW-PEgHC9
В конце вывода видим общее количество "physical extents" (PE) и размер каждого экстента. Все они свободны. Пора их занять делом!
5) Самое интересное - размечаем логический раздел командой lvcreate с хитрыми параметрами:
lvcreate -i4 -I64  -l 100%VG -n data_array stripe_group
параметр -i указывает количество страйпов для раздела (4 в моём случае)
параметр -I указывает размер страйпа в килобайтах (то есть первые 64 кб будут на первом диске, вторые - на втором, и т.д.)
параметр -l указывает размер раздела - у меня он равен 100% размера группы разделов.
параметр -n указывает название нового раздела
5.1) Уточнение, Stripe будет работать только с дисками равного размера. Если диски разные, будет выбран наименьший подходящий размер. Если при вводе команды получается ошибка о нехватке "physical extents" - значит диски различаются. Нужно взять общее число PE из вывода vgdisplay и вычесть недостающие экстенты. Затем параметром -l задать полученное число. В итоге после создания массива останется свободное место, его позже можно использовать на что-то ещё.
6) последний этап - размечаем файловую систему и в бой!
mkfs.ext4 /dev/mapper/stripe_group-data_array
7) монтируем и используем наш массив:
mount /dev/mapper/stripe_group-data_array /mnt/raid

[ALiEN]

б)спасибо за уход от изначальной темы
ц)спасибо за ненужное мнение

btrfs в вашем случае идеальный вариант. Без ненужных прослоек LVM, mdadm.

[Usermaster]

btrfs в вашем случае идеальный вариант

Сейчас пробежался быстренько по теме на, habr статейку почитал.
Не  знал что btrfs можно собрать raid, прикольно.

По поводу mdadm не соглашусь, а вот lvm действительно не нужная прослойка.

[AnrDaemon]

Usermaster, при наличии BTRFS mdadm - лишняя прослойка. Только внимательно читайте рекомендации разработчиков.

[Usermaster]

Я пока по старинке, ext4+mdadm.

[AnrDaemon]

Я уже без снапшотов себе жизнь не представляю. Так что либо ZFS, либо BTRFS. Либо LVM, но там свои проблемы.