восстановление Raid5, прошу совета

[shkiper-dv]

в общем рассыпался Raid5 (диски Seagate SV35 ST2000VX000 отработали менее 2-х лет и вот уже второй летит)
raid был из 4 дисков, собирал я его в программе установки
я взял другой диск, создал раздел фдиском поставил на нем метку fd, воткнул в корзину и дал команду:

Код: [Выделить]

sudo mdadm /dev/md0 -a /dev/sdd1

и меня беспокоит правильно ли я сделал?
потому что до этой команды массив выглядел так:

Код: [Выделить]

Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdb1[1] sdc1[2] sda1[0]
      5860085760 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/3] [UUU_]
      bitmap: 15/15 pages [60KB], 65536KB chunk
а сейчас выглядит так

Код: [Выделить]

Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdd1[4] sda1[0] sdc1[2] sdb1[1]
      5860085760 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/3] [UUU_]
      [>....................]  recovery =  0.2% (4845040/1953361920) finish=1467.6min speed=22127K/sec
      bitmap: 15/15 pages [60KB], 65536KB chunk
т.е. диски посчитались в массиве перескочив номер [3] (его занимал сломавшийся диск)

вот что выдает lsblk

Код: [Выделить]

lsblk
NAME    MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINT
fd0       2:0    1     4K  0 disk
sda       8:0    0   1,8T  0 disk
└─sda1    8:1    0   1,8T  0 part
  └─md0   9:0    0   5,5T  0 raid5
sdb       8:16   0   1,8T  0 disk
└─sdb1    8:17   0   1,8T  0 part
  └─md0   9:0    0   5,5T  0 raid5
sdc       8:32   0   1,8T  0 disk
└─sdc1    8:33   0   1,8T  0 part
  └─md0   9:0    0   5,5T  0 raid5
sdd       8:48   0   1,8T  0 disk
└─sdd1    8:49   0   1,8T  0 part
  └─md0   9:0    0   5,5T  0 raid5
sde       8:64   0 111,8G  0 disk
├─sde1    8:65   0   1,9G  0 part  [SWAP]
└─sde2    8:66   0  21,4G  0 part  /


Код: [Выделить]

sudo mdadm --detail --scan --verbose

ARRAY /dev/md0 level=raid5 num-devices=4 metadata=1.2 spares=1 name=zipserver:0 UUID=38de392d:52b1b0ea:6a019b6d:9cc7d34e
   devices=/dev/sda1,/dev/sdb1,/dev/sdc1,/dev/sdd1


Код: [Выделить]

sudo mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Thu Nov 12 18:23:47 2015
     Raid Level : raid5
     Array Size : 5860085760 (5588.61 GiB 6000.73 GB)
  Used Dev Size : 1953361920 (1862.87 GiB 2000.24 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

  Intent Bitmap : Internal

    Update Time : Thu Nov 19 18:48:46 2015
          State : clean, degraded, recovering
 Active Devices : 3
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 512K

 Rebuild Status : 8% complete

           Name : zipserver:0  (local to host zipserver)
           UUID : 38de392d:52b1b0ea:6a019b6d:9cc7d34e
         Events : 102122

    Number   Major   Minor   RaidDevice State
       0       8        1        0      active sync   /dev/sda1
       1       8       17        1      active sync   /dev/sdb1
       2       8       33        2      active sync   /dev/sdc1
       4       8       49        3      spare rebuilding   /dev/sdd1

вроде все верно, но терзают меня смутные сомненья, что я где-то что-то упустил, почему не 3-им номером диск прописался?

[AnrDaemon]

Нет никаких "номеров". Раз перестройка массива запустилась, значит, вы всё сделали верно.
Вопрос, почему не RAID6 кстати? Раз у вас 4 диска.

[shkiper-dv]

спасибо большое за ответ
раид-5 потому что...
в общем раньше я работал только с аппаратными конторллерами начального уровня, там только раид5:)
да и здесь сервер под ежедневные архивы, 5-го уровня вполне достаточно
кстати по поводу выхода из строя сразу же нескольких дисков, у меня один за другим засбоили сигейты на 2 Тб, видать неудачная серия, отработали около 2 лет и застучали
стояли на сервере с мамкой со 6-ю sata и встроенным raid (s5000vsa) и корзиной, на компе win 2003, когда возникла потребность в архивах я решил воспользоваться свободными 4-мя sata разъемами и корзиной на сервере
купил сигейтов на 2 тб 4 шт,будь они не ладны, смонтировал на раид контроллере раид 10 на 4 Тб, он проработал некоторое время, потом загнулся один из винтов, раид контроллер отключил два винта, и молча продолжал работать некоторое время, потом по каким-то причинам отключил массив
при попытке восстановить массив (заменить диск), я его убил, нажав не ту кнопку в биосе контроллера, восстанавиливать не стал, вытащил из угла еще один сервер, там была корзина sata на 4 диска, но разъемов только 2 шт
я откопал старый контроллер srcs16x, собрал на нем 4 логических диска по 1 шт, плюс один под систему в сата на мамке
уже на этом контроллере сдох еще один сигейт, в смарте перенаправленные сектора, проверку  сигейтовской утилитой не проходит
щас проблема с srcs16x- не могу попасть в смарт из linux, пишет

Код: [Выделить]

smartctl -a /dev/sda

smartctl 6.4 2014-10-07 r4002 [i686-linux-3.16.0-4-686-pae] (local build)
Copyright (C) 2002-14, Bruce Allen, Christian Franke, www.smartmontools.org

Smartctl open device: /dev/sda failed: DELL or MegaRaid controller, please try adding '-d megaraid,N'
подставляю megaraid

Код: [Выделить]

sudo smartctl -a -d megaraid,1 /dev/sda
smartctl 6.4 2014-10-07 r4002 [i686-linux-3.16.0-4-686-pae] (local build)
Copyright (C) 2002-14, Bruce Allen, Christian Franke, www.smartmontools.org

Smartctl open device: /dev/sda [megaraid_disk_01] failed: INQUIRY failed
Пользователь решил продолжить мысль 24 Ноября 2015, 11:33:53:в общем я решил посмотреть смарт загрузившись с установочного диска mint, там есть такая уматная утилита - disks
не устанавливать, а просто загрузится в начальный live cd и там посмотреть сможет ли эта утилита отобразить смарт
в общем минт не смог побороть видеокарту на этом сервере
я вытащил флэшку, перезагрузил и трындец, пишет:

Код: [Выделить]

Asking for cache data failedпо каждому из дисков массива
загружается в каком-то защищенном режиме
lsblk не отображет строчку md, короче каждый диск отдельно
попытка собрать массив выдает:

Код: [Выделить]

unable to read superblock md0

[AnrDaemon]

mdadm --examine /device
для каждого компонента.

[shkiper-dv]

в общем вооружившись маном по mdadm на http://xgu.ru/wiki/ я массив поднял с сохранением данных

вот mdadm --examine по каждому диску

(Нажмите, чтобы показать/скрыть)

sudo mdadm --examine /dev/sda1
/dev/sda1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : 38de392d:52b1b0ea:6a019b6d:9cc7d34e
           Name : zipserver:0  (local to host zipserver)
  Creation Time : Thu Nov 12 18:23:47 2015
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 3906723840 (1862.87 GiB 2000.24 GB)
     Array Size : 5860085760 (5588.61 GiB 6000.73 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
   Unused Space : before=262056 sectors, after=0 sectors
          State : clean
    Device UUID : e7efc566:7c07f185:8b0ea3b5:218a1e82

Internal Bitmap : 8 sectors from superblock
    Update Time : Thu Nov 26 12:10:45 2015
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : f934dc67 - correct
         Events : 135949

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)

(Нажмите, чтобы показать/скрыть)

sudo mdadm --examine /dev/sdb1
/dev/sdb1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x3
     Array UUID : 38de392d:52b1b0ea:6a019b6d:9cc7d34e
           Name : zipserver:0  (local to host zipserver)
  Creation Time : Thu Nov 12 18:23:47 2015
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 3906725888 (1862.87 GiB 2000.24 GB)
     Array Size : 5860085760 (5588.61 GiB 6000.73 GB)
  Used Dev Size : 3906723840 (1862.87 GiB 2000.24 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
Recovery Offset : 3501074384 sectors
   Unused Space : before=262056 sectors, after=2048 sectors
          State : clean
    Device UUID : 622f39ec:928bcbe6:ed1706a9:3685fba9

Internal Bitmap : 8 sectors from superblock
    Update Time : Thu Nov 26 12:14:16 2015
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : cb70d545 - correct
         Events : 135991

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)

(Нажмите, чтобы показать/скрыть)

sudo mdadm --examine /dev/sdc1
/dev/sdc1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : 38de392d:52b1b0ea:6a019b6d:9cc7d34e
           Name : zipserver:0  (local to host zipserver)
  Creation Time : Thu Nov 12 18:23:47 2015
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 3906723840 (1862.87 GiB 2000.24 GB)
     Array Size : 5860085760 (5588.61 GiB 6000.73 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
   Unused Space : before=262056 sectors, after=0 sectors
          State : clean
    Device UUID : 881a8a59:29aa811f:178064d3:fadd871f

Internal Bitmap : 8 sectors from superblock
    Update Time : Thu Nov 26 12:17:11 2015
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 40b470ec - correct
         Events : 136027

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 2
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)

(Нажмите, чтобы показать/скрыть)

sudo mdadm --examine /dev/sdd1
/dev/sdd1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x9
     Array UUID : 38de392d:52b1b0ea:6a019b6d:9cc7d34e
           Name : zipserver:0  (local to host zipserver)
  Creation Time : Thu Nov 12 18:23:47 2015
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 3906725888 (1862.87 GiB 2000.24 GB)
     Array Size : 5860085760 (5588.61 GiB 6000.73 GB)
  Used Dev Size : 3906723840 (1862.87 GiB 2000.24 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
   Unused Space : before=262056 sectors, after=2048 sectors
          State : clean
    Device UUID : a3b7cfd6:41386d99:3b6208ec:5907d712

Internal Bitmap : 8 sectors from superblock
    Update Time : Thu Nov 26 12:17:57 2015
  Bad Block Log : 512 entries available at offset 72 sectors - bad blocks present.
       Checksum : 43d8afe4 - correct
         Events : 136036

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 3
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)

sdb1 синхронизируется
на sdd1 есть бэдблоки (в смарте 7 бэдблоков и в строчке ожидающих перераспределения тоже 7, проверку с лечением не делал -вылетит, заменю, контроллер хороший - когда диск вылетает, громко кричит)
еще посмотрел бэдблоки на sdd1 другим способом

Код: [Выделить]

sudo cat /sys/block/md0/md/dev-sdd1/bad_blocks
3906945216 128
буду мониторить
на еще одном в смарте растет кол-во событий "подъема головки выше нормы"
(все - "новые", 2-х летние, сигейты не люблю я их теперь, совсем)
я все диски поподключал  к другому компу, посмотрел смарт

[AnrDaemon]

Если по смарту висят бэды в uncorrectable, запускай сурфейс тест, ищи их и долби dd'ом.
Должны перераспределиться, если только область релокации не вся забита.

А что поднял массив - умничка.