Проблема со скоростью записи на HDD

[Cancer]

Доброго времени суток!

Есть файловый сервак под управлением Ubuntu Server 10.04
рейд контроллер Intel® RAID Controller RS2WC040 и 4 HDD по 2 тб (TOSHIBA  MK2001TRKB). собран RAID 10
Проблема такая просидает винт при записи файлов больше 2 Гб
Вот тест чтения с рейда.

Код: [Выделить]

root@dataserv:/hdd0/HomeFolders# hdparm -tT /dev/sda

/dev/sda:
 Timing cached reads:   23986 MB in  2.00 seconds = 12007.79 MB/sec
 Timing buffered disk reads:  184 MB in  3.02 seconds =  60.93 MB/sec
Вот скорость при создании файла размером 1Гб

Код: [Выделить]

root@dataserv:/hdd0/HomeFolders# dd if=/dev/zero of=/usr/SCRIPTS/swapfile.bin bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 0.513221 s, 2.1 GB/s

Код: [Выделить]

root@dataserv:/hdd0/HomeFolders# dd if=/dev/zero of=/usr/SCRIPTS/swapfile.bin1 bs=1M count=2048
2048+0 records in
2048+0 records out
2147483648 bytes (2.1 GB) copied, 1.03442 s, 2.1 GB/s

А вот и проблема

Код: [Выделить]

root@dataserv:/hdd0/HomeFolders# dd if=/dev/zero of=/usr/SCRIPTS/swapfile3 bs=1M count=3000
3000+0 records in
3000+0 records out
3145728000 bytes (3.1 GB) copied, 176.357 s, 17.8 MB/s
А вот еще больше

Код: [Выделить]

root@dataserv:/hdd0/HomeFolders# dd if=/dev/zero of=/usr/SCRIPTS/swapfile bs=1M count=10240
10240+0 records in
10240+0 records out
10737418240 bytes (11 GB) copied, 874.35 s, 12.3 MB/s

[ArcFi]

Была похожая проблема с аналогичным контроллером.
Обновил прошивку контроллера, сбросил конфиг.
Обновил биос на сервере.
Пока, вроде, нормально.

[Cancer]

Спасибо! У меня изначально была проблема с тем что куллера крутили на максимум. Биос прошил все нормально стало с куллерами. сегодня попробую прошить рейд контроллер, вроде вот прошивка http://downloadcenter.intel.com/Detail_Desc.aspx?agr=Y&DwnldID=21725&ProdId=3216&lang=rus&OSVersion=%D0%A3%D0%BD%D0%B8%D0%B2%D0%B5%D1%80%D1%81%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5&DownloadType=%D0%92%D1%81%D1%82%D1%80%D0%BE%D0%B5%D0%BD%D0%BD%D0%BE%D0%BE%D0%B5%20%D0%9F%D0%9E&OSVersion=%D0%A3%D0%BD%D0%B8%D0%B2%D0%B5%D1%80%D1%81%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5&DownloadType=%D0%92%D1%81%D1%82%D1%80%D0%BE%D0%B5%D0%BD%D0%BD%D0%BE%D0%BE%D0%B5%20%D0%9F%D0%9E

[Cancer]

Была похожая проблема с аналогичным контроллером.
Обновил прошивку контроллера, сбросил конфиг.
Обновил биос на сервере.
Пока, вроде, нормально.

Прошил контроллер на последнюю прошивку, нифига не помогло.
В инструкции увидел вот что.
==========
Attention!
==========
Intel recommends to loading Factory Default setting after the firmware upgrade which will not affect data on any existing array. To do so:
1. Reboot the system and login to the RAID BIOS Console.
2. Select the controller and select 'Adapter Properties'->'Next'
3. Set the 'Set Factory Defaults' setting to 'Yes' and submit the change.
4. Reboot the system (the default settings are applied).
5. Re-configure to the desired settings in RAID Web Console2.

Если я сделаю Set Factory Defaults мне рейд снова нужно будет собирать ?
Сервак просто уже с важной информацией.

Ты когда сбрасывал конфиг, я так понял ты делал Set Factory Defaults ?
Тебе не пришлось снова рейд собирать?

[ArcFi]

Да, сделал. Данные не пострадали.

Intel recommends to loading Factory Default setting after the firmware upgrade which will not affect data on any existing array.

Кстати, там кэши по дефолту выключены были — включил.
И режим записи поменял с write-through на write-back.
Сейчас точно не скажу, но для этого, вроде, надо пересоздавать массив.
Ещё было что-то типа размера блока (stripe size) — оставил по умолчанию.

[Cancer]

Да, сделал. Данные не пострадали.

Intel recommends to loading Factory Default setting after the firmware upgrade which will not affect data on any existing array.

Кстати, там кэши по дефолту выключены были — включил.
И режим записи поменял с write-through на write-back.
Сейчас точно не скажу, но для этого, вроде, надо пересоздавать массив.
Ещё было что-то типа размера блока — оставил по умолчанию.

DISK CAСHE только что включил, посмотрю поможет или нет, а вот write-through только он и параметра write-back нет =(

[ArcFi]

а вот write-through только он и параметра write-back нет =(

Некоторые параметры можно менять лишь на этапе создания массива.
Либо это из-за разницы моделей контроллеров.

[Cancer]

Код: [Выделить]

root@dataserv:~# dd if=/dev/zero of=/usr/SCRIPTS/swapfile bs=1M count=5000
5000+0 records in
5000+0 records out
5242880000 bytes (5.2 GB) copied, 201.045 s, 26.1 MB/s
Сейчас попробую 10 гб создать
Пользователь решил продолжить мысль 22 Сентября 2012, 14:31:41:Кстати ты кеши включал на каждом из устройств или только на рейде уже созданном ?
Пользователь решил продолжить мысль 22 Сентября 2012, 14:38:13:А вот и 10гб, почти ничего не изменилось!

Код: [Выделить]

root@dataserv:~# dd if=/dev/zero of=/usr/SCRIPTS/swapfile bs=1M count=10240
10240+0 records in
10240+0 records out
10737418240 bytes (11 GB) copied, 632.458 s, 17.0 MB/s

[ArcFi]

Сервак: RAMEC Tornado
Контроллер и прошивка: и ir3_1078SASHWR_Firmware_v11.0.1-0036
Дистрибутив: Fedora-17
Файловая система: ext4@lvm

Тест на 4 SATA-харда по 500 GB в RAID-10:

# dd if=/dev/zero of=/tmp/zero bs=1G count=20
20+0 записей считано
20+0 записей написано
 скопировано 21474836480 байт (21 GB), 162,185 c, 132 MB/c

Кстати ты кеши включал на каждом из устройств или только на рейде уже созданном ?

Вроде, там при создании массива можно включить дисковый кэш и кэширование вообще.
Я включал оба.

[Cancer]

Мда, пипец просто =)

Код: [Выделить]

# dd if=/dev/zero of=/tmp/zero bs=1G count=20
20+0 records in
20+0 records out
21474836480 bytes (21 GB) copied, 1257.5 s, 17.1 MB/s

[ArcFi]

Тест на 2 SATA-харда (харды обычные, не серверные) по 2 TB в RAID-1, GPT, 1 раздел ext4:

# dd if=/dev/zero of=/mnt/data/zero bs=1G count=10
10+0 записей считано
10+0 записей написано
 скопировано 10737418240 байт (11 GB), 371,62 c, 28,9 MB/c

Сервер, контроллер и система те же.

Скажем честно, результат не сильно лучше вашего. %)
Можно, конечно, сослаться на то, что харды не серверные.
Также, быть может, играет роль некая зависимость между объёмом харда и выжимаемой из него скоростью.
И не исключено, что это потолок производительности SATA хардов подобного размера.
А дальше добиваться роста скорости можно либо путём увеличения числа элементов в массиве, либо изменением типа массива, либо переходом на SAS...

С другой стороны, ваши 4 харда в RAID-10 по любому должны быть быстрее моих 2-х бюджетных в RAID-1.

[Karl500]

Для write-back нужно наличие батарейки в контроллере. Ели ее нет, то чаще всего доступно только write-through.

Дисковые кеши рекомендуется выключать, а общий - включать.

UPD: Проверил у себя:

# dd if=/dev/zero of=/mnt/zero bs=1G count=10
10+0 records in
10+0 records out
10737418240 bytes (11 GB) copied, 98,8411 s, 109 MB/s

Это RAID 6 на SAS'ах и Adaptec'овском контроллере.

[ArcFi]

Для write-back нужно наличие батарейки в контроллере. Ели ее нет, то чаще всего доступно только write-through.

У меня там было write-back always и write-back with bbu only или как-то так.
Как-нибудь выберусь в серверную, устрою серваку вскрытие на предмет наличия батареи на контроллере. =)

Дисковые кеши рекомендуется выключать, а общий - включать.

Спасибо, примем к сведению.

А насчёт stripe-size есть какие-нибудь советы?

[Karl500]

Да, есть. Там довольно сложная формула (я ее запомнить никак не могу, и каждый раз гуглю), но в большинстве случаев при создании raid он автоматически выбирается правильно.

Ну и - без батарейки даже при наличии UPS не стоит выбирать write-back: очень уж опасно (если ж не так боязно - зачем тогда рейд?)

UPD: Вот, нашел хорошую статью про все параметры raid: http://download.intel.com/support/motherboards/server/sb/configuring_raid_for_optimal_perfromance_11.pdf

[ArcFi]

Karl500, благодарствую. ;-)