Очень медлено работают винты

[unwrecker]

Имеется одноюнитовый сервер HP Proliant Dl360 с аппаратным рейдом E200i с двумя зеркалами на оном: одно на SAS, другое на SATA.
Стоит Ubuntu 9.04 server

Когда копирую файлы, сначала скорость огромна (видимо,пока идёт работа с кешем), а потом падает ниже 30МБ/сек на SAS массиве и ниже 10МБ/сек на SATA.

Что с этим безобразием можно сделать?


hdparm устройство не воспринимает:

Код: [Выделить]

#sudo hdparm -i /dev/cciss/c0d0

/dev/cciss/c0d0:
 HDIO_GET_IDENTITY failed: Inappropriate ioctl for device

Ну вот ещё немного может быть полезной информации.

Код: [Выделить]

$ lsmod
Module                  Size  Used by
vboxnetadp            107564  0
vboxnetflt            114924  1
vboxdrv              1719564  2 vboxnetflt
nfsd                  285728  1
lockd                  83924  1 nfsd
nfs_acl                11776  1 nfsd
auth_rpcgss            52512  1 nfsd
sunrpc                227432  4 nfsd,lockd,nfs_acl,auth_rpcgss
exportfs               13440  1 nfsd
video                  29844  0
output                 11648  1 video
input_polldev          12688  0
lp                     19588  0
parport                49584  1 lp
iTCO_wdt               21712  0
iTCO_vendor_support    12420  1 iTCO_wdt
ipmi_si                52972  0
psmouse                64028  0
hpilo                  17680  0
i5000_edac             19216  0
edac_core              55360  3 i5000_edac
ipmi_msghandler        46584  1 ipmi_si
serio_raw              14468  0
shpchp                 44572  0
pcspkr                 11136  0
usbhid                 47040  0
bnx2                  191880  0
cciss                  99208  5
fbcon                  49792  0
tileblit               11264  1 fbcon
font                   17024  1 fbcon
bitblit                14464  1 fbcon
softcursor             10368  1 bitblit


Код: [Выделить]

$ lspci
00:00.0 Host bridge: Intel Corporation 5000P Chipset Memory Controller Hub (rev b1)
00:02.0 PCI bridge: Intel Corporation 5000 Series Chipset PCI Express x4 Port 2 (rev b1)
00:03.0 PCI bridge: Intel Corporation 5000 Series Chipset PCI Express x4 Port 3 (rev b1)
00:04.0 PCI bridge: Intel Corporation 5000 Series Chipset PCI Express x8 Port 4-5 (rev b1)
00:05.0 PCI bridge: Intel Corporation 5000 Series Chipset PCI Express x4 Port 5 (rev b1)
00:06.0 PCI bridge: Intel Corporation 5000 Series Chipset PCI Express x4 Port 6 (rev b1)
00:07.0 PCI bridge: Intel Corporation 5000 Series Chipset PCI Express x4 Port 7 (rev b1)
00:10.0 Host bridge: Intel Corporation 5000 Series Chipset FSB Registers (rev b1)
00:10.1 Host bridge: Intel Corporation 5000 Series Chipset FSB Registers (rev b1)
00:10.2 Host bridge: Intel Corporation 5000 Series Chipset FSB Registers (rev b1)
00:11.0 Host bridge: Intel Corporation 5000 Series Chipset Reserved Registers (rev b1)
00:13.0 Host bridge: Intel Corporation 5000 Series Chipset Reserved Registers (rev b1)
00:15.0 Host bridge: Intel Corporation 5000 Series Chipset FBD Registers (rev b1)
00:16.0 Host bridge: Intel Corporation 5000 Series Chipset FBD Registers (rev b1)
00:1d.0 USB Controller: Intel Corporation 631xESB/632xESB/3100 Chipset UHCI USB Controller #1 (rev 09)
00:1d.1 USB Controller: Intel Corporation 631xESB/632xESB/3100 Chipset UHCI USB Controller #2 (rev 09)
00:1d.2 USB Controller: Intel Corporation 631xESB/632xESB/3100 Chipset UHCI USB Controller #3 (rev 09)
00:1d.3 USB Controller: Intel Corporation 631xESB/632xESB/3100 Chipset UHCI USB Controller #4 (rev 09)
00:1d.7 USB Controller: Intel Corporation 631xESB/632xESB/3100 Chipset EHCI USB2 Controller (rev 09)
00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev d9)
00:1f.0 ISA bridge: Intel Corporation 631xESB/632xESB/3100 Chipset LPC Interface Controller (rev 09)
00:1f.1 IDE interface: Intel Corporation 631xESB/632xESB IDE Controller (rev 09)
01:03.0 VGA compatible controller: ATI Technologies Inc ES1000 (rev 02)
01:04.0 System peripheral: Compaq Computer Corporation Integrated Lights Out Controller (rev 03)
01:04.2 System peripheral: Compaq Computer Corporation Integrated Lights Out  Processor (rev 03)
01:04.4 USB Controller: Hewlett-Packard Company Proliant iLO2 virtual USB controller
01:04.6 IPMI SMIC interface: Hewlett-Packard Company Proliant iLO2 virtual UART
02:00.0 PCI bridge: Broadcom EPB PCI-Express to PCI-X Bridge (rev c3)
03:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5708 Gigabit Ethernet (rev 12)
04:00.0 PCI bridge: Broadcom EPB PCI-Express to PCI-X Bridge (rev c3)
05:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5708 Gigabit Ethernet (rev 12)
06:00.0 PCI bridge: Broadcom EPB PCI-Express to PCI-X Bridge (rev b4)
07:04.0 PCI bridge: Broadcom BCM5785 [HT1000] PCI/PCI-X Bridge (rev b2)
07:08.0 RAID bus controller: Hewlett-Packard Company Smart Array E200i (SAS Controller)
09:00.0 PCI bridge: Intel Corporation 6311ESB/6321ESB PCI Express Upstream Port (rev 01)
09:00.3 PCI bridge: Intel Corporation 6311ESB/6321ESB PCI Express to PCI-X Bridge (rev 01)
0a:00.0 PCI bridge: Intel Corporation 6311ESB/6321ESB PCI Express Downstream Port E1 (rev 01)
0a:01.0 PCI bridge: Intel Corporation 6311ESB/6321ESB PCI Express Downstream Port E2 (rev 01)
0a:02.0 PCI bridge: Intel Corporation 6311ESB/6321ESB PCI Express Downstream Port E3 (rev 01)
Пользователь решил продолжить мысль 17 Ноября 2009, 19:01:41:Вот со скоростью чтения всё нормально:

Код: [Выделить]

$ sudo dd if=/dev/cciss/c0d0 of=/dev/null bs=1M count=500
500+0 records in
500+0 records out
524288000 bytes (524 MB) copied, 2,34044 s, 224 MB/s

$ sudo dd if=/dev/cciss/c0d1 of=/dev/null bs=1M count=500
500+0 records in
500+0 records out
524288000 bytes (524 MB) copied, 5,69641 s, 92,0 MB/s

При бОльших объёмах скорость падает до 80МБ/сек, что тоже терпимо.

Скорость записи, понятное дело, я таким же образом проверить не могу
Пользователь решил продолжить мысль 17 Ноября 2009, 22:14:10:Нашел похожую проблему на англоязычном форуме: http://forums11.itrc.hp.com/service/forums/questionanswer.do?admit=109447626+1258496000417+28353475&threadId=1188496
Но там только про SATA, и перепрошивка всё равно не дала нормальной скорости.

[keha]

есть три общеизвестные причины падения скорости:
1) много файлов меньше 1мб;
2) большая фрагментированность жесткого диска;
3) бэды, которые система с запаздыванием обруливает.
Все остальное от лукавого

[Lifewalker]

есть три общеизвестные причины падения скорости:
1) много файлов меньше 1мб;
2) большая фрагментированность жесткого диска;
3) бэды, которые система с запаздыванием обруливает.

Подтверждаю, разве что с парой дополнений.
п.1. Скорее таки не меньше 1Мб, а меньше пяти-десяти блоков, то есть файлы в десятки килобайтов. Пока их соберёшь по диску - вечность проходит.
п.2. которая может быть следствием тучи причин. На десктопе самая распространённая причина дикой фрагментации - торренты. На сервере скорее всего - забитые под завязку диски. Когда места остаётся мало, а файлов создаётся-удаляется много, то фрагментация растёт как лавина.

[unwrecker]

Нет. Файлы большие (образы дисков), а места полно.

Код: [Выделить]

$ df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/cciss/c0d0p1      65G   37G   25G  60% /
tmpfs                 1,5G     0  1,5G   0% /lib/init/rw
varrun                1,5G  128K  1,5G   1% /var/run
varlock               1,5G     0  1,5G   0% /var/lock
udev                  1,5G  156K  1,5G   1% /dev
tmpfs                 1,5G     0  1,5G   0% /dev/shm
lrm                   1,5G  2,5M  1,5G   1% /lib/modules/2.6.28-16-server/volatile
/dev/cciss/c0d1p1     459G   84G  353G  20% /data



[keha]

а как у нас с охлаждением обстоит дело в серверной?
PS единственное решение которое я вижу - это смена ФС

[unwrecker]

а как у нас с охлаждением обстоит дело в серверной?
PS единственное решение которое я вижу - это смена ФС

Нормально там с охлаждением. Это крупный датацентр.
На SAS массиве ext3, на SATA: ext4. Очень сомневаюсь, что дело в этом.

Более чем уверен, что дело именно в убунтe, так как проблем с этим сервером у пользователей виндов в инете не встречал, а винды туда ставят скорее всего чаще.

[keha]

ext3 медленная отроду

[unwrecker]

ext3 медленная отроду

Ага. Процентов на 5-10 по сравнению с ext2. А у меня падение производительности на порядок.

[yurik11]

Кстати ты в тесте проверил скорость чтения диска, а не файла. Что это разные вещи объяснять не стоит. Для эсперимента можно создать копию одного из файлов в подкаталоге на том же диске. Если файл получен с торента эта копия нередко читается на порядок быстрее. Здесь вряд ли, но можно проверить.

[unwrecker]

Вот наблюдения по скорости копирования файлов.

1. Кэш рулит конечно: 2,6 GB/s на откешированном файле Но это пока тоже просто чтение.

Код: [Выделить]

$dd if=offtopic-ru.iso of=/dev/null bs=1M count=500
500+0 records in
500+0 records out
524288000 bytes (524 MB) copied, 5,71312 s, 91,8 MB/s

$ dd if=offtopic-ru.iso of=/dev/null bs=1M
690+1 records in
690+1 records out
723976192 bytes (724 MB) copied, 2,58493 s, 280 MB/s

r$ dd if=offtopic-ru.iso of=/dev/null bs=1M
690+1 records in
690+1 records out
723976192 bytes (724 MB) copied, 1,05833 s, 684 MB/s

$ dd if=offtopic-ru.iso of=/dev/null bs=1M
690+1 records in
690+1 records out
723976192 bytes (724 MB) copied, 0,2766 s, 2,6 GB/s

$ dd if=offtopic-ru.iso of=/dev/null bs=1M
690+1 records in
690+1 records out
723976192 bytes (724 MB) copied, 0,282363 s, 2,6 GB/s



А вот и запись. Правда печально? Причём исходный файл тот же самый и замечательно откешированный

Код: [Выделить]

$ dd if=offtopic-ru.iso of=../temp/temp.iso bs=1M
690+1 records in
690+1 records out
723976192 bytes (724 MB) copied, 56,4026 s, 12,8 MB/s

$ dd if=offtopic-ru.iso of=../temp/temp.iso bs=1M
690+1 records in
690+1 records out
723976192 bytes (724 MB) copied, 77,7676 s, 9,3 MB/s

Что бы уж совсем отмести подозрения в фрагментированности исходного файла, ещё заход с копией файла из предыдущего теста:

Код: [Выделить]

$ dd if=temp.iso of=temp2.iso
1414016+0 records in
1414016+0 records out
723976192 bytes (724 MB) copied, 63,6974 s, 11,4 MB/s

$ dd if=temp.iso of=temp2.iso
1414016+0 records in
1414016+0 records out
723976192 bytes (724 MB) copied, 85,7151 s, 8,4 MB/s



Ещё идеи?

[yurik11]

Тест скорости чтения-записи диска

Код: [Выделить]

sudo dd if=/dev/sda of=~/sda count=100 bs=1M

[unwrecker]

Код: [Выделить]

$ sudo dd if=/dev/cciss/c0d1p1 of=dump count=100 bs=1M
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 9,23567 s, 11,4 MB/s

$ sudo dd if=/dev/cciss/c0d1p1 of=dump count=100 bs=1M
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 15,8816 s, 6,6 MB/s



[keha]

еще может быть проблема с взаимодействием убунты с системной логикой сервака. Точно знаю, что на атишной логике (ну до поглощения AMD такая была) Ubuntu очень медленно работает.

[unwrecker]

Там интеловская логика, и этот сервер сертифицирован под Ubuntu (или наоборот)

[keha]

unwrecker - итого, что имеем? железо исправное, Ubuntu обычная, ФС стандартная. Но при этом тормозит. Явный тупик
Однако для работы с винтами в убунте используется "прослойка" - драйвера. Может проблема в этой драйверной "прослойке"? Так как драйвера идут вместе с ядром приходит на ум идея замены ядра. Попробуйте стороннюю сборку ядра.