Диски тормозят. Но не все.

[Elias292]

Хм... Внезапно. Чо заметил.
Есть сервер, ну типа, домашний. В нем 4 диска в zfs raidz и отдельно диск с системой.
три давно у меня. WD красный и два синих
Два недавно. WD фиолетовые.

Те что у меня давно - тормозят.
atop -d
показывает что эти три диска заняты на 100%
два новых заняты на 50%

iostat -xm 2
показывает примерно так же.

И какая-то диагностическая утилитка (munin) показывает, что система на 25 % занимается IOWAIT, что не должно быть... Я уверен.

Соответственно при копировании на рейд, оно все тормозит, я подозреваю, что именно из-за этих тормознутых дисков.

Когда-то давно, года три назад, я чета с этими дисками делал. С тормознутыми.
Была какая-то рекомендация от WD что-то обновить или отключить.
От тех времен, единственное, что помню команду:
 idle3ctl -d /dev/sdd

Может кто знает, что можно сделать с дисками, чтобы работали.
Ибо... Рейд щас пишет со скоростью около 30 МБайт в екунду.
Хотя Когда я сделал рейд только на новых дисках, скорость была 200МБ в секунду.

Что я такого наворотил с ними?
Дело не в zfs ибо в ней два диска работают нормально, а два - нет.
Какая-то настройки... И не в биосе. Ибо я их местами менял.

Систему я обновлял с тех пор, сейчас Ubuntu 21.04
начиналось все с 16.04

PS
Я подозреваю, что может дело не в самих дисках, а так совпало, и тормозят диски sda sdb sdf
а sdc и  sdd - работают нормально...

[Elias292]

Хм...

Ну ладно...

Тогда по другому спрошу: как ускорить работу файловой системы ?
А то в интернете, в основном пишут, что udma надо на /dev/hda включать.
Что уже не актуально.

[БТР]

Те что у меня давно - тормозят.

smartstatus смотрели? На bad блоки проверяли? Сколько занято пространства и инодов использовано?
zfs - не родная ФС для Linux.

[Elias292]

smartstatus - это что ?
Мои сервера про это не знают.

диски снимал смотрел в винде crystaldiskinfo показывает все зеленое.

zfs это недавно...
До этого mdadm был. Рейд.
тоже подтормаживал.

[ALiEN]

Код: [Выделить]

df -h

[Elias292]

Код: [Выделить]

root@eforest:/home/tal# df -h
Filesystem         Size  Used Avail Use% Mounted on
tmpfs              4.8G  6.0M  4.8G   1% /run
/dev/sda5           30G  9.8G   18G  36% /
tmpfs               24G  594M   23G   3% /dev/shm
tmpfs              5.0M  4.0K  5.0M   1% /run/lock
/dev/sda1          205M  154M   41M  80% /boot
tmpfs               33G     0   33G   0% /run/shm
/dev/sda7           30G   22G  6.7G  76% /var
/dev/sda6          569G  366G  198G  65% /home
pool0/ARCHIVE      3.4T  2.7T  658G  81% /home/ARCHIVE
pool0              667G  9.8G  658G   2% /pool0
pool0/zoneminder   2.0T  1.8T  213G  90% /home/LINUX/zoneminder
pool0/DB           674G   16G  658G   3% /pool0/DB
//10.1.0.141/tal   115G   51G   64G  45% /mnt/SMB/10.1.0.141
tmpfs              4.8G   12K  4.8G   1% /run/user/1000


[ALiEN]

Код: [Выделить]

pool0/ARCHIVE      3.4T  2.7T  658G  81% /home/ARCHIVE
pool0/zoneminder   2.0T  1.8T  213G  90% /home/LINUX/zoneminder

Пишут, что при большой заполненности пула сильно падает производительность.

[Elias292]

Это было 9 years ago

Самый прикол...
У меня всего 4 диска, на работе стоит сервер, там 24 диска, Windows и гораздо более слабый проц.
И оно - работает!

Абидна слушай да ?

[Elias292]

root@eforest:/pool0# date; time dd if=/dev/zero of=TEST.iso count=10000 bs=1M ; date
Sat May 28 03:07:55 PM MSK 2022
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB, 9.8 GiB) copied, 58.1288 s, 180 MB/s

real    0m58.194s
user    0m0.042s
sys     0m8.302s
Sat May 28 03:08:53 PM MSK 2022

root@eforest:/pool0# time dd if=TEST.iso of=/dev/zero bs=1M
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB, 9.8 GiB) copied, 10.2539 s, 1.0 GB/s

real    0m10.256s
user    0m0.016s
sys     0m5.758s
root@eforest:/pool0#


Вот как это понимать?
Раньше больше 3МБ не поднималась скорость.

Хотя, я вынес логи и кеш на ssd.
Пользователь добавил сообщение 28 Мая 2022, 15:28:10:А вот без кеша.

root@eforest:/pool0# date; time dd if=/dev/zero of=TEST.iso count=10000 bs=1M ; date
Sat May 28 03:19:12 PM MSK 2022
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB, 9.8 GiB) copied, 426.137 s, 24.6 MB/s

real    7m6.166s
user    0m0.065s
sys     0m12.450s
Sat May 28 03:26:18 PM MSK 2022
root@eforest:/pool0# time dd if=TEST.iso of=/dev/zero bs=1M
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB, 9.8 GiB) copied, 4.67427 s, 2.2 GB/s

real    0m4.676s
user    0m0.004s
sys     0m4.382s

[Elias292]

Короче
Есть диск.

WDC WD20PURX-64P

Он работает некоторое время...
Потом падает производительность, и скорость чтения с него падает до 1МБ в секунду.

Без ошибок чтения, и с нормальной информацией в SMART таблице.

И у меня 4 таких диска...
Интересненько