После обновления до 12.04 поднялся LA

[The ustas]

Всем привет.

После обновления с Ubuntu Server 11.10 на 12.04 подскочил в разы load average, даже в не загруженном состояние поднимается до 2.00.

На данный момент ситуация такая

Код: [Выделить]


top - 15:38:54 up 10:37,  2 users,  load average: 1.67, 2.01, 2.04
Tasks: 127 total,   7 running, 120 sleeping,   0 stopped,   0 zombie
Cpu(s): 15.9%us,  0.9%sy,  0.0%ni, 83.0%id,  0.1%wa,  0.0%hi,  0.1%si,  0.0%st
Mem:   8168016k total,  3940584k used,  4227432k free,   271944k buffers
Swap:  8376316k total,        0k used,  8376316k free,  2223020k cached

До обновления LA не подымался выше 0.05.
На графике это видно.


Подскажите пожалуйста что и где копать.

Спасибо.

[1eo]

А что, top или htop не показывают какой именно процесс грузит камни?

[terix]

Вопрос не по теме.
Какой командой обновлял?

[The ustas]

Так там нет таких процессов которые могут стока зажирать, но всё же выкладываю top и htop

Код: [Выделить]


top - 18:52:42 up 13:51,  2 users,  load average: 1.49, 1.88, 2.02
Tasks: 128 total,   4 running, 124 sleeping,   0 stopped,   0 zombie
Cpu0  : 23.9%us,  1.0%sy,  0.0%ni, 74.2%id,  0.1%wa,  0.0%hi,  0.7%si,  0.0%st
Cpu1  : 19.4%us,  0.7%sy,  0.0%ni, 79.8%id,  0.0%wa,  0.0%hi,  0.1%si,  0.0%st
Cpu2  : 22.8%us,  1.1%sy,  0.0%ni, 76.0%id,  0.1%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu3  : 18.4%us,  0.7%sy,  0.0%ni, 80.7%id,  0.0%wa,  0.0%hi,  0.2%si,  0.0%st
Cpu4  : 22.8%us,  1.1%sy,  0.0%ni, 76.1%id,  0.1%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu5  : 18.6%us,  0.7%sy,  0.0%ni, 80.5%id,  0.0%wa,  0.0%hi,  0.2%si,  0.0%st
Cpu6  : 22.7%us,  1.1%sy,  0.0%ni, 75.7%id,  0.5%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu7  : 18.4%us,  0.7%sy,  0.0%ni, 80.7%id,  0.0%wa,  0.0%hi,  0.2%si,  0.0%st
Mem:   8168016k total,  4125192k used,  4042824k free,   287988k buffers
Swap:  8376316k total,        0k used,  8376316k free,  2301856k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 2661 games     20   0  418m 261m  24m R   67  3.3 379:34.12 srcds_linux
 2787 games     20   0  396m 225m  24m R   64  2.8 213:58.14 srcds_linux
14979 games     20   0  457m 268m  26m R   64  3.4 130:41.09 srcds_linux
 2745 games     20   0  402m 248m  24m S   57  3.1 256:01.49 srcds_linux
 2907 games     20   0  387m 227m  24m S   56  2.9 399:20.12 srcds_linux
  570 root      39  19     0    0    0 S    1  0.0   0:48.06 kipmi0
 1104 root      20   0  7392  676  548 S    1  0.0   0:02.05 vnstatd
    1 root      20   0 24280 2296 1372 S    0  0.0   0:01.25 init
    2 root      20   0     0    0    0 S    0  0.0   0:00.00 kthreadd
    3 root      20   0     0    0    0 S    0  0.0   0:00.35 ksoftirqd/0
    6 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/0
    7 root      RT   0     0    0    0 S    0  0.0   0:00.10 watchdog/0
    8 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/1
   10 root      20   0     0    0    0 S    0  0.0   0:00.07 ksoftirqd/1
   12 root      RT   0     0    0    0 S    0  0.0   0:00.10 watchdog/1
   13 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/2
   14 root      20   0     0    0    0 S    0  0.0   0:23.70 kworker/2:0
   15 root      20   0     0    0    0 S    0  0.0   0:00.13 ksoftirqd/2
   16 root      RT   0     0    0    0 S    0  0.0   0:00.10 watchdog/2
   17 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/3
   18 root      20   0     0    0    0 S    0  0.0   0:00.73 kworker/3:0
   19 root      20   0     0    0    0 S    0  0.0   0:00.05 ksoftirqd/3
   20 root      RT   0     0    0    0 S    0  0.0   0:00.10 watchdog/3
   21 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/4
   22 root      20   0     0    0    0 S    0  0.0   0:28.42 kworker/4:0
   23 root      20   0     0    0    0 S    0  0.0   0:00.13 ksoftirqd/4
   24 root      RT   0     0    0    0 S    0  0.0   0:00.08 watchdog/4
   25 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/5
   26 root      20   0     0    0    0 S    0  0.0   0:00.32 kworker/5:0
   27 root      20   0     0    0    0 S    0  0.0   0:00.05 ksoftirqd/5
   28 root      RT   0     0    0    0 S    0  0.0   0:00.09 watchdog/5
   29 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/6
   30 root      20   0     0    0    0 S    0  0.0   0:20.89 kworker/6:0
   31 root      20   0     0    0    0 S    0  0.0   0:00.16 ksoftirqd/6
   32 root      RT   0     0    0    0 S    0  0.0   0:00.08 watchdog/6
   33 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/7
   34 root      20   0     0    0    0 S    0  0.0   0:18.56 kworker/7:0
   35 root      20   0     0    0    0 S    0  0.0   0:00.05 ksoftirqd/7
   36 root      RT   0     0    0    0 S    0  0.0   0:00.09 watchdog/7
   37 root       0 -20     0    0    0 S    0  0.0   0:00.00 cpuset
   38 root       0 -20     0    0    0 S    0  0.0   0:00.00 khelper
   39 root      20   0     0    0    0 S    0  0.0   0:00.00 kdevtmpfs
   40 root       0 -20     0    0    0 S    0  0.0   0:00.00 netns
   42 root      20   0     0    0    0 S    0  0.0   0:00.06 sync_supers
   43 root      20   0     0    0    0 S    0  0.0   0:00.00 bdi-default
   44 root       0 -20     0    0    0 S    0  0.0   0:00.00 kintegrityd


PS: Процессы под названием srcds это игровые сервера, даже при полной их нагрузки до апдейта LA не подскакивал.

PSS: Обновлял командой do-release-upgrade

[terix]

PSS: Обновлял командой do-release-upgrade

опцию -d использовал?

[The ustas]

PSS: Обновлял командой do-release-upgrade

опцию -d использовал?

Нет, написал просто do-release-upgrade, но обновление и очередной ребут прошел без ошибок.

[1eo]

2661 games     20   0  418m 261m  24m R   67  3.3 379:34.12 srcds_linux
 2787 games     20   0  396m 225m  24m R   64  2.8 213:58.14 srcds_linux
14979 games     20   0  457m 268m  26m R   64  3.4 130:41.09 srcds_linux
 2745 games     20   0  402m 248m  24m S   57  3.1 256:01.49 srcds_linux
--------------------
Это одна игра или несколько? Если несколько, то нельзя процессы остановить на пару\пять минут (гуманно, типа service [имя] stop), чтобы определить виновника?
Кстати df - h или pydf помогут понять, не переполнился ли какой-нибудь из разделов (особенно - логами, /var/log).

[The ustas]

2661 games     20   0  418m 261m  24m R   67  3.3 379:34.12 srcds_linux
 2787 games     20   0  396m 225m  24m R   64  2.8 213:58.14 srcds_linux
14979 games     20   0  457m 268m  26m R   64  3.4 130:41.09 srcds_linux
 2745 games     20   0  402m 248m  24m S   57  3.1 256:01.49 srcds_linux
--------------------
Это одна игра или несколько? Если несколько, то нельзя процессы остановить на пару\пять минут (гуманно, типа service [имя] stop), чтобы определить виновника?
Кстати df - h или pydf помогут понять, не переполнился ли какой-нибудь из разделов (особенно - логами, /var/log).

Игровых процессов несколько и стопарнуть их получится в любом случае ночью, так как сейчас они используются.
Как я и писал без них LA почти такой же что и с ними, на графике это видно.
Команда df -h

Код: [Выделить]

df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/md0        458G   48G  388G  11% /
udev            3.9G  4.0K  3.9G   1% /dev
tmpfs           1.6G  300K  1.6G   1% /run
none            5.0M     0  5.0M   0% /run/lock
none            3.9G     0  3.9G   0% /run/shm


[1eo]

Непонятненько. Завтра гляну, чем закончились Ваши поиски грузящего процесса. Надеюсь, что это не связано с raid-массивом.

[The ustas]

Да нет, врятли это связано с рейд масивом, тут дело в чём то другом.
Пользователь решил продолжить мысль 12 Мая 2012, 07:33:08:Убил все игровые сервера, но как и говорил результат сильно не изменился

Код: [Выделить]


top - 06:05:43 up 1 day,  1:04,  3 users,  load average: 0.36, 0.65, 0.81
Tasks: 120 total,   1 running, 119 sleeping,   0 stopped,   0 zombie
Cpu0  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu1  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu2  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu3  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu4  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu5  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu6  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu7  :  0.8%us,  0.0%sy,  0.0%ni, 99.2%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   8168016k total,  7968844k used,   199172k free,   200876k buffers
Swap:  8376316k total,        0k used,  8376316k free,  7296612k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
   30 root      20   0     0    0    0 S    1  0.0   0:38.53 kworker/6:0
  570 root      39  19     0    0    0 S    1  0.0   1:26.86 kipmi0
31300 ustas     20   0 89320 1972 1008 S    1  0.0   0:00.09 sshd
    1 root      20   0 24280 2192 1268 S    0  0.0   0:01.29 init
    2 root      20   0     0    0    0 S    0  0.0   0:00.00 kthreadd
    3 root      20   0     0    0    0 S    0  0.0   0:00.72 ksoftirqd/0
    6 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/0
    7 root      RT   0     0    0    0 S    0  0.0   0:00.20 watchdog/0
    8 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/1
   10 root      20   0     0    0    0 S    0  0.0   0:00.10 ksoftirqd/1
   12 root      RT   0     0    0    0 S    0  0.0   0:00.18 watchdog/1
   13 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/2
   14 root      20   0     0    0    0 S    0  0.0   0:48.44 kworker/2:0
   15 root      20   0     0    0    0 S    0  0.0   0:00.22 ksoftirqd/2
   16 root      RT   0     0    0    0 S    0  0.0   0:00.18 watchdog/2
   17 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/3
   18 root      20   0     0    0    0 S    0  0.0   0:09.64 kworker/3:0
   19 root      20   0     0    0    0 S    0  0.0   0:00.09 ksoftirqd/3
   20 root      RT   0     0    0    0 S    0  0.0   0:00.18 watchdog/3
   21 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/4
   22 root      20   0     0    0    0 S    0  0.0   0:36.77 kworker/4:0
   23 root      20   0     0    0    0 S    0  0.0   0:00.22 ksoftirqd/4
   24 root      RT   0     0    0    0 S    0  0.0   0:00.16 watchdog/4
   25 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/5
   26 root      20   0     0    0    0 S    0  0.0   0:19.73 kworker/5:0
   27 root      20   0     0    0    0 S    0  0.0   0:00.08 ksoftirqd/5
   28 root      RT   0     0    0    0 S    0  0.0   0:00.16 watchdog/5
   29 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/6
   31 root      20   0     0    0    0 S    0  0.0   0:00.56 ksoftirqd/6
   32 root      RT   0     0    0    0 S    0  0.0   0:00.15 watchdog/6
   33 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/7
   34 root      20   0     0    0    0 S    0  0.0   0:34.49 kworker/7:0
   35 root      20   0     0    0    0 S    0  0.0   0:00.09 ksoftirqd/7
   36 root      RT   0     0    0    0 S    0  0.0   0:00.16 watchdog/7
   37 root       0 -20     0    0    0 S    0  0.0   0:00.00 cpuset
   38 root       0 -20     0    0    0 S    0  0.0   0:00.00 khelper
   39 root      20   0     0    0    0 S    0  0.0   0:00.00 kdevtmpfs
   40 root       0 -20     0    0    0 S    0  0.0   0:00.00 netns
   42 root      20   0     0    0    0 S    0  0.0   0:00.11 sync_supers
   43 root      20   0     0    0    0 S    0  0.0   0:00.00 bdi-default
   44 root       0 -20     0    0    0 S    0  0.0   0:00.00 kintegrityd
   45 root       0 -20     0    0    0 S    0  0.0   0:00.00 kblockd
   46 root       0 -20     0    0    0 S    0  0.0   0:00.00 ata_sff
   47 root      20   0     0    0    0 S    0  0.0   0:00.00 khubd
   48 root       0 -20     0    0    0 S    0  0.0   0:00.00 md
   50 root      20   0     0    0    0 S    0  0.0   0:00.02 khungtaskd

Вот результат после перезагрузки.

Код: [Выделить]


top - 06:21:48 up 11 min,  1 user,  load average: 0.31, 0.16, 0.08
Tasks: 117 total,   1 running, 116 sleeping,   0 stopped,   0 zombie
Cpu0  :  0.3%us,  0.0%sy,  0.0%ni, 99.7%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu1  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu2  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu3  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu4  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu5  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu6  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu7  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   8168016k total,   600636k used,  7567380k free,    52864k buffers
Swap:  8376316k total,        0k used,  8376316k free,   287724k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
  575 root      20   0     0    0    0 S    0  0.0   0:00.10 kworker/0:2
  633 root      39  19     0    0    0 S    0  0.0   0:00.74 kipmi0
 2263 root      20   0 17332 1300  960 R    0  0.0   0:00.02 top
    1 root      20   0 24324 2312 1372 S    0  0.0   0:01.24 init
    2 root      20   0     0    0    0 S    0  0.0   0:00.00 kthreadd
    3 root      20   0     0    0    0 S    0  0.0   0:00.00 ksoftirqd/0
    6 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/0
    7 root      RT   0     0    0    0 S    0  0.0   0:00.00 watchdog/0
    8 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/1
    9 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/1:0
   10 root      20   0     0    0    0 S    0  0.0   0:00.00 ksoftirqd/1
   12 root      RT   0     0    0    0 S    0  0.0   0:00.00 watchdog/1
   13 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/2
   14 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/2:0
   15 root      20   0     0    0    0 S    0  0.0   0:00.00 ksoftirqd/2
   16 root      RT   0     0    0    0 S    0  0.0   0:00.00 watchdog/2
   17 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/3
   18 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/3:0
   19 root      20   0     0    0    0 S    0  0.0   0:00.00 ksoftirqd/3
   20 root      RT   0     0    0    0 S    0  0.0   0:00.42 watchdog/3
   21 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/4
   22 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/4:0
   23 root      20   0     0    0    0 S    0  0.0   0:00.00 ksoftirqd/4
   24 root      RT   0     0    0    0 S    0  0.0   0:00.00 watchdog/4
   25 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/5
   26 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/5:0
   27 root      20   0     0    0    0 S    0  0.0   0:00.01 ksoftirqd/5
   28 root      RT   0     0    0    0 S    0  0.0   0:00.00 watchdog/5
   29 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/6
   30 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/6:0
   31 root      20   0     0    0    0 S    0  0.0   0:00.00 ksoftirqd/6
   32 root      RT   0     0    0    0 S    0  0.0   0:00.00 watchdog/6
   33 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/7
   34 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/7:0
   35 root      20   0     0    0    0 S    0  0.0   0:00.00 ksoftirqd/7
   36 root      RT   0     0    0    0 S    0  0.0   0:00.00 watchdog/7
   37 root       0 -20     0    0    0 S    0  0.0   0:00.00 cpuset
   38 root       0 -20     0    0    0 S    0  0.0   0:00.00 khelper
   39 root      20   0     0    0    0 S    0  0.0   0:00.00 kdevtmpfs
   40 root       0 -20     0    0    0 S    0  0.0   0:00.00 netns
   42 root      20   0     0    0    0 S    0  0.0   0:00.00 sync_supers
   43 root      20   0     0    0    0 S    0  0.0   0:00.00 bdi-default
   44 root       0 -20     0    0    0 S    0  0.0   0:00.00 kintegrityd
   45 root       0 -20     0    0    0 S    0  0.0   0:00.00 kblockd
   46 root       0 -20     0    0    0 S    0  0.0   0:00.00 ata_sff
   47 root      20   0     0    0    0 S    0  0.0   0:00.00 khubd

Почитал тут в инете что это баг ядра  3.2.0-24-generic.
https://bugs.launchpad.net/ubuntu/+source/linux/+bug/985661

[The ustas]

Вобщем решил я свою проблему путям запуска со старым ядром 3.0.0-19-server  теперь всй в ожуре load average: 0.00, 0.02, 0.05