Серак повис, ищу причину.

[MAGician]

Есть сервак: Linux version 2.6.27-7-server (buildd@palmer) (gcc version 4.3.2 (Ubuntu 4.3.2-1ubuntu11) ) #1 SMP Tue Nov 4 20:18:35 UTC 2008
Работал примерно месяц, и тут взял и повис, в логах нашел примерно следующее... подскажите из-за чего могло случиться такое?

И еще вопросик, висел 3 часа после чего сам перезагрузился, как можно уменьшить время которое он висит если такое повториться?

Код: [Выделить]

Feb 28 06:30:55 silly kernel: [2209702.697145] php-cgi[30357]: segfault at f ip 08095dc4 sp bf87b7c0 error 6<1>BUG: unable to handle kernel NULL pointer dereference at 0000004c
Feb 28 06:30:56 silly kernel: [2209702.697250] IP: [<c01cdf3e>] d_path+0x1e/0xc0
Feb 28 06:30:56 silly kernel: [2209702.697323] *pdpt = 0000000016920001 *pde = 0000000000000000
Feb 28 06:30:56 silly kernel: [2209702.697345] Oops: 0000 [#1] SMP
Feb 28 06:30:56 silly kernel: [2209702.697378] Modules linked in: usblp xt_TCPMSS xt_tcpmss xt_tcpudp pppoe pppox ppdev xt_state ipt_MASQUERADE ipt_LOG iptable_nat nf_nat nf_con
Feb 28 06:30:56 silly kernel: [2209702.697902]
Feb 28 06:30:56 silly kernel: [2209702.697929] Pid: 30357, comm: php-cgi Tainted: P          (2.6.27-7-server #1)
Feb 28 06:30:56 silly kernel: [2209702.697975] EIP: 0060:[<c01cdf3e>] EFLAGS: 00210246 CPU: 0
Feb 28 06:30:56 silly kernel: [2209702.698013] EIP is at d_path+0x1e/0xc0
Feb 28 06:30:56 silly kernel: [2209702.698041] EAX: 00000000 EBX: c9dbf000 ECX: 00001000 EDX: c0054000
Feb 28 06:30:56 silly kernel: [2209702.698075] ESI: c9dbf008 EDI: 00001000 EBP: c45f5e34 ESP: c45f5e0c
Feb 28 06:30:56 silly kernel: [2209702.698108]  DS: 007b ES: 007b FS: 00d8 GS: 0033 SS: 0068
Feb 28 06:30:56 silly kernel: [2209702.698140] Process php-cgi (pid: 30357, ti=c45f4000 task=cc5b9920 task.ti=c45f4000)
Feb 28 06:30:56 silly kernel: [2209702.698176] Stack: c04a7904 325b0000 c0054000 362e3230 c9dbf000 c594eb00 c45f5fb8 c9dbf000
Feb 28 06:30:56 silly kernel: [2209702.698253]        c594eb00 c0054000 c45f5e60 c019b795 c45f5e58 c0259dca 08095dc4 00007695
Feb 28 06:30:56 silly kernel: [2209702.698329]        c45f5fb8 c043200a 08095dc4 00007695 c45f5fb8 c45f5fb0 c038eb0c c04349f4
Feb 28 06:30:56 silly kernel: [2209702.698406] Call Trace:
Feb 28 06:30:56 silly kernel: [2209702.698440]  [<c019b795>] ? print_vma_addr+0x95/0xf0
Feb 28 06:30:56 silly kernel: [2209702.698508]  [<c0259dca>] ? __ratelimit+0xba/0xe0
Feb 28 06:30:56 silly kernel: [2209702.698559]  [<c038eb0c>] ? do_page_fault+0x56c/0x700
Feb 28 06:30:56 silly kernel: [2209702.698626]  [<c0109a34>] ? setup_frame+0x144/0x220
Feb 28 06:30:56 silly kernel: [2209702.698690]  [<c0144896>] ? recalc_sigpending_tsk+0x16/0x80
Feb 28 06:30:56 silly kernel: [2209702.698751]  [<c0144913>] ? recalc_sigpending+0x13/0x40
Feb 28 06:30:56 silly kernel: [2209702.698794]  [<c0109bfa>] ? handle_signal+0xea/0x1c0
Feb 28 06:30:56 silly kernel: [2209702.699798]  [<c0109d87>] ? do_notify_resume+0xb7/0x158
Feb 28 06:30:56 silly kernel: [2209702.699842]  [<c0109476>] ? restore_sigcontext+0x156/0x1b0
Feb 28 06:30:56 silly kernel: [2209702.699886]  [<c013caf6>] ? do_wait+0x1d6/0x300
Feb 28 06:30:56 silly kernel: [2209702.699949]  [<c0132d20>] ? default_wake_function+0x0/0x10
Feb 28 06:30:56 silly kernel: [2209702.699994]  [<c014c278>] ? put_pid+0x8/0x40
Feb 28 06:30:56 silly kernel: [2209702.700043]  [<c038e5a0>] ? do_page_fault+0x0/0x700
Feb 28 06:30:56 silly kernel: [2209702.700087]  [<c038c71a>] ? error_code+0x72/0x78
Feb 28 06:30:56 silly kernel: [2209702.700129]  [<c0380000>] ? nv_msi_ht_cap_quirk+0x8f/0x10f
Feb 28 06:30:56 silly kernel: [2209702.700192]  =======================
Feb 28 06:30:56 silly kernel: [2209702.700217] Code: b4 26 00 00 00 00 8d bc 27 00 00 00 00 55 89 e5 83 ec 28 89 5d f4 89 75 f8 89 7d fc e8 54 cd f3 ff 89 55 e0 89 c6 8b 40 04 8
Feb 28 06:30:56 silly kernel: [2209702.700520] EIP: [<c01cdf3e>] d_path+0x1e/0xc0 SS:ESP 0068:c45f5e0c
Feb 28 06:30:56 silly kernel: [2209702.700829] ---[ end trace 15f4e86137f79e4a ]---
Feb 28 06:31:01 silly /USR/SBIN/CRON[30797]: (root) CMD (^I/etc/load.sh update > /dev/null; /etc/temperature.sh update > /dev/null)
Feb 28 06:31:06 silly dhclient: DHCPREQUEST of 10.30.141.30 on eth0 to 10.30.128.1 port 67

<ТУТ МЫ ПОВИСЛИ>

Feb 28 09:42:52 silly syslogd 1.5.0#2ubuntu6: restart.
Feb 28 09:42:53 silly snmpd[4448]: NET-SNMP version 5.4.1


[Mam(O)n]

И еще вопросик, висел 3 часа после чего сам перезагрузился, как можно уменьшить время которое он висит если такое повториться?

Аппаратный сбой м.б. В серверах HP есть специальный агент (вроде в ILO), который следит за одним из своих системных процессов. Как только система повиснет, он дёргает машину в ребут. На других серверах может быть схожий функционал.

[Oni-chan]

судя по сообщению, сбой призошёл в php-cgi
Возможно, проблема в одном из CMS, крутящихся на сервере

[Mam(O)n]

Кмк, упавший php-cgi это всего лишь следствие...

[Karl500]

Возможно, глупость предположу, но вот это

Код: [Выделить]

Feb 28 09:42:52 silly syslogd 1.5.0#2ubuntu6: restart.еще не означает, что сервер перезагрузился. Это значит, что перезапустился syslogd (что, вообще говоря, происходит ежедневно при ротации логов.
Возможно, причина "восстановления" сервера - не перезагрузка, а что-то еще? Например, он просто не был доступен (сеть, еще что-то)? (если, конечно, в непоказанном куске лога есть явные признаки загрузки сервера то мое предположение можно отправить в корзину )
Падение php не должно бы привести к падению сервера, тем более, что после этого он еще успел записать температуру и выдать запрос на IP-адрес.

Да, кстати: что именно за лог Вы нам показываете? syslog? messages?

[Mam(O)n]

Возможно, глупость предположу, но вот это

Кстати! Совсем не глупость. Обычно при старте системы syslog первым делом подхватывает все сообщения из kernel ring buffer. А тут первая строка после старта от snmpd.

[MAGician]

Возможно, глупость предположу, но вот это

Код: [Выделить]

Feb 28 09:42:52 silly syslogd 1.5.0#2ubuntu6: restart.еще не означает, что сервер перезагрузился. Это значит, что перезапустился syslogd (что, вообще говоря, происходит ежедневно при ротации логов.
Возможно, причина "восстановления" сервера - не перезагрузка, а что-то еще? Например, он просто не был доступен (сеть, еще что-то)? (если, конечно, в непоказанном куске лога есть явные признаки загрузки сервера то мое предположение можно отправить в корзину )
Падение php не должно бы привести к падению сервера, тем более, что после этого он еще успел записать температуру и выдать запрос на IP-адрес.
Да, кстати: что именно за лог Вы нам показываете? syslog? messages?

Огрызок лога из "syslog", дальше в обрезанном куске, явно видна загрузка, плюс uptime сервера обнулился.
Есть еще идеи?