Хальп! Server running out of memory.

[AnrDaemon]

Приехал сегодня на работу, сервер не отвечает на запросы.
На консоли весь экран зафлужен сообщениями типа "не хватает памяти, был убит процесс такой-то score столько-то имяпроцесса".
Особо некогда было разбираться, перезугрузил - всё заработало и работает до сих пор.
Вопрос - куда вообще смотреть и где эти логи искать теперь?

Маленькая подробность - сервер был включен незадолго до того.

[alexander.pronin]

В /var/log
messages
ну и log, конечно.
Старые зазипованные смотреть не стоит.

[AnrDaemon]

Пусто... погрепал по memory, sshd - ничего похожего на то, чем в консоль мусорило...

[dieselist]

Пусто... погрепал по memory, sshd - ничего похожего на то, чем в консоль мусорило...

А просто посмотреть, что происходило с сервером в момент сбоя? Может он на что-то другое еще жаловался, а ты тут по memory грепаешь
Что крутится на сервере, какую роль он выполняет? Сколько у него озу, свопа?

[AnrDaemon]

Гиг, гиг.
Роль - файлсервер, маршрутизатор. Два дня назад переехал в новый корпус (новая мать, память, харды старые).
Часов шесть полёта во время настройки, выбивания дури из udev и вправления чуйки mdadm прошли без вопросов, всё крутилось, запускалось, перезагружалось.
А с понедельника вот такая беда.
Ничего примечательного вроде не происходило.

Возможно, это было связано с https://forum.ubuntu.ru/index.php?topic=117568.0

[ArcFi]

Тут был один товарищ, у которого апачи размножались в немеряных количествах (тысячи).
И сервак засвопился похожим образом. Причина не была установлена, но погуглить можно, м.б. что-то похожее.

[AnrDaemon]

Ничего не ясно. В messages вообще только одна загрузка за сегодня - та, с которой сервер до шести вечера (семь часов) проработал. Предыдущая загрузка просто отсутствует.

[alexander.pronin]

Может задосили клиенты апачей.
Хотя странно как-то, с чего бы это.
Там есть ограничение макс. количества клиентов.
ЗЫ.
Могу предложить такой вариант для холодного и горячего:
- ps -ef (записать в файлы для анализа, чтобы не пропало, их можно запостить сюда)
- выделить уникальные процессы по по имени
- посчитать их количество
- вывести 20 самых-самых.
ЗЫ. Это для начала (для затравки).
 

[alecsartania]

запусти
screen -dmS RecordScript > /home/MyUser/recordTop
RcordScript
top -n 1
sleep 300
echo "***************************************************************************"

[AnrDaemon]

Ребят, топик читаете?

[Mam(O)n]

С этим не может быть связано?

[AnrDaemon]

Только чисто теоретически. FTP сервера нет, sftp запаролен. Конечно, проверю, были ли подключения.

[Mam(O)n]

Ну там не обязательно через FTP можно за DoS'ить, пойдет любая программа, которая юзает системный вызов glob(), например через php скрипт или банально введя команду, например ls ../../*/../*/*/../../*/*/*/*.bz2

[AnrDaemon]

Не относящийся к делу вопрос - можно на iptables или ещё как сообразить такую штуку:
Принимать подключения на определённом порту и тупо перенаправлять их в /dev/null
Объясню. У меня висит пинговалка, раз в минуту пишущая в указанный порт удалённой машины. 22 порт - очевидный выбор, но весь auth.log оказывается завален "Bad protocol version identification 'OUT' from". (Тупо ping'овать не поможет, мне надо знать, что именно сервер живой, а не модем, за которым он висит)
Скажем, TARPIT даст такой эффект?

[Mam(O)n]

Мне кажется, что TARPIT не подойдет, он кмк не будет слать ACK на принятые пакеты. Под описание задачи более подходит RFC863: Discard Protocol, что реализуем через xinetd.