bash скрипт слежения за искомым выраженим в логах.

[dazm]

Всем доброго дня.
Не могу решить следующюю задачу, точнее связть всё воедино.
Необходимо написать скрипт, который бы запускался по крону и отслеживал появление выражения в log-файле.
Причем при последующем запуске скрипта, ненадо просматривать весь лог сначала, т.к. размеры логов могут быть довольно большими.
Поэтому одним из параметров передаваемых скрипту должен быть ключ, на последнюю строку в предидущем запуске скрипта.

Найти номер последний строки можно с помощью выражения :
awk '{last=NR} END {print last}' namefile.log >> lastline

Вывести строки от 10-ой и до конца файла :
sed -n '10,$p' namefile.log >> last10lines

Небольшой пример.
Допустим я запустил скрипт первый раз, он прошёл весь лог-файл до конца и не нашел искомого выражения.
В конце он записал номер строки, на которой заверишился поиск. В следующий раз, например через 15 мин, скрипт запускается повторно (p.s. за это время появилась запись в логе об искомой ошибке)
Необходимо запустить поиск по лог-файлу, с последней запомненной строки и найденное выражение записать в файл.

sed -n '10,$p' namefile.log | grep ERROR > error.log

И вот тут у меня проблема. Я не могу всё это связать в единый скрипт, так, чтобы номер строки, с которой надо начать поиск передавался через аргумент (читался из файла), а в конце работы скрипта номер последней строки сохранялся в файл, перетирая прошлое значение.
Плюс вторым аргументом должен передаватся путь до наблюдаемого файла (в примере namefile.log)

[andrey_p]

1. Готовим среду:

Код: [Выделить]

mkdir -p ~/work/logseek
cd $_                               # or cd <ALT-_> or cd <ALT-.>
seq 1 10 > test.log
sed -i 's/5/5 ERROR/; s/7/7 ERROR/' t<TAB>
cat t<TAB>
2. Где-то надо хранить значение строки. Можно в БД, в облаке, но
реально нам нужен простой файл:

Код: [Выделить]

echo 3 > nline
3. Сам не знаю, почему `cat nline` работает без убирания символа
перевода строки:

Код: [Выделить]

sed -n "$(cat nline)"',$p' test.log | grep ERROR
4. Соображаем, что № последней проверенной строки равен количеству строк:

Код: [Выделить]

wc -l test.log
Смотрим на вывод:

Код: [Выделить]

wc -l test.log | sed -r 's/(^[0-9]+).*/\1/'
5. Сводим все в тестовый скрипт:

Код: [Выделить]

lf=test.log
nf=nline
ef=errors.log
msg=ERROR
sed -n $(cat "$nf")',$p' "$lf" | grep "$msg" >> "$ef"
wc -l "$lf" | sed -r 's/(^[0-9]+).*/\1/' >"$nf"
6. Тестируем:

Код: [Выделить]

sh -x script
cat nline
cat errors.log
seq 11 15 | sed 's/12/12 ERROR/; s/13/13 ERROR/' >> test.log
sh script
cat nline
cat errors.log
7. Выбираем место для "nline"-файла, меняем скрипт на работу с
аргументами, добавляем шибанг, атрибут выполнения, тестируем с
реальными параметрами и файлами, документируем, прописываем в cron.

8. Думаем о том, что grep, когда используется sed, ненужен. Меняем.
Думаем, что используя tail скрипт может вообще летать. Меняем,
возвращаем grep. Тестируем на время, убеждаемся, что разницы во всех
трех скриптах нет. Через пару лет обнаруживаем, что действительно
скоростным решением было бы использование tac, но поскольку работаем
на гораздо более мощной машине - плюем на это.

ЗЫ До чего же очередной утренний приступ нехотения работать доводит.

[Yurror]

Запускаем демона

Код: (bash) [Выделить]


on_ahtung_action() {
   echo MEGA $1
}

for line in $(tail -f /var/log/log_file | grep AHTUNG)
do
  on_ahtung_action($line)
done

по желанию пишем для него watchdog

[dazm]

Большое спасибо за разъяснение, но есть пару вопросов.

Код: [Выделить]

sed -i 's/5/5 ERROR/; s/7/7 ERROR/' t<TAB>


Параметр -i на моём сервере не работает, но суть понятна
Я сделал так :
sed 's/5/5 ERROR/; s/7/7 ERROR/' test.log > test1.log

Код: [Выделить]

sed -n "$(cat nline)"',$p' test.log | grep ERROR

То что сюда можно подсунуть аргумент, - очень хорошая мысль.

Код: [Выделить]

wc -l test.log | sed -r 's/(^[0-9]+).*/\1/'

Зачем всё это, если

Код: [Выделить]

awk '{last=NR} END {print last}' namefile.log >> lastline
даёт сразу номер последней строки ? (sed -r у меня на сервере не рабоает)

Еще хотелось бы, чтобы проверка номера последней строки осуществлялась не с начала файла, а с
ранее сохраненной позиции...на 100Мб файле работает около 5-10 сек.
По всей видимости awk прогоняет файл с самого начала.
А еще мне что-то подсказывает, что проверка номера последней строки делается несколько раз, т.е. после
каждого выполнения

Код: [Выделить]

sed -n $(cat "$nf")',$p' "$lf" | grep "$msg" >> "$ef"
идёт проверка awk номера последней строки, и поэтому скрипт работает дольше.
В конечном итоге у меня скрипт выглядит так:

Код: [Выделить]

lf=/oracle/admin/rmsprod/bdump/alert_rmsprod.log
nf=/retek_data/retek/production/prod_bat/scripts/nline
ef=/retek_data/retek/production/prod_bat/scripts/errors.log
msg=ORA-
sed -n $(cat "$nf")',$p' "$lf" | grep "$msg" >> "$ef"
awk '{last=NR} END {print last}' $lf > $nf

Запускается ли awk один раз, или столько раз, сколько появилось строк с последней позиции $nf ?

Запускаем демона
по желанию пишем для него watchdog

Идея с демоном несомненно самая простая, и скорее всего даже лучшая, только вот скрипт
у меня будет запускатся из под виндовой софтины, которая мониторит всю систему в целом.

[andrey_p]

Код: [Выделить]

awk '{last=NR} END {print last}' namefile.log >> lastline
В Практике программирования предлагается написать программу сортировки, которая была реальной, но самой медленной из возможных. Если бы задача стояла написать самую медленную программу определения количества строк в файле, то здесь победа была бы однозначна. Awk считывает каждую строку, и, для каждой(!) строки выполняет присваивание текущего номера строки переменной. На последней строке это совпадает с количеством строк и становится значением для блока END.

Код: [Выделить]

wc -l test.log | sed  's!\(^[0-9][0-9]*\).*!\1!'

[dazm]

Код: [Выделить]

wc -l test.log | sed  's!\(^[0-9][0-9]*\).*!\1!'

Так результатом этого sed является и номер строки и имя файла (т.е. для файла test.log из 10 строк результатом будет
'  10 test.log', что потом приводит к ошибке при выполнении

Код: [Выделить]

sed -n $(cat "$nf")',$p' "$lf" | grep "$msg" > $ef

p.s. проблему решил, написал вот такой sed

Код: [Выделить]

wc -l test.log | sed 's/[^0-9]//g'