Скрипт на BASH

[Sakojpa]

Доброго всем дня!
Прошу помощи в написании скрипта
В общем задача такая:
Есть файл в котором пишутся логи обращений пользователей к определенным ресурсам. Необходимо снимать статистику посещений определенных ресурсов за последний час.

Собственно, все бы ничего, но что-то я запутался как мне вычленить информацию именно за последний час. пробовал с date --date 'now -1 hour' колдовать, но, собственно, как вы понимаете пользователи не ходят по расписанию

Т.е. задача сводится к тому,  чтобы парсить не весь файл, а только те строки,  где время отличается от текущего не более чем на 1 час.

[vselax]

Не ясно как это можно сделать. Приложите кусок файла, будет понятней.

[Sakojpa]

Ничего необычного,  обычный вывод nginx'а
Пользователь решил продолжить мысль 28 Августа 2013, 15:47:57:Ну и,  конечно,  это не весь файл,  там еще около  5000 строк. Но я думаю этого хватит

[vselax]

Ну тут придется немного потратить время. Можно так:

1. Определить и запомнить кол-во строк в файле.
2. Командами head и tail забрать последнюю строку (взять из переменной, хранящей число строк).
3. Используя sed или avk (последний нужно установить) выбрать поля со временем.
4. Преобразовать время в секунды для удобства счета.
5. Отнять час и запомнить границу времени.
6. Править статистику.
7. Уменьшить число строк в переменной (аккуратно!).
8. Командами head и tail забрать последнюю строку (взять из переменной, хранящей число строк).
9. Bыбрать поля со временем.
10. Преобразовать время в секунды.
11. Сравнить с границей времени (закончить если пройдена).
12. Править статистику.
13. Перейти на п.7.

Приблизительно так. Но потребуется еще запоминать последнюю строку, чтобы обработать ситуации с пропусками/повторами.
Есть еще идея с временным файлом.

1. Командой diff сравниваем текущий файл отчета со старым (был за час до этого). Обязательно сохраняем вывод diff в файл (одним действием! Для атомарности.).
2. По результату сравнения берем статистику.
3. Добавляем сохраненный вывод diff`а к старому файлу отчета.
4. Через час все повторяем.

[Sakojpa]

Ох тыж матерь божья )
скриптую под башем наверное раз 5.  То что Вы мне сейчас сказали для меня кажется будто меня просят самолет изобрести.
Никаких вариантов проще нет? Я думал как в мускле есть понятие интервала времени.

ПыСы: прошу прощения великодушно! Не посмотрел в файл, что приложил. откуда то там взялись символы перевода каретки. Естественно их нет.

(Нажмите, чтобы показать/скрыть)

<<<IP>>> - - [28/Aug/2013:15:15:31 +0400] "POST /share.dom HTTP/1.0" 200 119 "-" "-" <<<IP>>> - - [28/Aug/2013:15:15:36 +0400] "POST /spleshit HTTP/1.0" 200 107 "-" "-" <<<IP>>> - - [28/Aug/2013:15:15:41 +0400] "POST /spleshit HTTP/1.0" 200 107 "-" "-" <<<IP>>> - - [28/Aug/2013:15:15:58 +0400] "POST /share.dom HTTP/1.0" 200 113 "-" "-" <<<IP>>> - - [28/Aug/2013:15:15:59 +0400] "POST /spleshit HTTP/1.0" 200 107 "-" "-" <<<IP>>> - - [28/Aug/2013:15:16:00 +0400] "POST /share.dom HTTP/1.0" 200 118 "-" "-" <<<IP>>> - - [28/Aug/2013:15:16:06 +0400] "POST /share.dom HTTP/1.0" 200 113 "-" "-" <<<IP>>> - - [28/Aug/2013:15:16:08 +0400] "POST /share.dom HTTP/1.0" 200 117 "-" "-" <<<IP>>> - - [28/Aug/2013:15:16:18 +0400] "POST /share.dom HTTP/1.0" 200 119 "-" "-" <<<IP>>> - - [28/Aug/2013:15:16:23 +0400] "POST /spleshit HTTP/1.0" 200 107 "-" "-" <<<IP>>> - - [28/Aug/2013:15:16:24 +0400] "POST /spleshit HTTP/1.0" 200 108 "-" "-" <<<IP>>> - - [28/Aug/2013:15:16:25 +0400] "POST /share.dom HTTP/1.0" 200 119 "-" "-" <<<IP>>> - - [28/Aug/2013:15:16:29 +0400] "POST /spleshit HTTP/1.0" 200 107 "-" "-" <<<IP>>> - - [28/Aug/2013:15:16:30 +0400] "POST /share.dom HTTP/1.0" 200 119 "-" "-" <<<IP>>> - - [28/Aug/2013:15:16:31 +0400] "POST /share.dom HTTP/1.0" 200 118 "-" "-" <<<IP>>> - - [28/Aug/2013:15:16:31 +0400] "GET /cdump/char/lfgHTTP/1.0" 200 420 "-" "-" <<<IP>>> - - [28/Aug/2013:15:16:33 +0400] "POST /share.dom HTTP/1.0" 200 118 "-" "-"

[vselax]

Я думал как в мускле есть понятие интервала времени.

Не понял идею. Обрати внимание на второй вариант, что я посоветовал, первый правда страшен. Но смотри внимательно с логами, они могут архивироваться в некоторые моменты времени и заводиться новые. Засада распространяется на оба моих варианта. Так что вопрос - куда и как пишутся логи? Нет ли рядом уже их сжатых кусков?

[Sakojpa]

К сожалению есть, все логи гзипятся после достижения определенного размера.

[Master_Sergius]

Мне кажется, что это надо сделать использовав sed и awk

[Sakojpa]

Товарищ,  я не силен в скриптинге, пишу максимум 5 раз и тот таких задачи не попадалось, сформулируйте приблизительную строку поиска, пожалуйста.

[Master_Sergius]

Ну вот, например, вычленил даты вот так, которые хранятся в поле $4, только надо бы преобразовать
sed 's/\[//g' access.txt | sed 's/\]//g' | awk '{ print $4, $6, $7 }'

[Sakojpa]

sed 's/\[//g' access.txt | sed 's/\]//g' | awk '{ print $4, $6, $7 }'

Спасибо.  Команды пригодились,  немного переделал и все заработало
Спасибо всем кто откликнулся

[ArcFi]

sarg