Построение своих графиков в Nagiosgrapher

[drama17]

Настроил Nagios. Основная часть проверок осуществляется через SNMP (в основном с помощью snmp-plagins). Единственная проблема - никак не могу разобраться с nagiosgrapher и заставить его рисовать графики для моих сервисов  , как-то пока не смог вникнуть в логику и синтаксис rrdtool+nagiosgrapher.
Пробовал такое: есть (раньше была настроена и работала) проверка Load Avarage через NRPE - все ок, графики автоматом рисовались, так как есть в наджиосграфере такой шаблон в стандартных, это как я понял. Я настроил такую проверку через SNMР, выдает так же 3 значения, но график автоматом не рисует. Я скопировал /etc/nagiosgrapher/ngraph.d/standard/check_load.ncfg в /etc/nagiosgrapher/ngraph.d/standard/check_snmp_load.ncfg (service name указал такой же как у меня service description в файле sevices). Появилась иконка графика, но там только сообщения об ошибке типа:
.

В общем, было бы круто, если бы кто-нибудь поделился рецептом создания графиков при помощи nagiosgrapher в простых для понимания выражениях

[Дмитрий Бо]

Ещё нужно регулярное выражение исправить, по которому нужно искать значение в текстовом выхлопе или perfdata. А потом смотреть лог графера.

Или показывай конфиги графика и лог, и ещё пример выхлопа плагина.

[drama17]

Ну в логе графера по этому поводу что-то вроде такого:

2012-03-26 11:57:49 PIPE: comp<--->SNMP Load<----->Load : 0.00 0.03 0.05 : OK<---->
2012-03-26 11:57:49 VALUES: [comp][SNMP Load]:No matching output values found...

[Дмитрий Бо]

Конфиги сюда, описание сервиса, описание графика, выхлоп сервиса, ну же.

[drama17]

cat services.cfg

(Нажмите, чтобы показать/скрыть)

define service{
   use                             generic-service         ; Name of service template to use
   host_name         comp
   service_description             SNMP Load
        check_command                   check_snmp_load_ver2!netsl!5,5,5!10,10,10!
#   check_command                   check_nrpe!check_load2!5,4,3 8,9,10
#   contact_groups                  logalerts
}

cat check_snmp_load.ncfg

(Нажмите, чтобы показать/скрыть)

#---
#NagiosGrapherTemplateforcheck_load
#Author:MariusHein
#---

define ngraph{
   service_name      SNMP Load
   graph_log_regex      (\d+\.\d+)($|critical|warning)
   graph_value      15min
   graph_units      load
   graph_legend      15min avg load:
   graph_legend_max   15
   rrd_plottype      AREA
   rrd_color      EACC00
}

define ngraph{
   service_name      SNMP Load
   type         GPRINT
   print_source      15min
   print_description   Latest:
   print_function      LAST
   print_format      %2.2lf
}

define ngraph{
   service_name      SNMP Load
   type         GPRINT
   print_source      15min
   print_description   Maximum:
   print_function      MAX
   print_format      %2.2lf
}

define ngraph{
   service_name      SNMP Load
   type         GPRINT
   print_source      15min
   print_description   Average:
   print_function      AVERAGE
   print_format      %2.2lf
   print_eol      left
}

define ngraph{
   service_name      SNMP Load
   graph_log_regex      ,\s+(\d+\.\d+),
   graph_value      5min
   graph_units      load
   graph_legend      5min avg load:
   graph_legend_max   15
   rrd_plottype      STACK
   rrd_color      EA8F00
}

define ngraph{
   service_name      SNMP Load
   type         GPRINT
   print_source      5min
   print_description   Latest:
   print_function      LAST
   print_format      %2.2lf
}

define ngraph{
   service_name      SNMP Load
   type         GPRINT
   print_source      5min
   print_description   Maximum:
   print_function      MAX
   print_format      %2.2lf
}

define ngraph{
   service_name      SNMP Load
   type         GPRINT
   print_source      5min
   print_description   Average:
   print_function      AVERAGE
   print_format      %2.2lf
   print_eol      left
}

define ngraph{
   service_name      SNMP Load
   graph_log_regex      :\s+(\d+\.\d+),
   graph_value      1min
   graph_units      load
   graph_legend      1min avg load:
   graph_legend_max   15
   rrd_plottype      STACK
   rrd_color      FF0000
}

define ngraph{
   service_name      SNMP Load
   type         GPRINT
   print_source      1min
   print_description   Latest:
   print_function      LAST
   print_format      %2.2lf
}

define ngraph{
   service_name      SNMP Load
   type         GPRINT
   print_source      1min
   print_descriptio   nMaximum:
   print_function      MAX
   print_format      %2.2lf
}

define ngraph{
   service_name      SNMP Load
   type         GPRINT
   print_source      1min
   print_description   Average:
   print_function      AVERAGE
   print_format      %2.2lf
   print_eol      left
}

define ngraph{
   service_name      SNMP Load
   type         CDEF
   graph_value      cdef_load
   graph_units
   graph_legend
   graph_calc      15min,5min,+,1min,+
   rrd_plottype      LINE1
   rrd_color      000000
   hide         no
}

define ngraph{
   service_name      SNMP Load
   type         COMMENT
   print_description
   print_eol      justify
   print_repeat      0
}

define ngraph{
   service_name      SNMP Load
   type         VDEF
   graph_value      vdef_load_average
   graph_units
   graph_legend      Sum avg values
   graph_calc      cdef_load,AVERAGE
   rrd_plottype      LINE1
   rrd_color      0000ff
   hide         no
}

#[EOF]

Не совсем понял что за выхлоп сервиса? Возвращаемое значение? -    Load : 0.00 0.02 0.05 : OK

И вот еще описание команды:

cat commands.cfg

(Нажмите, чтобы показать/скрыть)

# 'check_snmp_load_v2' command definition
define command {
        command_name    check_snmp_load_ver2
        command_line    /usr/lib/nagios/plugins/check_snmp_load.pl -H $HOSTADDRESS$ -C public -2 -T $ARG1$ -w $ARG2$ -c $ARG3$ $ARG4$
               }

[Дмитрий Бо]

ого. и что он должен построить? действительно всё это нужно? может, для начать ограничиться секцией типа

Код: [Выделить]

define ngraph{
   service_name      SNMP Load
   graph_log_regex   [0-9.]\+ :
   graph_value      15min
   graph_units      load
   graph_legend      15min avg load:
   graph_legend_max   15
   rrd_plottype      AREA
   rrd_color      EACC00
}
напоминаю, после изменени конфига нужно перезапускать nagiosgrapher, потом ждать несколько минут и перезапускать nagios3, если график ещё не появился.

[drama17]

На самом деле я делал по аналогии. Взял то что работает (вот это описание графика для load evarage через nrpe), поменял только название сервиса (думал подхватит) и собственно все . Видимо действительно отличается немного выхлоп в этих двух проверках. Вот как он выглядит в НРПЕ-проверке:
OK - load average: 0.01, 0.04, 0.05
Вот еще раз то что по СНМП
Load : 0.02 0.04 0.05 : OK

Я так понимаю мне надо обратить внимание на вот этот параметр:

   graph_log_regex      (\d+\.\d+)($|critical|warning)

[Дмитрий Бо]

Да.
Но сначала надо чтобы вместо "VALUES: [component][SNMP Load]:No matching output values found..." было что-то типа "VALUES: [component][SNMP Load]:1 value found". Обычно для этого хватает совпадения имени сервисав nagios и имени графика в графере. Без этого регэкспы не помогут (до них просто дело не доходит).

[drama17]

Понял примерно в чем мой бок. Графер наверно смотрит значение в Perfomance Data:
Должно быть:

Код: [Выделить]

Current Status:
  OK 
 (for 0d 3h 35m 5s)
Status Information: OK - load average: 0.01, 0.06, 0.05
Performance Data: load1=0.010;5.000;8.000;0; load5=0.060;4.000;9.000;0; load15=0.050;3.000;10.000;0;
У меня:

Код: [Выделить]

Current Status:
  OK 
 (for 0d 0h 40m 21s)
Status Information: Load : 0.00 0.04 0.05 : OK
Performance Data:
Current Attempt: 1/4  (HARD state)
И так во всех моих проверках  - пустая строка... Сейчас буду думать как в нее запихнуть данные.
Пользователь решил продолжить мысль 26 Марта 2012, 17:45:00:Не могу понять, как мне заставить плагины возвращать перфоманс дата..

Пользователь решил продолжить мысль 26 Марта 2012, 19:40:24:С ключем -f получаю более подробный вывод от /usr/lib/nagios/plugins/check_snmp_load.pl. Добавляется еще вот такая инфа load_1_min=0.00;5;10 load_5_min=0.01;5;10 load_15_min=0.05;5;10 после вертикального слэша, и она идет в Perfomance Data. Вроде бы как норм, но график не создается, в логе (для сравнения опять показываю рабочую нрпе-проверку):

Код: [Выделить]

PIPE: comp<--->SNMP_Load<----->Load : 0.10 0.08 0.06 : OK<---->load_1_min=0.10;5;10 load_5_min=0.08;5;10 load_15_min=0.06;5;10
VALUES: [comp][SNMP_Load]:No matching output values found...
 
PIPE: comp<--->Current Load<-->OK - load average: 0.10, 0.08, 0.06<--->load1=0.100;5.000;8.000;0; load5=0.080;4.000;9.000;0; load15=0.060;3.000;10.000;0;
VALUES: [comp][Current Load]: 1min=0.10 5min=0.08 15min=0.06.

[drama17]

Вот перерыл пол интернета, так нигде и не нашел документации, как же делать эти темплейты для наджиосграфера:(
По какой логике был сделано например вот этот кусок шаблона:

Код: [Выделить]

define ngraph{
service_name SNMP_Load
type VDEF
graph_value vdef_load_average
graph_units
graph_legend Sum avg values
graph_calc cdef_load,AVERAGE
rrd_plottype LINE1
rrd_color 0000ff
hide no
Очень очень мало документации нарыл, даже на ангийском не все.. Или как-то не так искал? как-то же люди пишут шаблоны к своим плагинам..

[Дмитрий Бо]

Вот как работают самописные графики у меня.

Есть плагин, которое возвращает строку типа "OK - load average is normal (0.03)|'la'=0.03;1.5;1".

Определён он так:

Код: [Выделить]

define service{
        hostgroup_name                  linux-servers
        use                             local-service
        service_description             CPU load average
        check_command                   check_load_by_ssh!1.5!1!5
        }
График вот:

Код: [Выделить]

define ngraph{
        service_name            CPU load average
        graph_perf_regex        la=*([0-9\.,]+)
        graph_value             La
        graph_units             %
        graph_legend            CPULoad
        rrd_plottype            AREA
        rrd_color               c0c0ff
}
Самое главное тут — service_name и graph_perf_regex. graph_perf_regex — регэксп, по которому мы будем искать данные в perfdata, т. е. после "|" (в "'la'=0.03;1.5;1"). Если мы хотим искать до "|" (в "OK - load average is normal (0.03)"), то нужно вместо этой использовать директиву "graph_log_regex".

Работоспособность регэкспов я проверяю с помощью egrep:

Код: [Выделить]

# cat /var/log/nagiosgrapher/ngraph.log | grep "CPU load average" | grep PIPE -m1 | egrep la=*([0-9\.,]+) -o
la=0.05

В результате в логах вижу:

Код: [Выделить]

# cat /var/log/nagiosgrapher/ngraph.log | grep "CPU load average" -A 7 | grep PIPE -m 1 -A 7
2012-03-29 14:09:07 PIPE: s-08193       CPU load average        OK - load average is normal (0.06)      la=0.06;1.5;1   1332990532
2012-03-29 14:09:07 REGEX: 1 blocks for 'CPU load average' found.
2012-03-29 14:09:07 REGEX: graph_value=La
2012-03-29 14:09:07 REGEX: output=perfdata
2012-03-29 14:09:07 REGEX: regex=m/la=*([0-9\.,]+)/i
2012-03-29 14:09:07 REGEX: perfdata=la=0.06;1.5;1
2012-03-29 14:09:07 REGEX: match=0.06
2012-03-29 14:09:07 VALUES: [s-08193][CPU load average]: La=0.06
Вторая строка (1 blocks for 'CPU load average' found) показывает, что для сервиса найден график с подходящим service_name. После этого по регэкспу из этого графика в строке ищется числовое значение.

Я тебе советую убрать всё лишнее из описания графика, сделай в базовом варианте, потом уже будешь плюшки прикручивать.

PS Да, с документацией плохо. И что значит "даже на английском", на английском — это здорово, обсуждения на немецком в основном

[drama17]

Большое спасибо! Последний ответ выглядит совсем как то что надо!!! Попробую проверить в ближайшее время (переключился пока на другую задачу).

И что значит "даже на английском", на английском — это здорово, обсуждения на немецком в основном

Я это и имел ввиду . Т.е. то что более менее похоже даже не на англ, а на нем.))

[drama17]

Попробовал - ничего. Вот конфиги и лог:

Код: [Выделить]

define service {
        use                             generic-service
        host_name                       comp
        service_description             loadaverage
        check_command                   check_snmp_load_ver2!netsl!5,5,5!10,10,10!
        normal_check_interval           10
        notification_interval           0 ; set > 0 if you want to be renotified
               }


Код: [Выделить]

cat loadaverage.ncfg
define ngraph{
        service_name            loadaverage
        graph_perf_regex        load_1_min=*([0-9\.,]+)
        graph_value             La
        graph_units             %
        graph_legend            Load
        rrd_plottype            AREA
        rrd_color               c0c0ff
}


Код: [Выделить]

# cat /var/log/nagiosgrapher/ngraph.log | grep "loadaverage" -A 7 | grep PIPE -m 1 -A 72012-04-02 14:03:53 PIPE: comp   loadaverage   Load : 0.00 0.01 0.05 : OK   load_1_min=0.00;5;10 load_5_min=0.01;5;10 load_15_min=0.05;5;10
2012-04-02 14:03:53 VALUES: [comp][loadaverage]:No matching output values found...

Код: [Выделить]

# cat /var/log/nagiosgrapher/ngraph.log | grep "loadaverage" | grep PIPE -m1 | egrep load_1_min=*([0-9\.,]+) -obash: syntax error near unexpected token `('

Вот кусок с вебморды:

Current Status:   
  OK 
 (for 0d 2h 52m 50s)
Status Information:   OK - load average: 0.05, 0.03, 0.05
Performance Data:   load1=0.050;5.000;8.000;0; load5=0.030;4.000;9.000;0; load15=0.050;3.000;10.000;0;
Пользователь решил продолжить мысль 02 Апреля 2012, 17:08:42:Может у меня какая опция не включена в nagios.cfg или ngraph.ncfg? Сервис дескрипшн совпадает с указанным в define ngraph, но график и не думает создаваться.

[Дмитрий Бо]

Может, графер не читает этот конфиг? Найди описание графика, который создаётся, и засунь этот "define ngraph { ... }" в тот же файл.

И посмотри, что графер пишет в лог при перезапуске.

[drama17]

cat /var/log/nagiosgrapher/ngraph.log | grep "loadaverage"

2012-04-03 19:01:31 PIPE: comp   loadaverage   Load : 0.00 0.02 0.05 : OK   load_1_min=0.00;5;10 load_5_min=0.02;5;10 load_15_min=0.05;5;10
2012-04-03 19:01:31 VALUES: [comp][loadaverage]:No matching perfdata values found...
2012-04-03 19:06:11 PIPE: comp   loadaverage   Load : 0.14 0.06 0.06 : OK   load_1_min=0.14;5;10 load_5_min=0.06;5;10 load_15_min=0.06;5;10
2012-04-03 19:06:11 VALUES: [comp][loadaverage]:No matching perfdata values found...

Не помогает. Кстати лог совсем не меняется, вне зависимости от того graph_perf_regex или graph_regex - смотрит только перфдата.

для сравнения вот "правильный" лог:

2012-04-03 19:13:01 PIPE: comp   Current Load   OK - load average: 0.00, 0.00, 0.00   load1=0.000;5.000;8.000;0; load5=0.000;4.000;9.000;0; load15=0.000;3.000;10.000;0;
2012-04-03 19:13:01 VALUES: [comp][Current Load]: 1min=0.00 5min=0.00 15min=0.00
2012-04-03 19:13:01 RRD: rrdtool update /var/lib/nagiosgrapher/rrd/comp/d62c785bc103ce853ed267f49fe3b554.rrd --template=1min:5min:15min N:0.00:0.00:0.00

Пользователь решил продолжить мысль 03 Апреля 2012, 20:19:02:Вот не знаю что думать уже.. Если сравнивать, то вывод практически одинаковый - все различия это чуть разная левая часть (перед равно), по которой я так понял и должно выирать и точки с зпт. нет после значения:

load1=0.000;5.000;8.000;0;

load_1_min=0.00;5;10

Пользователь решил продолжить мысль 04 Апреля 2012, 12:35:01:На всякий случай листинг конфигов:

nagios.cfg

Код: [Выделить]

##############################################################################
#
# NAGIOS.CFG - Sample Main Config File for Nagios
#
##############################################################################


log_file=/var/log/nagios3/nagios.log

cfg_file=/etc/nagios3/commands.cfg

cfg_dir=/etc/nagios-plugins/config

object_cache_file=/var/cache/nagios3/objects.cache

precached_object_file=/var/cache/nagios3/objects.precache

resource_file=/etc/nagios3/resource.cfg

status_file=/var/cache/nagios3/status.dat

status_update_interval=10

nagios_user=nagios

nagios_group=nagios

check_external_commands=1

command_check_interval=-1

command_file=/var/lib/nagios3/rw/nagios.cmd

external_command_buffer_slots=4096

lock_file=/var/run/nagios3/nagios3.pid

temp_file=/var/cache/nagios3/nagios.tmp

temp_path=/tmp

event_broker_options=-1

#broker_module=/somewhere/module1.o
#broker_module=/somewhere/module2.o arg1 arg2=3 debug=0

log_rotation_method=d

log_archive_path=/var/log/nagios3/archives

use_syslog=1

log_notifications=1

log_service_retries=1

log_host_retries=1

log_event_handlers=1

log_initial_states=0

log_external_commands=1

log_passive_checks=1

service_inter_check_delay_method=s

max_service_check_spread=30

service_interleave_factor=s

host_inter_check_delay_method=s

max_host_check_spread=30

max_concurrent_checks=0

check_result_reaper_frequency=10

max_check_result_reaper_time=30

check_result_path=/var/lib/nagios3/spool/checkresults

max_check_result_file_age=3600

cached_host_check_horizon=15

cached_service_check_horizon=15

enable_predictive_host_dependency_checks=1

enable_predictive_service_dependency_checks=1

soft_state_dependencies=0

auto_reschedule_checks=0

auto_rescheduling_interval=30

auto_rescheduling_window=180

sleep_time=0.25

service_check_timeout=60
host_check_timeout=30
event_handler_timeout=30
notification_timeout=30
ocsp_timeout=5
perfdata_timeout=5

retain_state_information=1

state_retention_file=/var/lib/nagios3/retention.dat

retention_update_interval=60

use_retained_program_state=1

use_retained_scheduling_info=1

retained_host_attribute_mask=0
retained_service_attribute_mask=0

retained_process_host_attribute_mask=0
retained_process_service_attribute_mask=0

retained_contact_host_attribute_mask=0
retained_contact_service_attribute_mask=0

interval_length=60

use_aggressive_host_checking=0

execute_service_checks=1

accept_passive_service_checks=1

execute_host_checks=1

accept_passive_host_checks=1

enable_notifications=1

enable_event_handlers=1

process_performance_data=1

service_perfdata_command=ngraph-process-service-perfdata-pipe
#service_perfdata_command=ngraph-process-service-perfdata-file

service_perfdata_file=/var/lib/nagiosgrapher/service-perfdata

service_perfdata_file_template=$HOSTNAME$\t$SERVICEDESC$\t$SERVICEOUTPUT$\t$SERVICEPERFDATA$\t$TIMET$\n

service_perfdata_file_mode=p

service_perfdata_file_processing_interval=30

service_perfdata_file_processing_command=process-service-perfdata-file

obsess_over_services=0

obsess_over_hosts=0

translate_passive_host_checks=0

passive_host_checks_are_soft=0

check_for_orphaned_services=1
check_for_orphaned_hosts=1

check_service_freshness=1

service_freshness_check_interval=60

check_host_freshness=0

host_freshness_check_interval=60

additional_freshness_latency=15

enable_flap_detection=1

low_service_flap_threshold=5.0
high_service_flap_threshold=20.0
low_host_flap_threshold=5.0
high_host_flap_threshold=20.0

date_format=iso8601

p1_file=/usr/lib/nagios3/p1.pl

enable_embedded_perl=1

use_embedded_perl_implicitly=1

illegal_object_name_chars=`~!$%^&*|'"<>?,()=

illegal_macro_output_chars=`~$&|'"<>

use_regexp_matching=0

use_true_regexp_matching=0

admin_email=root@localhost
admin_pager=pageroot@localhost

daemon_dumps_core=0

use_large_installation_tweaks=0

enable_environment_macros=1

debug_level=16

debug_verbosity=1

debug_file=/var/lib/nagios3/nagios.debug

max_debug_file_size=1000000

cfg_dir=/etc/nagios3/conf.d

ngraph.ncfg

Код: [Выделить]

# tabspace: 8

# ---
# Nagios Grapher Main Configuration
# ---

define config {

    port                    5667
    buffer                  1024
    interface               pipe
#    interface               file
    pipe                  /var/lib/nagiosgrapher/ngraph.pipe
    perffile_path           /var/lib/nagiosgrapher/

    # please use subfolder
    pidfile                 /var/run/nagiosgrapher/nagiosgrapher.pid
    user                    nagios
    group                   nagios

    # disable reading of Nagios-object cache
    skip_object_cache       false

    # normal_check_interval
    step                    300

    # VALUE (e.g. 600 for 5 minutes ) or AUTO
    heartbeat               AUTO

    rrdpath                 /var/lib/nagiosgrapher/rrd/
    tmppath                 /tmp/nagiosgrapher

    fontfile                /usr/share/fonts/truetype/ttf-dejavu/DejaVuSansCondensed.ttf

    serviceext_type         MULTIPLE
    serviceextinfo          /etc/nagios3/serviceextinfo.cfg
    serviceext_path         /etc/nagiosgrapher/nagios3/serviceext

    url                     /cgi-bin/nagios3/graphs.cgi
    # notes_url              /wiki/index.php/$HOSTNAME$#$SERVICEDESC$
    notes_url               ""

    nagios_config           /etc/nagios3/nagios.cfg
    cgi_config              /etc/nagios3/cgi.cfg

    icon_image_tag          ' dot.png' alt="___ALT___" border="0"></a><A TARGET="_blank" HREF="graphs.cgi?___URL___"><img src="___IMAGESRC___" '
    icon_image_src          /nagios3/images/logos/graph.png
    icon_image_script       /nagios3/cgi-bin/rrd2-system.cgi?___URL___&start=-5400&end=now&title=Actual&width=20&height=20&type=AVERAGE&only-graph=true
    icon_image_static       false

    log_file                /var/log/nagiosgrapher/ngraph.log
    log_level               63

    rrd_color_background    ffffff
    rrd_color_font          333333
    rrd_color_arrow         ff0000
    rrd_color_frame         ffffff
    rrd_color_grid
    rrd_color_canvas        ffffff
    rrd_color_shadea        c0c0c0
    rrd_color_shadeb        c0c0c0

    rrd_show_vlines         true

    fe_use_browser_all      false
    fe_use_browser_for      nagiosadmin
    fe_use_browser_url      false

    fe_use_timefilter       true

    use_authentication      true

    # define default host and default service for your start page
    # values (host name and service name)are supposed to be exactly the same as
    # defined in your nagios configuration or as found in your NG-drop-down boxes
    #
    # default_host            some_host_name
    # default_service         * All Services

    #
    # HOOKS: Comma seperated list of perl modules ...

    # All hooks before an srvext entry is created
    # hooks_serviceext        NagiosGrapher::Hooks::SrvExtTest

    # Hooks before RRD is updated
    # hooks_rrdupdate         NagiosGrapher::Hooks::RRDUpdateTest

    # Example hook for writing a hostextinfo
    # With the action=hostgraph example ...
    # The module runs under hooks_serviceext too ...
    # hooks_rrdupdate         NagiosGrapher::Hooks::SrvExtWriteHostextInfo


    # Bevor Multi- and Singlegraphs, but different types.
    # Hooks before an image is displayed
    # hooks_imagegraph        NagiosGrapher::Hooks::ImageGraphTest

    # Example for invoking multiple hooks ...
    # hooks_imagegraph        NagiosGrapher::Hooks::ImageGraphTest,NagiosGrapher::Hooks::ImageGraphTest

}

# Includes
cfg_dir=/etc/nagiosgrapher/ngraph.d

# [EOF] (Don't remove this line ...)