Периодически пропадает пинг на внешнем интерфейсе

[achilles_85]

Всем привет. Пытался сам дотукаться, но никак. Даже тему как-то такую встречал, но не могу найти.
Политика по дефолту дроп. Заметил, что временами перестает отвечать на пинг внешний интерфейс. Но если в это время пустить пинг со шлюза куда-нить наружу, то он становится доступным извне. Знаю что намудрил с инпутом, но хз где.
xx.xx.xx.xx ресурс с которого хожу по 22 порту
xxx.xxx.xxx.xxx внешний адрес интерфейса ens32
192.168.5.0/24 диапазон на интерфейсе tun1

Код: [Выделить]

echo 1 > /proc/sys/net/ipv4/ip_forward

iptables -t filter -F
iptables -t filter -X
iptables -t nat -F
iptables -t nat -X

iptables -P INPUT DROP
iptables -P FORWARD DROP
iptables -P OUTPUT DROP

iptables -A INPUT -i lo -j ACCEPT
iptables -A OUTPUT -o lo -j ACCEPT

iptables -A INPUT -i ens32 -p icmp --icmp-type 0 -j ACCEPT
iptables -A INPUT -i ens32 -p icmp --icmp-type 8 -j ACCEPT
iptables -A INPUT -i br1 -p icmp --icmp-type 0 -j ACCEPT
iptables -A INPUT -i br1 -p icmp --icmp-type 8 -j ACCEPT
iptables -A INPUT -i tun0 -p icmp --icmp-type 0 -j ACCEPT
iptables -A INPUT -i tun0 -p icmp --icmp-type 8 -j ACCEPT
iptables -A OUTPUT -p icmp -j ACCEPT

iptables -A OUTPUT -p tcp --sport 32768:60999 -j ACCEPT
iptables -A OUTPUT -p udp --sport 32768:60999 -j ACCEPT
iptables -A OUTPUT -p tcp --sport 22 -j ACCEPT

iptables -A INPUT -p tcp -m state --state ESTABLISHED,RELATED -j ACCEPT
iptables -A INPUT -p udp -m state --state ESTABLISHED,RELATED -j ACCEPT

iptables -A INPUT -i ens32 -s xx.xx.xx.xx -p tcp --dport 22 -j ACCEPT
iptables -A OUTPUT -o ens32 -s xx.xx.xx.xx -p tcp --sport 22 -j ACCEPT
iptables -A INPUT -i ens32 -p udp -m multiport --dports 1111,1112,1113 -j ACCEPT     #порты ovpn
iptables -A OUTPUT -o ens32 -p udp -m multiport --sports 1111,1112,1113 -j ACCEPT

iptables -t nat -A POSTROUTING -s 192.168.5.0/24 -j SNAT --to-source xxx.xxx.xxx.xxx

iptables -A FORWARD -s 192.168.5.0/24 -j ACCEPT
iptables -A FORWARD -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
iptables -A FORWARD -i ens32 -m conntrack --ctstate NEW -p tcp -m multiport --dports xxxx,xxxx2,xxxx3 -j ACCEPT
iptables -A FORWARD -d 192.168.5.0/24 -m state --state ESTABLISHED,RELATED -j ACCEPT


Подскажи плиз в чем проблема.

[AnrDaemon]

iptables-save покажите, пожалуйста.

[achilles_85]

Код: [Выделить]

# Generated by iptables-save v1.6.0 on Tue Dec  6 18:03:38 2016
*nat
:PREROUTING ACCEPT [3807:556807]
:INPUT ACCEPT [4:262]
:OUTPUT ACCEPT [1:76]
:POSTROUTING ACCEPT [1:76]
-A POSTROUTING -s 192.168.5.0/24 -j SNAT --to-source xxx.xxx.xxx.xxx
COMMIT
# Completed on Tue Dec  6 18:03:38 2016
# Generated by iptables-save v1.6.0 on Tue Dec  6 18:03:38 2016
*filter
:INPUT DROP [3370:521394]
:FORWARD DROP [0:0]
:OUTPUT DROP [0:0]
-A INPUT -i lo -j ACCEPT
-A INPUT -i ens32 -p icmp -m icmp --icmp-type 0 -j ACCEPT
-A INPUT -i ens32 -p icmp -m icmp --icmp-type 8 -j ACCEPT
-A INPUT -i br1 -p icmp -m icmp --icmp-type 0 -j ACCEPT
-A INPUT -i br1 -p icmp -m icmp --icmp-type 8 -j ACCEPT
-A INPUT -i tun0 -p icmp -m icmp --icmp-type 0 -j ACCEPT
-A INPUT -i tun0 -p icmp -m icmp --icmp-type 8 -j ACCEPT
-A INPUT -p tcp -m state --state RELATED,ESTABLISHED -j ACCEPT
-A INPUT -p udp -m state --state RELATED,ESTABLISHED -j ACCEPT
-A INPUT -s xx.xx.xx.xx/32 -i ens32 -p tcp -m tcp --dport 22 -j ACCEPT
-A INPUT -i ens32 -p udp -m multiport --dports xxxx,xxxx1,xxxx2 -j ACCEPT
-A FORWARD -s 192.168.5.0/24 -j ACCEPT
-A FORWARD -d 192.168.5.0/24 -m state --state RELATED,ESTABLISHED -j ACCEPT
-A OUTPUT -o lo -j ACCEPT
-A OUTPUT -p icmp -j ACCEPT
-A OUTPUT -p tcp -m tcp --sport 32768:60999 -j ACCEPT
-A OUTPUT -p udp -m udp --sport 32768:60999 -j ACCEPT
-A OUTPUT -p tcp -m tcp --sport 22 -j ACCEPT
-A OUTPUT -s xx.xx.xx.xx/32 -o ens32 -p tcp -m tcp --sport 22 -j ACCEPT
-A OUTPUT -o ens32 -p udp -m multiport --sports xxxx,xxxx1,xxxx2 -j ACCEPT
COMMIT
# Completed on Tue Dec  6 18:03:38 2016


[AnrDaemon]

(Нажмите, чтобы показать/скрыть)

*nat
:POSTROUTING ACCEPT [0:0]
-A POSTROUTING -s 192.168.5.0/24 -o $WAN_IF -j SNAT --to-source xxx.xxx.xxx.xxx
COMMIT
*filter
:INPUT DROP [0:0]
:FORWARD DROP [0:0]
:OUTPUT ACCEPT [0:0]
-A INPUT -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -p icmp -j ACCEPT
-A INPUT -s xx.xx.xx.xx/32 -i ens32 -p tcp -m tcp --dport 22 -j ACCEPT
-A INPUT -i ens32 -p udp -m multiport --dports xxxx,xxxx1,xxxx2 -j ACCEPT
-A FORWARD -m conntrack --ctstate RELATED,ESTABLISHED,DNAT -j ACCEPT
-A FORWARD -i $LAN_IF -s 192.168.5.0/24 -j ACCEPT
COMMIT
# Completed on Tue Dec  6 18:03:38 2016

Зелёное заменить на реальные значения, а синее вам придётся объяснить, что вы там пытаетесь придумать.

[achilles_85]

AnrDaemon, первое [quotе] синее вам придётся объяснить, что вы там пытаетесь придумать.
[/quote]
Первое разрешает ip хх.хх.хх.хх ходить на порт 22 через интерфейс ens32.
Второе разрешает входящие подключения на данные порты только по интерфейсу ens32. Эти порты случает openvpn сервер
А как потеря связи связана с зелеными пометками? Форвардинг и нат пока на втором плане, хотя и там имеются грабли.

[AnrDaemon]

Потери никак не связаны, просто ваш конфиг настолько запущен, что проще было написать новый.

[achilles_85]

Печально( читал man к iptables, вот плоды всего этого. Мой первый серьезный конфиг, оно то вроде и работает, но вроде и косяк есть. А как лучше будет его составить?
На сервере два tun и один tap. Один внешний и один внутренний интерфейсы. Поднят мост залинкованый на внутренний интерфейс, tap интерфейс объединен с мостом.
Нужно чтобы один из tun и tap имели доступ только в сеть друг друга. С этим пунктом справился, все завелось. Второй tun нужен чтобы иметь доступ в интернет, в основном для работы через общедоступную файвай сеть. Как раз для этого второго tun и прописан конфиг в iptables.
Если не сложно подскажите как правильно реализовать.

[AnrDaemon]

Скорее всего, проблемы в маршрутизации, а не в iptables.

[achilles_85]

ifconfig

(Нажмите, чтобы показать/скрыть)

br1       Link encap:Ethernet  HWaddr 00:0c:29:9d:8c:7c
          inet addr:192.168.4.254  Bcast:192.168.4.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe9d:8c7c/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:8 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:0 (0.0 B)  TX bytes:648 (648.0 B)

ens32     Link encap:Ethernet  HWaddr 00:6h:29:9d:1f:65
          inet addr:XXX.XXX.XXX.XXX  Bcast:XXX.XXX.XXX.XXX  Mask:255.255.255.192
          inet6 addr: fe80::20c:29ff:fe9d:8c72/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:283649 errors:0 dropped:0 overruns:0 frame:0
          TX packets:87058 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:41801243 (41.8 MB)  TX bytes:14631002 (14.6 MB)

ens34     Link encap:Ethernet  HWaddr 00:6h:29:9d:1f:72
          UP BROADCAST RUNNING PROMISC MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:219 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:0 (0.0 B)  TX bytes:15126 (15.1 KB)

lo        Link encap:Локальная петля (Loopback)
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:160 errors:0 dropped:0 overruns:0 frame:0
          TX packets:160 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1
          RX bytes:11840 (11.8 KB)  TX bytes:11840 (11.8 KB)

tap0      Link encap:Ethernet  HWaddr a2:03:43:5c:7d:f1
          inet6 addr: fe80::a003:43ff:fe5c:7df1/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:16 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:100
          RX bytes:0 (0.0 B)  TX bytes:1296 (1.2 KB)

tun0      Link encap:UNSPEC  HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
          inet addr:192.168.5.1  P-t-P:192.168.5.2  Mask:255.255.255.255
          UP POINTOPOINT RUNNING NOARP MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:100
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

tun1      Link encap:UNSPEC  HWaddr 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00
          inet addr:192.168.6.1  P-t-P:192.168.6.2  Mask:255.255.255.255
          UP POINTOPOINT RUNNING NOARP MULTICAST  MTU:1500  Metric:1
          RX packets:435 errors:0 dropped:0 overruns:0 frame:0
          TX packets:942 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:100
          RX bytes:51038 (51.0 KB)  TX bytes:785313 (785.3 KB)

route

(Нажмите, чтобы показать/скрыть)

Таблица маршутизации ядра протокола IP
Destination Gateway Genmask Flags Metric Ref Use Iface
default         XXX.XXX.XXX.XXX  0.0.0.0         UG    0      0        0 ens32
localnet        *               255.255.255.192 U     0      0        0 ens32
192.168.4.0    *               255.255.255.0   U     0      0        0 br1
192.168.5.0    192.168.5.2    255.255.255.0   UG    0      0        0 tun0
192.168.5.2    *               255.255.255.255 UH    0      0        0 tun0
192.168.6.0    192.168.6.2    255.255.255.0   UG    0      0        0 tun1
192.168.6.2    *               255.255.255.255 UH    0      0        0 tun1
Таблица маршрутизации ядра IP
Source          Destination     Gateway         Flags Metric Ref    Use Iface

Сегодня опять пропала связь с сервером. После того как с него пустил пинг во внешний мир связь появилась. До потери связи и после таблица маршрутов не менялась. Все таки мне кажется это проблем iptables. Кто-нибудь подскажите на что обратить внимание.

[AnrDaemon]

Показывайте диагностику полностью.

Код: [Выделить]

ip addr; ip -s link; ip rule; ip route show table all type unicast; iptables-save

мне кажется

В таких случаях обычно крестятся.

[achilles_85]

AnrDaemon,

(Нажмите, чтобы показать/скрыть)

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:6h:29:9d:1f:65 brd ff:ff:ff:ff:ff:ff
    inet XXX.XXX.XXX.XXX/26 brd XXX.XXX.XXX.191 scope global ens32
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe9d:8c72/64 scope link
       valid_lft forever preferred_lft forever
3: ens34: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master br1 state UP group                                            default qlen 1000
    link/ether 00:6h:29:9d:1f:72 brd ff:ff:ff:ff:ff:ff
5: tap0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN group default qlen 10                                           0
    link/ether a2:03:43:5c:7d:f1 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::a003:43ff:fe5c:7df1/64 scope link
       valid_lft forever preferred_lft forever
6: tun0: <POINTOPOINT,MULTICAST,NOARP,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN group default                                            qlen 100
    link/none
    inet 192.168.5.1 peer 192.168.5.2/32 scope global tun0
       valid_lft forever preferred_lft forever
31: br1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 00:6h:29:9d:1f:72 brd ff:ff:ff:ff:ff:ff
    inet 192.168.4.254/24 brd 192.168.4.255 scope global br1
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe9d:8c7c/64 scope link
       valid_lft forever preferred_lft forever
32: tun1: <POINTOPOINT,MULTICAST,NOARP,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN group defaul                                           t qlen 100
    link/none
    inet 192.168.6.1 peer 192.168.6.2/32 scope global tun1
       valid_lft forever preferred_lft forever
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    RX: bytes  packets  errors  dropped overrun mcast
    11840      160      0       0       0       0
    TX: bytes  packets  errors  dropped carrier collsns
    11840      160      0       0       0       0
2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP mode DEFAULT group defaul                                           t qlen 1000
    link/ether 00:6h:29:9d:1f:65 brd ff:ff:ff:ff:ff:ff
    RX: bytes  packets  errors  dropped overrun mcast
    62709314   412730   0       0       0       0
    TX: bytes  packets  errors  dropped carrier collsns
    19827410   118293   0       0       0       0
3: ens34: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master br1 state UP mode D                                           EFAULT group default qlen 1000
    link/ether 00:6h:29:9d:1f:72 brd ff:ff:ff:ff:ff:ff
    RX: bytes  packets  errors  dropped overrun mcast
    0          0        0       0       0       0
    TX: bytes  packets  errors  dropped carrier collsns
    20274      302      0       0       0       0
5: tap0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN mode DEFAULT group de                                           fault qlen 100
    link/ether a2:03:43:5c:7d:f1 brd ff:ff:ff:ff:ff:ff
    RX: bytes  packets  errors  dropped overrun mcast
    0          0        0       0       0       0
    TX: bytes  packets  errors  dropped carrier collsns
    1296       16       0       0       0       0
6: tun0: <POINTOPOINT,MULTICAST,NOARP,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN mode DEFAULT                                            group default qlen 100
    link/none
    RX: bytes  packets  errors  dropped overrun mcast
    0          0        0       0       0       0
    TX: bytes  packets  errors  dropped carrier collsns
    0          0        0       0       0       0
31: br1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default ql                                           en 1000
    link/ether 00:6h:29:9d:1f:72 brd ff:ff:ff:ff:ff:ff
    RX: bytes  packets  errors  dropped overrun mcast
    0          0        0       0       0       0
    TX: bytes  packets  errors  dropped carrier collsns
    3798       83       0       0       0       0
32: tun1: <POINTOPOINT,MULTICAST,NOARP,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN mode DEFAULT                                            group default qlen 100
    link/none
    RX: bytes  packets  errors  dropped overrun mcast
    88210      689      0       0       0       0
    TX: bytes  packets  errors  dropped carrier collsns
    313979     771      0       0       0       0
0:      from all lookup local
32766:  from all lookup main
32767:  from all lookup default
default via XXX.XXX.XXX.129 dev ens32 onlink
XXX.XXX.XXX.128/26 dev ens32  proto kernel  scope link  src XXX.XXX.XXX.XXX
192.168.4.0/24 dev br1  proto kernel  scope link  src 192.168.4.254
192.168.5.0/24 via 192.168.5.2 dev tun0
192.168.5.2 dev tun0  proto kernel  scope link  src 192.168.5.1
192.168.6.0/24 via 192.168.6.2 dev tun1
192.168.6.2 dev tun1  proto kernel  scope link  src 192.168.6.1
fe80::/64 dev tap0  proto kernel  metric 256  pref medium
fe80::/64 dev ens32  proto kernel  metric 256  pref medium
fe80::/64 dev br1  proto kernel  metric 256  pref medium
ff00::/8 dev tap0  table local  metric 256  pref medium
ff00::/8 dev ens32  table local  metric 256  pref medium
ff00::/8 dev br1  table local  metric 256  pref medium

[AnrDaemon]

Мне в частности onlink на маршруте по умолчанию совершенно не нравится.
Если я правильно помню, это говорит о том, что маршрут активен в зависимости от активности соединения.

[achilles_85]

AnrDaemon, этот сервер поднят на виртуальной машине esxi. Параллельно трудится еще одни на этой вм, там нет такой проблемы. Единственное у второго сервера политика output accept. Маршрутизацию ни там, ни тут на проблемном не трогал.

[AnrDaemon]

https://forum.ubuntu.ru/index.php?topic=284728.msg2242940#msg2242940

[achilles_85]

AnrDaemon, я вас не могу понять. Загадками вы говорите очень хорошо, тут с вами не поспоришь. Конфиг упоротый может быть, не спорю. Но вы уже пожалуйста прямо укажите на то, в чем косяк. Так с бубном мы можем долго ходить вокруг да около. А если не хотите говорить, то ничего страшного, просто не надо меня по ссылкам кидать.
Пользователь добавил сообщение 08 Декабря 2016, 14:58:13:В syslog вот такое вывалилось при потери связи. Смущает Raise network interfaces. Не подскажите что не так?

(Нажмите, чтобы показать/скрыть)

Dec  8 13:09:01 oktell CRON[3496]: (root) CMD (  [ -x /usr/lib/php/sessionclean ] && /usr/lib/php/sessionclean)
Dec  8 13:17:01 oktell CRON[3539]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Dec  8 13:32:30 oktell systemd[1]: Stopping Raise network interfaces...
Dec  8 13:32:30 oktell kernel: [10893.715306] br1: port 1(ens34) entered disabled state
Dec  8 13:32:30 oktell kernel: [10893.735180] device ens34 left promiscuous mode
Dec  8 13:32:30 oktell kernel: [10893.735191] br1: port 1(ens34) entered disabled state
Dec  8 13:32:30 oktell kernel: [10893.752356] IPv6: ADDRCONF(NETDEV_UP): ens34: link is not ready
Dec  8 13:32:30 oktell systemd[1]: Stopping ifup for br1...
Dec  8 13:32:30 oktell ifdown[3640]: /sbin/ifdown: waiting for lock on /run/network/ifstate.br1
Dec  8 13:32:30 oktell ifdown[3640]: /sbin/ifdown: interface br1 not configured
Dec  8 13:32:30 oktell systemd[1]: Stopped ifup for br1.
Dec  8 13:32:30 oktell systemd[1]: Stopped Raise network interfaces.
Dec  8 13:32:30 oktell systemd[1]: Starting Raise network interfaces...
Dec  8 13:32:30 oktell kernel: [10893.954619] IPv6: ADDRCONF(NETDEV_UP): ens32: link is not ready
Dec  8 13:32:30 oktell kernel: [10893.955732] e1000: ens32 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Dec  8 13:32:30 oktell kernel: [10893.956597] IPv6: ADDRCONF(NETDEV_CHANGE): ens32: link becomes ready
Dec  8 13:32:30 oktell systemd[1]: Reloading OpenBSD Secure Shell server.
Dec  8 13:32:30 oktell systemd[1]: Reloaded OpenBSD Secure Shell server.
Dec  8 13:32:30 oktell systemd-udevd[3819]: Could not generate persistent MAC address for br1: No such file or directory
Dec  8 13:32:30 oktell kernel: [10894.026424] device ens34 entered promiscuous mode
Dec  8 13:32:30 oktell kernel: [10894.033357] e1000: ens34 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Dec  8 13:32:30 oktell kernel: [10894.037007] br1: port 1(ens34) entered forwarding state
Dec  8 13:32:30 oktell kernel: [10894.037014] br1: port 1(ens34) entered forwarding state
Dec  8 13:32:30 oktell ifup[3716]: Waiting for br1 to get ready (MAXWAIT is 20 seconds).
Dec  8 13:32:30 oktell systemd[1]: Started ifup for br1.
Dec  8 13:32:30 oktell systemd[1]: Found device /sys/subsystem/net/devices/br1.
Dec  8 13:32:30 oktell sh[3886]: ifup: waiting for lock on /run/network/ifstate.br1
Dec  8 13:32:30 oktell systemd[1]: Reloading OpenBSD Secure Shell server.
Dec  8 13:32:30 oktell systemd[1]: Reloaded OpenBSD Secure Shell server.
Dec  8 13:32:30 oktell sh[3886]: ifup: interface br1 already configured
Dec  8 13:32:31 oktell systemd[1]: Reloading OpenBSD Secure Shell server.
Dec  8 13:32:31 oktell systemd[1]: Reloaded OpenBSD Secure Shell server.
Dec  8 13:32:31 oktell systemd[1]: Started Raise network interfaces.
Dec  8 13:32:39 oktell kernel: [10903.039183] br1: port 1(ens34) entered forwarding state
Dec  8 13:35:39 oktell systemd[1]: Stopping Raise network interfaces...
Dec  8 13:35:39 oktell kernel: [11082.850674] br1: port 1(ens34) entered disabled state
Dec  8 13:35:39 oktell kernel: [11082.870570] device ens34 left promiscuous mode
Dec  8 13:35:39 oktell kernel: [11082.870583] br1: port 1(ens34) entered disabled state
Dec  8 13:35:39 oktell kernel: [11082.883701] IPv6: ADDRCONF(NETDEV_UP): ens34: link is not ready
Dec  8 13:35:39 oktell systemd[1]: Stopping ifup for br1...
Dec  8 13:35:39 oktell ifdown[4130]: /sbin/ifdown: waiting for lock on /run/network/ifstate.br1
Dec  8 13:35:39 oktell ifdown[4130]: /sbin/ifdown: interface br1 not configured
Dec  8 13:35:39 oktell systemd[1]: Stopped ifup for br1.
Dec  8 13:35:39 oktell systemd[1]: Stopped Raise network interfaces.
Dec  8 13:35:39 oktell systemd[1]: Starting Raise network interfaces...
Dec  8 13:35:39 oktell kernel: [11083.085372] IPv6: ADDRCONF(NETDEV_UP): ens32: link is not ready
Dec  8 13:35:39 oktell kernel: [11083.087125] e1000: ens32 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Dec  8 13:35:39 oktell kernel: [11083.087991] IPv6: ADDRCONF(NETDEV_CHANGE): ens32: link becomes ready
Dec  8 13:35:39 oktell systemd[1]: Reloading OpenBSD Secure Shell server.
Dec  8 13:35:39 oktell systemd[1]: Reloaded OpenBSD Secure Shell server.
Dec  8 13:35:39 oktell systemd-udevd[4309]: Could not generate persistent MAC address for br1: No such file or directory
Dec  8 13:35:39 oktell kernel: [11083.151515] device ens34 entered promiscuous mode
Dec  8 13:35:39 oktell kernel: [11083.159126] e1000: ens34 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Dec  8 13:35:39 oktell kernel: [11083.160281] br1: port 1(ens34) entered forwarding state
Dec  8 13:35:39 oktell kernel: [11083.160288] br1: port 1(ens34) entered forwarding state
Dec  8 13:35:39 oktell ifup[4203]: Waiting for br1 to get ready (MAXWAIT is 20 seconds).
Dec  8 13:35:39 oktell systemd[1]: Started ifup for br1.
Dec  8 13:35:39 oktell sh[4376]: ifup: waiting for lock on /run/network/ifstate.br1
Dec  8 13:35:39 oktell systemd[1]: Found device /sys/subsystem/net/devices/br1.
Dec  8 13:35:40 oktell systemd[1]: Reloading OpenBSD Secure Shell server.
Dec  8 13:35:40 oktell systemd[1]: Reloaded OpenBSD Secure Shell server.
Dec  8 13:35:40 oktell sh[4376]: ifup: interface br1 already configured
Dec  8 13:35:40 oktell systemd[1]: Reloading OpenBSD Secure Shell server.
Dec  8 13:35:40 oktell systemd[1]: Reloaded OpenBSD Secure Shell server.
Dec  8 13:35:40 oktell systemd[1]: Started Raise network interfaces.
Dec  8 13:35:48 oktell kernel: [11092.190560] br1: port 1(ens34) entered forwarding state
Dec  8 13:36:08 oktell systemd[1]: Stopping Raise network interfaces...
Dec  8 13:36:09 oktell kernel: [11112.386567] br1: port 1(ens34) entered disabled state
Dec  8 13:36:09 oktell kernel: [11112.406277] device ens34 left promiscuous mode
Dec  8 13:36:09 oktell kernel: [11112.406287] br1: port 1(ens34) entered disabled state
Dec  8 13:36:09 oktell kernel: [11112.419597] IPv6: ADDRCONF(NETDEV_UP): ens34: link is not ready
Dec  8 13:36:09 oktell systemd[1]: Stopping ifup for br1...
Dec  8 13:36:09 oktell ifdown[4615]: /sbin/ifdown: waiting for lock on /run/network/ifstate.br1
Dec  8 13:36:09 oktell ifdown[4615]: /sbin/ifdown: interface br1 not configured
Dec  8 13:36:09 oktell systemd[1]: Stopped ifup for br1.
Dec  8 13:36:09 oktell systemd[1]: Stopped Raise network interfaces.
Dec  8 13:36:09 oktell systemd[1]: Starting Raise network interfaces...
Dec  8 13:36:09 oktell kernel: [11112.616119] e1000: ens32 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Dec  8 13:36:09 oktell kernel: [11112.618529] IPv6: ADDRCONF(NETDEV_UP): ens32: link is not ready
Dec  8 13:36:09 oktell kernel: [11112.618543] IPv6: ADDRCONF(NETDEV_CHANGE): ens32: link becomes ready
Dec  8 13:36:09 oktell systemd[1]: Reloading OpenBSD Secure Shell server.
Dec  8 13:36:09 oktell systemd[1]: Reloaded OpenBSD Secure Shell server.
Dec  8 13:36:09 oktell systemd-udevd[4795]: Could not generate persistent MAC address for br1: No such file or directory
Dec  8 13:36:09 oktell kernel: [11112.694707] device ens34 entered promiscuous mode
Dec  8 13:36:09 oktell kernel: [11112.699124] e1000: ens34 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Dec  8 13:36:09 oktell kernel: [11112.704682] IPv6: ADDRCONF(NETDEV_UP): br1: link is not ready
Dec  8 13:36:09 oktell ifup[4690]: Waiting for br1 to get ready (MAXWAIT is 20 seconds).
Dec  8 13:36:09 oktell systemd[1]: Started ifup for br1.
Dec  8 13:36:09 oktell systemd[1]: Found device /sys/subsystem/net/devices/br1.
Dec  8 13:36:09 oktell sh[4862]: ifup: waiting for lock on /run/network/ifstate.br1
Dec  8 13:36:10 oktell kernel: [11113.386520] br1: port 1(ens34) entered forwarding state
Dec  8 13:36:10 oktell kernel: [11113.386528] br1: port 1(ens34) entered forwarding state
Dec  8 13:36:10 oktell kernel: [11113.386538] IPv6: ADDRCONF(NETDEV_CHANGE): br1: link becomes ready
Dec  8 13:36:10 oktell systemd[1]: Reloading OpenBSD Secure Shell server.
Dec  8 13:36:10 oktell systemd[1]: Reloaded OpenBSD Secure Shell server.
Dec  8 13:36:10 oktell sh[4862]: ifup: interface br1 already configured
Dec  8 13:36:10 oktell systemd[1]: Reloading OpenBSD Secure Shell server.
Dec  8 13:36:10 oktell systemd[1]: Reloaded OpenBSD Secure Shell server.
Dec  8 13:36:10 oktell systemd[1]: Started Raise network interfaces.
Dec  8 13:36:19 oktell kernel: [11122.398452] br1: port 1(ens34) entered forwarding state
Dec  8 13:37:46 oktell systemd[1]: Stopping Raise network interfaces...
Dec  8 13:37:46 oktell kernel: [11209.570189] br1: port 1(ens34) entered disabled state
Dec  8 13:37:46 oktell kernel: [11209.590073] device ens34 left promiscuous mode
Dec  8 13:37:46 oktell kernel: [11209.590083] br1: port 1(ens34) entered disabled state
Dec  8 13:37:46 oktell kernel: [11209.607225] IPv6: ADDRCONF(NETDEV_UP): ens34: link is not ready
Dec  8 13:37:46 oktell systemd[1]: Stopping ifup for br1...
Dec  8 13:37:46 oktell ifdown[5124]: /sbin/ifdown: waiting for lock on /run/network/ifstate.br1
Dec  8 13:37:46 oktell ifdown[5124]: /sbin/ifdown: interface br1 not configured
Dec  8 13:37:46 oktell systemd[1]: Stopped ifup for br1.
Dec  8 13:37:46 oktell systemd[1]: Stopped Raise network interfaces.
Dec  8 13:37:46 oktell systemd[1]: Starting Raise network interfaces...
Dec  8 13:37:46 oktell kernel: [11209.815331] e1000: ens32 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Dec  8 13:37:46 oktell kernel: [11209.816227] IPv6: ADDRCONF(NETDEV_UP): ens32: link is not ready
Dec  8 13:37:46 oktell kernel: [11209.816241] IPv6: ADDRCONF(NETDEV_CHANGE): ens32: link becomes ready
Dec  8 13:37:46 oktell systemd[1]: Reloading OpenBSD Secure Shell server.
Dec  8 13:37:46 oktell systemd[1]: Reloaded OpenBSD Secure Shell server.
Dec  8 13:37:46 oktell systemd-udevd[5305]: Could not generate persistent MAC address for br1: No such file or directory
Dec  8 13:37:46 oktell kernel: [11209.875528] device ens34 entered promiscuous mode
Dec  8 13:37:46 oktell kernel: [11209.882626] e1000: ens34 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: None
Dec  8 13:37:46 oktell kernel: [11209.884315] br1: port 1(ens34) entered forwarding state
Dec  8 13:37:46 oktell kernel: [11209.884321] br1: port 1(ens34) entered forwarding state
Dec  8 13:37:46 oktell ifup[5201]: Waiting for br1 to get ready (MAXWAIT is 20 seconds).
Dec  8 13:37:46 oktell systemd[1]: Started ifup for br1.
Dec  8 13:37:46 oktell systemd[1]: Found device /sys/subsystem/net/devices/br1.
Dec  8 13:37:46 oktell sh[5372]: ifup: waiting for lock on /run/network/ifstate.br1
Dec  8 13:37:46 oktell systemd[1]: Reloading OpenBSD Secure Shell server.
Dec  8 13:37:46 oktell systemd[1]: Reloaded OpenBSD Secure Shell server.
Dec  8 13:37:46 oktell sh[5372]: ifup: interface br1 already configured
Dec  8 13:37:46 oktell systemd[1]: Reloading OpenBSD Secure Shell server.
Dec  8 13:37:46 oktell sh[5372]: ifup: interface br1 already configured
Dec  8 13:37:46 oktell systemd[1]: Reloading OpenBSD Secure Shell server.
Dec  8 13:37:46 oktell systemd[1]: Reloaded OpenBSD Secure Shell server.
Dec  8 13:37:46 oktell systemd[1]: Started Raise network interfaces.
Dec  8 13:37:55 oktell kernel: [11218.910062] br1: port 1(ens34) entered forwarding state