Агрегация сетевых интерфейсов (802.3ad)

[vlad001]

Здравствуйте! Имеются три устройства: маршрутизатор на Ubuntu Server 16.04 LTS, файловое хранилище (Openmediavault 3), десктоп Windows 10. В маршрутизаторе и десктопе установлены по одной штуке сетевых карт на I350 (Intel) у каждой из них по четыре порта, в хранилище две встроенные сетевые (Intel и ещё какая-то). Я решил объединить парами сетевые карты, т.о. от маршрутизатора одна пара идёт к десктопу, а другая пара к хранилищу, дополнительные коммутационные устройства отсутствуют. Но есть проблема, не происходит удвоение (2 Гб/с) пропускной способности новых интерфейсов. Работают они так как-будто это один интерфейс (1 Гб/с). Привожу конфиг с Ubuntu Server:

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

source /etc/network/interfaces.d/*

# The loopback network interface
auto lo
iface lo inet loopback

# Агрегация интерфейсов для bond0
auto enp1s0f0
iface enp1s0f0 inet manual
    bond-master bond0

auto enp1s0f1
iface enp1s0f1 inet manual
    bond-master bond0

auto bond0
iface bond0 inet manual
    bond-mode 802.3ad
    bond-lacp-rate fast
    bond-miimon 100
    bond-slaves enp1s0f0 enp1s0f1

# Агрегация интерфейсов для bond1
auto enp1s0f2
iface enp1s0f2 inet manual
    bond-master bond1

auto enp1s0f3
iface enp1s0f3 inet manual
    bond-master bond1

auto bond1
iface bond1 inet manual
    bond-mode 802.3ad
    bond-lacp-rate fast
    bond-miimon 100
    bond-slaves enp1s0f2 enp1s0f3

# Создаём мост
auto br0
iface br0 inet static
    address 192.168.2.1
    network 192.168.2.0
    netmask 255.255.255.0
    broadcast 192.168.2.255
    bridge_ports bond0 bond1 enp3s0 enp4s0
    bridge_stp on

auto dsl-provider
iface dsl-provider inet ppp
#pre-up /bin/ip link set enp1s0 up # line maintained by pppoeconf
pre-up /bin/ip link set enxe
provider dsl-provider

#auto enp1s0
auto enxe
#iface enp1s0 inet manual
iface enxe inet manual


В /etc/modules добавлен bonding.
В хранилище настроено через web-интерфейс, в windows через драйвер Intel. Все они рапортуют что вновь полученные интерфейсы имеют скорость в 2 Гб/с. Вывод ethtool bondX на сервере:

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

root@home-router:/# ethtool bond0
Settings for bond0:
        Supported ports: [ ]
        Supported link modes:   Not reported
        Supported pause frame use: No
        Supports auto-negotiation: No
        Advertised link modes:  Not reported
        Advertised pause frame use: No
        Advertised auto-negotiation: No
        Speed: 2000Mb/s
        Duplex: Full
        Port: Other
        PHYAD: 0
        Transceiver: internal
        Auto-negotiation: off
        Link detected: yes

root@home-router:/# ethtool bond1
Settings for bond1:
        Supported ports: [ ]
        Supported link modes:   Not reported
        Supported pause frame use: No
        Supports auto-negotiation: No
        Advertised link modes:  Not reported
        Advertised pause frame use: No
        Advertised auto-negotiation: No
        Speed: 2000Mb/s
        Duplex: Full
        Port: Other
        PHYAD: 0
        Transceiver: internal
        Auto-negotiation: off
        Link detected: yes


В хранилище аналогичный вывод:

(Нажмите, чтобы показать/скрыть)

root@home-nas:~# ethtool bond0
Settings for bond0:
        Supported ports: [ ]
        Supported link modes:   Not reported
        Supported pause frame use: No
        Supports auto-negotiation: No
        Advertised link modes:  Not reported
        Advertised pause frame use: No
        Advertised auto-negotiation: No
        Speed: 2000Mb/s
        Duplex: Full
        Port: Other
        PHYAD: 0
        Transceiver: internal
        Auto-negotiation: off
        Link detected: yes

Проверял копированием файлов через самбу. Заметил что на чтение и запись используются разные из пар, например копирование с Ubunu Server на десктоп преимущественно enp1s0f0, а записи на сервер (копирование с десктопа на сервер) преимущественно enp1s0f1. Где я ошибся?

[AnrDaemon]

https://help.ubuntu.com/community/UbuntuLTSP/Trunking#Bonding_modes
Удвоения и не будет, на сколько я понимаю.

[vlad001]

Во многих русскоязычных ресурсах пишут что увеличивается, по вашей похоже что нет (переводил через гуглопереводчик). Тогда что даёт этот режим, из перевода я не очень понял зачем он нужен? Других средств объединения нет, чтоб получить удвоенную или близкому к этой скорость?

[AnrDaemon]

что даёт этот режим

Этот режим даёт РАСПРЕДЕЛЕНИЕ нагрузки при наличии БОЛЕЕ ЧЕМ ОДНОГО клиента.

P.S.
А вот так выглядит bond-mode balance-tlb (5)

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

$  uptime
 22:40:11 up 3 days, 6 min,  2 users,  load average: 0.18, 0.21, 0.13
$  ip -s l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    RX: bytes  packets  errors  dropped overrun mcast   
    28624755   72415    0       0       0       0     
    TX: bytes  packets  errors  dropped carrier collsns
    28624755   72415    0       0       0       0     
2: eth1: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master bond0 state UNKNOWN qlen 1000
    link/ether 00:80:48:1b:02:2a brd ff:ff:ff:ff:ff:ff
    RX: bytes  packets  errors  dropped overrun mcast   
    5057883686 9503115  5       0       0       0     
    TX: bytes  packets  errors  dropped carrier collsns
    3619140783 4921632  0       0       0       0     
3: eth0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master bond0 state UP qlen 1000
    link/ether 6c:f0:49:d1:de:75 brd ff:ff:ff:ff:ff:ff
    RX: bytes  packets  errors  dropped overrun mcast   
    1417708    17006    0       17006   0       0     
    TX: bytes  packets  errors  dropped carrier collsns
    6110597727 6569081  0       0       0       0     
4: bond0: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP
    link/ether 00:80:48:1b:02:2a brd ff:ff:ff:ff:ff:ff
    RX: bytes  packets  errors  dropped overrun mcast   
    5059301394 9520121  5       17021   0       0     
    TX: bytes  packets  errors  dropped carrier collsns
    9729738510 11490713 0       0       0       0     
5: mac0@bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP
    link/ether 02:00:00:00:01:00 brd ff:ff:ff:ff:ff:ff
    RX: bytes  packets  errors  dropped overrun mcast   
    1677817207 4674762  0       0       0       10943 
    TX: bytes  packets  errors  dropped carrier collsns
    6927848315 4347913  0       0       0       0     
6: mac1@bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN
    link/ether 02:00:00:00:01:01 brd ff:ff:ff:ff:ff:ff
    RX: bytes  packets  errors  dropped overrun mcast   
    2897383039 3462088  0       0       0       21601 
    TX: bytes  packets  errors  dropped carrier collsns
    1426267794 2979597  0       0       0       0     


Один сервер, два порта 100Mbit, свич, пять клиентов.

[vlad001]

Этот режим даёт РАСПРЕДЕЛЕНИЕ нагрузки при наличии БОЛЕЕ ЧЕМ ОДНОГО клиента.

Не очень пойму, какая нагрузка распределяется. Допустим у меня два клиент (хранилище и десктоп). Ранее была схема с двумя адаптерами, объединёнными в мост. Т.е. их два (клиента), теперь есть два агрегатированных интерфейса от/до каждого из них. И так и так, работает одинаково. Что должно было распределиться? Извиняюсь за возможно глупые вопросы.

[AnrDaemon]

Распределяется нагрузка. Например, для каждого следующего клиента может выбираться наименее загруженный порт в транке.
Если вам нужно именно расширить канал между двумя хостами, смотрите в сторону родных утилит Intel. Возможно, там это есть.

[Дмитрий Бо]

По дефолту в режиме 802.3ad трафик распределяется между портами по XOR между MAC-
адресами получателя и отправителя. Для одной неизменной пары адресов всегда будет выбираться один и тот же порт. Поэтому такой алгоритм имеет смысл, если комп с бондингом общается с многими другими устройствами.

Есть другие алгоритмы, например, распределять не по MAC, а по IP или TCP. Но от них тоже толку не будет. Может, есть случайное распределение или раунд-робин - они бы сгодились.

Есть другие режимы - balance-tlb/alb. Их обычно не рекомендуют, но можно попробовать хотя бы balance-alb.

Что до винды, производители перестали городить бондинг в драйверах и посылают пользоваться виндовым тимингом.

[AnrDaemon]

Есть другие режимы - balance-tlb/alb. Их обычно не рекомендуют, но можно попробовать хотя бы balance-alb.

alb - это продвинутая версия tlb, и всё равно будет использоваться только один порт для одного клиента.

[AnrDaemon]

Note to self: игры с balance-alb в окружении macvlan до добра не доводят
Сеть ВРОДЕ БЫ работает, но профили пользователей загружаться перестают из-за хаоса с MAC-адресами.