Ubuntu 12.04 Server + LACP + D-Link DGS-3200(проблема)

[Red_Alert]

Приветствую всех!
Пытаюсь подружить агрегированный канал из 4-х гигабитных сетевых карточек под управлением Ubuntu Server 12.04 и коммутатор D-Link DGS-3200-24, и к сожалению, ничего у меня не получается, поэтому буду признателен за любую подсказку куда смотреть и в чём может быть быть проблема.
Итак, есть ОС в серверном варианте Ubuntu Server 12.04

(Нажмите, чтобы показать/скрыть)

Linux router 3.2.0-24-generic-pae #37-Ubuntu SMP Wed Apr 25 10:47:59 UTC 2012 i686 i686 i386 GNU/Linux

которая стоит на сервере с 4-мя сетевыми картами D-Link DGE-530T и встроенной сетевой картой Intel PRO 100(её в расчёт не берём)

(Нажмите, чтобы показать/скрыть)

# PCI device 0x1186:/sys/devices/pci0000:00/0000:00:01.0 (r8169)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="5c:d9:98:f5:61:5c", ATTR{dev_id}=="0x0", ATTR{type}=="1", KERNEL=="eth*", NAME="eth1"

# PCI device 0x1186:/sys/devices/pci0000:01/0000:01:02.0 (r8169)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="5c:d9:98:f5:7b:0d", ATTR{dev_id}=="0x0", ATTR{type}=="1", KERNEL=="eth*", NAME="eth3"

# PCI device 0x1186:/sys/devices/pci0000:00/0000:00:02.0 (r8169)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="5c:d9:98:f5:66:e2", ATTR{dev_id}=="0x0", ATTR{type}=="1", KERNEL=="eth*", NAME="eth2"

# PCI device 0x8086:/sys/devices/pci0000:00/0000:00:06.0 (e100)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:30:48:25:38:1d", ATTR{dev_id}=="0x0", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"

# PCI device 0x1186:/sys/devices/pci0000:01/0000:01:01.0 (skge)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:1b:11:19:7b:7d", ATTR{dev_id}=="0x0", ATTR{type}=="1", KERNEL=="eth*", NAME="eth4"

эти 4 карты собраны в агрегированный канал 4 Гб/c по протоколу LACP, но в 4-ую карту кабель пока не вставлен

(Нажмите, чтобы показать/скрыть)

Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 200
Down Delay (ms): 200

802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
Active Aggregator Info:
        Aggregator ID: 4
        Number of ports: 1
        Actor Key: 17
        Partner Key: 21
        Partner Mac Address: 00:24:01:fc:36:63

Slave Interface: eth2
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 74
Permanent HW addr: 5c:d9:98:f5:66:e2
Aggregator ID: 3
Slave queue ID: 0

Slave Interface: eth4
MII Status: up
Speed: Unknown
Duplex: Unknown
Link Failure Count: 0
Permanent HW addr: 00:1b:11:19:7b:7d
Aggregator ID: 2
Slave queue ID: 0

Slave Interface: eth3
MII Status: up
Speed: 100 Mbps
Duplex: full
Link Failure Count: 132
Permanent HW addr: 5c:d9:98:f5:7b:0d
Aggregator ID: 1
Slave queue ID: 0

Slave Interface: eth1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 2
Permanent HW addr: 5c:d9:98:f5:61:5c
Aggregator ID: 4
Slave queue ID: 0

уже видно что на 2-м интерфейсе имеется значительное количество сбоев соединения, а на 3-м помимо большого количества сбоев соединения ещё почему-то и выставлена скорость 100 Мб/с(хотя карта гигабитная), теперь если посмотреть на состояние линков, то на агрегированном канале имеется огромное число дропнутых пакетов

(Нажмите, чтобы показать/скрыть)

bond0     Link encap:Ethernet  HWaddr 5c:d9:98:f5:66:e2
          inet addr:10.0.0.12  Bcast:10.0.0.255  Mask:255.255.255.0
          inet6 addr: fe80::5ed9:98ff:fef5:66e2/64 Scope:Link
          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1
          RX packets:33723 errors:0 dropped:10485 overruns:0 frame:0
          TX packets:13969 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:3112632 (3.1 MB)  TX bytes:1839300 (1.8 MB)

eth0      Link encap:Ethernet  HWaddr 00:30:48:25:38:1d
          UP BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

eth1      Link encap:Ethernet  HWaddr 5c:d9:98:f5:66:e2
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:28715 errors:0 dropped:13 overruns:0 frame:0
          TX packets:8506 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:2491640 (2.4 MB)  TX bytes:1161946 (1.1 MB)
          Interrupt:16 Base address:0xce00

eth2      Link encap:Ethernet  HWaddr 5c:d9:98:f5:66:e2
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:36 errors:0 dropped:27 overruns:0 frame:0
          TX packets:341 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:4464 (4.4 KB)  TX bytes:42226 (42.2 KB)
          Interrupt:18 Base address:0xef00

eth3      Link encap:Ethernet  HWaddr 5c:d9:98:f5:66:e2
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:4972 errors:0 dropped:4972 overruns:0 frame:0
          TX packets:5122 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:616528 (616.5 KB)  TX bytes:635128 (635.1 KB)
          Interrupt:26 Base address:0x8c00

eth4      Link encap:Ethernet  HWaddr 5c:d9:98:f5:66:e2
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)
          Interrupt:24

lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:76 errors:0 dropped:0 overruns:0 frame:0
          TX packets:76 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:5720 (5.7 KB)  TX bytes:5720 (5.7 KB)

пинг с этой машины на другую выглядит в итоге так

(Нажмите, чтобы показать/скрыть)

--- 10.0.0.1 ping statistics ---
1000 packets transmitted, 956 received, 4% packet loss, time 999041ms
rtt min/avg/max/mdev = 0.099/0.224/5.681/0.327 ms

как видим имеется потеря пакетов в 4%. Но если теперь смотреть вывод netstat -i, то вроде в ядре всё хорошо

(Нажмите, чтобы показать/скрыть)

Kernel Interface table
Iface   MTU Met   RX-OK RX-ERR RX-DRP RX-OVR    TX-OK TX-ERR TX-DRP TX-OVR Flg
bond0      1500 0     42915      0  13718 0         17696      0      0      0 BMmRU
eth0       1500 0         0      0      0 0             0      0      0      0 BMU
eth1       1500 0     36290      0     13 0         10558      0      0      0 BMsRU
eth2       1500 0        37      0     28 0           400      0      0      0 BMsRU
eth3       1500 0      6588      0   6588 0          6738      0      0      0 BMsRU
eth4       1500 0         0      0      0 0             0      0      0      0 BMsRU
lo        16436 0        96      0      0 0            96      0      0      0 LRU

Теперь если посмотреть состояние агрегации на коммутаторе, то в группе 5 видим что активен только порт 21 хотя прописаны порты с 21 по 23

(Нажмите, чтобы показать/скрыть)

DGS-3200-24:4#show link_aggregation
Command: show link_aggregation

Link Aggregation Algorithm = MAC-Source-Dest

Group ID      : 1
Type          : LACP
Master Port   : 3
Member Port   : 3-4
Active Port   : 3-4
Status        : Enabled

Group ID      : 2
Type          : LACP
Master Port   : 13
Member Port   : 13-14
Active Port   : 13-14
Status        : Enabled

Group ID      : 3
Type          : LACP
Master Port   : 15
Member Port   : 15-16
Active Port   : 15-16
Status        : Enabled

Group ID      : 4
Type          : LACP
Master Port   : 17
Member Port   : 17-20
Active Port   : 17-20
Status        : Enabled

Group ID      : 5
Type          : LACP
Master Port   : 21
Member Port   : 21-23
Active Port   : 23
Status        : Enabled

Total Entries : 5

Буду благодарен за любую помощь.

[unixod]

Хорошо бы еще знать какой порт в какая сетевушка включена.

Могу посоветовать следующее:

1. Пройтись по каждой сетевушке утилитой ethtool, чтобы посмотреть на предмет выставленных скоростей в Auto или 100M/1000M.
2. Попробовать проверить кто актив/пассив на коммутаторе:

Код: [Выделить]

show lacp_portsМожет быть они не могут договориться.
3. Попробовать сначала поднять LACP с 1 линком. Если получится, то увеличивать кол-во линков.

[Red_Alert]

Хорошо бы еще знать какой порт в какая сетевушка включена.

Могу посоветовать следующее:

1. Пройтись по каждой сетевушке утилитой ethtool, чтобы посмотреть на предмет выставленных скоростей в Auto или 100M/1000M.
2. Попробовать проверить кто актив/пассив на коммутаторе:

Код: [Выделить]

show lacp_portsМожет быть они не могут договориться.
3. Попробовать сначала поднять LACP с 1 линком. Если получится, то увеличивать кол-во линков.

Связь сетевущек с портами коммутатора следующая: eth3 - порт 22, eth2 - порт 21, eth1 - порт 23.
Скорость везде авто, да и должна быть авто, я с момента установки ОС скорость не менял.

Код: [Выделить]

ethtool eth1

(Нажмите, чтобы показать/скрыть)

Settings for eth1:
        Supported ports: [ TP MII ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Half 1000baseT/Full
        Supported pause frame use: No
        Supports auto-negotiation: Yes
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Half 1000baseT/Full
        Advertised pause frame use: Symmetric Receive-only
        Advertised auto-negotiation: Yes
        Link partner advertised link modes:  10baseT/Half 10baseT/Full
                                             100baseT/Half 100baseT/Full
                                             1000baseT/Full
        Link partner advertised pause frame use: No
        Link partner advertised auto-negotiation: Yes
        Speed: 1000Mb/s
        Duplex: Full
        Port: MII
        PHYAD: 0
        Transceiver: internal
        Auto-negotiation: on
        Supports Wake-on: pumbg
        Wake-on: g
        Current message level: 0x00000033 (51)
                               drv probe ifdown ifup
        Link detected: yes

Код: [Выделить]

ethtool eth2

(Нажмите, чтобы показать/скрыть)

Settings for eth2:
        Supported ports: [ TP MII ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Half 1000baseT/Full
        Supported pause frame use: No
        Supports auto-negotiation: Yes
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Half 1000baseT/Full
        Advertised pause frame use: Symmetric Receive-only
        Advertised auto-negotiation: Yes
        Link partner advertised link modes:  10baseT/Half 10baseT/Full
                                             100baseT/Half 100baseT/Full
                                             1000baseT/Full
        Link partner advertised pause frame use: No
        Link partner advertised auto-negotiation: Yes
        Speed: 1000Mb/s
        Duplex: Full
        Port: MII
        PHYAD: 0
        Transceiver: internal
        Auto-negotiation: on
        Supports Wake-on: pumbg
        Wake-on: g
        Current message level: 0x00000033 (51)
                               drv probe ifdown ifup
        Link detected: yes

Код: [Выделить]

ethtool eth3

(Нажмите, чтобы показать/скрыть)

Settings for eth3:
        Supported ports: [ TP MII ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Half 1000baseT/Full
        Supported pause frame use: No
        Supports auto-negotiation: Yes
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Half 1000baseT/Full
        Advertised pause frame use: Symmetric Receive-only
        Advertised auto-negotiation: Yes
        Link partner advertised link modes:  10baseT/Half 10baseT/Full
                                             100baseT/Half 100baseT/Full
        Link partner advertised pause frame use: No
        Link partner advertised auto-negotiation: Yes
        Speed: 100Mb/s
        Duplex: Full
        Port: MII
        PHYAD: 0
        Transceiver: internal
        Auto-negotiation: on
        Supports Wake-on: pumbg
        Wake-on: g
        Current message level: 0x00000033 (51)
                               drv probe ifdown ifup
        Link detected: yes

Режимы LACP менять уже пробовал несколько раз, результатов не дало.

Код: [Выделить]

show lacp_port

(Нажмите, чтобы показать/скрыть)

DGS-3200-24:4#show lacp_port
Command: show lacp_port


 Port     Activity

 -----    --------
 1        Passive
 2        Passive
 3        Active
 4        Active
 5        Passive
 6        Passive
 7        Passive
 8        Passive
 9        Passive
 10       Passive
 11       Passive
 12       Passive
 13       Active
 14       Active
 15       Active
 16       Active
 17       Active
 18       Active
 19       Active
 20       Active
 21       Passive
 22       Passive
 23       Passive
 24       Passive

Насчёт варианта с одной сетевушкой в канале, пробовал - по моему работает, но не совсем корректно, т.е. получается пинг начинает ходить отлично, но в ifconfig всё равно отображается приличное количество дропнутых пакетов на инфтерфейсе bond0(что меня в целом всё равно смущает), но поскольку этот вариант проверял в спешке, то лучше этот момент уточню в понедельник ещё раз и отпишусь.

[victor00000]

Код: [Выделить]

lspci -knn | grep "Eth\|Net" -A2?

[Red_Alert]

Код: [Выделить]

lspci -knn | grep "Eth\|Net" -A2?

(Нажмите, чтобы показать/скрыть)

00:01.0 Ethernet controller [0200]: D-Link System Inc DGE-528T Gigabit Ethernet Adapter [1186:4300] (rev 10)
        Subsystem: D-Link System Inc Device [1186:4c00]
        Kernel driver in use: r8169
--
00:02.0 Ethernet controller [0200]: D-Link System Inc DGE-528T Gigabit Ethernet Adapter [1186:4300] (rev 10)
        Subsystem: D-Link System Inc Device [1186:4c00]
        Kernel driver in use: r8169
--
00:06.0 Ethernet controller [0200]: Intel Corporation 82557/8/9/0/1 Ethernet Pro 100 [8086:1229] (rev 08)
        Subsystem: Intel Corporation 82559 Fast Ethernet LAN on Motherboard [8086:3000]
        Kernel driver in use: e100
        Kernel modules: e100
--
01:01.0 Ethernet controller [0200]: D-Link System Inc DGE-530T Gigabit Ethernet Adapter (rev 11) [1186:4b01] (rev 11)
        Subsystem: D-Link System Inc DGE-530T Gigabit Ethernet Adapter (rev 11) [1186:4b01]
        Kernel driver in use: skge
        Kernel modules: skge
01:02.0 Ethernet controller [0200]: D-Link System Inc DGE-528T Gigabit Ethernet Adapter [1186:4300] (rev 10)
        Subsystem: D-Link System Inc Device [1186:4c00]
        Kernel driver in use: r8169

и ещё конечно подозрительно что система мне показывает что 3 сетевые карты это D-Link DGE-528T, а не D-Link DGE-530T(как на них самих указано)... может драйвера какие не те воткнулись для них?

[unixod]

Для примера как у меня, чтобы можно было сравнить.

LACP на сервере с DGS-3100

Код: [Выделить]

bond0     Link encap:Ethernet  HWaddr 00:15:17:fe:93:49 
          inet6 addr: fe80::215:17ff:fefe:9349/64 Scope:Link
          UP BROADCAST RUNNING PROMISC MASTER MULTICAST  MTU:1500  Metric:1
          RX packets:13832991 errors:0 dropped:0 overruns:0 frame:0
          TX packets:12638661 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:5595482524 (5.2 GiB)  TX bytes:4584807704 (4.2 GiB)

eth0      Link encap:Ethernet  HWaddr 00:15:17:fe:93:49 
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:5424980 errors:0 dropped:0 overruns:0 frame:0
          TX packets:8500069 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:1157046784 (1.0 GiB)  TX bytes:1811652680 (1.6 GiB)
          Interrupt:16 Memory:b1a00000-b1a20000

eth1      Link encap:Ethernet  HWaddr 00:15:17:fe:93:49 
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:8408011 errors:0 dropped:0 overruns:0 frame:0
          TX packets:4138592 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:4438435740 (4.1 GiB)  TX bytes:2773155024 (2.5 GiB)
          Interrupt:16 Memory:b1900000-b1920000

Код: [Выделить]

Ethernet Channel Bonding Driver: v3.6.0 (September 26, 2009)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

802.3ad info
LACP rate: slow
Aggregator selection policy (ad_select): stable
Active Aggregator Info:
    Aggregator ID: 1
    Number of ports: 2
    Actor Key: 17
    Partner Key: 303
    Partner Mac Address: 00:21:91:f2:7c:c6

Slave Interface: eth0
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:15:17:fe:93:49
Aggregator ID: 1
Slave queue ID: 0

Slave Interface: eth1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:15:17:fe:93:48
Aggregator ID: 1
Slave queue ID: 0


[koshev]

D-Link DGE-530T - собран на Marvell, а D-Link DGE-528T на Realtek. На самих чипах сетевух какой производитель?

[unixod]

Да, вообще странно что оно так определяется... но если принять во внимание, что это D-Link, то это вообще не удивляет...

[Red_Alert]

D-Link DGE-530T - собран на Marvell, а D-Link DGE-528T на Realtek. На самих чипах сетевух какой производитель?

Да, вообще странно что оно так определяется... но если принять во внимание, что это D-Link, то это вообще не удивляет...

На картах 3-х, которые на данный момент подключены к коммутатору, чипы Realtek, выглядят вот так http://www.just.ru/network_adapter/25610_adapter_d_link_dge_530t/ и 1 карта на Marvell, которая пока не подключена никуда. За D-Link вообще водится такая ерунда как сперва делать нормальные решения, а потом всё резко удешевлять и следующую ревизую устройства будь то свичи\маршрутизаторы\карты делать ущербнее.
Пользователь решил продолжить мысль 13 Мая 2012, 09:44:07:

Для примера как у меня, чтобы можно было сравнить.

LACP на сервере с DGS-3100

Код: [Выделить]

bond0     Link encap:Ethernet  HWaddr 00:15:17:fe:93:49 
          inet6 addr: fe80::215:17ff:fefe:9349/64 Scope:Link
          UP BROADCAST RUNNING PROMISC MASTER MULTICAST  MTU:1500  Metric:1
          RX packets:13832991 errors:0 dropped:0 overruns:0 frame:0
          TX packets:12638661 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:5595482524 (5.2 GiB)  TX bytes:4584807704 (4.2 GiB)

eth0      Link encap:Ethernet  HWaddr 00:15:17:fe:93:49 
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:5424980 errors:0 dropped:0 overruns:0 frame:0
          TX packets:8500069 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:1157046784 (1.0 GiB)  TX bytes:1811652680 (1.6 GiB)
          Interrupt:16 Memory:b1a00000-b1a20000

eth1      Link encap:Ethernet  HWaddr 00:15:17:fe:93:49 
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:8408011 errors:0 dropped:0 overruns:0 frame:0
          TX packets:4138592 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:4438435740 (4.1 GiB)  TX bytes:2773155024 (2.5 GiB)
          Interrupt:16 Memory:b1900000-b1920000

Код: [Выделить]

Ethernet Channel Bonding Driver: v3.6.0 (September 26, 2009)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

802.3ad info
LACP rate: slow
Aggregator selection policy (ad_select): stable
Active Aggregator Info:
    Aggregator ID: 1
    Number of ports: 2
    Actor Key: 17
    Partner Key: 303
    Partner Mac Address: 00:21:91:f2:7c:c6

Slave Interface: eth0
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:15:17:fe:93:49
Aggregator ID: 1
Slave queue ID: 0

Slave Interface: eth1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:15:17:fe:93:48
Aggregator ID: 1
Slave queue ID: 0


Ну тут даже незнаю что сказать, да вижу - всё отлично работает, пытаюсь добиться такого же... но пока никак. LACP rate тоже менял, тоже бесполезно. Глядя в содержимое 3-его спойлера в 1-м сообщении вообще немогу понять почему к агрегированному каналу присоединился только интерфейс eth1, а все остальные непойми к чему судя по Aggregator ID канала и сетевухи и куда теперь копать.

[unixod]

Попробуйте на других сетевухах, если есть возможность. Хотя бы для теста.
Может быть еще поверить прошивку коммутатора на предмет последней прошивки?

[Red_Alert]

Сетевух нету других.  Прошивку надо запрашивать у саппорта D-Link?

[unixod]

Вот тут можно взять.

[Red_Alert]

Вот тут можно взять.

За ссылку спасибо, правда шить буду если исчерпаются совсем все идеи, а пока подожду ещё решения. Дело в том, что на этом коммутаторе поднято ещё несколько агрегированных каналов: 2 в виндовые серваки и 2 в коммутаторы(один D-Link, другой стороннего вендора), и всё отлично работает, так что я сомневаюсь что дело в коммутаторе.

[koshev]

Вероятно тут, может быть решение

[Red_Alert]

3. Попробовать сначала поднять LACP с 1 линком. Если получится, то увеличивать кол-во линков.

Насчёт варианта с одной сетевушкой в канале, пробовал - по моему работает, но не совсем корректно, т.е. получается пинг начинает ходить отлично, но в ifconfig всё равно отображается приличное количество дропнутых пакетов на инфтерфейсе bond0(что меня в целом всё равно смущает), но поскольку этот вариант проверял в спешке, то лучше этот момент уточню в понедельник ещё раз и отпишусь.

Тут всё же я соврал, всё равно дропаются пакеты на агрегированном интерфейсе, хотя на физическом всё ок, плюс соответственно имеется пакет лосс, всё-таки проблема не в физике мне кажется.

Код: [Выделить]

ifconfig

(Нажмите, чтобы показать/скрыть)

ifconfig
bond0     Link encap:Ethernet  HWaddr 5c:d9:98:f5:61:5c
          inet addr:10.0.0.12  Bcast:10.0.0.255  Mask:255.255.255.0
          inet6 addr: fe80::5ed9:98ff:fef5:615c/64 Scope:Link
          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1
          RX packets:5024 errors:0 dropped:900 overruns:0 frame:0
          TX packets:2479 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:417862 (417.8 KB)  TX bytes:327344 (327.3 KB)

eth1      Link encap:Ethernet  HWaddr 5c:d9:98:f5:61:5c
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:5024 errors:0 dropped:0 overruns:0 frame:0
          TX packets:2479 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:417862 (417.8 KB)  TX bytes:327344 (327.3 KB)
          Interrupt:16 Base address:0xce00

lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:76 errors:0 dropped:0 overruns:0 frame:0
          TX packets:76 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:5736 (5.7 KB)  TX bytes:5736 (5.7 KB)

Код: [Выделить]

ping -c 500 10.0.0.1--- 10.0.0.1 ping statistics ---
500 packets transmitted, 466 received, 6% packet loss, time 499004ms
rtt min/avg/max/mdev = 0.114/0.201/1.152/0.065 ms

Код: [Выделить]

cat /proc/net/bonding/bond0

(Нажмите, чтобы показать/скрыть)

Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 200
Down Delay (ms): 200

802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
Active Aggregator Info:
        Aggregator ID: 1
        Number of ports: 1
        Actor Key: 17
        Partner Key: 21
        Partner Mac Address: 00:24:01:fc:36:63

Slave Interface: eth1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 1
Permanent HW addr: 5c:d9:98:f5:61:5c
Aggregator ID: 1
Slave queue ID: 0

Пользователь решил продолжить мысль 14 Мая 2012, 11:18:43:Хотя получилось не совсем соврал, переткнул eth1 в порт 21 на коммутаторе, пинг отличный хотя на агрегированном канале всё равно значительное число дропнутых пакетов, что всё же наверное не совсем правильно.

Код: [Выделить]

ping -c 500 10.0.0.1--- 10.0.0.1 ping statistics ---
500 packets transmitted, 500 received, 0% packet loss, time 499000ms
rtt min/avg/max/mdev = 0.108/0.211/2.636/0.135 ms

Код: [Выделить]

ifconfig

(Нажмите, чтобы показать/скрыть)

bond0     Link encap:Ethernet  HWaddr 5c:d9:98:f5:61:5c
          inet addr:10.0.0.12  Bcast:10.0.0.255  Mask:255.255.255.0
          inet6 addr: fe80::5ed9:98ff:fef5:615c/64 Scope:Link
          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1
          RX packets:11813 errors:0 dropped:1702 overruns:0 frame:0
          TX packets:4250 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:1073751 (1.0 MB)  TX bytes:527178 (527.1 KB)

eth1      Link encap:Ethernet  HWaddr 5c:d9:98:f5:61:5c
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:11813 errors:0 dropped:3 overruns:0 frame:0
          TX packets:4250 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:1073751 (1.0 MB)  TX bytes:527178 (527.1 KB)
          Interrupt:16 Base address:0xce00

lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:124 errors:0 dropped:0 overruns:0 frame:0
          TX packets:124 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:9384 (9.3 KB)  TX bytes:9384 (9.3 KB)

Пользователь решил продолжить мысль 14 Мая 2012, 11:19:21:ПС. Порт 21 это мастер порт агрегированного канала.