bonding

[xdxdxd]

Привет всем.
Имею какую-то непонятную ситуацию с агрегацией:

Два сервака примерно одинаковой конфигурации. На первом ubuntu server 10.04, 2 сетевых интерфейса. На втором Win2003R2, 4 сетевых интерфейса, 2 из них смотрят в сеть предприятия, 2 в первый сервак. Сетевухи Intel, гигабитные. Сервера в стойке, друг над другом.

Раньше два сервака были связаны между собой только одним интерфейсом. Диски винды монтировались в Ubuntu через mount.cifs, или в fstab прямо прописывал. Скорость мерял vnstat -l. Вытоге скорость прокачки файлов была 250-300Mbit/s, что и так не особо радовало, везде пишут что на гигабитном канале обычно выжимают мегабит 600...

Наконец руки дошли настроить агрегацию. В винде ставлю SLA, в убунте mode 0.

файл interfaces выглядит так:

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

auto lo
iface lo inet loopback

auto bond0
iface bond0 inet static
address 10.0.1.2
netmask 255.255.255.0
bond-slaves none
bond_mode 0
bond_miimon 100

auto eth0
iface eth0 inet manual
bond-master bond0

auto eth1
iface eth1 inet manual
bond-master bond0

В винде скорость интерфейса показывает 2Gbit/s, встроенная утилита проверки говорит, что teaming настроен и функцианирует правильно. Но на деле улучшений никаких. Запускаю vnstat -l для каждого интерфейса: bond0, eth0, eth1. Начинаю копировать крупный файл с винды в Ubuntu.

Средние скорости:
eth0:  rx 250Mbit/s     tx 3Mbit/s
eth1:  rx 0Mbit/s       tx 3Mbit/s
bond0: rx 250Mbit/s     tx 6Mbit/s



По-моему, это ненормально...
Пробовал агрегировать по 803.2ad, ситуация не меняется. Есть какие-нибудь мысли, что может быть не так?

[drako]

Mode 0 и не должен давать прироста при однопоточном копировании. А mode 4 требует настройки коммутатора.

[xdxdxd]

А если напрямую соединяю? В убунте mode 4, в винде 803.2ad.

[drako]

Напрямую скорее нет, чем да.

[victor00000]

http://tier.cs.berkeley.edu/drupal/howto/setting-up-parallel-80211-links-using-bonding

[xdxdxd]

Ладно, оставлю пока mode 0 в убунте и SLA в винде. Работает, показывает якобы "2 гигабита".

Смотрю что происходит на всех интерфейсах через vnstat -l. Вытоге: на приём работает либо один интерфейс, либо другой. На отдачу скорость делится пополам между обоими интерфейсами.

Но скорости не радуют. Собственно для чего это и делалось. При прокачке Windows -> Ubuntu скорость 250-300Mbit/s, при прокачке Ubuntu -> Windows 120-150Mbit/s. До агрегации скорости были точно такие же. Быть может тогда это просто затуп убунты при монтировании виндовых дисков?

Копировал файл 50Gb, туда и обратно инициатором копирования была Ubuntu (из консоли, cp). На обоих серверах гонял файл через 2xSSD RAID-0, это к тому что винтами никак не должны ограничиваться скорости копирования. Кабели менял. Сервера в стойке друг над другом, расстояние около 30см.

Как увеличить скорости прокачки файлов? Ну вроде бы уже все условия созданы.

[victor00000]

Дрова нужен может быть, покажи вывод команд.

Код: [Выделить]

lspci -knn | grep "Eth\|Net" -A2
ifconfig -a | grep "^eth\|^wlan" | awk '{print $1}' | xargs -I {} sudo ethtool {}


[xdxdxd]

lspci -knn | grep "Eth\|Net" -A2

(Нажмите, чтобы показать/скрыть)

00:19.0 Ethernet controller [0200]: Intel Corporation 82578DM Gigabit Network Connection [8086:10ef] (rev5)
Kernel driver in use e1000e
Kernel modules e1000e

02:00.0 Ethernet controller [0200]: Intel Corporation 82574L Gigabit Network Connection [8086:10d3]
Kernel driver in use e1000e
Kernel modules e1000e

ifconfig -a | grep "^eth\|^wlan" | awk '{print $1}' | xargs -I {} sudo ethtool {}

(Нажмите, чтобы показать/скрыть)

Settings for eth0:
        Supported ports: [ TP ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Supports auto-negotiation: Yes
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Advertised pause frame use: No
        Advertised auto-negotiation: Yes
        Link partner advertised link modes:  Not reported
        Link partner advertised pause frame use: No
        Link partner advertised auto-negotiation: No
        Speed: 1000Mb/s
        Duplex: Full
        Port: Twisted Pair
        PHYAD: 1
        Transceiver: internal
        Auto-negotiation: on
        MDI-X: on
        Supports Wake-on: pumbag
        Wake-on: g
        Current message level: 0x00000001 (1)
        Link detected: yes
Settings for eth1:
        Supported ports: [ TP ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Supports auto-negotiation: Yes
        Advertised link modes:  10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Advertised pause frame use: No
        Advertised auto-negotiation: Yes
        Link partner advertised link modes:  Not reported
        Link partner advertised pause frame use: No
        Link partner advertised auto-negotiation: No
        Speed: 1000Mb/s
        Duplex: Full
        Port: Twisted Pair
        PHYAD: 1
        Transceiver: internal
        Auto-negotiation: on
        MDI-X: on
        Supports Wake-on: pumbag
        Wake-on: g
        Current message level: 0x00000001 (1)
        Link detected: yes

[victor00000]

https://forum.ubuntu.ru/index.php?topic=175191.msg1295078#msg1295078

[xdxdxd]

Проделал как там описано.

Код: [Выделить]

modinfo e1000e

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

filename:       /lib/modules/2.6.32-32-generic-pae/kernel/drivers/net/e1000e/e1000e.ko
version:        1.6.3-NAPI
license:        GPL
description:    Intel(R) PRO/1000 Network Driver
author:         Intel Corporation, <linux.nics@intel.com>
srcversion:     573097600A023AE89AF9AF5
alias:          pci:v00008086d00001503sv*sd*bc*sc*i*
alias:          pci:v00008086d00001502sv*sd*bc*sc*i*
alias:          pci:v00008086d000010F0sv*sd*bc*sc*i*
alias:          pci:v00008086d000010EFsv*sd*bc*sc*i*
alias:          pci:v00008086d000010EBsv*sd*bc*sc*i*
alias:          pci:v00008086d000010EAsv*sd*bc*sc*i*
alias:          pci:v00008086d00001525sv*sd*bc*sc*i*
alias:          pci:v00008086d000010DFsv*sd*bc*sc*i*
alias:          pci:v00008086d000010DEsv*sd*bc*sc*i*
alias:          pci:v00008086d000010CEsv*sd*bc*sc*i*
alias:          pci:v00008086d000010CDsv*sd*bc*sc*i*
alias:          pci:v00008086d000010CCsv*sd*bc*sc*i*
alias:          pci:v00008086d000010CBsv*sd*bc*sc*i*
alias:          pci:v00008086d000010F5sv*sd*bc*sc*i*
alias:          pci:v00008086d000010BFsv*sd*bc*sc*i*
alias:          pci:v00008086d000010E5sv*sd*bc*sc*i*
alias:          pci:v00008086d0000294Csv*sd*bc*sc*i*
alias:          pci:v00008086d000010BDsv*sd*bc*sc*i*
alias:          pci:v00008086d000010C3sv*sd*bc*sc*i*
alias:          pci:v00008086d000010C2sv*sd*bc*sc*i*
alias:          pci:v00008086d000010C0sv*sd*bc*sc*i*
alias:          pci:v00008086d00001501sv*sd*bc*sc*i*
alias:          pci:v00008086d00001049sv*sd*bc*sc*i*
alias:          pci:v00008086d0000104Dsv*sd*bc*sc*i*
alias:          pci:v00008086d0000104Bsv*sd*bc*sc*i*
alias:          pci:v00008086d0000104Asv*sd*bc*sc*i*
alias:          pci:v00008086d000010C4sv*sd*bc*sc*i*
alias:          pci:v00008086d000010C5sv*sd*bc*sc*i*
alias:          pci:v00008086d0000104Csv*sd*bc*sc*i*
alias:          pci:v00008086d000010BBsv*sd*bc*sc*i*
alias:          pci:v00008086d00001098sv*sd*bc*sc*i*
alias:          pci:v00008086d000010BAsv*sd*bc*sc*i*
alias:          pci:v00008086d00001096sv*sd*bc*sc*i*
alias:          pci:v00008086d0000150Csv*sd*bc*sc*i*
alias:          pci:v00008086d000010F6sv*sd*bc*sc*i*
alias:          pci:v00008086d000010D3sv*sd*bc*sc*i*
alias:          pci:v00008086d0000109Asv*sd*bc*sc*i*
alias:          pci:v00008086d0000108Csv*sd*bc*sc*i*
alias:          pci:v00008086d0000108Bsv*sd*bc*sc*i*
alias:          pci:v00008086d0000107Fsv*sd*bc*sc*i*
alias:          pci:v00008086d0000107Esv*sd*bc*sc*i*
alias:          pci:v00008086d0000107Dsv*sd*bc*sc*i*
alias:          pci:v00008086d000010B9sv*sd*bc*sc*i*
alias:          pci:v00008086d000010D5sv*sd*bc*sc*i*
alias:          pci:v00008086d000010DAsv*sd*bc*sc*i*
alias:          pci:v00008086d000010D9sv*sd*bc*sc*i*
alias:          pci:v00008086d00001060sv*sd*bc*sc*i*
alias:          pci:v00008086d000010A5sv*sd*bc*sc*i*
alias:          pci:v00008086d000010BCsv*sd*bc*sc*i*
alias:          pci:v00008086d000010A4sv*sd*bc*sc*i*
alias:          pci:v00008086d0000105Fsv*sd*bc*sc*i*
alias:          pci:v00008086d0000105Esv*sd*bc*sc*i*
depends:
vermagic:       2.6.32-32-generic-pae SMP mod_unload modversions 586TSC
parm:           copybreak:Maximum size of packet that is copied to a new buffer on receive (uint)
parm:           TxIntDelay:Transmit Interrupt Delay (array of int)
parm:           TxAbsIntDelay:Transmit Absolute Interrupt Delay (array of int)
parm:           RxIntDelay:Receive Interrupt Delay (array of int)
parm:           RxAbsIntDelay:Receive Absolute Interrupt Delay (array of int)
parm:           InterruptThrottleRate:Interrupt Throttling Rate (array of int)
parm:           IntMode:Interrupt Mode (array of int)
parm:           SmartPowerDownEnable:Enable PHY smart power down (array of int)
parm:           KumeranLockLoss:Enable Kumeran lock loss workaround (array of int)
parm:           CrcStripping:Enable CRC Stripping, disable if your BMC needs the CRC (array of int)
parm:           EEE:Enable/disable on parts that support the feature (array of int)
parm:           Node:[ROUTING] Node to allocate memory on, default -1 (array of int)


Код: [Выделить]

dmesg | grep "PRO/1000 Network Driver"

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

[5090651.296456] e1000e: Intel(R) PRO/1000 Network Driver - 1.6.3-NAPI


Сам сервак не перезагружал, сделал только /etc/init.d/networking restart.
Скорости остались на прежнем уровне. 250-300Mbit/s на приём, 120-150Mbit/s на отдачу.
Запускал одновременно несколько копирований.

[AnrDaemon]

И как перезапуск сети может повлиять на загруженные в ядро драйвера?

[xdxdxd]

На серваке криптованный контейнер, ключик только у босса, босс на отдыхе )
Пока что не перезагрузить.

[xdxdxd]

Перезагрузил сервак.
Ничего не изменилось =(

Windows и Ubuntu переустанавливались - в захламлённости систем дело быть не может.