Форум русскоязычного сообщества Ubuntu


Хотите сделать посильный вклад в развитие Ubuntu и русскоязычного сообщества?
Помогите нам с документацией!

Автор Тема: Ubuntu 12.04 Server + LACP + D-Link DGS-3200(проблема)  (Прочитано 4114 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Red_Alert

  • Автор темы
  • Новичок
  • *
  • Сообщений: 14
    • Просмотр профиля
Приветствую всех!
Пытаюсь подружить агрегированный канал из 4-х гигабитных сетевых карточек под управлением Ubuntu Server 12.04 и коммутатор D-Link DGS-3200-24, и к сожалению, ничего у меня не получается, поэтому буду признателен за любую подсказку куда смотреть и в чём может быть быть проблема.
Итак, есть ОС в серверном варианте Ubuntu Server 12.04
(Нажмите, чтобы показать/скрыть)
которая стоит на сервере с 4-мя сетевыми картами D-Link DGE-530T и встроенной сетевой картой Intel PRO 100(её в расчёт не берём)
(Нажмите, чтобы показать/скрыть)
эти 4 карты собраны в агрегированный канал 4 Гб/c по протоколу LACP, но в 4-ую карту кабель пока не вставлен
(Нажмите, чтобы показать/скрыть)
уже видно что на 2-м интерфейсе имеется значительное количество сбоев соединения, а на 3-м помимо большого количества сбоев соединения ещё почему-то и выставлена скорость 100 Мб/с(хотя карта гигабитная), теперь если посмотреть на состояние линков, то на агрегированном канале имеется огромное число дропнутых пакетов
(Нажмите, чтобы показать/скрыть)
пинг с этой машины на другую выглядит в итоге так
(Нажмите, чтобы показать/скрыть)
как видим имеется потеря пакетов в 4%. Но если теперь смотреть вывод netstat -i, то вроде в ядре всё хорошо
(Нажмите, чтобы показать/скрыть)
Теперь если посмотреть состояние агрегации на коммутаторе, то в группе 5 видим что активен только порт 21 хотя прописаны порты с 21 по 23
(Нажмите, чтобы показать/скрыть)
Буду благодарен за любую помощь.

Оффлайн unixod

  • Участник
  • *
  • Сообщений: 114
    • Просмотр профиля
Re: Ubuntu 12.04 Server + LACP + D-Link DGS-3200(проблема)
« Ответ #1 : 12 Май 2012, 20:05:30 »
Хорошо бы еще знать какой порт в какая сетевушка включена.

Могу посоветовать следующее:

1. Пройтись по каждой сетевушке утилитой ethtool, чтобы посмотреть на предмет выставленных скоростей в Auto или 100M/1000M.
2. Попробовать проверить кто актив/пассив на коммутаторе:
show lacp_portsМожет быть они не могут договориться.
3. Попробовать сначала поднять LACP с 1 линком. Если получится, то увеличивать кол-во линков.

Оффлайн Red_Alert

  • Автор темы
  • Новичок
  • *
  • Сообщений: 14
    • Просмотр профиля
Re: Ubuntu 12.04 Server + LACP + D-Link DGS-3200(проблема)
« Ответ #2 : 12 Май 2012, 22:18:05 »
Хорошо бы еще знать какой порт в какая сетевушка включена.

Могу посоветовать следующее:

1. Пройтись по каждой сетевушке утилитой ethtool, чтобы посмотреть на предмет выставленных скоростей в Auto или 100M/1000M.
2. Попробовать проверить кто актив/пассив на коммутаторе:
show lacp_portsМожет быть они не могут договориться.
3. Попробовать сначала поднять LACP с 1 линком. Если получится, то увеличивать кол-во линков.
Связь сетевущек с портами коммутатора следующая: eth3 - порт 22, eth2 - порт 21, eth1 - порт 23.
Скорость везде авто, да и должна быть авто, я с момента установки ОС скорость не менял.
ethtool eth1
(Нажмите, чтобы показать/скрыть)
ethtool eth2
(Нажмите, чтобы показать/скрыть)
ethtool eth3
(Нажмите, чтобы показать/скрыть)
Режимы LACP менять уже пробовал несколько раз, результатов не дало.
show lacp_port
(Нажмите, чтобы показать/скрыть)
Насчёт варианта с одной сетевушкой в канале, пробовал - по моему работает, но не совсем корректно, т.е. получается пинг начинает ходить отлично, но в ifconfig всё равно отображается приличное количество дропнутых пакетов на инфтерфейсе bond0(что меня в целом всё равно смущает), но поскольку этот вариант проверял в спешке, то лучше этот момент уточню в понедельник ещё раз и отпишусь.

Оффлайн victor00000

  • Забанен
  • Старожил
  • *
  • Сообщений: 15570
  • Глухонемой (Deaf)
    • Просмотр профиля
Re: Ubuntu 12.04 Server + LACP + D-Link DGS-3200(проблема)
« Ответ #3 : 12 Май 2012, 22:20:54 »
lspci -knn | grep "Eth\|Net" -A2?
Нельзя друзья, дулу - AnrDaemon видите?
~.o

Оффлайн Red_Alert

  • Автор темы
  • Новичок
  • *
  • Сообщений: 14
    • Просмотр профиля
Re: Ubuntu 12.04 Server + LACP + D-Link DGS-3200(проблема)
« Ответ #4 : 12 Май 2012, 22:29:24 »
lspci -knn | grep "Eth\|Net" -A2?
(Нажмите, чтобы показать/скрыть)
и ещё конечно подозрительно что система мне показывает что 3 сетевые карты это D-Link DGE-528T, а не D-Link DGE-530T(как на них самих указано)... может драйвера какие не те воткнулись для них?

Оффлайн unixod

  • Участник
  • *
  • Сообщений: 114
    • Просмотр профиля
Re: Ubuntu 12.04 Server + LACP + D-Link DGS-3200(проблема)
« Ответ #5 : 12 Май 2012, 22:42:33 »
Для примера как у меня, чтобы можно было сравнить.

LACP на сервере с DGS-3100

bond0     Link encap:Ethernet  HWaddr 00:15:17:fe:93:49 
          inet6 addr: fe80::215:17ff:fefe:9349/64 Scope:Link
          UP BROADCAST RUNNING PROMISC MASTER MULTICAST  MTU:1500  Metric:1
          RX packets:13832991 errors:0 dropped:0 overruns:0 frame:0
          TX packets:12638661 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:5595482524 (5.2 GiB)  TX bytes:4584807704 (4.2 GiB)

eth0      Link encap:Ethernet  HWaddr 00:15:17:fe:93:49 
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:5424980 errors:0 dropped:0 overruns:0 frame:0
          TX packets:8500069 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:1157046784 (1.0 GiB)  TX bytes:1811652680 (1.6 GiB)
          Interrupt:16 Memory:b1a00000-b1a20000

eth1      Link encap:Ethernet  HWaddr 00:15:17:fe:93:49 
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:8408011 errors:0 dropped:0 overruns:0 frame:0
          TX packets:4138592 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:4438435740 (4.1 GiB)  TX bytes:2773155024 (2.5 GiB)
          Interrupt:16 Memory:b1900000-b1920000

Ethernet Channel Bonding Driver: v3.6.0 (September 26, 2009)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

802.3ad info
LACP rate: slow
Aggregator selection policy (ad_select): stable
Active Aggregator Info:
    Aggregator ID: 1
    Number of ports: 2
    Actor Key: 17
    Partner Key: 303
    Partner Mac Address: 00:21:91:f2:7c:c6

Slave Interface: eth0
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:15:17:fe:93:49
Aggregator ID: 1
Slave queue ID: 0

Slave Interface: eth1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:15:17:fe:93:48
Aggregator ID: 1
Slave queue ID: 0
« Последнее редактирование: 12 Май 2012, 22:50:11 от unixod »

Оффлайн koshev

  • Старожил
  • *
  • Сообщений: 1707
  • חתול המדען
    • Просмотр профиля
Re: Ubuntu 12.04 Server + LACP + D-Link DGS-3200(проблема)
« Ответ #6 : 12 Май 2012, 22:44:27 »
D-Link DGE-530T - собран на Marvell, а D-Link DGE-528T на Realtek. На самих чипах сетевух какой производитель?
Debian GNU\Linux 7.11; ICH7; r8169; Linux 4.14.32-atomd525mv-imq-ja1 (i686)
Ubuntu GNU\Linux 18.04; MCP61; forcedeth; 4.15.0-20-generic (x86_64)

Оффлайн unixod

  • Участник
  • *
  • Сообщений: 114
    • Просмотр профиля
Re: Ubuntu 12.04 Server + LACP + D-Link DGS-3200(проблема)
« Ответ #7 : 12 Май 2012, 22:51:41 »
Да, вообще странно что оно так определяется... но если принять во внимание, что это D-Link, то это вообще не удивляет...

Оффлайн Red_Alert

  • Автор темы
  • Новичок
  • *
  • Сообщений: 14
    • Просмотр профиля
Re: Ubuntu 12.04 Server + LACP + D-Link DGS-3200(проблема)
« Ответ #8 : 13 Май 2012, 09:39:15 »
D-Link DGE-530T - собран на Marvell, а D-Link DGE-528T на Realtek. На самих чипах сетевух какой производитель?
Да, вообще странно что оно так определяется... но если принять во внимание, что это D-Link, то это вообще не удивляет...
На картах 3-х, которые на данный момент подключены к коммутатору, чипы Realtek, выглядят вот так http://www.just.ru/network_adapter/25610_adapter_d_link_dge_530t/ и 1 карта на Marvell, которая пока не подключена никуда. За D-Link вообще водится такая ерунда как сперва делать нормальные решения, а потом всё резко удешевлять и следующую ревизую устройства будь то свичи\маршрутизаторы\карты делать ущербнее.

Пользователь решил продолжить мысль 13 Май 2012, 09:44:07:
Для примера как у меня, чтобы можно было сравнить.

LACP на сервере с DGS-3100

bond0     Link encap:Ethernet  HWaddr 00:15:17:fe:93:49 
          inet6 addr: fe80::215:17ff:fefe:9349/64 Scope:Link
          UP BROADCAST RUNNING PROMISC MASTER MULTICAST  MTU:1500  Metric:1
          RX packets:13832991 errors:0 dropped:0 overruns:0 frame:0
          TX packets:12638661 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:5595482524 (5.2 GiB)  TX bytes:4584807704 (4.2 GiB)

eth0      Link encap:Ethernet  HWaddr 00:15:17:fe:93:49 
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:5424980 errors:0 dropped:0 overruns:0 frame:0
          TX packets:8500069 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:1157046784 (1.0 GiB)  TX bytes:1811652680 (1.6 GiB)
          Interrupt:16 Memory:b1a00000-b1a20000

eth1      Link encap:Ethernet  HWaddr 00:15:17:fe:93:49 
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:8408011 errors:0 dropped:0 overruns:0 frame:0
          TX packets:4138592 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:4438435740 (4.1 GiB)  TX bytes:2773155024 (2.5 GiB)
          Interrupt:16 Memory:b1900000-b1920000

Ethernet Channel Bonding Driver: v3.6.0 (September 26, 2009)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

802.3ad info
LACP rate: slow
Aggregator selection policy (ad_select): stable
Active Aggregator Info:
    Aggregator ID: 1
    Number of ports: 2
    Actor Key: 17
    Partner Key: 303
    Partner Mac Address: 00:21:91:f2:7c:c6

Slave Interface: eth0
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:15:17:fe:93:49
Aggregator ID: 1
Slave queue ID: 0

Slave Interface: eth1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:15:17:fe:93:48
Aggregator ID: 1
Slave queue ID: 0
Ну тут даже незнаю что сказать, да вижу - всё отлично работает, пытаюсь добиться такого же... но пока никак. LACP rate тоже менял, тоже бесполезно. Глядя в содержимое 3-его спойлера в 1-м сообщении вообще немогу понять почему к агрегированному каналу присоединился только интерфейс eth1, а все остальные непойми к чему судя по Aggregator ID канала и сетевухи и куда теперь копать.
« Последнее редактирование: 13 Май 2012, 09:44:07 от Red_Alert »

Оффлайн unixod

  • Участник
  • *
  • Сообщений: 114
    • Просмотр профиля
Re: Ubuntu 12.04 Server + LACP + D-Link DGS-3200(проблема)
« Ответ #9 : 13 Май 2012, 12:16:29 »
Попробуйте на других сетевухах, если есть возможность. Хотя бы для теста.
Может быть еще поверить прошивку коммутатора на предмет последней прошивки?

Оффлайн Red_Alert

  • Автор темы
  • Новичок
  • *
  • Сообщений: 14
    • Просмотр профиля
Re: Ubuntu 12.04 Server + LACP + D-Link DGS-3200(проблема)
« Ответ #10 : 13 Май 2012, 14:45:34 »
Сетевух нету других.  :-[ Прошивку надо запрашивать у саппорта D-Link?

Оффлайн unixod

  • Участник
  • *
  • Сообщений: 114
    • Просмотр профиля
Re: Ubuntu 12.04 Server + LACP + D-Link DGS-3200(проблема)
« Ответ #11 : 13 Май 2012, 21:01:11 »
Вот тут можно взять.

Оффлайн Red_Alert

  • Автор темы
  • Новичок
  • *
  • Сообщений: 14
    • Просмотр профиля
Re: Ubuntu 12.04 Server + LACP + D-Link DGS-3200(проблема)
« Ответ #12 : 13 Май 2012, 21:19:12 »
Вот тут можно взять.
За ссылку спасибо, правда шить буду если исчерпаются совсем все идеи, а пока подожду ещё решения. Дело в том, что на этом коммутаторе поднято ещё несколько агрегированных каналов: 2 в виндовые серваки и 2 в коммутаторы(один D-Link, другой стороннего вендора), и всё отлично работает, так что я сомневаюсь что дело в коммутаторе.

Оффлайн koshev

  • Старожил
  • *
  • Сообщений: 1707
  • חתול המדען
    • Просмотр профиля
Debian GNU\Linux 7.11; ICH7; r8169; Linux 4.14.32-atomd525mv-imq-ja1 (i686)
Ubuntu GNU\Linux 18.04; MCP61; forcedeth; 4.15.0-20-generic (x86_64)

Оффлайн Red_Alert

  • Автор темы
  • Новичок
  • *
  • Сообщений: 14
    • Просмотр профиля
Re: Ubuntu 12.04 Server + LACP + D-Link DGS-3200(проблема)
« Ответ #14 : 14 Май 2012, 10:50:47 »
3. Попробовать сначала поднять LACP с 1 линком. Если получится, то увеличивать кол-во линков.
Насчёт варианта с одной сетевушкой в канале, пробовал - по моему работает, но не совсем корректно, т.е. получается пинг начинает ходить отлично, но в ifconfig всё равно отображается приличное количество дропнутых пакетов на инфтерфейсе bond0(что меня в целом всё равно смущает), но поскольку этот вариант проверял в спешке, то лучше этот момент уточню в понедельник ещё раз и отпишусь.
Тут всё же я соврал, всё равно дропаются пакеты на агрегированном интерфейсе, хотя на физическом всё ок, плюс соответственно имеется пакет лосс, всё-таки проблема не в физике мне кажется.
ifconfig
(Нажмите, чтобы показать/скрыть)
ping -c 500 10.0.0.1--- 10.0.0.1 ping statistics ---
500 packets transmitted, 466 received, 6% packet loss, time 499004ms
rtt min/avg/max/mdev = 0.114/0.201/1.152/0.065 ms
cat /proc/net/bonding/bond0
(Нажмите, чтобы показать/скрыть)


Пользователь решил продолжить мысль 14 Май 2012, 11:18:43:
Хотя получилось не совсем соврал, переткнул eth1 в порт 21 на коммутаторе, пинг отличный хотя на агрегированном канале всё равно значительное число дропнутых пакетов, что всё же наверное не совсем правильно.
ping -c 500 10.0.0.1--- 10.0.0.1 ping statistics ---
500 packets transmitted, 500 received, 0% packet loss, time 499000ms
rtt min/avg/max/mdev = 0.108/0.211/2.636/0.135 ms
ifconfig
(Нажмите, чтобы показать/скрыть)

Пользователь решил продолжить мысль 14 Май 2012, 11:19:21:
ПС. Порт 21 это мастер порт агрегированного канала.
« Последнее редактирование: 14 Май 2012, 11:19:21 от Red_Alert »

 

Страница сгенерирована за 0.328 секунд. Запросов: 24.