Друзья, приветствую!
Имеется система (назовём её Система-1), на которой примонтировано 8 NFS-шар. Что сам этот сервер, что СХД оборудованы двухпортовыми 10GE-картами Intel X550T2BLK. Свич - Cisco SX350X-52. На нём, ответственный специалист заявляет, аггрегация настроена на соответствующих портах. При попытке воспользоваться потенциальным преимуществом, которое должна дать опция монтирования nconnect=X, шары, примонтированные с опцией
nconnect=2, становятся неработоспособны. Они опрашиваются, видятся, всё вроде нормально - но при попытке записи на них
mc встаёт колом до перезагрузки системы. Значения nconnect выше 2 так же не работают, хотя в интернетах советуют и 8, и 16 выставлять, но это скорее всего должно всё-таки зависеть от количества интерфейсов...
На другой системе (Система-2) однопортовый 10GE-адаптер Aquantia, но шара с этой же СХД монтируется с
nconnect=2 нормально и полностью работоспособна, правда, никакого выигрыша по очевидной, кажется, причине эта опция не даёт. Но шара работает.
Может, есть какие-то очевидные подводные камни? Но в любом случае приведу характеристики и конфиги, хотя и не хотелось бы перегружать пост...
Система-1:Ubuntu 20.04.2 LTS, 5.4.0-80-generic
Сетевая карта:
*-network:0
description: Ethernet interface
product: Ethernet Controller 10G X550T
vendor: Intel Corporation
physical id: 0
bus info: pci@0000:0d:00.0
logical name: enp13s0f0
version: 01
serial: fa:91:1e:eb:13:45
size: 10Gbit/s
capacity: 10Gbit/s
width: 64 bits
clock: 33MHz
capabilities: pm msi msix pciexpress bus_master cap_list rom ethernet physical tp 100bt-fd 1000bt-fd 10000bt-fd autonegotiation
configuration: autonegotiation=on broadcast=yes driver=ixgbe driverversion=5.1.0-k duplex=full firmware=0x80000c67, 1.1276.0 latency=0 link=yes multicast=yes port=twisted pair slave=yes speed=10Gbit/s
resources: irq:90 memory:f2800000-f2bfffff memory:f2c04000-f2c07fff memory:f2d00000-f2d7ffff memory:f2e00000-f2efffff memory:f2f00000-f2ffffff
*-network:1
description: Ethernet interface
product: Ethernet Controller 10G X550T
vendor: Intel Corporation
physical id: 0.1
bus info: pci@0000:0d:00.1
logical name: enp13s0f1
version: 01
serial: fa:91:1e:eb:13:45
size: 10Gbit/s
capacity: 10Gbit/s
width: 64 bits
clock: 33MHz
capabilities: pm msi msix pciexpress bus_master cap_list rom ethernet physical tp 100bt-fd 1000bt-fd 10000bt-fd autonegotiation
configuration: autonegotiation=on broadcast=yes driver=ixgbe driverversion=5.1.0-k duplex=full firmware=0x80000c67, 1.1276.0 latency=0 link=yes multicast=yes port=twisted pair slave=yes speed=10Gbit/s
resources: irq:193 memory:f2400000-f27fffff memory:f2c00000-f2c03fff memory:f2d80000-f2dfffff memory:f3000000-f30fffff memory:f3100000-f31fffff
*-network
description: Ethernet interface
physical id: 1
logical name: bond0
serial: fa:91:1e:eb:13:45
capabilities: ethernet physical
configuration: autonegotiation=off broadcast=yes driver=bonding driverversion=3.7.1 duplex=full firmware=2 ip=192.168.11.9 link=yes master=yes multicast=yes
Конфиг netplan:
network:
version: 2
ethernets:
enp13s0f0:
dhcp4: no
enp13s0f1:
dhcp4: no
bonds:
bond0:
interfaces: [enp13s0f0, enp13s0f1]
addresses: [192.168.11.9/24]
gateway4: 192.168.11.1
nameservers:
addresses: [77.88.8.88, 77.88.8.2, 8.8.4.4]
parameters:
mode: 802.3ad
lacp-rate: fast
primary: enp13s0f0
mii-monitor-interval: 1
Монтирование шар в
/etc/fstab:
#NFS share of lenstor1 (filecoin-storage-3)
192.168.11.7:/mnt/filecoin-storage-3 /media/filecoin-storage-3 nfs user,rw 0 0
#NFS share of lenstor1 (filecoin-storage-4)
192.168.11.7:/mnt/filecoin-storage-4 /media/filecoin-storage-4 nfs user,rw 0 0
#NFS share of lenstor1 (filecoin-storage-5)
192.168.11.7:/mnt/filecoin-storage-5 /media/filecoin-storage-5 nfs user,rw 0 0
#NFS share of lenstor1 (filecoin-storage-6)
192.168.11.7:/mnt/filecoin-storage-6 /media/filecoin-storage-6 nfs user,rw 0 0
#NFS share of lenstor1 (filecoin-storage-7)
192.168.11.7:/mnt/filecoin-storage-7 /media/filecoin-storage-7 nfs user,rw 0 0
#NFS share of lenstor1 (filecoin-storage-8)
192.168.11.7:/mnt/filecoin-storage-8 /media/filecoin-storage-8 nfs user,rw 0 0
#NFS share of lenstor1 (filecoin-storage-9)
192.168.11.7:/mnt/filecoin-storage-9 /media/filecoin-storage-9 nfs user,rw 0 0
#NFS share of lenstor1 (filecoin-storage-10)
192.168.11.7:/mnt/filecoin-storage-10 /media/filecoin-storage-10 nfs user,rw 0 0
nconnect=2 приписывается просто в конце опций монтирования, в виде
user,rw,nconnect=2Система-2Ubuntu 20.04.2 LTS, 5.4.0-80-generic
Сетевая карта:
*-network
description: Ethernet interface
product: AQC107 NBase-T/IEEE 802.3bz Ethernet Controller [AQtion]
vendor: Aquantia Corp.
physical id: 0
bus info: pci@0000:01:00.0
logical name: enp1s0
version: 02
serial: e0:4f:43:e6:0a:47
size: 10Gbit/s
capacity: 10Gbit/s
width: 64 bits
clock: 33MHz
capabilities: pciexpress pm msix msi vpd bus_master cap_list rom ethernet physical tp 100bt-fd 1000bt-fd 10000bt-fd autonegotiation
configuration: autonegotiation=on broadcast=yes driver=atlantic driverversion=5.4.0-80-generic-kern duplex=full firmware=4.2.40 ip=192.168.11.104 latency=0 link=yes multicast=yes port=twisted pair speed=10Gbit/s
resources: irq:83 memory:f2440000-f244ffff memory:f2450000-f2450fff memory:f2000000-f23fffff memory:f2400000-f243ffff
Конфиг netplan:
network:
ethernets:
enp1s0:
addresses:
- 192.168.11.104/24
gateway4: 192.168.11.1
nameservers:
addresses:
- 8.8.8.8
search: []
version: 2
Монтирование шар в
/etc/fstab:
Абсолютно идентично
Системе-1,
Ctrl+C/Ctrl+V. С той разницей, что шара одна.
СХДTrueNAS-12.0-U4 (FreeBSD 12.2-RELEASE-p6)
Вывод
ifconfig:
ix0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
description: member of lagg0
options=e53fbb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,LRO,WOL_UCAST,WOL_MCAST,WOL_MAGIC,VLAN_HWFILTER,VLAN_HWTSO,RXCSUM_IPV6,TXCSUM_IPV6>
ether b4:96:91:8e:36:a0
media: Ethernet autoselect (10Gbase-T <full-duplex,rxpause,txpause>)
status: active
nd6 options=9<PERFORMNUD,IFDISABLED>
ix1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
description: member of lagg0
options=e53fbb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,LRO,WOL_UCAST,WOL_MCAST,WOL_MAGIC,VLAN_HWFILTER,VLAN_HWTSO,RXCSUM_IPV6,TXCSUM_IPV6>
ether b4:96:91:8e:36:a0
hwaddr b4:96:91:8e:36:a1
media: Ethernet autoselect (10Gbase-T <full-duplex,rxpause,txpause>)
status: active
nd6 options=9<PERFORMNUD,IFDISABLED>
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
options=680003<RXCSUM,TXCSUM,LINKSTATE,RXCSUM_IPV6,TXCSUM_IPV6>
inet6 ::1 prefixlen 128
inet6 fe80::1%lo0 prefixlen 64 scopeid 0x3
inet 127.0.0.1 netmask 0xff000000
groups: lo
nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
pflog0: flags=0<> metric 0 mtu 33160
groups: pflog
lagg0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
description: lagg0
options=e53fbb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,LRO,WOL_UCAST,WOL_MCAST,WOL_MAGIC,VLAN_HWFILTER,VLAN_HWTSO,RXCSUM_IPV6,TXCSUM_IPV6>
ether b4:96:91:8e:36:a0
inet 192.168.11.7 netmask 0xffffff00 broadcast 192.168.11.255
laggproto lacp lagghash l2,l3,l4
laggport: ix0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: ix1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
groups: lagg
media: Ethernet autoselect
status: active
nd6 options=9<PERFORMNUD,IFDISABLED>
tun0: flags=8051<UP,POINTOPOINT,RUNNING,MULTICAST> metric 0 mtu 1500
options=80000<LINKSTATE>
inet 10.10.10.1 --> 10.10.10.2 netmask 0xffffff00
groups: tun
nd6 options=1<PERFORMNUD>
Opened by PID 9189
Шары из консоли (
cat /etc/exports) выглядят так:
V4: / -sec=sys
/mnt/filecoin-storage-3 -mapall="root"
/mnt/filecoin-storage-4 -mapall="root"
/mnt/filecoin-storage-5 -mapall="root"
/mnt/filecoin-storage-6 -mapall="root"
/mnt/filecoin-storage-7 -mapall="root"
/mnt/filecoin-storage-8 -mapall="root"
/mnt/filecoin-storage-8/calibnet -mapall="root" 192.168.11.101
/mnt/filecoin-storage-9 -mapall="root"
/mnt/filecoin-storage-10 /mnt/filecoin-storage-10 -mapall="root"
10-я так (с двумя путями) создаётся после включения NFSv4, который по умолчанию выключен в TrueNAS. Пробовал 9ю и 10ю. С
Системы-2 всё работает.
Прошу помощи сообщества!..