Балансировка канала между 3-мя WAN-интерфейсами

[kneker]

Добрый день, уважаемые форумчане!

Настраиваю балансировку трафика между тремя каналами "наружу".
Действую по указанному мануалу: http://habrahabr.ru/post/54748/

который даже попал на help.ubuntu.ru как "второй способ" https://help.ubuntu.ru/wiki/ip_balancing:

В указанном примере используется 2 канала, а у меня их, как сказано выше - 3.

В ходе самостоятельной адаптации скриптов натолкнулся на одну неопределенность, прошу Вашего совета.

Вот выдержка:
Теперь напишем скрипт, который будет прописывать все необходимые маршруты и правила файрвола:
cat /etc/balance/routing.sh

Код: [Выделить]

ip route add $P0_NET   dev $IF0 table $TBL1 > /dev/null 2>&1
ip route add $P2_NET   dev $IF2 table $TBL1 > /dev/null 2>&1
ip route add 127.0.0.0/8 dev lo  table $TBL1 > /dev/null 2>&1

ip route add $P0_NET   dev $IF0 table $TBL2 > /dev/null 2>&1
ip route add $P1_NET   dev $IF1 table $TBL2 > /dev/null 2>&1
ip route add 127.0.0.0/8 dev lo  table $TBL2 > /dev/null 2>&1
Как видим, при добавлении маршрута в сеть "P2_NET" мы обращаемся к таблице "TBL1".
И, соответственно, наоборот.

Вопросы следующие:
1) Правильно ли в приведенном примере задаются маршруты (и главное - чтобы сам сообразил, и больше о таких вещах не спрашивал - почему)?
Не должно ли быть как-то так:

Код: [Выделить]

ip route add $P0_NET   dev $IF0 table $TBL2 > /dev/null 2>&1
ip route add $P2_NET   dev $IF2 table $TBL2 > /dev/null 2>&1
ip route add 127.0.0.0/8 dev lo  table $TBL2 > /dev/null 2>&1
2) И как в таком случае нужно поправить этот кусок в случае задействования не 2-х, а 3-х каналов.

Прошу прощения за фундаментальные вопросы, честно - сам "не въехал" как надо.

[kneker]

Вот еще один момент, так сказать - вопрос вдогонку:

Пробно настроил (по вышеуказанному мануалу) балансировку между 2-мя интерфейсами (третий пока лежит без дела, ну да ладно).
Все заработало.
Однако при открытии ресурсов, особенно - работающих по https, стали наблюдаться тормоза. Без балансировки все работает быстро.

На что следует обращать внимание применительно к данной проблеме? Где что проверять?

[golota]

Например, у меня уже не первый год, на домашнем роутере TP-LINK TL-MR3220 прошитый OpenWrt Attitude Adjustment 12.09-rc1.
Работает multiwan на 3 WiFi провайдера - в работе , Nanostatnon 2,  Nanostatnon LOCO M2 + китайский USB свисток.
Работает хорошо, т.е. гораздо лучше, чем все мои предидущие изгаления по писательству собственных настроек.

multiwan это просто шелл скрипт и без проблем может быть адартирован на любую Linux систему.
Скрипт настраивает, мониторит и если требуется перезагружает интерфейсы.
Кроме того, позволяет настроить роутинг на определённые сайты (IP) , через определённые интерфейсы.
Это актуально для работы с банковскими системами.

[kneker]

С адаптацией скриптов под 3 канала вместо двух - разобрался сам. Все работает.
Но тупит с открытием сайтов по https (см. второе сообщение в этой теме). Также тупит доступ к FTP-ресурсам.
Что делать - уже не знаю. Пинги ровные.

[golota]

Но тупит с открытием сайтов по https (см. второе сообщение в этой теме). Также тупит доступ к FTP-ресурсам.
Что делать - уже не знаю. Пинги ровные.

Пинги куда ?
Трейсы до Certification authority для https смотрели ?
Для FTP попробуйте passive mode.
Поверьте настройки DNS и по возможности, принудительно запустите DNS запросы по самому быстрому каналу.

[kneker]

Пинги куда ?

Ну до того же яндекса, мэйла, местных (региональных) ресурсов.

Трейсы до Certification authority для https смотрели ?

Это как смотреть?
Подразумевается трассировка до серверов, подтверждающих подлинность сертификатов?
Если это так, приведите примеры куда (и возможно - как правильно, если есть особенности) трассировать.

Для FTP попробуйте passive mode.

Пробовал. Не канает.

Поверьте настройки DNS и по возможности, принудительно запустите DNS запросы по самому быстрому каналу.

ДНС локальный (бинд9), стоит форвард на внешние сервера.
Правильно я понимаю, что для запуска днс-запросов по самому быстрому каналу, надо забить жесткие маршруты до днс-серверов, указанных в конфиге бинда?
Типа так:
ip route add 8.8.8.8/32 via 192.168.135.2 dev eth4
(пусть не смущает шлюз, указанный в виде фейкового адреса. Это для примера написано.)

[golota]

Можно прдробнее, что такое "тупит" ?
Задержка открытия коннекции или уменьшается скорость закачки контента ?

Для всех WAN интерфейсов открыт порт 53 (tcp/udp) на bind ?
В sysloge bind нету криков типа - too many timeouts resolving или network unreachable resolving ?
bind кеширует ?

(Нажмите, чтобы показать/скрыть)

rndc dumpdb
less /var/cache/bind/named_dump.db

Откуда берутся сертификаты, можно в Firefox посмотреть -
Right click -> View page info -> Security ->  View Certificate -> Details ->
Certificate -> Extensions -> CLR Distribution points

По поводу FTP, иногда помогает

(Нажмите, чтобы показать/скрыть)

-A INPUT -p tcp -m tcp --dport 113 -j REJECT --reject-with tcp-reset

Т.к некоторые FTP сервера лезут на ident и тормозят.

Это всё, если открытие коннекции тормозит.

Если уменьшается скорость, вплоть до зависания.
Перво-наперво надо попробовать -

(Нажмите, чтобы показать/скрыть)

echo "1" > /proc/sys/net/ipv4/ip_no_pmtu_disc

Погуглите Path MTU Discovery - станет понятно зачем.

[kneker]

Можно прдробнее, что такое "тупит"?

Открываем любой сайт - открывается практически одним щелчком.
Открываем любой https-сайт (https://sberbank.ru, опять же интерфейс гуглопочты работает по https  и т.д.) - браузер ждет загрузки, доооолго ждет, похоже - выжидает некий таймаут (около 30 сек.), потом страница начинает медленно (по баннеру, по капельке) выгружаться.
Прямо как в старом советском приколе: "Инженер включил рубильник, и ток меееедлееенно пошел по проводам"

Открывается конечно, но с такими тормозами, что без балансировки намного лучше.

Для всех WAN интерфейсов открыт порт 53 (tcp/udp) на bind ?
В sysloge bind нету криков типа - too many timeouts resolving или network unreachable resolving

Бинд работает корректно, на фаере в цепочках INPUT и OUTPUT:
iptables -A INPUT -i lo -j ACEPT
iptables -A OUTPUT -o lo -j ACCEPT

nslookup выполняется корректно, видно, что кэширует: при повортном nslookup на только что запрошенный адрес, выдает его ип заметно быстрее.

Бинд настроен стандартно как кэширующий по данному стандартному мануалу:
https://help.ubuntu.ru/wiki/%D1%80%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE_%D0%BF%D0%BE_ubuntu_server/%D1%81%D0%BB%D1%83%D0%B6%D0%B1%D0%B0_%D0%B4%D0%BE%D0%BC%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D0%B8%D0%BC%D0%B5%D0%BD/configuration

bind кеширует ?

(Нажмите, чтобы показать/скрыть)

rndc dumpdb
less /var/cache/bind/named_dump.db

Да, кэширует. Содержимое named_dump.db думаю приводить не надо

Откуда берутся сертификаты, можно в Firefox посмотреть -
Right click -> View page info -> Security ->  View Certificate -> Details ->
Certificate -> Extensions -> CLR Distribution points

Ну например для https://sberbank.ru
GeoTrust Global CA
И что теперь? Пробовал его экспортировать - не помогает.

По поводу FTP, иногда помогает

(Нажмите, чтобы показать/скрыть)

-A INPUT -p tcp -m tcp --dport 113 -j REJECT --reject-with tcp-reset

Т.к некоторые FTP сервера лезут на ident и тормозят.

Не помогает. Однако, представленная Вами информация для меня в новинку. Ни разу не встречался с идентификацией через ident на FTP-сервере.
Да и проблема выявилась на открытых серверах (с анонимным доступом), например на ftp://ftp.dlink.ru/pub

Если уменьшается скорость, вплоть до зависания.
Перво-наперво надо попробовать -

(Нажмите, чтобы показать/скрыть)

echo "1" > /proc/sys/net/ipv4/ip_no_pmtu_disc

Погуглите Path MTU Discovery - станет понятно зачем.

С проблемой Path MTU Discovery ранее сталкиваться приходилось.

Вы это имеете в виду?:

(Нажмите, чтобы показать/скрыть)

http://kleontiv.wordpress.com/2007/10/08/path-mtu-discovery-%D0%B8%D0%BB%D0%B8-%D0%B5%D1%89%D0%B5-%D0%BE%D0%B4%D0%BD%D0%B0-%D0%BF%D1%80%D0%B8%D1%87%D0%B8%D0%BD%D0%B0-%D0%BF%D1%80%D0%BE%D0%B1%D0%BB%D0%B5%D0%BC-%D1%81-%D1%81%D0%B5%D1%82%D0%B5/

Вся работа сводилась к задействованию правила в iptables:

(Нажмите, чтобы показать/скрыть)

iptables -t mangle -A FORWARD -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu

А указанный Вами параметр: echo "1" > /proc/sys/net/ipv4/ip_no_pmtu_disc
я вообще вижу первый раз. Спасибо а новую информацию, буду курить мануалы и экспериментировать.

UPDATE:
Пробный эксперимент с такими настройками:

(Нажмите, чтобы показать/скрыть)

echo "1" > /proc/sys/net/ipv4/ip_no_pmtu_disc
iptables -I FORWARD 1 -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --set-mss 128

Взято вот отсюда:

(Нажмите, чтобы показать/скрыть)

http://www.odmin4eg.ru/2010/problema-s-mtu-pppoe/

Показал хорошие результаты.

Полномасштабный эксперимент буду проводить после рабочего дня, когда народ разойдется по домам и, в случае неудачи, не будет ругаться на нестабильную связь. Если заработает - отпишусь, и выложу, кстати, скорректированный конфиг из первого сообщения в этой теме.

Смутило только одно:
Рекомендации, вообще-то дают такие:

(Нажмите, чтобы показать/скрыть)

iptables -t mangle -A FORWARD -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu

Т.е. таблица mangle
А тут:

(Нажмите, чтобы показать/скрыть)

iptables -I FORWARD 1 -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --set-mss 128

таблица filter.

Как будет "православнее" с точки зрения мануала по iptables?

[golota]

Вернёмся к началу разговора.
В своё время, я долго тибидохался с load balancing
которым пользуетесь вы. Т.Е ip route nexthop

load balancing из OpenWRT MultiWAN используют чисто возможности iptables
Вот мой фрагмент из mangle -

(Нажмите, чтобы показать/скрыть)

*mangle
:PREROUTING ACCEPT [9135:6934061]
:INPUT ACCEPT [259:30236]
:FORWARD ACCEPT [8868:6901301]
:OUTPUT ACCEPT [203:32736]
:POSTROUTING ACCEPT [9071:6934037]
:FW1MARK - [0:0]
:FW2MARK - [0:0]
:FW3MARK - [0:0]
:FastBalancer - [0:0]
:LoadBalancer - [0:0]
:MultiWan - [0:0]
:MultiWanDNS - [0:0]
:MultiWanLoadBalancer - [0:0]
:MultiWanPostHandler - [0:0]
:MultiWanPreHandler - [0:0]
:MultiWanRules - [0:0]
:zone_wan_MSSFIX - [0:0]
-A PREROUTING -j MultiWan
-A FORWARD -j MultiWan
-A FORWARD -j zone_wan_MSSFIX
-A OUTPUT -j MultiWan
-A POSTROUTING -j MultiWan
-A FW1MARK -j MARK --set-xmark 0x10/0xffffffff
-A FW1MARK -j CONNMARK --save-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A FW2MARK -j MARK --set-xmark 0x20/0xffffffff
-A FW2MARK -j CONNMARK --save-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A FW3MARK -j MARK --set-xmark 0x30/0xffffffff
-A FW3MARK -j CONNMARK --save-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A FastBalancer -j MARK --set-xmark 0x2/0xffffffff
-A FastBalancer -j CONNMARK --save-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A LoadBalancer -j MARK --set-xmark 0x1/0xffffffff
-A LoadBalancer -j CONNMARK --save-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A MultiWan -j CONNMARK --restore-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A MultiWan -j MultiWanPreHandler
-A MultiWan -j MultiWanRules
-A MultiWan -j MultiWanLoadBalancer
-A MultiWan -j MultiWanDNS
-A MultiWan -j MultiWanPostHandler
-A MultiWanDNS -d 8.8.8.8/32 -p tcp -m tcp --dport 53 -j FW1MARK
-A MultiWanDNS -d 8.8.8.8/32 -p udp -m udp --dport 53 -j FW1MARK
-A MultiWanDNS -d 8.8.8.8/32 -p tcp -m tcp --dport 53 -j FW2MARK
-A MultiWanDNS -d 8.8.8.8/32 -p udp -m udp --dport 53 -j FW2MARK
-A MultiWanDNS -d 8.8.8.8/32 -p tcp -m tcp --dport 53 -j FW3MARK
-A MultiWanDNS -d 8.8.8.8/32 -p udp -m udp --dport 53 -j FW3MARK
-A MultiWanLoadBalancer -m mark --mark 0x2 -m statistic --mode random --probability 0.330000 -j FW1MARK
-A MultiWanLoadBalancer -m mark --mark 0x2 -m statistic --mode random --probability 0.500000 -j FW2MARK
-A MultiWanLoadBalancer -m mark --mark 0x2 -m statistic --mode random --probability 1.000000 -j FW3MARK
-A MultiWanPostHandler -o br-wan -m mark --mark 0x1 -j FW1MARK
-A MultiWanPostHandler -o eth0.4 -m mark --mark 0x1 -j FW2MARK
-A MultiWanPostHandler -o wlan1 -m mark --mark 0x1 -j FW3MARK
-A MultiWanPreHandler -i br-wan -m state --state NEW -j FW1MARK
-A MultiWanPreHandler -i eth0.4 -m state --state NEW -j FW2MARK
-A MultiWanPreHandler -i wlan1 -m state --state NEW -j FW3MARK
-A MultiWanRules -m mark --mark 0x0 -j FastBalancer
-A zone_wan_MSSFIX -o br-wan -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu
-A zone_wan_MSSFIX -o eth0.4 -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu
-A zone_wan_MSSFIX -o wlan1 -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu

И это реально работает.
Выбирать вам ...

[kneker]

Вернёмся к началу разговора.
В своё время, я долго тибидохался с load balancing
которым пользуетесь вы. Т.Е ip route nexthop

load balancing из OpenWRT MultiWAN используют чисто возможности iptables
Вот мой фрагмент из mangle -

(Нажмите, чтобы показать/скрыть)

*mangle
:PREROUTING ACCEPT [9135:6934061]
:INPUT ACCEPT [259:30236]
:FORWARD ACCEPT [8868:6901301]
:OUTPUT ACCEPT [203:32736]
:POSTROUTING ACCEPT [9071:6934037]
:FW1MARK - [0:0]
:FW2MARK - [0:0]
:FW3MARK - [0:0]
:FastBalancer - [0:0]
:LoadBalancer - [0:0]
:MultiWan - [0:0]
:MultiWanDNS - [0:0]
:MultiWanLoadBalancer - [0:0]
:MultiWanPostHandler - [0:0]
:MultiWanPreHandler - [0:0]
:MultiWanRules - [0:0]
:zone_wan_MSSFIX - [0:0]
-A PREROUTING -j MultiWan
-A FORWARD -j MultiWan
-A FORWARD -j zone_wan_MSSFIX
-A OUTPUT -j MultiWan
-A POSTROUTING -j MultiWan
-A FW1MARK -j MARK --set-xmark 0x10/0xffffffff
-A FW1MARK -j CONNMARK --save-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A FW2MARK -j MARK --set-xmark 0x20/0xffffffff
-A FW2MARK -j CONNMARK --save-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A FW3MARK -j MARK --set-xmark 0x30/0xffffffff
-A FW3MARK -j CONNMARK --save-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A FastBalancer -j MARK --set-xmark 0x2/0xffffffff
-A FastBalancer -j CONNMARK --save-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A LoadBalancer -j MARK --set-xmark 0x1/0xffffffff
-A LoadBalancer -j CONNMARK --save-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A MultiWan -j CONNMARK --restore-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A MultiWan -j MultiWanPreHandler
-A MultiWan -j MultiWanRules
-A MultiWan -j MultiWanLoadBalancer
-A MultiWan -j MultiWanDNS
-A MultiWan -j MultiWanPostHandler
-A MultiWanDNS -d 8.8.8.8/32 -p tcp -m tcp --dport 53 -j FW1MARK
-A MultiWanDNS -d 8.8.8.8/32 -p udp -m udp --dport 53 -j FW1MARK
-A MultiWanDNS -d 8.8.8.8/32 -p tcp -m tcp --dport 53 -j FW2MARK
-A MultiWanDNS -d 8.8.8.8/32 -p udp -m udp --dport 53 -j FW2MARK
-A MultiWanDNS -d 8.8.8.8/32 -p tcp -m tcp --dport 53 -j FW3MARK
-A MultiWanDNS -d 8.8.8.8/32 -p udp -m udp --dport 53 -j FW3MARK
-A MultiWanLoadBalancer -m mark --mark 0x2 -m statistic --mode random --probability 0.330000 -j FW1MARK
-A MultiWanLoadBalancer -m mark --mark 0x2 -m statistic --mode random --probability 0.500000 -j FW2MARK
-A MultiWanLoadBalancer -m mark --mark 0x2 -m statistic --mode random --probability 1.000000 -j FW3MARK
-A MultiWanPostHandler -o br-wan -m mark --mark 0x1 -j FW1MARK
-A MultiWanPostHandler -o eth0.4 -m mark --mark 0x1 -j FW2MARK
-A MultiWanPostHandler -o wlan1 -m mark --mark 0x1 -j FW3MARK
-A MultiWanPreHandler -i br-wan -m state --state NEW -j FW1MARK
-A MultiWanPreHandler -i eth0.4 -m state --state NEW -j FW2MARK
-A MultiWanPreHandler -i wlan1 -m state --state NEW -j FW3MARK
-A MultiWanRules -m mark --mark 0x0 -j FastBalancer
-A zone_wan_MSSFIX -o br-wan -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu
-A zone_wan_MSSFIX -o eth0.4 -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu
-A zone_wan_MSSFIX -o wlan1 -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu

И это реально работает.
Выбирать вам ...

Заинтриговали. Тем более что эксперимент на трех каналах удачей так и не завершился.
 
Проверил на виртуальной машине Ubuntu 12.04.3 LTS - указанные Вами команды применяются, что говорит о наличии необходимых модулей в ядре, которые задействует Netfilter в работе.
Т.е. уже на боевой (не виртуальной) машине все указанное Вами при вводе как минимум будет принято NetFilter`ом.

Сообщите пожалуйста еще несколько моментов:
1) Параметры подобного рода: --set-xmark 0x10/0xffffffff
скорее всего задаются в некоей человекочитабельной форме, а уже в iptables-save идут в таком вот машинном виде.
Не осталось ли у Вас команд в явном виде (задаваемых, например, из скрипта)?

2) Вот это вот:

(Нажмите, чтобы показать/скрыть)

-A MultiWanLoadBalancer -m mark --mark 0x2 -m statistic --mode random --probability 0.330000 -j FW1MARK
-A MultiWanLoadBalancer -m mark --mark 0x2 -m statistic --mode random --probability 0.500000 -j FW2MARK
-A MultiWanLoadBalancer -m mark --mark 0x2 -m statistic --mode random --probability 1.000000 -j FW3MARK

Это Вы так задали приоритезацию интерфейсов (через какую веревку пускать больше траффика)?
На чем основывались при выборе коэффициентов? Ширина канала, его надежность или задержка в прохождении пакета?

UPD: можете не отвечать на этот вопрос. Вспомнил ТерВер и доехал сам почему такие коэффициенты:
Вероятность попадания пакета
в 1-е правило: 0.33
во 2-е правило будет уже 0.50*(1-0.33) = 0.335
а в 3-е правило 1*(1-0.33-0.335) = 0.335
В итоге получаем распределение сильно приближенное к равномерному.
При необходимости изменения интенсивности нагружения каналов, начинаем двигать коэффициенты добиваясь нужного результата.

3) Судя по вот этому:

(Нажмите, чтобы показать/скрыть)

-A zone_wan_MSSFIX -o br-wan -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu
-A zone_wan_MSSFIX -o eth0.4 -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu
-A zone_wan_MSSFIX -o wlan1 -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu

PMTU Вы решили все-таки не вырубать? Судя по всему все работает корректно?

4) Ну и самое интересное: что показывает
ip route show
?
Назначен ли какой-нибудь из маршрутов шлюзом по умолчанию?
Как ядро решает, куда будет совершен следующий хоп:

• по таблице маршрутизации
• по атрибутам пакетов, которые модифицируются в таблице mangle
• по тому и другому во взаимном хитром взаимодействии

?

[golota]

Начну с того, что с Unix системами я закончил профессионально работать 6-7 лет назад.
И программирую на cobol на OS370 ,это настояшие мейнфреймы типа советских ЕС ЭВМ
Да и раньше, больше имел дела с IBM AIX/RS6000, SUN Solaris и SUSE
Текущий рецидив связан с тем, что меня забодало пару знакомых и что-бы облегчить себе жизнь
и пересадил их с воидозы на Ubuntu.
Так-что не расчитывайте на углублённые и подробные ответы.
Если что-то у меня начало хорошо работать, то ковырять это у меня нет желания...

1. Х.Е.З в скриптах multiwan особо не ковырялся.

2. Есть формула для вычисления коэффициентов равномерного распределения:
   например для четырех интерфейсов коэффициенты последовательных "срабатываний" - 1/4, 1/3, 1/2, 1,
   для n - 1/n, 1/(n-1), ... 1

3. "Не виноватая я !" это multiwan генерил.

4. ip route show

(Нажмите, чтобы показать/скрыть)

default via 192.168.1.1 dev wlan1
   default via 10.12.17.1 dev eth0.4
   default via 10.12.19.1 dev br-wan
   10.12.16.0/24 dev br-lan  proto kernel  scope link  src 10.12.16.1
   10.12.17.0/24 dev eth0.4  proto kernel  scope link  src 10.12.17.2
   10.12.19.0/24 dev br-wan  proto kernel  scope link  src 10.12.19.2
   192.168.1.0/24 dev wlan1  proto kernel  scope link  src 192.168.1.155

netstat -rn

(Нажмите, чтобы показать/скрыть)

Kernel IP routing table
Destination     Gateway         Genmask         Flags   MSS Window  irtt Iface
0.0.0.0         192.168.1.1     0.0.0.0         UG        0 0          0 wlan1
0.0.0.0         10.12.17.1      0.0.0.0         UG        0 0          0 eth0.4
0.0.0.0         10.12.19.1      0.0.0.0         UG        0 0          0 br-wan
10.12.16.0      0.0.0.0         255.255.255.0   U         0 0          0 br-lan
10.12.17.0      0.0.0.0         255.255.255.0   U         0 0          0 eth0.4
10.12.19.0      0.0.0.0         255.255.255.0   U         0 0          0 br-wan
192.168.1.0     0.0.0.0         255.255.255.0   U         0 0          0 wlan1

br-lan - внутренняя сетка
br-wan - стандартный WAN порт (Nanostation 2)
eth0.4 - VLAN на котором сидит второй WAN (Nanostation LOCO M2)
wlan1  - третий WAN (USB свисток)
На всякий случай полный выхлоп iptables-save -

(Нажмите, чтобы показать/скрыть)

# Generated by iptables-save v1.4.10 on Mon Jan 27 19:56:03 2014
*nat
:PREROUTING ACCEPT [10653:963540]
:INPUT ACCEPT [2114:163537]
:OUTPUT ACCEPT [11415:851764]
:POSTROUTING ACCEPT [2449:169385]
:nat_reflection_in - [0:0]
:nat_reflection_out - [0:0]
:postrouting_rule - [0:0]
:prerouting_lan - [0:0]
:prerouting_rule - [0:0]
:prerouting_wan - [0:0]
:zone_lan_nat - [0:0]
:zone_lan_prerouting - [0:0]
:zone_wan_nat - [0:0]
:zone_wan_prerouting - [0:0]
-A PREROUTING -j prerouting_rule
-A PREROUTING -i br-lan -j zone_lan_prerouting
-A PREROUTING -i br-wan -j zone_wan_prerouting
-A PREROUTING -i eth0.4 -j zone_wan_prerouting
-A PREROUTING -i wlan1 -j zone_wan_prerouting
-A POSTROUTING -j postrouting_rule
-A POSTROUTING -o br-lan -j zone_lan_nat
-A POSTROUTING -o br-wan -j zone_wan_nat
-A POSTROUTING -o eth0.4 -j zone_wan_nat
-A POSTROUTING -o wlan1 -j zone_wan_nat
-A postrouting_rule -j nat_reflection_out
-A prerouting_rule -j nat_reflection_in
-A zone_lan_prerouting -j prerouting_lan
-A zone_wan_nat -j MASQUERADE
-A zone_wan_prerouting -j prerouting_wan
COMMIT
# Completed on Mon Jan 27 19:56:03 2014
# Generated by iptables-save v1.4.10 on Mon Jan 27 19:56:03 2014
*raw
:PREROUTING ACCEPT [277162:131177560]
:OUTPUT ACCEPT [26288:4978013]
:zone_lan_notrack - [0:0]
:zone_wan_notrack - [0:0]
-A PREROUTING -i br-lan -j zone_lan_notrack
-A PREROUTING -i br-wan -j zone_wan_notrack
-A PREROUTING -i eth0.4 -j zone_wan_notrack
-A PREROUTING -i wlan1 -j zone_wan_notrack
COMMIT
# Completed on Mon Jan 27 19:56:03 2014
# Generated by iptables-save v1.4.10 on Mon Jan 27 19:56:03 2014
*mangle
:PREROUTING ACCEPT [5162:1048608]
:INPUT ACCEPT [1029:114852]
:FORWARD ACCEPT [4063:908637]
:OUTPUT ACCEPT [927:189559]
:POSTROUTING ACCEPT [4990:1098196]
:FW1MARK - [0:0]
:FW2MARK - [0:0]
:FW3MARK - [0:0]
:FastBalancer - [0:0]
:LoadBalancer - [0:0]
:MultiWan - [0:0]
:MultiWanDNS - [0:0]
:MultiWanLoadBalancer - [0:0]
:MultiWanPostHandler - [0:0]
:MultiWanPreHandler - [0:0]
:MultiWanRules - [0:0]
:zone_wan_MSSFIX - [0:0]
-A PREROUTING -j MultiWan
-A FORWARD -j MultiWan
-A FORWARD -j zone_wan_MSSFIX
-A OUTPUT -j MultiWan
-A POSTROUTING -j MultiWan
-A FW1MARK -j MARK --set-xmark 0x10/0xffffffff
-A FW1MARK -j CONNMARK --save-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A FW2MARK -j MARK --set-xmark 0x20/0xffffffff
-A FW2MARK -j CONNMARK --save-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A FW3MARK -j MARK --set-xmark 0x30/0xffffffff
-A FW3MARK -j CONNMARK --save-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A FastBalancer -j MARK --set-xmark 0x2/0xffffffff
-A FastBalancer -j CONNMARK --save-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A LoadBalancer -j MARK --set-xmark 0x1/0xffffffff
-A LoadBalancer -j CONNMARK --save-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A MultiWan -j CONNMARK --restore-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A MultiWan -j MultiWanPreHandler
-A MultiWan -j MultiWanRules
-A MultiWan -j MultiWanLoadBalancer
-A MultiWan -j MultiWanDNS
-A MultiWan -j MultiWanPostHandler
-A MultiWanDNS -d 8.8.8.8/32 -p tcp -m tcp --dport 53 -j FW1MARK
-A MultiWanDNS -d 8.8.8.8/32 -p udp -m udp --dport 53 -j FW1MARK
-A MultiWanDNS -d 8.8.8.8/32 -p tcp -m tcp --dport 53 -j FW2MARK
-A MultiWanDNS -d 8.8.8.8/32 -p udp -m udp --dport 53 -j FW2MARK
-A MultiWanDNS -d 8.8.8.8/32 -p tcp -m tcp --dport 53 -j FW3MARK
-A MultiWanDNS -d 8.8.8.8/32 -p udp -m udp --dport 53 -j FW3MARK
-A MultiWanLoadBalancer -m mark --mark 0x2 -m statistic --mode random --probability 0.330000 -j FW1MARK
-A MultiWanLoadBalancer -m mark --mark 0x2 -m statistic --mode random --probability 0.500000 -j FW2MARK
-A MultiWanLoadBalancer -m mark --mark 0x2 -m statistic --mode random --probability 1.000000 -j FW3MARK
-A MultiWanPostHandler -o br-wan -m mark --mark 0x1 -j FW1MARK
-A MultiWanPostHandler -o eth0.4 -m mark --mark 0x1 -j FW2MARK
-A MultiWanPostHandler -o wlan1 -m mark --mark 0x1 -j FW3MARK
-A MultiWanPreHandler -i br-wan -m state --state NEW -j FW1MARK
-A MultiWanPreHandler -i eth0.4 -m state --state NEW -j FW2MARK
-A MultiWanPreHandler -i wlan1 -m state --state NEW -j FW3MARK
-A MultiWanRules -m mark --mark 0x0 -j FastBalancer
-A zone_wan_MSSFIX -o br-wan -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu
-A zone_wan_MSSFIX -o eth0.4 -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu
-A zone_wan_MSSFIX -o wlan1 -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu
COMMIT
# Completed on Mon Jan 27 19:56:03 2014
# Generated by iptables-save v1.4.10 on Mon Jan 27 19:56:03 2014
*filter
:INPUT ACCEPT [0:0]
:FORWARD DROP [0:0]
:OUTPUT ACCEPT [0:0]
:forward - [0:0]
:forwarding_lan - [0:0]
:forwarding_rule - [0:0]
:forwarding_wan - [0:0]
:input - [0:0]
:input_lan - [0:0]
:input_rule - [0:0]
:input_wan - [0:0]
:nat_reflection_fwd - [0:0]
:output - [0:0]
:output_rule - [0:0]
:reject - [0:0]
:syn_flood - [0:0]
:zone_lan - [0:0]
:zone_lan_ACCEPT - [0:0]
:zone_lan_DROP - [0:0]
:zone_lan_REJECT - [0:0]
:zone_lan_forward - [0:0]
:zone_wan - [0:0]
:zone_wan_ACCEPT - [0:0]
:zone_wan_DROP - [0:0]
:zone_wan_REJECT - [0:0]
:zone_wan_forward - [0:0]
-A INPUT -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -p tcp -m tcp --tcp-flags FIN,SYN,RST,ACK SYN -j syn_flood
-A INPUT -j input_rule
-A INPUT -j input
-A FORWARD -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
-A FORWARD -j forwarding_rule
-A FORWARD -j forward
-A FORWARD -j reject
-A OUTPUT -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
-A OUTPUT -o lo -j ACCEPT
-A OUTPUT -j output_rule
-A OUTPUT -j output
-A forward -i br-lan -j zone_lan_forward
-A forward -i br-wan -j zone_wan_forward
-A forward -i eth0.4 -j zone_wan_forward
-A forward -i wlan1 -j zone_wan_forward
-A forwarding_rule -j nat_reflection_fwd
-A input -i br-lan -j zone_lan
-A input -i br-wan -j zone_wan
-A input -i eth0.4 -j zone_wan
-A input -i wlan1 -j zone_wan
-A output -j zone_lan_ACCEPT
-A output -j zone_wan_ACCEPT
-A reject -p tcp -j REJECT --reject-with tcp-reset
-A reject -j REJECT --reject-with icmp-port-unreachable
-A syn_flood -p tcp -m tcp --tcp-flags FIN,SYN,RST,ACK SYN -m limit --limit 25/sec --limit-burst 50 -j RETURN
-A syn_flood -j DROP
-A zone_lan -j input_lan
-A zone_lan -j zone_lan_ACCEPT
-A zone_lan_ACCEPT -o br-lan -j ACCEPT
-A zone_lan_ACCEPT -i br-lan -j ACCEPT
-A zone_lan_DROP -o br-lan -j DROP
-A zone_lan_DROP -i br-lan -j DROP
-A zone_lan_REJECT -o br-lan -j reject
-A zone_lan_REJECT -i br-lan -j reject
-A zone_lan_forward -j zone_wan_ACCEPT
-A zone_lan_forward -j forwarding_lan
-A zone_lan_forward -j zone_lan_REJECT
-A zone_wan -p udp -m udp --dport 68 -j ACCEPT
-A zone_wan -p icmp -m icmp --icmp-type 8 -j ACCEPT
-A zone_wan -j input_wan
-A zone_wan -j zone_wan_REJECT
-A zone_wan_ACCEPT -o br-wan -j ACCEPT
-A zone_wan_ACCEPT -i br-wan -j ACCEPT
-A zone_wan_ACCEPT -o eth0.4 -j ACCEPT
-A zone_wan_ACCEPT -i eth0.4 -j ACCEPT
-A zone_wan_ACCEPT -o wlan1 -j ACCEPT
-A zone_wan_ACCEPT -i wlan1 -j ACCEPT
-A zone_wan_DROP -o br-wan -j DROP
-A zone_wan_DROP -i br-wan -j DROP
-A zone_wan_DROP -o eth0.4 -j DROP
-A zone_wan_DROP -i eth0.4 -j DROP
-A zone_wan_DROP -o wlan1 -j DROP
-A zone_wan_DROP -i wlan1 -j DROP
-A zone_wan_REJECT -o br-wan -j reject
-A zone_wan_REJECT -i br-wan -j reject
-A zone_wan_REJECT -o eth0.4 -j reject
-A zone_wan_REJECT -i eth0.4 -j reject
-A zone_wan_REJECT -o wlan1 -j reject
-A zone_wan_REJECT -i wlan1 -j reject
-A zone_wan_forward -j forwarding_wan
-A zone_wan_forward -j zone_wan_REJECT
COMMIT
# Completed on Mon Jan 27 19:56:03 2014

Результаты работы балансера -

(Нажмите, чтобы показать/скрыть)

WAN
( [eth1] )
br-wan
   Uptime: 14h 1m 32s
MAC-Address: 54:E6:FC:D1:18:F7
RX: 33.39 MB (50376 Pkts.)
TX: 7.04 MB (47654 Pkts.)
IPv4: 10.12.19.2/24
   
WAN2

eth0.4
   Uptime: 14h 1m 32s
MAC-Address: 54:E6:FC:D1:02:02
RX: 31.96 MB (42434 Pkts.)
TX: 6.46 MB (39699 Pkts.)
IPv4: 10.12.17.2/24
   
WAN_M0

Client "WLAN_XXXX"
   Uptime: 14h 1m 13s
MAC-Address: 00:00:00:00:1C:F0
RX: 47.90 MB (55910 Pkts.)
TX: 8.97 MB (47549 Pkts.)
IPv4: 192.168.1.155/24

[kneker]

Все работает по приведенному примеру из OpenWRT.

Надо отметить, что в балансировке участвует только таблица mangle, т.е. из приведенного примера:
1) Выкидываем все, кроме mangle
2) Подписываем названия своих наружных интерфейсов (между которыми собственно балансим)

При необходимости правила легко дописываются под нужное количество внешних каналов.

Тему закрываем.

[golota]

Все работает по приведенному примеру из OpenWRT.

Я-бы даже сказал, что хорошо работает !

Небольшое дополнение.
Что-бы принудительно завернуть хост на нужный интерфейс надо добавить -

-A MultiWanRules -d xxx.xxx.xxx.xxx/32 -m mark --mark 0x0 -j FW3MARK

[kneker]

Что-бы принудительно завернуть хост на нужный интерфейс надо добавить -

-A MultiWanRules -d xxx.xxx.xxx.xxx/32 -m mark --mark 0x0 -j FW3MARK

Да, работает.
Заворачивать можно также жестким маршрутом.