IPROUTE2 + 2 провайдера

[badfiles]

Enkil-404, вы все-таки будьте проще, попробуйте показать себе и нам, как у вас работает попадание пакета в альтернативную таблицу, как у вас работает nat через других провов, когда маршруты через них есть в таблице main.
Пользователь решил продолжить мысль 20 Ноября 2009, 01:05:32:сам видел и 1, и 2, и 3.

[Enkil-404]

так все мои конфиги приведены выше неоднократно))
или показать выводы tcpdump? или других каких анализаторов?
тогда скажите плз что именно привести на осмотр? выводы каких команд?

все будет показано сразу же.

я проверяю просто пингом через интерфейс, а также тем какой обратный адрес в результате имеют http-запрсоы в инете(например сайт 2ip.ru)
так же проверяю создались ли правила ip rule list, itables -t mangle -L  и т.д.

[badfiles]

В пересечении наших задач мне хотелось бы, чтобы вы просто продекларировали, не надо никаких конфигов и выводов,
1. Что у вас реально работает каждый пров в отдельности (не только пинг, но и устанавливаются соединения),
2. Что у вас работает выбор таблицы маршрутизации по метке (это можно увидеть по маку и ip исходящего пакета tcpdum'ом),
3. Что вы можете? установить работающее соединение в случае, когда маршруты через прова не существуют в таблице main, но они есть в той альтернативной таблице, в которую попало соединение по метке.

Если у вас выполняются все три пункта, то у вас ошибка в понимании того, как реализовать поставленную задачу. (конфиги то ваши сами по себе правильные)
Ну а если не все, то тогда надо что-то предпринимать совместно.
Пользователь решил продолжить мысль 19 Ноября 2009, 21:13:34:Это был баг в ядре http://patchwork.ozlabs.org/patch/36329/
Починен в 2.6.32rc6
Это и следующие ядра у меня на тестовой машине не заработали по пока непонятной причине.

Пользователь решил продолжить мысль 19 Ноября 2009, 23:38:49:однако, как показала практика после внимательного прочтения истории бага, есть workaround

(Нажмите, чтобы показать/скрыть)

for interface in /proc/sys/net/ipv4/conf/*/rp_filter; do
   /bin/echo "0" > ${interface}
done

Пользователь решил продолжить мысль 20 Ноября 2009, 01:40:37:fhieos говорил об этом, но помогает именно тотальное отключение, а не только на избранных интерфейсах, поскольку в маску попадут all и default

[Nesmit]

Дохренища текста покотцано. Давай рассматривать первый вариант.

вариант с балансировкой

(Нажмите, чтобы показать/скрыть)

#!/bin/sh
echo "Balancing 2 ISP start...."
# Описываем переменные, используемые в скрипте

IP_LOCAL1="192.168.0.1" # адрес нашего маршрутизатора в локальной сети.
IP_INET1="217.15.26.98" # адрес нашего маршрутизатора в сети Futers.
IP_INET2="192.168.1.3" # адрес нашего марщрутизатора в сети WebPlus.

IF_LOCAL1="eth2" # имя интерфейса на локальную сеть
IF_INET1="eth0" # имя интерфейса на Futers.
IF_INET2="eth3" # имя интерфейса на WebPlus.

NET_LOCAL1="192.168.0.0/24" # локальная сеть.
NET_INET1="217.15.26.0/30" # адрес сети в которой гейт Futers'а
NET_INET2="192.168.1.0/24" # адрес сети в которой гейт WebPlus'а(а точнее Dlink-роутер).

GW_INET1="217.15.26.97" # гейт Futers.
GW_INET2="192.168.1.1" # гейт WebPlus.

# Затираем все маршруты в ноль.
ip route del all > /dev/null
ip route flush all > /dev/null

# Создаем заново, но табличка теперь только одна.
ip route add $NET_INET1  dev $IF_INET1  src $IP_INET1    #закидываем в первую таблицу инфу о сети первого провайдера
ip route add $NET_LOCAL1 dev $IF_LOCAL1 src $IP_LOCAL1   #закидываем в первую таблицу инфу о том, что у нас существует локальная сеть
ip route add $NET_INET2  dev $IF_INET2  src $IP_INET2    #закидываем в первую таблицу инфу о том, что у нас существует еще одна сеть
ip route add 127.0.0.0/8 dev lo                          #закидываем в первую таблицу инфу о существовании лупбека

ip route del default > /dev/null

# Расскидываем трафик 50/50

ip route add default scope global equalize nexthop via $GW_INET1 dev $IF_INET1 weight 1 nexthop via $GW_INET2 dev $IF_INET2 weight 1


ip route flush cache      #ну и на последок очистить кеш

# Принудительно задаем маршруты на 2 ip чтобы проверять живой канал или нет.
route add -host 212.188.4.10  gw GW_INET1 IF_INET1
route add -host 195.34.32.116 gw GW_INET2 IF_INET2


# Очистка таблиц и цепочек
iptables --flush
iptables --delete-chain
iptables --table nat --flush
iptables --table filter --flush
iptables --table mangle --flush
iptables --table nat --delete-chain
iptables --table filter --delete-chain
iptables --table mangle --delete-chain

# Назначение глобальных политик фаервола
iptables -P INPUT DROP
iptables -P OUTPUT ACCEPT
iptables -P FORWARD ACCEPT
iptables -F INPUT
iptables -F OUTPUT
iptables -F FORWARD

echo "1" >  /proc/sys/net/ipv4/ip_forward # Разрешаем форвардинг
echo "1" >  /proc/sys/net/ipv4/ip_dynaddr # Разрешаем форвардинг для VPN

# MASQUERADE
iptables -A POSTROUTING -t nat -o IF_INET1 -j MASQUERADE
iptables -A POSTROUTING -t nat -o IF_INET2 -j MASQUERADE

echo "Balancing done.."

/home/ol-admin/iptables/fw # Загрузка правил фаервола

exit 0

ну вроде все в порядке. equalize можно убрать, в доках на русском про эту  опцию ничего нет  Но у мя работало.

echo "1" >  /proc/sys/net/ipv4/ip_forward # Разрешаем форвардинг

Забавно включать фовардинг ДО загрузки фаервола. т.е. если вдруг отвалится фаервол, тогда все ломануться куда вздумается и как вздумается. Т.к. у вас включен маскарад и фовардинг в одном месте

Далее. Если запустить данный скрипт без фаервола, уже должны включиться оба канала одновременно. проверить можно

Код: [Выделить]

mtr ya.ruУ вас через некоторое время появится в списке 2 шлюза.
На данном этапе будет все работать ну 1000%, если не ошибиться в ip и интерфейсах.

Убираем все лишнее из фаера.  
надо ли подгружать модули, если они сами подгружаются?

modprobe ip_nat_ftp
modprobe ip_nat_pptp
modprobe ip_conntrack_ftp

Объясните, зачем разрешать уже разрешенное ? по умолчанию все ACCEPT

# Разрешаем все ранее запрошенные/установленные соединения
iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
iptables -A INPUT -m state --state NEW -i ! $IF_INET1 -j ACCEPT
iptables -A INPUT -m state --state NEW -i ! $IF_INET2 -j ACCEPT
iptables -A FORWARD -i $IF_INET1 -o $IF_LOCAL1 -m state --state ESTABLISHED,RELATED -j ACCEPT
iptables -A FORWARD -i $IF_INET2 -o $IF_LOCAL1 -m state --state ESTABLISHED,RELATED -j ACCEPT

Если бы оставшееся дропнули, я бы еще понял.
Но из всего скрипта дропится только это:

# Закрываем известные троянские порты:
iptables -A FORWARD -p udp -m multiport --sport 16355,21111,1349,26274,29891,31337,31338,47262 -j DROP
iptables -A FORWARD -p tcp -m multiport --sport 555,666,1001,1025,1026,1028,1243,2000,5000,6667,6670,6711 -j DROP
iptables -A FORWARD -p tcp -m multiport --sport 6969,7000,12345,123456,21554,22222,27374,29559,31337,31338 -j DROP

А вот это меня убивает

так вот, после загрузки скриптов делаю
ping -I eth3 ya.ru
т.е. через прова2 пингую - нет пинга, хотя из дома подключен по ssh сразу и через прова1 и через прова2 к серверу(2 сессии)

мы же вроде договорились, что пинговать будем только 2 хоста с привязанными маршрутами, разве я не прав?

# Принудительно задаем маршруты на 2 ip чтобы проверять живой канал или нет.
route add -host 212.188.4.10  gw GW_INET1 IF_INET1
route add -host 195.34.32.116 gw GW_INET2 IF_INET2

вот так:
ping -I eth0 212.188.4.10
ping -I eth3 195.34.32.116

Вроде все. Этот вариант ну самый простой и не требует усилий.

2й вариант
У вас так выглядит?

$ cat /etc/iproute2/rt_tables
#
# reserved values
#
255   local
254   main
253   default
0   unspec
#
# local
#
#1   inr.ruhep

10   T1   # это наши таблицы
11   T2   #

Вот эту строчку уберите, мне кажется она вам кровь пьет. Вы все пакеты тупо метите как 10. даже если у Вас ранее стояла другая метка

iptables -t mangle -A PREROUTING  -s $NET_LOCAL1 -j MARK --set-mark 10

доверьтесь лучше default route, а метьте только избранные пакеты по портам или еще как нибудь.

PS: Уф. Надеюсь поможет

[Enkil-404]

ну вроде все в порядке. equalize можно убрать, в доках на русском про эту  опцию ничего нет   Но у мя работало.

попробую, тоже про эту опцию ничего не нашел, но в мануалах обычно исп-ся.

Забавно включать фовардинг ДО загрузки фаервола. т.е. если вдруг отвалится фаервол, тогда все ломануться куда вздумается и как вздумается. Т.к. у вас включен маскарад и фовардинг в одном месте

мдя, действительно, перенесем

Объясните, зачем разрешать уже разрешенное ? по умолчанию все ACCEPT

INPUT у меня по умолчанию DROP, поэтому и разрешаю

мы же вроде договорились, что пинговать будем только 2 хоста с привязанными маршрутами, разве я не прав?

тоже верно, однако если все правильно работает, то разве не должен идти пинг или тотже wget через 2 прова? не только же для явно прописанных маршрутов работает 2 интерфейс?

Вот эту строчку уберите, мне кажется она вам кровь пьет. Вы все пакеты тупо метите как 10. даже если у Вас ранее стояла другая метка

Так ведь в iptables правила работают сверху вниз, если пакету подошло верхнее правило(с меткой) то он получает метку 10 или 11, если не подошло ни одно из верхних правил, то он получает метку 10.

Спасибо, проверим, посмотрим
Пользователь решил продолжить мысль 20 Ноября 2009, 10:19:50:

Далее. Если запустить данный скрипт без фаервола, уже должны включиться оба канала одновременно. проверить можно

пробовал без фаервола - вообще пропадает инет и даже пинговать шлюз не получается, приходится локально заходить и загружать старый скрипт для одного прова.

[badfiles]

Вобщем, у меня все заработало. Транзитные пакеты метятся в mangle prerouting, локальные -- в mangle output. Что бы там не рисовали всякие деятели на схемах.

И локальные, и транзитные, и пинги -- все работает в точном соответствии с метками.
Я использовал только одну дополнительную таблицу, поскольку моя задача не требует 2 таблицы.

Всем спасибо, все молодцы.

[Enkil-404]

так а заработала после применения патча и правки параметров о которых вы выше писали?
и можо ли ваши конфиги посмотреть?
что вообще сделали чтоб заработало?
Пользователь решил продолжить мысль 20 Ноября 2009, 08:26:27:вообще, расписали бы подробно для 9.04. может не только нам понадобиться

[badfiles]

тоже верно, однако если все правильно работает, то разве не должен идти пинг или тотже wget через 2 прова? не только же для явно прописанных маршрутов работает 2 интерфейс?

Я вот тоже думал об этом. По какому принципу тогда должен присваиваться исходящий ip и на какой интерфейс ОС должна отправлять пакет? Думаю, что только на тот, для которого есть маршрут.
В этом и есть суть суть  advanced (он же policy) routing'a, что вы можете заставить ОС поменять решение о маршрутизации.
Пользователь решил продолжить мысль 20 Ноября 2009, 10:32:53:

так а заработала после применения патча и правки параметров о которых вы выше писали?
и можо ли ваши конфиги посмотреть?
что вообще сделали чтоб заработало?

Собирать ядро с патчем мне лень.
Запустить новое ядро 'из коробки' у меня не получилось.
Использовал workaround, то есть отключил сразу везде rp_filter.
Это решение потребует дополнительно проверить dest ip пакетов на всех интерфейсах, но меня это в принципе устраивает.

[Enkil-404]

Использовал workaround, то есть отключил сразу везде rp_filter.

т.е. применил скрипт

Код: [Выделить]

for interface in /proc/sys/net/ipv4/conf/*/rp_filter; do
   /bin/echo "0" > ${interface}
done?
однократно или добавили в скрипт роутинга?

и как проверить

Это решение потребует дополнительно проверить dest ip пакетов на всех интерфейсах, но меня это в принципе устраивает.

Пользователь решил продолжить мысль 20 Ноября 2009, 10:50:56:2 Nesmit

2й вариант
У вас так выглядит?

$ cat /etc/iproute2/rt_tables
#
# reserved values
#
255   local
254   main
253   default
0   unspec
#
# local
#
#1   inr.ruhep

10   T1   # это наши таблицы
11   T2   #

да, именно так

[Nesmit]

INPUT у меня по умолчанию DROP, поэтому и разрешаю

Странно, незаметил

Так ведь в iptables правила работают сверху вниз, если пакету подошло верхнее правило(с меткой) то он получает метку 10 или 11, если не подошло ни одно из верхних правил, то он получает метку 10.

iptables -t mangle -A PREROUTING  -s $NET_LOCAL1 -p tcp --dport 25  -j MARK --set-mark 10
iptables -t mangle -A PREROUTING  -s $NET_LOCAL1 -p tcp --dport 25 -j RETURN

дык, вы же обратно возвращаете в таблицу?

Спасибо, проверим, посмотрим
Пользователь решил продолжить мысль 20 Ноября 2009, 08:19:50:

Далее. Если запустить данный скрипт без фаервола, уже должны включиться оба канала одновременно. проверить можно

пробовал без фаервола - вообще пропадает инет и даже пинговать шлюз не получается, приходится локально заходить и загружать старый скрипт для одного прова.

Ну значит, в скрипте явные ошибки. Что то где то перепунано. Результат не приведете случаем? заодно вывод ip route, ifconfig

[Enkil-404]

приведу обязательно, но вечером после 18-00, когда манагеры уйдут))
вот только результат чего приводить?
если запускаю оый скрипт, то отваливается инет и нет пинга к шлюзу.
локально подключаться к серваку могу только после 18-00(это чтоб при запущенном скрипте показать выводы команд)
Пользователь решил продолжить мысль 20 Ноября 2009, 07:01:14:почему отваливается инет не понятно(если использовать скрипт балансировки без фаера), но почему не пингуется вроде ясно

Код: [Выделить]

iptables -P INPUT DROPПользователь решил продолжить мысль 20 Ноября 2009, 11:12:57:badfiles, можно посмотреть ваши работающие конфиги(без адресов ессно)?
и можете описать порядок действий, приводящих к корректной работе?(без описания прошедших мытарств) - чтобы увидеть в чем моя ошибка

[badfiles]

конфига на iptables у меня нет (
У меня есть iptables-save, который я поднимаю через post-up в /etc/network/interfaces.

(Нажмите, чтобы показать/скрыть)

*nat
:OUTPUT ACCEPT [0:0]
:PREROUTING ACCEPT [0:0]
:POSTROUTING ACCEPT [0:0]
-A PREROUTING -p tcp -m tcp ! -d 10.10.0.0/16 -i eth2 --dport 80 -j REDIRECT --to-ports 8080
-A PREROUTING -p tcp -m tcp ! -i eth2 --dport someport -j DNAT --to-destination some-ip:someport
-A PREROUTING -p tcp -m tcp -i eth2 --dport someport -j DNAT --to-destination some-ip:someport
-A POSTROUTING -o eth2.5 -j SNAT --to-source 4.2.109.51
-A POSTROUTING -s 10.10.15.0/24 -o eth2 -j SNAT --to-source 10.10.10.111
-A POSTROUTING -o eth2.2 -j SNAT --to-source 10.10.11.1
-A POSTROUTING -o eth3 -j MASQUERADE
COMMIT

*mangle
:FORWARD ACCEPT [0:0]
:INPUT ACCEPT [0:0]
:OUTPUT ACCEPT [0:0]
:PREROUTING ACCEPT [0:0]
:POSTROUTING ACCEPT [0:0]
-A POSTROUTING -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS  --clamp-mss-to-pmtu
-A PREROUTING -d test-network/24 -j MARK  --set-mark 2
-A OUTPUT -d test-network/24 -j MARK --set-mark 2
COMMIT

*filter
:FORWARD DROP [0:0]
:INPUT DROP [0:0]
:OUTPUT ACCEPT [0:0]
:bad_tcp - [0:0]
-A INPUT -i lo -j ACCEPT
-A INPUT -p tcp -m tcp -j bad_tcp
-A INPUT -d 224.0.0.0/8 ! -i eth2 -j DROP
-A INPUT -s 10.10.10.0/24 -i eth2 -j ACCEPT
-A INPUT -p icmp -m icmp --icmp-type 8 -j ACCEPT
-A INPUT -p icmp -m icmp --icmp-type 11 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 10000 -j ACCEPT
-A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT
-A INPUT -p udp -m udp --dport 67:68 --sport 67:68 -j ACCEPT
-A INPUT -p tcp -m tcp -m multiport -j ACCEPT --dports 995,993,25,9091,21,22,80,443,53,5222
-A INPUT -p udp -m udp -m multiport -j ACCEPT --dports 53,1194
-A INPUT -p tcp -m tcp --dport 20000:21000 -j ACCEPT
-A INPUT -p tcp -m tcp -s 10.10.11.0/24 -i eth2.2 --dport 8080 -j ACCEPT
-A INPUT -s 10.10.15.0/24 -i tap0 -j ACCEPT
-A INPUT -p icmp -m icmp --icmp-type 3/4 -j ACCEPT
-A FORWARD -p tcp -m tcp -j bad_tcp
-A FORWARD -j ULOG  --ulog-cprange 64 --ulog-qthreshold 10
-A FORWARD -s 10.10.10.0/24 -i eth2 -j ACCEPT
-A FORWARD -m state --state RELATED,ESTABLISHED -j ACCEPT
-A FORWARD -p tcp -m tcp --dport 48910 -j ACCEPT
-A FORWARD -s 10.10.15.0/24 -i tap0 -j ACCEPT
-A OUTPUT -p tcp -m tcp
-A OUTPUT -p tcp -m tcp -d 10.10.8.0/21 --sport 8080 -j ULOG
-A bad_tcp -p tcp -m tcp -m state --tcp-flags SYN,ACK SYN,ACK --state NEW -j REJECT --reject-with tcp-reset
-A bad_tcp -p tcp -m tcp -m state ! --tcp-flags FIN,SYN,RST,ACK SYN --state NEW -j DROP
COMMIT

(Нажмите, чтобы показать/скрыть)

# cat rt
#!/bin/sh

IP_LOCAL="10.10.10.111" # адрес нашего маршрутизатора в локальной сети.
IP_INET1="4.2.109.51" # адрес нашего маршрутизатора в сети первого провайдера.
IP_INET2="$1" # адрес нашего маршрутизатора в сети второго провайдера.

IF_LOCAL="eth2" # имя интерфейса на локальную сеть
IF_INET1="eth2.5" # имя интерфейса на первого провайдера.
IF_INET2="eth3" # имя интерфейса на второго провайдера.

NET_LOCAL="10.10.10.0/24" # локальная сеть.
NET_INET1="4.2.109.48/28" # адрес сети в которой гейт нашего первого провайдера.
NET_INET2="94.105.36.0/22" # адрес сети в которой гейт нашего второго провайдера.

GW1="4.2.109.49" # гейт первого провайдера.
GW2="94.105.36.1" # гейт второго провайдера.

for interface in /proc/sys/net/ipv4/conf/*/rp_filter; do
   echo "0" > ${interface}
done

        ip route flush table isp2         #обнуляем первую таблицу маршрутов

        ip rule delete table isp2      #удаляем наши таблицы, если они присутсвуют в текущей конфигурации (вдруг мы просто перезапускаем скрипт?)
        ip rule delete table isp2      #аналогично для второй.

        ip route add $NET_INET1 dev $IF_INET1 src $IP_INET1 table isp2    #закидываем в первую таблицу инфу о сети первого провайдера
        ip route add $NET_LOCAL dev $IF_LOCAL table isp2      #закидываем в первую таблицу инфу о том, что у нас существует локальная сеть
        ip route add $NET_INET2 dev $IF_INET2  src $IP_INET2 table isp2   #закидываем в первую таблицу инфу о том, что у нас существует еще одна сеть
        ip route add 127.0.0.0/8 dev lo   table isp2         #закидываем во вторую таблицу инфу о существовании лупбека.
        ip route add default via $GW2 dev $IF_INET2 table isp2          #закидываем во вторую таблицу дефолтный гейт на второго провайдера

       ip rule add from $IP_INET2 table isp2   #все пакеты от ip адреса второго провайдера маршрутизировать по таблице T2

        ip rule add fwmark 2 table isp2   #все пакеты, которые имеют метку 2 маршрутизировать по таблицу T2

        ip route flush cache      #ну и на последок очистить кеш

exit 0

Схема, описанная в этой теме 100% рабочая, что с одной, что с двумя таблицами. Я не знаю, с какого ядра поломали совместную работу advanced routing и меченых пакетов, но теоретически должен помочь патч на ядро. Поскольку патчить ядро или ставить rc-ядро -- это не наш метод, то  я отключил rp_filter, но теперь придется внимательно переделать правила iptables, чтобы не проходили левые пакеты.

[Nesmit]

Компилируем в хауту с обязательной привязкой версии дистриба?

[Enkil-404]

да надо бы))
я думаю кроме нас найдутся те, кому это понадобится, а зачем им снова всю эту мутатень проходить если мы уже прошли)))

[Nesmit]

На самом деле, вопрос этот поднимался еще 2 года назад.
Но инициативы и толковых людей не было. Сейчас уникальный случай, когда одну цель преследуют сразу несколько человек. Причем цель простая, но редко распространена.
Мой знакомый админ, грит что не мучался с сортировкой по портам, а тупо nexthop. И типа проблем не испытывает уже несколько лет.
2й вариант он мне написал.