IPROUTE2 + 2 провайдера

[badfiles]

Я попробовал, наверное, все варианты, но не понимаю, почему пакеты не возвращаются.

Основная схема была такая:

ip rule list

(Нажмите, чтобы показать/скрыть)

0:   from all lookup local
32764:   from all fwmark 0xb lookup T2
32765:   from $ip2 lookup T2
32766:   from all lookup main
32767:   from all lookup default

ip route list table T2

(Нажмите, чтобы показать/скрыть)

$net1 dev eth2.5  scope link  src $ip1
$net_local dev eth2  scope link  src $ip_local
$net2 dev eth3  scope link  src $ip2
127.0.0.0/8 dev lo  scope link
default via $gw2 dev eth3

ip route list table main

(Нажмите, чтобы показать/скрыть)

$net1 dev eth2.5  proto kernel  scope link  src $ip1
10.10.15.0/24 dev tap0  proto kernel  scope link  src 10.10.15.1
10.10.10.0/24 dev eth2  proto kernel  scope link  src 10.10.10.111
10.10.11.0/24 dev eth2.2  proto kernel  scope link  src 10.10.11.1
$net2 dev eth3  proto kernel  scope link  src $ip2
default via $gw1 dev eth2.5

iptables -t mangle --list

(Нажмите, чтобы показать/скрыть)

Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination        
MARK       all  --  anywhere             $test-network/24      MARK xset 0xb/0xffffffff

iptables -t nat --list -v

(Нажмите, чтобы показать/скрыть)

Chain POSTROUTING (policy ACCEPT 3912 packets, 244K bytes)
 pkts bytes target     prot opt in     out     source               destination        
 3299  217K SNAT       all  --  any    eth2.5  anywhere             anywhere            to:$ip1
    0     0 SNAT       all  --  any    eth2    10.10.15.0/24        anywhere            to:10.10.10.111
    0     0 SNAT       all  --  any    eth2.2  anywhere             anywhere            to:10.10.11.1
    2   120 MASQUERADE  all  --  any    eth3  anywhere             anywhere

Остальные таблицы очистил и ставил в default policy allow

Вайршарком вижу, что пакет уходит в $test-network c правильного интерфейса, и оттуда отвечают на $ip2, на этом всё. локальному клиенту ничего не отправляется, сломал уже всю голову себе.

[Enkil-404]

Вариант, как у меня пробовали?
и кстати, а почему только одна таблица(Т2) используется?
насколько я понял, если хотим разделить траффик, то нужно 2 таблицы маршрутизации(вроде логично) и iptables'ом раздавать 2 типа меток по критериям(источник или назначение и т.д.)

[badfiles]

щас просто делаю на живом сервере, вот все уйдут, попробую 2 таблицы, хотя в успех не особо верю уже
Так получается, что я не могу отдавать обратный пакет из не main, в таблице main все прекрасно работает

[Enkil-404]

вроде у товарища Nesmit все получилось, конфиги он привел на прошлой странице. Я взял его конфиги и дополнил своими из старого скрипта для одного внешнего интерфейса, распространив правила iptables где нужно на 2 внешних интерфейса. Проблема в том, что я сейчас болею, а удаленно запускать скрипт стремно  - если не заработает, то админ, который сейчас на месте, не сможет вернуть "как было", а и-нет крайне нужен для работы((((
Да и вообще без теста боязно, а тестить неначем.
Если у вас получиться, основываясь на конфигах Nesmit'а, отпишитесь пожалуйста!

[badfiles]

так я этими и пользовался. только брал их здесь http://www.opennet.ru/base/net/debian_multilink.txt.html
Просто я решил, что стоит для начала сделать одну таблицу дополнительную, и пропробовать в нее пакеты направить.
Направить их туда получилось, и ответы приходят, а вот дальше ответный пакет провадает.
Просто может я чего напутал
Пользователь решил продолжить мысль 12 Ноября 2009, 17:09:26:это просто какой-то дурдом. просто поменял дефолттный гейтвей на второго прова и все работает. но только через таблице main. а вот из таблицы T2 ну никак не вываливается обратно пакет, как определить, где он там застревает(

[Enkil-404]

а что именно работает при смене дефолтгэйта?
траффик начал распределятся между провами по параметрам заданным тобой?

с 2 таблицами еще не пробовал?
правила iptables распространял на оба внешних интерфейса?

ЗЫ ламерский вопрос - как вернуть рабочее состояние при одном внешнем интерфейсе, если скрипт не сработает как надо?(ведь если я правильно понимаю, то то созданные таблицы маршрутизации не будут давать работать нормально если я просто воспользуюсь старым скриптом для одного интерфейса?)

[badfiles]

а я уже подумал что второй линк вообще дохный. Но если поменять провов местами (втогоро в таблицу main а первого в Т2), то второй начинает работать как положено, а по первому нет ответных пакетов.
Сейчас мне надо выяснить, где и почему застревают эти обратные пакеты. Пока никаких идей нет.

Ну вот, снес вообще default gatewaty, заполнил таблицу Т1 для первого прова, переключил метки в тестовой подсети, и имею точно такой же невозврат пакетов, как и со вторым провом. Все, финиш.

[Enkil-404]

так а с 2 таблицами почему не хочешь попробовать? вроде во всех мануалах 2 создают

[Nesmit]

Пользователь решил продолжить мысль 12 Ноября 2009, 13:09:26:это просто какой-то дурдом. просто поменял дефолттный гейтвей на второго прова и все работает. но только через таблице main. а вот из таблицы T2 ну никак не вываливается обратно пакет, как определить, где он там застревает(

Вообще то иногда достаточно и одной таблички. Все что по умолчанию прется по main, а отдельное можно меткой запихнуть в таблицу. У мя удачно свелись 3 канала Но сам всетаки остановился на 2х табличках.

По доке нужно так.
        /etc/iproute2/rt_tables
        10      T1
        20      T2
Но копаясь в 100тый раз в скрите, поменял 20 на 11. Если рассуждать логически, погоды не делает.

а что именно работает при смене дефолтгэйта?
траффик начал распределятся между провами по параметрам заданным тобой?
ЗЫ ламерский вопрос - как вернуть рабочее состояние при одном внешнем интерфейсе, если скрипт не сработает как надо?(ведь если я правильно понимаю, то то созданные таблицы маршрутизации не будут давать работать нормально если я просто воспользуюсь старым скриптом для одного интерфейса?)

В моем случае (вариант1), если использовать скрипт, то ничего страшногоне произойдет. Достаточно удалить правила с метками и все пойдет по дефолту, скрипт только создает правила, а выполнять их или нет следует из меток. Кроме этого скрипт нормально поднимет обоих провайдеров. С внешней стороны можно заходить на сервер с любого. Потом, метки ставятся в прероутинге, значит. Метки никак не влияют на работу фаервола. Они срабатывают только в момент выбора маршрута. Сижу изучаю твои конфы.
Я довольно долго эксперементировал при живых пользователях. И ничего, максимум сессии рвались.
Например, в моем случае правила в таблички загоняются из одого скрипта, в конце него расставляются метки. А правила фаервола стартуют перед ним, отдельным скриптом. В результате, если я что то меняю, мне достаточно удалить метки и перезапустить 2й скрипт с табличками.

PS: окуратно будте с "ip route del default" если команду выполнить из консоли. Сервер отвалится от инета. Обязательно нужно добавить вторую строку типа "ip route del default && ip route add default via $GW_INET1"  с нужным GW.  Разок наступил, пришлось проехать 240км. Локалка работает, инет нет.

[badfiles]

Да нет, у меня вроде все работает, я же говорю, обратные пакеты застревают непонятно где. То же самое с любой таблицей, с любым провом.
В таблице main оба прова работают прекрасно, не меняя iptables
Я прекрасно вижу, как работает routing decision, как в зависимости от наличия метки меняестя исходящий адрес и маршрут, я вижу ответ сервера на один из моих внешних ip, а далльше хана.
Если маршруты в таблице main, то есть ответ, а если в Т2 или Т1, то нет. Это я не могу понят вообще никак.

Грубо говоря, я дошел уже до того, что просто не меняю в вистеме вообще ничего, кроме названия таблицы маршрутизации. Вот если оно main, то все работает, а если не main, то все работает до момента обратного пакета с внешнего ip на локальный

[Nesmit]

К стати откуда проверяешь? В моем случае в качестве подопытного клиента был файловый сервер. Так вот, если слать пакеты с локального шлюза, пакеты дохнут или улетают и не возвращаются. А если сделать с подопытного, то все пучком. Я пока никак немогу понять в чем петрушка.

[badfiles]

Проверяю с клинта внутри локальной сети. Да все уже, похоже у мня крыша съехала, все равно уже ничего не настроить.

[Nesmit]

ну эт нормально.

[Enkil-404]

Сижу изучаю твои конфы.

можно будет потом ваше мнение узнать?

[Nesmit]

У меня все на много проще, но и нет таких задач как у тебя.
Единственное смущает зачем столько правок в sysctl? Стандартное чем не удовлетворяет?
Часть параметров, заставляет ядро дико жрать память. Такие параметры нужны при большом количестве пользователей 500 и > . Или в трафике в 40 или более мегабит.