IP balancing , VPN не поднимается.

[Alex Gluck]

У меня дома стоит сервер ubuntu 10.04.2, там 3 сетевые и адаптер WI-FI.

eth0 смотрит на 1го провайдера eth1 на второго, eth2 и wlan0 объединены в мост br0(192.169.9.0/24), ppp0 интерфейс смотрит в инет.
Вывод ifconfig

(Нажмите, чтобы показать/скрыть)

ifconfig -a
br0       Link encap:Ethernet  HWaddr
          inet addr:192.169.9.1  Bcast:192.169.9.255  Mask:255.255.255.0
          inet6 addr: fe80: Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:12385475 errors:0 dropped:0 overruns:0 frame:0
          TX packets:23669416 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:4125329020 (4.1 GB)  TX bytes:1556112630 (1.5 GB)

eth0      Link encap:Ethernet  HWaddr
          inet addr:10.37.16.*  Bcast:10.37.23.255  Mask:255.255.248.0
          inet6 addr: fe80: Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:6481860 errors:0 dropped:0 overruns:0 frame:0
          TX packets:12619748 errors:0 dropped:0 overruns:3 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:1192355618 (1.1 GB)  TX bytes:437937704 (437.9 MB)
          Interrupt:20 Base address:0xde00

eth1      Link encap:Ethernet  HWaddr
          UP BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)
          Interrupt:19 Base address:0xdc00

eth2      Link encap:Ethernet  HWaddr
          inet6 addr: fe80: Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:12459937 errors:0 dropped:0 overruns:0 frame:0
          TX packets:23355984 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:7766382 (7.7 MB)  TX bytes:1126943743 (1.1 GB)
          Interrupt:21 Base address:0xe000

lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:145 errors:0 dropped:0 overruns:0 frame:0
          TX packets:145 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:19719 (19.7 KB)  TX bytes:19719 (19.7 KB)

mon.wlan0 Link encap:UNSPEC  HWaddr
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:10882 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:708793 (708.7 KB)  TX bytes:0 (0.0 B)

ppp0      Link encap:Point-to-Point Protocol
          inet addr:95.31.*.*  P-t-P:78.107.1.36  Mask:255.255.255.255
          UP POINTOPOINT RUNNING NOARP MULTICAST  MTU:1460  Metric:1
          RX packets:354911 errors:0 dropped:0 overruns:0 frame:0
          TX packets:604486 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:3
          RX bytes:32883145 (32.8 MB)  TX bytes:726587435 (726.5 MB)

wlan0     Link encap:Ethernet  HWaddr
          inet6 addr: fe80:4 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:160910 errors:0 dropped:0 overruns:0 frame:0
          TX packets:322076 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:22547465 (22.5 MB)  TX bytes:436689323 (436.6 MB)

Есть такая ситуация:
Первый провайдер Beeline дает локальный ай пи по дшцп IP:10.37.23.*  Mask:255.255.248.0 и по впн внешнюю статику 95.48.24.*

Второй провайдер 2kom дает по дшцп сразу внешний динамический(привязка по mас'у) и кажется меняет ай пи раз в 30 минут, что не очень хорошо для торрент-закачек.

Нужно объединить каналы интернета и локальные ресурсы для внутреннего пользователя.
Читал статью https://help.ubuntu.ru/wiki/ip_balancing, хотел воспользоваться вторым способом, но не могу заполнить файл  с переменными. Не понимаю как получить шлюз впн и  маску от второго провайдера(он ведь меняет айпи может и маску меняет, и шлюз).
Вывод route -n при отключенном втором провайдере и поднятом впн.

(Нажмите, чтобы показать/скрыть)

route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
85.21.88.130    10.37.16.1      255.255.255.255 UGH   0      0        0 eth0
195.14.50.16    10.37.16.1      255.255.255.255 UGH   0      0        0 eth0
85.21.72.83     10.37.16.1      255.255.255.255 UGH   0      0        0 eth0
85.21.52.254    10.37.16.1      255.255.255.255 UGH   0      0        0 eth0
78.107.1.41     10.37.16.1      255.255.255.255 UGH   0      0        0 eth0
78.107.1.41     10.37.16.1      255.255.255.255 UGH   0      0        0 eth0
195.14.50.21    10.37.16.1      255.255.255.255 UGH   0      0        0 eth0
195.14.50.26    10.37.16.1      255.255.255.255 UGH   0      0        0 eth0
89.179.135.67   10.37.16.1      255.255.255.255 UGH   0      0        0 eth0
78.107.1.36     10.37.16.1      255.255.255.255 UGH   0      0        0 eth0
78.107.1.36     10.37.16.1      255.255.255.255 UGH   0      0        0 eth0
195.14.40.141   10.37.16.1      255.255.255.255 UGH   0      0        0 eth0
195.14.50.93    10.37.16.1      255.255.255.255 UGH   0      0        0 eth0
85.21.0.76      10.37.16.1      255.255.255.255 UGH   0      0        0 eth0
85.21.0.76      10.37.16.1      255.255.255.255 UGH   0      0        0 eth0
192.169.9.0     0.0.0.0         255.255.255.0   U     0      0        0 br0
85.21.90.0      10.37.16.1      255.255.255.0   UG    0      0        0 eth0
78.107.23.0     10.37.16.1      255.255.255.0   UG    0      0        0 eth0
85.21.79.0      10.37.16.1      255.255.255.0   UG    0      0        0 eth0
10.37.16.0      0.0.0.0         255.255.248.0   U     0      0        0 eth0
10.0.0.0        10.37.16.1      255.0.0.0       UG    0      0        0 eth0
0.0.0.0         0.0.0.0         0.0.0.0         U     0      0        0 ppp0

Проблемы:
1. При втыкании 2ух кабелей от разных провайдеров впн не поднимается(кажется маршруты второго провайдера перезаписывают днс и маршруты первого провайдера, т.к. оба провайдера раздают маршруты по ДШЦП).
2. Не могу понять что является шлюзом впн соединения.
3. Локальные ретрекеры у обоих провайдеров есть, но имеют одинаковые доменные имена retracker.local(это логично), так как провайдеры разные то и ай пи у ретрекеров разные, а хочется качать с локальных пиров обоих провайдеров на максимальной скорости(200 Мбит/сек).
(я думаю, что решение 3его пункта: через локальный днс добавить симлинк на ретрекер одного из провайдеров и добавление этого адреса(симлинка) в торент-файлы через патч при скачивании или открытии торент-файла)
4. У первого провайдера есть редкие, но бесплатно открытые IPTV каналы, у второго провайдера есть IPTV 70 каналов на халяву нужно пробросить все каналы внутрь моей локалки.
5. У обоих провайдеров есть немало "вкусностей"  в локалке( dc++ , films.2kom.ru ), и всё это нужно пробросить внутрь моей сети.
6. Хочется ещё некоторую статику маршрутов в локальные ресурсы второго провайдера(иннова,рутубе).



Пользователь решил продолжить мысль [time]Sun May  8 15:06:03 2011[/time]:Вот схема сети которая должна получиться.

(Нажмите, чтобы показать/скрыть)

Пользователь решил продолжить мысль [time]Sun May  8 17:27:44 2011[/time]:После разговора с саппортом 2ком выяснил что кроме IP адреса ничего не меняется да и тот меняется раз в неделю или день как повезёт. На джаббер конфренции пользователь kekeke предложил использовать шлюз 0.0.0.0 и маску 0.0.0.0/0 для впн соединения.

[Alex Gluck]

UPD: итак бился бился чего добился:
Первые 3 пункта считай готовы.
1. VPN поднимается, балансировка работает максимальная скорость зафиксированная мной в уторрент 2.2.1 под вин7х64 составила 13.7 Мбайт/сек, что явно больше 100 Мбит который мне даёт 1 провайдер(коих у меня 2ое).
2. Спасибо kekeke за подсказку, но в скрипте check.sh стоит переменная с шлюзом соответственно работать так скрипт не будет. Я отключил пока скрипт.
3. Ретрекеры я пока в хостс прописал на локальной машине естесн работают. Маршруты всё равно все в таблице main. Соответственно локальные ресурсы все через одно место кое-как.  Продолжу на выходных. Пост допишу на работе.

Привожу мои правленые конфиги.

Конфиг файла vars

(Нажмите, чтобы показать/скрыть)

#!/bin/bash

# LAN interface
IF0="br0"

# WAN interface 2
IF2="eth1"

# WAN interface 1
IF1="ppp0"

# WAN interface 3
IF3="eth0"

IP2="46.188.*.*"
IP1="95.31.*.*"
IP3="10.37.*.*"

# gateway 2
P2="46.188.*.*"
# gateway 1
P1="0.0.0.0"
# gateway 3
P3="10.37.*.*"

# LAN netmask
P0_NET="192.169.9.0/24"
# WAN2 netmask
P2_NET="46.188.*.*/25"
# WAN1 netmask
P1_NET="0.0.0.0/0"
# WAN3 netmask
P3_NET="10.37.*.*/21"


TBL1="beeline"
TBL2="2kom"
TBL3="beelinelocal"

# Realtive weight of channels bandwidth
W1="2"
W2="1"
W3="3"

Конфиг файла routing.sh

(Нажмите, чтобы показать/скрыть)

#!/bin/bash

. /etc/balance/vars

echo "1" > /proc/sys/net/ipv4/ip_forward


ip route add $P1_NET dev $IF1 src $IP1 table $TBL1 > /dev/null 2>&1
ip route add default via $P1 table $TBL1 > /dev/null 2>&1
ip route add $P3_NET dev $IF3 src $IP3 table $TBL3 > /dev/null 2>&1
ip route add default via $P3 table $TBL3 > /dev/null 2>&1
sleep 10
pon internet
ip route add $P2_NET dev $IF2 src $IP2 table $TBL2 > /dev/null 2>&1
ip route add default via $P2 table $TBL2 > /dev/null 2>&1

ip route add $P1_NET dev $IF1 src $IP1 > /dev/null 2>&1
ip route add $P2_NET dev $IF2 src $IP2
ip route add $P3_NET dev $IF3 src $IP3

ip route add default via $P1 > /dev/null 2>&1

ip rule add from $IP1 table $TBL1 > /dev/null 2>&1
ip rule add from $IP2 table $TBL2 > /dev/null 2>&1
ip rule add from $IP3 table $TBL3 > /dev/null 2>&1

ip route add $P0_NET dev $IF0 table $TBL1 > /dev/null 2>&1
ip route add $P2_NET dev $IF2 table $TBL1 > /dev/null 2>&1
ip route add 127.0.0.0/8 dev lo table $TBL1 > /dev/null 2>&1
ip route add $P0_NET dev $IF0 table $TBL2 > /dev/null 2>&1
ip route add $P1_NET dev $IF1 table $TBL2 > /dev/null 2>&1
ip route add 127.0.0.0/8 dev lo table $TBL2 > /dev/null 2>&1
ip route add $P0_NET dev $IF0 table $TBL3 > /dev/null 2>&1
ip route add $P3_NET dev $IF3 table $TBL3 > /dev/null 2>&1
ip route add 127.0.0.0/8 dev lo table $TBL3 > /dev/null 2>&1

iptables -t nat -F POSTROUTING
iptables -t nat -A POSTROUTING -s $P0_NET -o $IF1 -j MASQUERADE
iptables -t nat -A POSTROUTING -s $P0_NET -o $IF2 -j MASQUERADE
iptables -t nat -A POSTROUTING -s $P0_NET -o $IF3 -j MASQUERADE

Конфиг файла check.sh

(Нажмите, чтобы показать/скрыть)

#!/bin/bash
#
. /etc/balance/vars
#
#OLDIF1=0
#OLDIF2=0
#
. /etc/balance/routing.sh
#while true; do
#
#
#ping -c 3 -s 100 $P2 -I $IF1 > /dev/null
#if [ $? -ne 0 ]; then
#echo "Failed IF1!"
#NEWIF1=0
#else
#NEWIF1=1
#fi
#
#ping -c 3 -s 100 $P2 -I $IF2 > /dev/null
#if [ $? -ne 0 ]; then
#echo "Failed IF2!"
#NEWIF2=0
#else
#NEWIF2=1
#fi
#
#if (( ($NEWIF1!=$OLDIF1) || ($NEWIF2!=$OLDIF2) )); then
#echo "Changing routes"
#
#if (( ($NEWIF1==1) && ($NEWIF2==1) )); then
#echo "Both channels"
ip route delete default
ip route add default scope global nexthop via $P1 dev $IF1 weight $W1 \
nexthop via $P2 dev $IF2 weight $W2
#elif (( ($NEWIF1==1) && ($NEWIF2==0) )); then
#echo "First channel"
#ip route delete default
#ip route add default via $P1 dev $IF1
#elif (( ($NEWIF1==0) && ($NEWIF2==1) )); then
#echo "Second channel"
#ip route delete default
#ip route add default via $P2 dev $IF2
#fi
#
#else
#echo "Not changed"
#fi
#
#OLDIF1=$NEWIF1
#OLDIF2=$NEWIF2
sleep 3
#done

вывод ip route

(Нажмите, чтобы показать/скрыть)

ip route
85.21.88.130 via 10.37.*.* dev eth0
195.14.50.16 via 10.37.*.1 dev eth0
85.21.72.83 via 10.37.*.* dev eth0
85.21.52.254 via 10.37.*.* dev eth0
195.14.50.21 via 10.37.*.* dev eth0
195.14.50.26 via 10.37.*.* dev eth0
89.179.135.67 via 10.37.*.* dev eth0
85.21.0.75 via 10.37.*.* dev eth0
85.21.0.75 via 10.37.*.* dev eth0  src 10.37.*.*
195.14.40.141 via 10.37.*.* dev eth0
195.14.50.93 via 10.37.*.* dev eth0
46.188.*.*/29 via 46.188.*.* dev eth1
46.188.*.*/28 via 46.188.*.* dev eth1
46.188.*.*/25 dev eth1  proto kernel  scope link  src 46.188.*.*
192.169.9.0/24 dev br0  proto kernel  scope link  src 192.169.9.1
85.21.90.0/24 via 10.37.*.* dev eth0
78.107.23.0/24 via 10.37.*.* dev eth0
85.21.79.0/24 via 10.37.*.* dev eth0
10.37.*.*/21 dev eth0  proto kernel  scope link  src 10.37.*.*
10.0.0.0/8 via 10.37.*.* dev eth0
default
        nexthop dev ppp0 weight 2
        nexthop via 46.188.*.*  dev eth1 weight 1

[victor00000]

$ ip a

[Alex Gluck]

victor00000 Я так понял по выводу команды, там я могу шлюз посмотреть... Так?
Пользователь решил продолжить мысль 10 Мая 2011, 11:22:41:Ещё проблема айпи у меня динамический на втором провайдере(2ком) как быть пока фик знает думаю меньше гемора будет если статику купить... Наверно так и сделаю в конце недели... Для локальных ресурсов надо вручную маршруты прописывать факт займусь позже. В локалке 2ком 2 вида подсетей 10.*.*.* и 172.16-31.*.* в локалке билайна подсеть вида 10.*.*.* как быть? Как указывать маршруты совсем непонятно.

[victor00000]

victor00000 Я так понял по выводу команды, там я могу шлюз посмотреть... Так?

да

[podkovyrsty]

victor00000 Я так понял по выводу команды, там я могу шлюз посмотреть... Так?
Пользователь решил продолжить мысль 10 Мая 2011, 11:22:41:Ещё проблема айпи у меня динамический на втором провайдере(2ком) как быть пока фик знает думаю меньше гемора будет если статику купить... Наверно так и сделаю в конце недели... Для локальных ресурсов надо вручную маршруты прописывать факт займусь позже. В локалке 2ком 2 вида подсетей 10.*.*.* и 172.16-31.*.* в локалке билайна подсеть вида 10.*.*.* как быть? Как указывать маршруты совсем непонятно.

А куда вам маршруты нужны?
вот есть у вас 2 разных компа с IP 10.250.30.10
и оба они захотят с вас скачать? Коллизия будет, батенька, вернее не будет - пакеты пойдут туда, куда указывает маршрут для 10.0.0.0
А вообще вы немного не правы.
Чтобы такой фигней не страдать, все провайдеры, состоящие в MSK-IX, разделили между собой подсети 10.0.0.0 так, что они не пересекаются. Вам просто нужно выснить в ТП список подсетей для одного из провайдеров и направить их в его шлюз, а остальные , по маске 10.0.0.0/8 в другой.

[Alex Gluck]

А мне кажется билайн не входит в MSK-IX или я чего то недочитал? 2ком точно знаю там входит в эту группу. Я думаю что маршрут 10.0.0.0/8 лучше в билайн там сидов больше, а по маске 10.250.0.0/16(кажеться) в 2ком. Хотя что там и как хз позвоню завтра. Плюс сайты вконтакте, маил.ру сейчас работают так себе как бы сделать привязку через какой интерфейс ушло через тот и посылать в иптаблес через коннмарк как-то читал.

[podkovyrsty]

А мне кажется билайн не входит в MSK-IX или я чего то недочитал?

http://www.msk-ix.ru/members/?org_oid=516

Я думаю что маршрут 10.0.0.0/8 лучше в билайн там сидов больше, а по маске 10.250.0.0/16(кажеться) в 2ком. Хотя что там и как хз позвоню завтра. Плюс сайты вконтакте, маил.ру сейчас работают так себе как бы сделать привязку через какой интерфейс ушло через тот и посылать в иптаблес через коннмарк как-то читал.

есть mark - он просто маркирует пакеты
connmark маркирует все последующие пакеты сессии так же, как и первые
есть ip route, который может в зависимости от маркировки выдавать маршрут.

[Alex Gluck]

мне бы мануальчик на русском

[Гарри Кашпировский]

Про объединение локалки, если адреса провайдеров пересекатся (а они пересекаются) забудьте. Ну, или разруливайте роутинг руками. Мануальчик на русском есть на опеннете, пожалуйте.

[Alex Gluck]

по поводу MSK-IX 2ком туда не входит он в HOME-IX входит вот как...