2 провайдера+проброс до веб-сервера

[RandolEth]

Доброго времени суток форумчане!

Ситуация:
есть локалка(IF0) и 2 провайдера статика(IF1) и pppoe(IF2)
IP статические и не меняются
подключено всё это 2-ым способом https://help.ubuntu.ru/wiki/ip_balancing
изменен вес 1ый провайдер=1, 2ой провайдер=5
маскарад заменен на SNAT
у веб-сервера 2 IP на одном интерфейсе(IP Alias) выпускаются наружу след. правилами

Код: [Выделить]

          iptables -t nat -A PREROUTING -i $IF2 -p tcp -m tcp -d $IP2 --dport 80 -j DNAT --to-destination 192.168.0.93:80
          iptables -t nat -A POSTROUTING -o $IF2 -p tcp -m tcp -s 192.168.0.93 --sport 80 -j SNAT --to-source $IP2:80
          iptables -t nat -A PREROUTING -i $IF1 -p tcp -m tcp -d $IP1 --dport 80 -j DNAT --to-destination 192.168.0.193:80
          iptables -t nat -A POSTROUTING -o $IF1 -p tcp -m tcp -s 192.168.0.193 --sport 80 -j SNAT --to-source $IP1:80
rp_filter отключен для всех интерфейсов

Ошибка следующая: в режиме с одним провайдером порт пробрасывается вне зависимости от того какой провайдер активен, но стоит "поднять" обоих провайдеров и проброс работает только через pppoe(IF2).

Ткните дураку пальцем где копать.

[xeon_greg]

копать в сторону маршрутизации. показывай таблицы маршрутизации когда оба провайдера подняты

Код: [Выделить]

ip r
cat /etc/iproute2/rt_tables


[koshev]

Да, и туда тоже,

Код: (text) [Выделить]

ip -4 r s t all но хотелось бы уточнится:

          iptables -t nat -A PREROUTING -i $IF2 -p tcp -m tcp -d $IP2 --dport 80 -j DNAT --to-destination 192.168.0.93:80
          iptables -t nat -A POSTROUTING -o $IF2 -p tcp -m tcp -s 192.168.0.93 --sport 80 -j SNAT --to-source $IP2:80
          iptables -t nat -A PREROUTING -i $IF1 -p tcp -m tcp -d $IP1 --dport 80 -j DNAT --to-destination 192.168.0.193:80
          iptables -t nat -A POSTROUTING -o $IF1 -p tcp -m tcp -s 192.168.0.193 --sport 80 -j SNAT --to-source $IP1:80

Это опечатка, я правильно понял?

[AnrDaemon]

Туда... http://anr-daemon.livejournal.com/1655.html
Будет что-то непонятно - спрашивайте здесь же.
У вас, я так понял, внешние сети напрямую приходят в компьютер, так что у вас маркировку трафика надо делать по интерфейсам, а не по MAC адресам.

[RandolEth]

Уточню:
настройки производятся на гейте с целью балансировки и отказоустойчивости
задача номер раз выпустить пользователей в интернет через 2-х провайдеров чередуя каналы по "весу"
задача номер два организовать доступ к веб-серверу размещенному в локалке

На самом деле пользователи и входящие потоки мало интересны, значительно важнее балансировка исходящих потоков от веб-сервера и отказоустойчивость в целом 

 KT315
Нет 192.168.0.93 и 192.168.0.193 это IP адреса веб-сервера(IP Alias), разделил для удобства

Для удобства понимания выложу конфиг:
Vars

(Нажмите, чтобы показать/скрыть)

#!/bin/bash
# LAN interface
IF0="eth0"
# WAN interface 1
IF1="eth1"
# WAN interface 2
IF2="ppp0"
IP1="85.202.5.14"
IP2="92.255.246.179"
# gateway 1
P1="85.202.5.13"
# gateway 2
P2="91.144.132.69"
# LAN netmask
P0_NET="192.168.0.0/24"
# WAN1 netmask
P1_NET="85.202.5.12/30"
# WAN2 netmask
P2_NET="92.255.246.179/32"
TBL1="provider1"
TBL2="provider2"
# Realtive weight of channels bandwidth
W1="1"
W2="5"

Routing

(Нажмите, чтобы показать/скрыть)

#!/bin/bash

 . /etc/balance/vars

  echo "1" > /proc/sys/net/ipv4/ip_forward

    ip rule del from $IP1 table $TBL1 > /dev/null 2>&1
    ip rule del from $IP2 table $TBL2 > /dev/null 2>&1
    ip route add $P1_NET dev $IF1 src $IP1 table $TBL1 > /dev/null 2>&1
    ip route add default via $P1 table $TBL1 > /dev/null 2>&1
    ip route add $P2_NET dev $IF2 src $IP2 table $TBL2 > /dev/null 2>&1
    ip route add default via $P2 table $TBL2 > /dev/null 2>&1
 
     ip route add $P1_NET dev $IF1 src $IP1 > /dev/null 2>&1
     ip route add $P2_NET dev $IF2 src $IP2
 
      ip route add default via $P1 > /dev/null 2>&1
 
       ip rule add from $IP1 table $TBL1 > /dev/null 2>&1
       ip rule add from $IP2 table $TBL2 > /dev/null 2>&1


         ip route add $P0_NET dev $IF0 table $TBL1 > /dev/null 2>&1
         ip route add $P2_NET dev $IF2 table $TBL1 > /dev/null 2>&1
         ip route add 127.0.0.0/8 dev lo table $TBL1 > /dev/null 2>&1
         ip route add $P0_NET dev $IF0 table $TBL2 > /dev/null 2>&1
         ip route add $P1_NET dev $IF1 table $TBL2 > /dev/null 2>&1
         ip route add 127.0.0.0/8 dev lo table $TBL2 > /dev/null 2>&1

          iptables -F
          iptables -t nat -F

          iptables -t nat -A POSTROUTING -s $P0_NET -j SNAT --to-source $IP1
          iptables -t nat -A POSTROUTING -s $P0_NET -j SNAT --to-source $IP2

          iptables -t nat -A PREROUTING -i $IF2 -p tcp -m tcp -d $IP2 --dport 80 -j DNAT --to-destination 192.168.0.93:80
          iptables -t nat -A POSTROUTING -o $IF2 -p tcp -m tcp -s 192.168.0.93 --sport 80 -j SNAT --to-source $IP2:80
          iptables -t nat -A PREROUTING -i $IF1 -p tcp -m tcp -d $IP1 --dport 80 -j DNAT --to-destination 192.168.0.193:80
          iptables -t nat -A POSTROUTING -o $IF1 -p tcp -m tcp -s 192.168.0.193 --sport 80 -j SNAT --to-source $IP1:80

Check

(Нажмите, чтобы показать/скрыть)

#!/bin/bash

 . /etc/balance/vars

  OLDIF1=0
  OLDIF2=0

   . /etc/balance/routing.sh
   while true; do


     ping -c 3 -s 100 $P1 -I $IF1 > /dev/null
     if [ $? -ne 0 ]; then
     echo "Failed IF1!"
     NEWIF1=0
     else
     NEWIF1=1
     fi

      ping -c 3 -s 100 $P2 -I $IF2 > /dev/null
      if [ $? -ne 0 ]; then
      echo "Failed IF2!"
      NEWIF2=0
      else
      NEWIF2=1
      fi

       if (( ($NEWIF1!=$OLDIF1) || ($NEWIF2!=$OLDIF2) )); then
       echo "Changing routes"

        if (( ($NEWIF1==1) && ($NEWIF2==1) )); then
        echo "Both channels"
        ip route delete default
        ip route add default scope global nexthop via $P1 dev $IF1 weight $W1 \
nexthop via $P2 dev $IF2 weight $W2
        elif (( ($NEWIF1==1) && ($NEWIF2==0) )); then
        echo "First channel"
        ip route delete default
        ip route add default via $P1 dev $IF1
        elif (( ($NEWIF1==0) && ($NEWIF2==1) )); then
        echo "Second channel"
        ip route delete default
        ip route add default via $P2 dev $IF2
        fi

         else
         echo "Not changed"
         fi

          OLDIF1=$NEWIF1
          OLDIF2=$NEWIF2
          sleep 3
          done

Таблицы следующие:

(Нажмите, чтобы показать/скрыть)

92.255.246.179 dev ppp0  table provider2  scope link  src 92.255.246.179
85.202.5.12/30 dev eth1  table provider2  scope link
192.168.0.0/24 dev eth0  table provider2  scope link
127.0.0.0/8 dev lo  table provider2  scope link
default via 91.144.132.64 dev ppp0  table provider2
91.144.132.69 dev ppp0  proto kernel  scope link  src 92.255.246.179
92.255.246.179 dev ppp0  scope link  src 92.255.246.179
85.202.5.12/30 dev eth1  proto kernel  scope link  src 85.202.5.14
192.168.0.0/24 dev eth0  proto kernel  scope link  src 192.168.0.99
default
        nexthop via 85.202.5.13  dev eth1 weight 1
        nexthop via 91.144.132.69  dev ppp0 weight 5
92.255.246.179 dev ppp0  table provider1  scope link
85.202.5.12/30 dev eth1  table provider1  scope link  src 85.202.5.14
192.168.0.0/24 dev eth0  table provider1  scope link
127.0.0.0/8 dev lo  table provider1  scope link
default via 85.202.5.13 dev eth1  table provider1
broadcast 192.168.0.255 dev eth0  table local  proto kernel  scope link  src 192.168.0.99
broadcast 127.255.255.255 dev lo  table local  proto kernel  scope link  src 127.0.0.1
local 92.255.246.179 dev ppp0  table local  proto kernel  scope host  src 92.255.246.179
local 85.202.5.14 dev eth1  table local  proto kernel  scope host  src 85.202.5.14
broadcast 85.202.5.15 dev eth1  table local  proto kernel  scope link  src 85.202.5.14
broadcast 85.202.5.12 dev eth1  table local  proto kernel  scope link  src 85.202.5.14
broadcast 192.168.0.0 dev eth0  table local  proto kernel  scope link  src 192.168.0.99
local 192.168.0.99 dev eth0  table local  proto kernel  scope host  src 192.168.0.99
broadcast 127.0.0.0 dev lo  table local  proto kernel  scope link  src 127.0.0.1
local 127.0.0.1 dev lo  table local  proto kernel  scope host  src 127.0.0.1
local 127.0.0.0/8 dev lo  table local  proto kernel  scope host  src 127.0.0.1

[AnrDaemon]

У веб-сервера нет исходящих потоков.

[RandolEth]

Пардон, ответов веб-сервера на запросы

[AnrDaemon]

Ответы должны идти туда же, откуда пришли.
Вы не там копаете.

[RandolEth]

По моему скудному разумению:

• пакет прилетевший гейту с первого провайдера имеющий адрес назначения $IP1 и порт 80 проходит PREROUTING
• у пакета адрес назначения меняется на 192.168.0.93, пакет проходит маршрутизацию и уходит в локалку
• апач отвечает на него пакетом у которого адрес назначения интернет, а адрес отправителя 192.168.0.93 и порт 80
• пакет проходит POSTROUTING, у него меняется адрес отправителя и по идеи пакет должен отправится через явно указанный интерфейс

С пакетами пришедшими со второго провайдера ситуация должна быть аналогична, только IP веб-сервера в этом случае будет 192.168.0.193


Но судя по tcpdump пакеты уходят согласно правилам "веса" провайдеров.

[AnrDaemon]

По моему скудному разумению:

• пакет прилетевший гейту с первого провайдера имеющий адрес назначения $IP1 и порт 80 проходит PREROUTING
• у пакета адрес назначения меняется на 192.168.0.93, пакет проходит маршрутизацию и уходит в локалку
• апач отвечает на него пакетом у которого адрес назначения интернет, а адрес отправителя 192.168.0.93 и порт 80
• пакет проходит POSTROUTING, у него меняется адрес отправителя и по идеи пакет должен отправится через явно указанный интерфейс

Я дал ссылку, куда читать...
Не надо пытаться порвать TCP протокол на сотню маленьких медвежат - всё выдумано ещё до вас. DNAT сам разберётся, как менять адреса пакетов.

С пакетами пришедшими со второго провайдера ситуация должна быть аналогична, только IP веб-сервера в этом случае будет 192.168.0.193

C какого перепугу? Если адрес веб-сервера в локальной сети 192.168.0.93, то он такой и будет, независимо от того, с какого роутера ты к нему отсылаешь пакеты.
А вот на какой роутер возвращать ответы - читать ссылку выше.

Но судя по tcpdump пакеты уходят согласно правилам "веса" провайдеров.

С какого перепугу на веб сервере какие-то "весы" фигурируют?

У меня есть предложение, вы берёте в руки Dia, GIMP или Paint, рисуете свою сеть и внятно объясняете, чего вы хотите добиться.

[AlDemin]

Но судя по tcpdump пакеты уходят согласно правилам "веса" провайдеров.

ну разрули их правилами типа:

Код: [Выделить]

ip rule add from x.x.x.93 table isp1
ip rule add from x.x.x.193 table isp2только они должны стоять раньше правил "балансировки"

а POSTROUTING-и тут действительно лишние, у тебя скорее всего уже есть более глобальные правила для обоих провов.