Два ppp интерфейса Webсервер и iproute

[Scherkhan]

Друзья, прошу помощи...
Развернут Web сервер на 12.04 с двумя ppp интерфейсами с белыми IP адресами. Через сервер - NAT не предусмотрен, чисто WEB и DNS.

ifconfig:

(Нажмите, чтобы показать/скрыть)

eth0      Link encap:Ethernet  HWaddr 90:94:e4:82:04:97
          inet addr:192.168.0.5  Bcast:192.168.0.255  Mask:255.255.255.0
          inet6 addr: fe80::9294:e4ff:fe82:497/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:132560 errors:0 dropped:52 overruns:0 frame:0
          TX packets:119429 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:29954749 (29.9 MB)  TX bytes:20803719 (20.8 MB)

eth1      Link encap:Ethernet  HWaddr 90:94:e4:82:ca:af
          inet addr:10.82.112.104  Bcast:10.83.255.255  Mask:255.252.0.0
          inet6 addr: fe80::9294:e4ff:fe82:caaf/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:276580 errors:0 dropped:0 overruns:0 frame:0
          TX packets:219886 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:61073445 (61.0 MB)  TX bytes:167031748 (167.0 MB)

eth2      Link encap:Ethernet  HWaddr 00:1f:c6:b6:12:e5
          inet addr:10.80.44.223  Bcast:10.83.255.255  Mask:255.252.0.0
          inet6 addr: fe80::21f:c6ff:feb6:12e5/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:385626 errors:0 dropped:0 overruns:0 frame:0
          TX packets:432235 errors:0 dropped:0 overruns:0 carrier:2
          collisions:0 txqueuelen:1000
          RX bytes:51409458 (51.4 MB)  TX bytes:527843391 (527.8 MB)
          Память:dffc0000-e0000000

lo        Link encap:Локальная петля (Loopback)
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:853134 errors:0 dropped:0 overruns:0 frame:0
          TX packets:853134 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:85595206 (85.5 MB)  TX bytes:85595206 (85.5 MB)

ppp0      Link encap:Протокол PPP (Point-to-Point Protocol)
          inet addr:213.141.129.199  P-t-P:212.1.254.115  Mask:255.255.255.255
          UP POINTOPOINT RUNNING NOARP MULTICAST  MTU:1492  Metric:1
          RX packets:14229 errors:0 dropped:0 overruns:0 frame:0
          TX packets:15008 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:3
          RX bytes:3408310 (3.4 MB)  TX bytes:9559856 (9.5 MB)

ppp1      Link encap:Протокол PPP (Point-to-Point Protocol)
          inet addr:79.111.119.125  P-t-P:212.1.254.122  Mask:255.255.255.255
          UP POINTOPOINT RUNNING NOARP MULTICAST  MTU:1492  Metric:1
          RX packets:293341 errors:0 dropped:0 overruns:0 frame:0
          TX packets:430035 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:3
          RX bytes:33507754 (33.5 MB)  TX bytes:518294010 (518.2 MB)

Через eth0 идет DNS и DHCP в локалку + сливаются бэкапы на другой сервер. (для информации)
Проблема в том, что я по своей не опытности наковырял iproute2 так, что при загрузке сервер стартует нормально, но при обрыве любого соединения, интерфейсы поднимаются, а вот вся вэб морда по ppp1 становится недоступна.

Что имею:
ip route list table main

(Нажмите, чтобы показать/скрыть)

default dev ppp0  scope link
10.0.0.0/8 via 10.80.0.1 dev eth2
10.80.0.0/14 dev eth2  proto kernel  scope link  src 10.80.44.223
10.80.0.0/14 dev eth1  proto kernel  scope link  src 10.82.112.104
77.246.96.90 via 10.80.0.1 dev eth2
77.246.96.96/27 via 10.80.0.1 dev eth2
192.168.0.0/24 dev eth0  proto kernel  scope link  src 192.168.0.5
212.1.254.115 dev ppp0  proto kernel  scope link  src 213.141.129.199
212.1.254.122 dev ppp1  proto kernel  scope link  src 79.111.119.125
233.49.170.0/24 via 10.82.112.104 dev eth1  scope link
233.49.170.0/24 via 10.80.44.223 dev eth2  scope link

ip route list table 0079

(Нажмите, чтобы показать/скрыть)

default dev ppp1  scope link
10.0.0.0/8 via 10.80.0.1 dev eth2
10.80.0.0/14 dev eth2  proto kernel  scope link  src 10.80.44.223
77.246.96.90 via 10.80.0.1 dev eth2
77.246.96.96/27 via 10.80.0.1 dev eth2
192.168.0.0/24 dev eth0  proto kernel  scope link  src 192.168.0.5
212.1.254.115 dev ppp0  proto kernel  scope link  src 213.141.129.199
212.1.254.122 dev ppp1  proto kernel  scope link  src 79.111.119.125
233.49.170.0/24 via 10.82.112.104 dev eth1  scope link

ip route list table local

(Нажмите, чтобы показать/скрыть)

broadcast 10.80.0.0 dev eth2  proto kernel  scope link  src 10.80.44.223
broadcast 10.80.0.0 dev eth1  proto kernel  scope link  src 10.82.112.104
local 10.80.44.223 dev eth2  proto kernel  scope host  src 10.80.44.223
local 10.82.112.104 dev eth1  proto kernel  scope host  src 10.82.112.104
broadcast 10.83.255.255 dev eth2  proto kernel  scope link  src 10.80.44.223
broadcast 10.83.255.255 dev eth1  proto kernel  scope link  src 10.82.112.104
local 79.111.119.125 dev ppp1  proto kernel  scope host  src 79.111.119.125
broadcast 127.0.0.0 dev lo  proto kernel  scope link  src 127.0.0.1
local 127.0.0.0/8 dev lo  proto kernel  scope host  src 127.0.0.1
local 127.0.0.1 dev lo  proto kernel  scope host  src 127.0.0.1
broadcast 127.255.255.255 dev lo  proto kernel  scope link  src 127.0.0.1
broadcast 192.168.0.0 dev eth0  proto kernel  scope link  src 192.168.0.5
local 192.168.0.5 dev eth0  proto kernel  scope host  src 192.168.0.5
broadcast 192.168.0.255 dev eth0  proto kernel  scope link  src 192.168.0.5
local 213.141.129.199 dev ppp0  proto kernel  scope host  src 213.141.129.199

ip rule

(Нажмите, чтобы показать/скрыть)

0:      from all lookup local
32765:  from 79.111.119.125 lookup 0079
32766:  from all lookup main
32767:  from all lookup default

В /etc/ppp/peers заведено два провайдера:
Для ppp0:

(Нажмите, чтобы показать/скрыть)

noipdefault
defaultroute
replacedefaultroute
hide-password
#lcp-echo-interval 30
#lcp-echo-failure 4
noauth
persist
mtu 1492
#persist
#maxfail 0
#holdoff 20
plugin rp-pppoe.so eth1
usepeerdns
user "xxxxx"

Для ppp1:

(Нажмите, чтобы показать/скрыть)

noipdefault
#defaultroute
#replacedefaultroute
hide-password
#lcp-echo-interval 30
#lcp-echo-failure 4
noauth
persist
mtu 1492
#persist
#maxfail 0
#holdoff 20
plugin rp-pppoe.so eth2
user "xxxxx"
usepeerdns

Провайдер на эти интерфейсы один, аккаунты разные, физически подведены две разные витые пары соответственно.
Вся моя галематья, как ни странно, работает при старте (перезагрузки) сервера, т.е.сайты на первом и на втором интерфейсах доступны и работают.
Задача - банальная. Если отвалится первый интерфейс - оставить в рабочем состоянии сайты на втором и наоборот, если отвалится второй - остаются работать сайты на первом. При восстановлении соединения (что происходит без проблем) - должны опять начать работать "отвалившиеся" сайты (а этого сейчас не происходит). Никакой балансировки, переопределения и т.п. - ничего лишнего.
Не пинайте сильно - понимаю, что мое решение на данный момент не компетентное, но мой "костыль" проработал 7 месяцев, пока провайдер не взял моду рвать соединение один раз в 3 дня... А перегружать сервер 5.58 утра - ну не всегда в состоянии. Спасибо!

[AnrDaemon]

Решение 1. Убрать PPP вообще. Напомните провайдеру, что на дворе 21-й век.
Решение 2. Убрать привязку к какому-то конкретному адресу. Уравнять интерфейсы в правах.

[Scherkhan]

Решение 1. Убрать PPP вообще. Напомните провайдеру, что на дворе 21-й век.

Согласен коллега. ... а что делать? Ответ один: "В вашем сегменте DHCP соединение не предусмотренно."

Решение 2. Убрать привязку к какому-то конкретному адресу. Уравнять интерфейсы в правах.

А тут не могу отвязать адреса от интерфейсов. Это связано с тем, что управление сервером для пользователей идёт через ISPmanager. А эта "морда" лицензионная, и лицензия у ней идёт на конкретный IP адрес через конкретный интерфейс (в данном случае ppp0). Если что то сменится, то мгновенно слетает лицуха, ну и все.... собственно.

[AnrDaemon]

То, что у вас там ISPmanager слетает - ваши личные проблемы.
Про то, что эта задача в принципе нерешаемая в поставленных условиях, я вообще молчу.

[Scherkhan]

Спасибо за подсказку.

[AnrDaemon]

Если это был сарказм, то я его не понял.
У вас падает интерфейс, вы хотите, чтобы при его падении всё продолжало работать через другой интерфейс, но при работе через другой интерфейс слетает лицензия на ISPmanager.
Где логика?

[Scherkhan]

Сорри, никакого сарказма... Задумался насчёт "Уравнять интерфейсы в правах".

У вас падает интерфейс, вы хотите, чтобы при его падении всё продолжало работать через другой интерфейс, но при работе через другой интерфейс слетает лицензия на ISPmanager.

Наверно я не правильно объяснил.

Есть ppp0 - на нем допустим сайт 1.
Есть ppp1 - на нем допустим сайт 2.

Падает ppp0 - работает только сайт 2 на ppp1.
Падает ppp1 - работает только сайт 1 на ppp0.

Поднимается после падения ppp0 - начинает работать сайт 1.
Поднимается после падения ppp1 - начинает работать сайт 2.

Ну соответственно если оба работают ppp, то и оба сайта работают. Всё...
Я прекрасно понимаю, что нельзя открыть сайты на другом интерфейсе с другим IP адресом... ))) Ну по крайней мере такая задача вообще не стоит. Каждому интерфейсу свои сайты.

[AnrDaemon]

Наверно я не правильно объяснил.

Есть ppp0 - на нем допустим сайт 1.
Есть ppp1 - на нем допустим сайт 2.

Падает ppp0 - работает только сайт 2 на ppp1.
Падает ppp1 - работает только сайт 1 на ppp0.

Поднимается после падения ppp0 - начинает работать сайт 1.
Поднимается после падения ppp1 - начинает работать сайт 2.

Ну соответственно если оба работают ppp, то и оба сайта работают. Всё...
Я прекрасно понимаю, что нельзя открыть сайты на другом интерфейсе с другим IP адресом... ))) Ну по крайней мере такая задача вообще не стоит. Каждому интерфейсу свои сайты.

Эээ... это, вообще-то, поведение по умолчанию. Или я неправильно понял проблему?

[Scherkhan]

Правильно! но есть НО! Если по умолчанию есть два соединения, то IP пакеты идут только через первый (основной) интерфейс. Надо создавать ещё одну таблицу раутинга. Описано тут http://habrahabr.ru/post/108690/.
Собственно создал - таблица 0079. Собственно все и работает после перезагрузки сервера. Запрос на ppp0 - ответ ppp0, запрос ppp1 - ответ ppp1. Когда происходит обрыв соединения - интерфейсы поднимаются, а пакеты побежали только через ppp0 (он основной на сколько я понимаю), соответственно WEB сервер по ppp1 становится не доступен. Вот собственно и вся проблема, как правильно эти таблицы маршрутизации написать, что б web сервер отзывался на ppp1 при подъеме соединения в случае обрыва.
Курение темы приводит к использованию сервера в качестве раутера и балансировке трафика. Все что нашел - это ссылка приведенная выше, а там довольно пространно написано что делать. И если учесть что я "великий специалист" в серверостроении, то и обратился сюда за помощью.

[AnrDaemon]

Это потому что на хабре описана полумера.

[Scherkhan]

Это потому что на хабре описана полумера.

Буду очень признателен, если подскажите или ткнете где можно взять полную меру ))). А то дежурство у сервера напрягает чуть чуть )))) На серваке крутятся боевые сайты. Их отключение... Думаю не стоит объяснять, тут же раздается телефонный звонок.. 

[AnrDaemon]

Как пример, http://anr-daemon.livejournal.com/1655.html
И не забудьте зафиксировать номера PPP интерфейсов. А то попадёте в ситуацию "первый упал, второй упал, второй поднялся, стал первым".

[bukass]

Scherkhan,
Можно к стати завести грамотный роутер? Избавишься от проблем с падением интерфейсов в момент тайм аута сессий. Как вариант.

[koshev]

но мой "костыль" проработал 7 месяцев, пока провайдер не взял моду рвать соединение один раз в 3 дня...

Что вообще довольно странно. Конкретно ЭТОТ провайдер взял моду закрывать сессию через 72 часа не семь месяцев назад. Листинги, представленные в этом посте, отражают нормальное состояния, насколько я понял.
Во время проблемы снимите те же данные. Что-то выплывет, либо не создаётся запись(и) в ip rule, либо в таблице 0079.
И кстати каким образом эти записи заводятся?

[Scherkhan]

Спасибо за ответы!
ЭТОТ провайдер начал "отрывать" меня в самом конце декабря. ИМХО может это связано с тем, что я уже почти 8 лет в этой сети и достался провайдеру после поглощения последним Дегунино.НЕТ., а оборудование они не перестраивали (наверно).

Листинг рабочий... Вроде после падения сети все так и остается - но проверю ещё раз, может что и не углядел.
В syslog пишется стандартная запись о падении соединений и их успешном восстановлении (ничего познавательного).
Эксперименты провожу ночью - необходимость, увы...

Таблица main - если правильно понимаю, создаётся автоматически при включении ppp0 и наличии записей в dsl-provider:

Код: [Выделить]

defaultroute
replacedefaultroute0079 таблица:
rc.local

(Нажмите, чтобы показать/скрыть)

#!/bin/sh -e

/etc/iproute2/rout0079

iptables --insert INPUT -p udp --dport 53 -m u32 --u32 "0x28&0xFFDFDFDF=0x08464b46 && 0x2c&0xDFDFDFDF=0x4b464b46 && 0x30&0xDFFFDFDF=0x4102434f && 0x34&0xFFDFDFFF=0x02554b00" -j DROP -m comment --comment "DROP DNS Q fkfkfkfa.co.uk"
iptables --insert INPUT -p udp --dport 53 -m u32 --u32 "0x28&0xFFDFDFDF=0x08464b46 && 0x2c&0xDFDFDFDF=0x4b464b46 && 0x30&0xDFFFDFDF=0x4103434f" -j DROP -m comment --comment "DROP DNS Q fkfkfkfa.com"
iptables -A FORWARD -i ppp0 -o ppp0 -j REJECT
iptables -A FORWARD -i ppp1 -o ppp1 -j REJECT
iptables -I FORWARD -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu

/usr/local/ispmgr/sbin/eximquota

sleep 10 && /etc/upsmon/upsmon /dev/ttyS0 1200 90

exit 0