icq через iproute2+iptables

[fisher74]

Просьба не пинать, делаю первые скромные шаги в iproute2+iptables.

Сервер: Локальная сеть провайдера получается через eth0 (дальше adsl-роутер 192.168.1.1).
Запущен squid, который локальные ресурсы провайдера тянет напрямую, а фуллнет - каскадом из "головного" прокси-сервера через openvpn-сервер (там тоже adsl).
Кроме локальной сети провайдер "дарит" связь с icq-серверами. Какой алгоритм не знаю, но пинги не идут, а nmap на порт 5190 откликается.
Если на сервера icq прибить тупой роутинг через eth0, то клиенты icq работают без проблем, но связи по http с серверами нет. Оно и понятно - провайдер пропускает видимо только порты 5190, а squid, просекая, что есть прямая дорога не обращается к головному прокси.
Можно и на ограничения http забить и squid покрутить, но хочется поправить,а заодно и с iproute2 немного разобраться.
Мои действия:
1. Добавляем таблицу для протокола icq
2. Создаём правила принятия решения маршрутизации
3. Назначаем маршрут по-умолчанию для этой таблицы

Код: [Выделить]

#echo 252 icq-proto >> /etc/iproute2/rt_tables
#ip rule add fwmark 1 table icq-proto
#ip route add default via 192.168.1.1 table icq-proto
Получаю:

Код: [Выделить]

#ip rule show
0: from all lookup local
32765: from all fwmark 0x1 lookup icq-proto
32766: from all lookup main
32767: from all lookup default
# ip route sh table icq-proto
default via 192.168.1.1 dev eth0
Дальше, как я понимаю, необходимо промаркировать пакеты (а потом и соединения). Делаю это, естественно, с помощью iptables

Код: [Выделить]

#iptables -t mangle -A PREROUTING -p tcp --dport 5190 -j CONNMARK --set-mark 1
#iptables -t mangle -A PREROUTING -j CONNMARK --restore-mark
И

Код: [Выделить]

#traceroute login.icq.com -p5190
traceroute to login.icq.com (205.188.251.43), 30 hops max, 60 byte packets
connect: Сеть недоступна
# nmap -P0 login.icq.com -p5190

Starting Nmap 5.00 ( http://nmap.org ) at 2010-09-20 11:19 MSD
nexthost: failed to determine route to 205.188.251.43
QUITTING!Проверяем связь с icq, добавив дефолтовый шлюз через eth0

Код: [Выделить]

# ip route add default via 192.168.1.1
# nmap -P0 login.icq.com -p5190

Starting Nmap 5.00 ( http://nmap.org ) at 2010-09-20 11:20 MSD
Interesting ports on login.icq.com (205.188.251.43):
PORT     STATE SERVICE
5190/tcp open  aol

Nmap done: 1 IP address (1 host up) scanned in 0.80 seconds

То есть, что-то где-то не работает...
Понимаю, что нужно исключить ложку дёгтя из моей каши в голове, а лучше всю кашу.
Гугл курю, но что-то пока просветления в мозгах нету.

Просю помощи.

[Mam(O)n]

Дальше, как я понимаю, необходимо промаркировать пакеты (а потом и соединения). Делаю это, естественно, с помощью iptables

Код: [Выделить]

#iptables -t mangle -A PREROUTING -p tcp --dport 5190 -j CONNMARK --set-mark 1
#iptables -t mangle -A PREROUTING -j CONNMARK --restore-mark


Это первое, что бросается в глаза. Сам на этих граблях проторчал немного, всё из за невнимательности. Нужно так юзать:
iptables -t mangle -A PREROUTING -p tcp --dport 5190 -j MARK --set-mark 1

[censor]

из постановки задачи мало что понял, но по моему все должно быть гораздо проще.
может попробуете нарисовать схемку в dia

[fisher74]

Это первое, что бросается в глаза. Сам на этих граблях проторчал немного, всё из за невнимательности. Нужно так юзать:
iptables -t mangle -A PREROUTING -p tcp --dport 5190 -j MARK --set-mark 1

С марок и начинал - не пошло. На лоре наткнулся на подобную тему, там коннмарк используют, хотя и тоже положительных результатов не добились...

все должно быть гораздо проще.

Опуская холивар:
Необходимо пакеты icq завернуть через определённый шлюз, остальные пакеты (другие протоколы/порты) не трогать

[Mam(O)n]

С марок и начинал - не пошло. На лоре наткнулся на подобную тему, там коннмарк используют, хотя и тоже положительных результатов не добились...

Да, действительно я сейчас нашел не мало howto, которые основываются на коннмарках, но у меня на них так и ничего не получилось. Оно так раньше наверное и работало, но возможно это исправили... Еще я видел, что коннмарки пользуют только для пометки сессионных протоколов, но потом в итоге по меткам коннмарка перемечали пакеты всёже марком, но в нашем случае можно обойтись лишь одним марком..

[fisher74]

Ну не выходит каменный цветок

(Нажмите, чтобы показать/скрыть)

# ip route sh
... (тута роуты на сеть VPN. не важно)
192.168.1.0/24 dev eth0  proto kernel  scope link  src 192.168.1.150
... (тута тоже роуты на сеть VPN. и тоже не важно)
212.193.32.0/20 via 192.168.1.1 dev eth0
... (тут всё роуты на сети провайдера)
88.147.128.0/17 via 192.168.1.1 dev eth0

# ip route sh table icq-proto
default via 192.168.1.1 dev eth0

# nmap -P0 -p5190 login.icq.com
Starting Nmap 5.00 ( http://nmap.org ) at 2010-09-20 19:10 MSD
nexthost: failed to determine route to 205.188.251.43
QUITTING!
# iptables -t mangle -L -nv
Chain PREROUTING (policy ACCEPT 39M packets, 23G bytes)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 MARK       tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           tcp dpt:5190 MARK xset 0x1/0xffffffff

Chain INPUT (policy ACCEPT 39M packets, 23G bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain FORWARD (policy ACCEPT 184K packets, 46M bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain OUTPUT (policy ACCEPT 49M packets, 54G bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain POSTROUTING (policy ACCEPT 50M packets, 54G bytes)
 pkts bytes target     prot opt in     out     source               destination
[

[Mam(O)n]

А. Это. Ты на этом же компе и проверяешь, по этому пакеты в PREROUTING не попадают. Нужно в OUTPUT продублировать или сделать новую цепочку и туда заворачивать из PREROUTING и OUTPUT.

[fisher74]

продублировал

(Нажмите, чтобы показать/скрыть)

# iptables -t mangle -L -nv
Chain PREROUTING (policy ACCEPT 39M packets, 23G bytes)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 MARK       tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           tcp dpt:5190 MARK xset 0x1/0xffffffff

Chain INPUT (policy ACCEPT 39M packets, 23G bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain FORWARD (policy ACCEPT 184K packets, 46M bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain OUTPUT (policy ACCEPT 50M packets, 54G bytes)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 MARK       tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           tcp dpt:5190 MARK xset 0x1/0xffffffff

Chain POSTROUTING (policy ACCEPT 50M packets, 54G bytes)
 pkts bytes target     prot opt in     out     source               destination

Воз и ныне там
Пользователь решил продолжить мысль 20 Сентября 2010, 19:48:46:Или имелось ввиду?

Код: [Выделить]

iptables -A OUTPUT -p tcp --dport 5190 -j MARK --set-mark 1

[Mam(O)n]

Нет, всё в mangle должно быть. У тебя, судя по счётчикам, ни один пакет не доходит до того правила. Что в остальных таблицах творится?

[fisher74]

почти девственная чистота

(Нажмите, чтобы показать/скрыть)

# iptables-save
# Generated by iptables-save v1.4.4 on Mon Sep 20 20:01:40 2010
*filter
:INPUT ACCEPT [39242808:23414176109]
:FORWARD ACCEPT [183506:46269893]
:OUTPUT ACCEPT [49999902:54465307235]
COMMIT
# Completed on Mon Sep 20 20:01:40 2010
# Generated by iptables-save v1.4.4 on Mon Sep 20 20:01:40 2010
*mangle
:PREROUTING ACCEPT [39427351:23460514609]
:INPUT ACCEPT [39242808:23414176109]
:FORWARD ACCEPT [183506:46269893]
:OUTPUT ACCEPT [50000533:54465355427]
:POSTROUTING ACCEPT [50188894:54512594825]
-A PREROUTING -p tcp -m tcp --dport 5190 -j MARK --set-xmark 0x1/0xffffffff
-A OUTPUT -p tcp -m tcp --dport 5190 -j MARK --set-xmark 0x1/0xffffffff
COMMIT
# Completed on Mon Sep 20 20:01:40 2010
# Generated by iptables-save v1.4.4 on Mon Sep 20 20:01:40 2010
*nat
:PREROUTING ACCEPT [75031:4479339]
:POSTROUTING ACCEPT [331938:20162012]
:OUTPUT ACCEPT [347382:21181326]
-A POSTROUTING -o tap0 -j MASQUERADE
COMMIT
# Completed on Mon Sep 20 20:01:40 2010

(Нажмите, чтобы показать/скрыть)

# iptables -L -nv
Chain INPUT (policy ACCEPT 39M packets, 23G bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain FORWARD (policy ACCEPT 184K packets, 46M bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain OUTPUT (policy ACCEPT 50M packets, 54G bytes)
 pkts bytes target     prot opt in     out     source               destination

# iptables -t nat -L -nv
Chain PREROUTING (policy ACCEPT 75019 packets, 4479K bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain POSTROUTING (policy ACCEPT 332K packets, 20M bytes)
 pkts bytes target     prot opt in     out     source               destination         
16485 1070K MASQUERADE  all  --  *      tap0    0.0.0.0/0            0.0.0.0/0           

Chain OUTPUT (policy ACCEPT 347K packets, 21M bytes)
 pkts bytes target     prot opt in     out     source               destination

# iptables -t mangle -L -nv
Chain PREROUTING (policy ACCEPT 39M packets, 23G bytes)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 MARK       tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           tcp dpt:5190 MARK xset 0x1/0xffffffff

Chain INPUT (policy ACCEPT 39M packets, 23G bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain FORWARD (policy ACCEPT 184K packets, 46M bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain OUTPUT (policy ACCEPT 50M packets, 54G bytes)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 MARK       tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           tcp dpt:5190 MARK xset 0x1/0xffffffff

Chain POSTROUTING (policy ACCEPT 50M packets, 55G bytes)
 pkts bytes target     prot opt in     out     source               destination

Пользователь решил продолжить мысль 20 Сентября 2010, 20:15:51:Проверил с соседней машины, указав эту железку шлюзом по молчанию. Клиент подключился и пошли счётчики.
Правда, как пошли, так и остановились на тех цифрах, что указаны в спойлере

(Нажмите, чтобы показать/скрыть)

# iptables -t mangle -L -nv
Chain PREROUTING (policy ACCEPT 40M packets, 24G bytes)
 pkts bytes target     prot opt in     out     source               destination         
   10  1020 MARK       tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           tcp dpt:5190 MARK xset 0x1/0xffffffff

Chain INPUT (policy ACCEPT 39M packets, 24G bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain FORWARD (policy ACCEPT 184K packets, 46M bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain OUTPUT (policy ACCEPT 50M packets, 55G bytes)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 MARK       tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           tcp dpt:5190 MARK xset 0x1/0xffffffff

Chain POSTROUTING (policy ACCEPT 50M packets, 55G bytes)
 pkts bytes target     prot opt in     out     source               destination

Но понятно, что маркировка идёт, только не вся. Нужно чтобы и с самого сервера так же шли.

[Mam(O)n]

Херь какаято. Сейчас проверил у себя с несуществующим шлюзом, всё работает:

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

mamon@mamon-desktop:~$ ip r
172.22.22.0/24 dev eth0  proto kernel  scope link  src 172.22.22.22  metric 1
169.254.0.0/16 dev eth0  scope link  metric 1000
default via 172.22.22.2 dev eth0  proto static
mamon@mamon-desktop:~$ ip ru
0: from all lookup local
32765: from all fwmark 0x1 lookup 10
32766: from all lookup main
32767: from all lookup default
mamon@mamon-desktop:~$ ip r
172.22.22.0/24 dev eth0  proto kernel  scope link  src 172.22.22.22  metric 1
169.254.0.0/16 dev eth0  scope link  metric 1000
default via 172.22.22.2 dev eth0  proto static
mamon@mamon-desktop:~$ ip r s t 10
default via 172.22.22.23 dev eth0
mamon@mamon-desktop:~$ sudo iptables -L -vnt mangle
Chain PREROUTING (policy ACCEPT 99 packets, 36580 bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain INPUT (policy ACCEPT 68 packets, 25355 bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain FORWARD (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain OUTPUT (policy ACCEPT 66 packets, 6419 bytes)
 pkts bytes target     prot opt in     out     source               destination         
    4   240 MARK       tcp  --  *      *       0.0.0.0/0            0.0.0.0/0           tcp dpt:5190 MARK xset 0x1/0xffffffff

Chain POSTROUTING (policy ACCEPT 82 packets, 7653 bytes)
 pkts bytes target     prot opt in     out     source               destination 


Код: ("Проверка") [Выделить]

mamon@mamon-desktop:~$ nmap -P0 -p5190 login.icq.com

Starting Nmap 5.00 ( http://nmap.org ) at 2010-09-20 20:14 MSD
Interesting ports on bucp-d1-vip.blue.aol.com (205.188.251.43):
PORT     STATE    SERVICE
5190/tcp filtered aol

Nmap done: 1 IP address (1 host up) scanned in 2.10 seconds


Код: ("А в это время в другом терминале") [Выделить]

mamon@mamon-desktop:~$ sudo tcpdump -ni eth0
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 96 bytes
20:11:33.334324 ARP, Request who-has 172.22.22.23 tell 172.22.22.22, length 28
20:11:34.333992 ARP, Request who-has 172.22.22.23 tell 172.22.22.22, length 28
20:11:35.333811 ARP, Request who-has 172.22.22.23 tell 172.22.22.22, length 28


Единственная разница, я не юзал именные таблицы...

[fisher74]

Нашёл кое-какую закономерность. Как только добавляю дефолтовый маршрут на какой-нибудь маршрутизатор (два под боком), сразу связь поднимается, хотя на на нём порт 5190 перекрыт напрочь. Причём как с марками, так и с конмарками работает...
Дальше пока ковыряться неохота... Может завтра продолжу изыскания...

[fisher74]

Ну никак не получается для локального клиента. Уже и так и эдак. Выставляешь в основной таблице нужный путь - всё работает, переносишь его в доп.таблицу маршрутизации - не работает.
Дампил соединение - идёт только по 5190.
А вот netstat натолкнул на мыслишку. Как ни кручу, клиент исходящим интерфейсом берёт тот, который подходит по основной таблице. Licq ещё какой-то порт поднимает на прослушку. но это видимо для передачи данных и "на скрорость" не влияет.
Начал в глядываться в картинку, которую активно изучаю и появилась мысль, что не удасться мну просто так это побороть.
Картинка работы таблесов:

Смотрим правое плечо, собственно там и начинает формироваться соединение.
Клиент начинает сессию и тут же попадает в маршрутизацию, где ему выставляется нужный интерфейс для работы согласно основной таблицы маршрутов.
А вот маркировка уже идёт позже, в цепочке OUTPUT таблицы mangle. В итоге-то пакеты может и уходят в нужного интерфейса и возвращаются от сервера туда же, но вот клиент их ждёт совершенно в другом месте

Есть у кого какие соображения?

[Mam(O)n]

Выкинь эту картинку, ибо:

              nat:
                  This  table  is  consulted when a packet that creates a new connection is encountered. --cut-- OUTPUT (for altering locally-generated packets before routing)

              mangle:
                  This  table is used for specialized packet alteration.  --cut-- OUTPUT (for  altering  locally-generated packets before  routing)

по сему пакет должен проходить так:
locally generated -> mangle/output -> nat/output -> routing -> filter/output

[fisher74]

Ещё одна картинка. В ней первичная маршрутизация также до цепочек.
Если нет, то подскажи где я неправильно делаю?
Попробую ещё раз описать нужную схему:
интерфейсы eth0 и ppp0
Нужно соединения на порт 5190 завернуть через eth0 (дальше маршрутизатор с IP 192.168.1.1), а все остальные пакеты через ppp0

Дабы не искать диапазоны серверов icq (мало ли): 205.188.0.0/16, 64.12.0.0/16