Рвутся сессии SSH и прочих соединений

[Blea]

gavrik@hs:~# uname -a
Linux hs 2.6.38-8-server #42-Ubuntu SMP Mon Apr 11 03:49:04 UTC 2011 x86_64 x86_64 x86_64 GNU/Linux
gavrik@hs:~# lspci |grep Eth
01:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168B PCI Express Gigabit Ethernet controller (rev 03)
gavrik@hs:~# ssh -v
OpenSSH_5.8p1 Debian-1ubuntu3, OpenSSL 0.9.8o 01 Jun 2010

Имеется домашняя файлопоймока на базе Asrock A330GC, которая стоит за роутером(DLink DIR655). Провайдер Билайн(4 мегабита анлим). Нужные порты проброшены.
До бубунты был FreeNAS 7 на базе FreeBSD 7.3, поднимал по ssh тонель и мог использовать с работы как проксю до любых ресурсов, и было все замечательно. Решил уйти с оси на флешке и перейти на Ubuntu Server.

Теперь при поднятии тонеля, по типу

ssh -D 1080 user@ВНЕШНИЙ_IP_провайдера_билайна

тонель долго не живет, сыпется и отваливается, даже посерфить не удается нормально, и на настройки домашнего роутера заходит чихая и кашляя. Пробовал с ноута- от знакомых и с работы, без разницы, !НО! стоит зайти от когонибудь у кого есть доступ к локалке билайна:

ssh -D 1080 user@10.68.25.45

то постабильней, однако все равно отваливается через некоторое время.

При этом стоит загрузиться с флешки на которой стоит FreeNAS с фрюшкой - все стабильно и не отваливается  :-

Ладно, с тунелем беда, но так и просто если прицепится по ssh к серваку, чтобы чтонибудь подкрутить, обновить, посмотреть как там жизнь в большинстве случаев сессия встает на мертво(может и сразу же умереть, а может часами висеть и ничего), просто висит терминал и не реагирует.

Поставил ради интереса недавно сервер игрушки MineCraft, при зацепке через внешний IP отваливается буквально через секунд 10-15 после захода на сервер с сообщением

Internal exception: java.net.SocketTimeoutException: Read timed out

Если цепляться через серый IP 10.х.х.х то стабильно, и если кидает то только если трансмишен начинает чтото комуто отдавать, но не факт что изза нагрузки.

Интерфейс при этом не отваливается.

Куда копать?
до Ubuntu server 11.04 х64 стоял Ubuntu server 10.10 32бита и были теже симптомы.

Гугл говорит сетевуха гумус, хотя это и так ясно, но под фрей то она без нареканий работает.


Пользователь решил продолжить мысль [time]Thu May  5 23:27:19 2011[/time]:Мда, месяц бился, и сейчас кажется нашел в чем загвоздка
Разглядывая разницу настройки фрюшки и Ubuntu увидел что чексумма в бубунте проверяется, во фрюхе же не проверяется.

gavrik@hs:~# sudo ethtool -k eth0
Offload parameters for eth0:
rx-checksumming: on
tx-checksumming: off
scatter-gather: off
tcp-segmentation-offload: off
udp-fragmentation-offload: off
generic-segmentation-offload: off
generic-receive-offload: on
large-receive-offload: off
rx-vlan-offload: on
tx-vlan-offload: on
ntuple-filters: off
receive-hashing: off

Гугл мои опасения подтвердил.

Сделал

sudo ethtool -K eth0 rx off

и переподнял сетку

однако параметры снова встали на прежнее место, как это срубить раз и навсегда?

[Blea]

Обновил дрова, картина не изменилась

gavrik@hs:/etc# sudo ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 00:25:22:0c:f9:e8
          inet addr:192.168.0.100  Bcast:192.168.0.255  Mask:255.255.255.0
          inet6 addr: fe80::225:22ff:fe0c:f9e8/64 Scope:Link
          UP BROADCAST RUNNING PROMISC MULTICAST  MTU:1400  Metric:1
          RX packets:9739674 errors:0 dropped:0 overruns:0 frame:0
          TX packets:22633567 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:10000
          RX bytes:2221480330 (2.2 GB)  TX bytes:28026873963 (28.0 GB)
          Interrupt:42 Base address:0xe000

gavrik@hs:/etc# sudo ethtool -i eth0
driver: r8168
version: 8.023.00-NAPI
firmware-version:
bus-info: 0000:01:00.0

Вообщем лог такой

gavrik@hs:/etc# sudo tcpdump -n -nn -vv -i eth0 |grep incorrect

        192.168.0.100.25565 > <мой IP с работы>.59255: Flags [.], cksum 0x707e ([color="red"]incorrect[/color] -> 0x7f7b), seq 372867:374215, ack 3894, win 211, options [nop,nop,TS val 13531266 ecr 5666433], length 1348
    192.168.0.100.22 > <мой IP с работы>.63468: Flags [.], cksum 0x707e ([color="red"]incorrect[/color] -> 0x9124), seq 76248:77596, ack 417, win 294, options [nop,nop,TS val 13531267 ecr 5666432], length 1348
    192.168.0.100.22 > <мой IP с работы>.63468: Flags [P.], cksum 0x6bca ([color="red"]incorrect[/color] -> 0xd2b6), seq 77596:77740, ack 417, win 294, options [nop,nop,TS val 13531267 ecr 5666432], length 144
    192.168.0.100.25565 > <мой IP с работы>.59255: Flags [.], cksum 0x707e ([color="red"]incorrect[/color] -> 0x5d33), seq 374215:375563, ack 3894, win 211, options [nop,nop,TS val 13531281 ecr 5666447], length 1348
    192.168.0.100.25565 > <мой IP с работы>.59255: Flags [.], cksum 0x707e ([color="red"]incorrect[/color] -> 0xc115), seq 375563:376911, ack 3894, win 211, options [nop,nop,TS val 13531281 ecr 5666447], length 1348
    192.168.0.100.25565 > <мой IP с работы>.59255: Flags [P.], cksum 0x707e ([color="red"]incorrect[/color] -> 0xa5d6), seq 376911:378259, ack 3996, win 211, options [nop,nop,TS val 13531281 ecr 5666447], length 1348
    192.168.0.100.25565 > <мой IP с работы>.59255: Flags [P.], cksum 0x707e ([color="red"]incorrect[/color] -> 0xebaa), seq 378259:379607, ack 3996, win 211, options [nop,nop,TS val 13531281 ecr 5666447], length 1348
    192.168.0.100.22 > <мой IP с работы>.63468: Flags [P.], cksum 0x703e ([color="red"]incorrect[/color] -> 0x4d44), seq 77740:79024, ack 417, win 294, options [nop,nop,TS val 13531282 ecr 5666447], length 1284
    192.168.0.100.25565 > <мой IP с работы>.59255: Flags [.], cksum 0x707e ([color="red"]incorrect[/color] -> 0x925a), seq 379607:380955, ack 3996, win 211, options [nop,nop,TS val 13531292 ecr 5666458], length 1348
    192.168.0.100.25565 > <мой IP с работы>.59255: Flags [.], cksum 0x707e ([color="red"]incorrect[/color] -> 0xbcc9), seq 380955:382303, ack 3996, win 211, options [nop,nop,TS val 13531292 ecr 5666458], length 1348
    192.168.0.100.25565 > <мой IP с работы>.59255: Flags [.], cksum 0x707e ([color="red"]incorrect[/color] -> 0x86e6), seq 382303:383651, ack 3996, win 211, options [nop,nop,TS val 13531292 ecr 5666458], length 1348
    192.168.0.100.25565 > <мой IP с работы>.59255: Flags [.], cksum 0x707e ([color="red"]incorrect[/color] -> 0xbec5), seq 383651:384999, ack 4064, win 211, options [nop,nop,TS val 13531292 ecr 5666458], length 1348
    192.168.0.100.25565 > <мой IP с работы>.59255: Flags [.], cksum 0x707e ([color="red"]incorrect[/color] -> 0xc6ed), seq 384999:386347, ack 4064, win 211, options [nop,nop,TS val 13531292 ecr 5666459], length 1348
    192.168.0.100.22 > <мой IP с работы>.63468: Flags [P.], cksum 0x704e ([color="red"]incorrect[/color] -> 0x9bf9), seq 79024:80324, ack 417, win 294, options [nop,nop,TS val 13531293 ecr 5666447], length 1300
    192.168.0.100.25565 > <мой IP с работы>.59255: Flags [P.], cksum 0x707e ([color="red"]incorrect[/color] -> 0xd09a), seq 386347:387695, ack 4064, win 211, options [nop,nop,TS val 13531304 ecr 5666471], length 1348
    192.168.0.100.25565 > <мой IP с работы>.59255: Flags [.], cksum 0x6b3a ([color="red"]incorrect[/color] -> 0xdbdd), seq 387695, ack 4132, win 211, options [nop,nop,TS val 13531307 ecr 5666471], length 0
    192.168.0.100.25565 > <мой IP с работы>.59255: Flags [.], cksum 0x707e ([color="red"]incorrect[/color] -> 0x00f9), seq 221891:223239, ack 4132, win 211, options [nop,nop,TS val 13531307 ecr 5666472], length 1348
    192.168.0.100.22 > <мой IP с работы>.63468: Flags [P.], cksum 0x703e ([color="red"]incorrect[/color] -> 0x7bad), seq 80324:81608, ack 417, win 294, options [nop,nop,TS val 13531308 ecr 5666470], length 1284
    192.168.0.100.25565 > <мой IP с работы>.59255: Flags [.], cksum 0x707e ([color="red"]incorrect[/color] -> 0x4748), seq 234023:235371, ack 4132, win 211, options [nop,nop,TS val 13531318 ecr 5666484], length 1348
    192.168.0.100.25565 > <мой IP с работы>.59255: Flags [.], cksum 0x707e ([color="red"]incorrect[/color] -> 0xc8a0), seq 235371:236719, ack 4151, win 211, options [nop,nop,TS val 13531318 ecr 5666484], length 1348
    192.168.0.100.25565 > <мой IP с работы>.59255: Flags [.], cksum 0x707e ([color="red"]incorrect[/color] -> 0x2184), seq 236719:238067, ack 4151, win 211, options [nop,nop,TS val 13531318 ecr 5666484], length 1348
    192.168.0.100.25565 > <мой IP с работы>.59255: Flags [F.], cksum 0x6b3a ([color="red"]incorrect[/color] -> 0xdbb1), seq 387695, ack 4151, win 211, options [nop,nop,TS val 13531318 ecr 5666484], length 0
    192.168.0.100.22 > <мой IP с работы>.63468: Flags [P.], cksum 0x6f7e ([color="red"]incorrect[/color] -> 0x3c99), seq 81608:82700, ack 469, win 294, options [nop,nop,TS val 13531319 ecr 5666483], length 1092
    192.168.0.100.25565 > <мой IP с работы>.59255: Flags [.], cksum 0x707e ([color="red"]incorrect[/color] -> 0xfda0), seq 238067:239415, ack 4151, win 211, options [nop,nop,TS val 13531330 ecr 5666497], length 1348
    192.168.0.100.25565 > <мой IP с работы>.59255: Flags [.], cksum 0x707e ([color="red"]incorrect[/color] -> 0x37ca), seq 239415:240763, ack 4151, win 211, options [nop,nop,TS val 13531331 ecr 5666497], length 1348
    192.168.0.100.25565 > <мой IP с работы>.59255: Flags [.], cksum 0x707e ([color="red"]incorrect[/color] -> 0xc194), seq 240763:242111, ack 4151, win 211, options [nop,nop,TS val 13531343 ecr 5666509], length 1348
    192.168.0.100.25565 > <мой IP с работы>.59255: Flags [.], cksum 0x707e ([color="red"]incorrect[/color] -> 0x99f9), seq 242111:243459, ack 4151, win 211, options [nop,nop,TS val 13531343 ecr 5666509], length 1348
    192.168.0.100.22 > <мой IP с работы>.63468: Flags [P.], cksum 0x6f6e ([color="red"]incorrect[/color] -> 0x4722), seq 82700:83776, ack 469, win 294, options [nop,nop,TS val 13531344 ecr 5666483], length 1076
    192.168.0.100.22 > <мой IP с работы>.63468: Flags [P.], cksum 0x6cfe ([color="red"]incorrect[/color] -> 0xb179), seq 83776:84228, ack 469, win 294, options [nop,nop,TS val 13531369 ecr 5666516], length 452
    192.168.0.100.22 > <мой IP с работы>.63468: Flags [P.], cksum 0x6c2e ([color="red"]incorrect[/color] -> 0xe1ae), seq 84228:84472, ack 469, win 294, options [nop,nop,TS val 13531392 ecr 5666542], length 244
    192.168.0.100.22 > <мой IP с работы>.63468: Flags [P.], cksum 0x6c2e ([color="red"]incorrect[/color] -> 0x20da), seq 84472:84716, ack 469, win 294, options [nop,nop,TS val 13531408 ecr 5666567], length 244

[podkovyrsty]

Думается ваша проблема в mtu

[Blea]

ставил даже 500, ничего не меняется

[podkovyrsty]

Разница между локалкой и пробросом сквозь инет в том, что mtu там много где. Не в 1-ом месте точно.

[Blea]

у всех пакетов с неправльной чек суммой, сетевушка выставляет чексуммы
cksum 0x707e
cksum 0x6b3a
cksum 0x6c2e
cksum 0x6f6e

короче, список не большой типов чексумм. Хотя ни одного одинакового пакета, специально для проверки делал закачку рандомного файла
Пользователь решил продолжить мысль 11 Мая 2011, 14:54:00:изменение МТУ не спасает.
Пользователь решил продолжить мысль 11 Мая 2011, 14:55:52:ПРовел эксперимент на днях
Поднял винду, в ней в настройках драйвера отключил все проверки CRC и увеличил буфер передачи до 512.
Вкатал для теста тот же самый сервер minecraft(дабы он на яве, так что файлы всё теже берутся).
И все гладко, ничего не рвется, но стоит не сделать этих настроек - всё становится как под бубунтой, теже симптомы.
Пользователь решил продолжить мысль 11 Мая 2011, 15:13:05:А еще, что за особенность такая, я как бы через ethtool отключаю проверку чексумм (ethtool -K eth0 rx off tx off
), а все равно сыпяться ошибки и идут разрывы 

[Blea]

Размер MTU не влияет, чтож делать.
Думал осенью сменить мамку на файлопомойке на более шуструю, но с подобным потребление киловатт, но засада, сейчас везде втюхивают этот реалтек

[Blea]

Не там копал, podkovyrsty прально подсказал, MTU поменял в настройках VPN у роутера , и все запахало . Для меня стала другое загадка, почему во фрюхе данная проблема не проявляется?

[Гарри Кашпировский]

Потому что эта чиста линуксявая "фича".

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

iptables -t mangle -A FORWARD -p tcp -m tcp --tcp-flags RST,SYN SYN -j TCPMSS --clamp-mss-to-pmtuС работы до домашнего шлюза поднят ssh-туннель, еще ни разу не наблюдал, что бы оно рвалось