eth0 смотрит в инет
eth1 смотрит в локаль
Хотелось бы ограничить скорость на прием(download).
Угу. Тогда шейпер правильно висит на eth1. Будет ограничивать "на прием".
А ошибка у вас вот тут:
iptables -t mangle -A PREROUTING -s 172.27.62.39 -j MARK --set-mark 101
iptables -t mangle -A PREROUTING -s 172.27.62.39 -j RETURN
iptables -t mangle -A PREROUTING -s 172.27.122.166 -j MARK --set-mark 102
iptables -t mangle -A PREROUTING -s 172.27.122.166 -j RETURN
Не
-s, а
-d должно быть. Так как в пакете, идущем из интернета ("на прием"), IP пользователя будет в поле "адрес назначения", а не в поле "адрес источника". Более того, в цепочке
PREROUTING таблицы
mangle вы этого не получите, потому что на этом этапе согласно
схеме пакет еще не прошел трансляцию адресов (NAT) и поэтому в его поле "адрес назначения" всё еще будет IP вашего сервера. Посему маркировать надо где-нибудь в цепочке
FORWARD таблицы
mangle.
А еще эта задача решается без всякой маркировки.