Не знаю, правильно ли понял ситуацию, но самое простое - поставить "голый" Ubuntu-сервер, в нём "лишнее" есть, но по-минимуму.
Затем сконфигурировать iptables.
Потом, в зависимости от задач, "нахлобучить" либо htb.init для простого трафик-шейпинга, либо squid для сложной фильтрации.
P.S.: Сам настраивал свой первый шлюз со связкой iptables + htb.init по прикрепленным постам из раздела "Сети и Интернет" этого сайта.