Ещё раз:
1. Анализ настроек netfilter
2. Анализ задач, решаемых сервером.
3. Сравнение первого со вторым.
4. Возможно, коррекция первого под второе.
5. Возможно, коррекция настроек сетевой подсистемы второго под конкретные задачи.
6. Лог всего, что прорывается через первое и мешает работе второго. Фильтрация rsyslogd очень, очень полезна в этом.