Да уж, автор - переформулируйте.
Ничего не понятно. Почему именно IP-тейблс, почему надо ограничить, что вообще за приложения и какую задачу решаете.
Может быть вашу задачу и без iptables можно порешать. Потому что в целом, вашу задачу вряд ли нужно решать файрволом.
Переписывайте вопрос.
В текущей формулировке может помочь connlimit - попробуйте.