Конечно будет "банить" ВЕСЬ Ваш трафик.
Рассуждения верные для syn пакетов: "...Первая попытка подключения..."
Но у Вас в правилах это не отражено.
Что бы было понятно, создайте отдельную цепочку, например ssh_check
iptables -t filter -N ssh_check
Затем отправьте syn пакеты на порт 22 в эту цепочку
iptables -t filter -A INPUT -p tcp --dport 22 --syn -j ssh_check
А уже в этой цепочке реализуйте логику
iptables -t filter -A ssh_check -m recent --name ssh --update --seconds 3600 --hitcount 8 -j REJECT
iptables -t filter -A ssh_check -m recent --name ssh --set
iptables -t filter -A ssh_check -m recent --name ssh ! --rcheck --seconds 15 --hitcount 2 -j REJECT
iptables -t filter -A ssh_check -j ACCEPT
как-то так...