Например, в дополнение к разрешающим правилам:
iptables -A INPUT -m recent --name scanner --rcheck --seconds 3600 --hitcount 5 -j DROP
... разрешения ...
iptables -A INPUT -m recent --name scanner --set -j DROP
блокирует ип, если за последний час было больше 5 попаданий.