--tcp-flags SYN,ACK,FIN,RST RST
вначале перечисляются флаги, которые нужно проверить, затем (после пробела), те флаги, которые должны быть установлены (true), остальные сброшены (false).
У Вас: проверить флаги SYN,ACK,FIN,RST, из которых должен быть установлен только флаг RST, остальные сброшены.
Это не проверка на syn.
или так --tcp-flags SYN,RST,ACK,FIN SYN
или так --syn
На какой-то конкретно порт долбятся? или на все?