Да хз, щас вот еще раз поменял ничего не упал. Только вот если я уже серв всеравно ребутил, решил дописать в /etc/modules:
options xt_recent ip_list_tot=5000
но всеравно стоит 100 стандартно...
а менял я в /sys/module/xt_recent/parameters/ip_list_tot