fail2ban принимает решение, банить кого-то или нет, на основе анализа файла журнала (какого скажете). Соответственно, нужно знать, что именно и в какой лог-файл пишется при попытке несанкционированного доступа. Если ничего никуда не пишется - нужно сконфигурировать требуемый сервис, чтобы писалось.
webmin-ом никогда не пользовался, понятия не имею, что и куда он пишет при таких попытках.