Как забанить роботов-переборщиков на сайте.

[jura12]

есть свой веб сервер. прикрутил fail2ban он банит сообщения в логах page not found. прикрутил mod security он тоже отрабатывает и чтото отражает например обращения по айпи. но logwatch показывает атаки с ошибкакми 400, 403, 404, 408. как их грамотно забанить или отразить? писать для них свое привило fail2ban или можно mod security настроить? сообщение logwatch прилагается.

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

--------------------- httpd Begin ------------------------

 2.29 MB transferred in 768 responses (1xx 0, 2xx 125, 3xx 56, 4xx 587, 5xx 0)
     10 Images (0.04 MB),
      3 Documents (0.01 MB),
      3 Archives (0.01 MB),
      1 Movies files (0.01 MB),
    171 Content pages (0.98 MB),
      3 Redirects (0.00 MB),
      1 Configs (0.01 MB),
      1 mod_proxy requests (0.00 MB),
    575 Other (1.23 MB)
 
 Connection attempts using mod_proxy:
    222.186.136.150 -> ip.ws.126.net:443: 1 Time(s)
 
 Requests with error response codes
    400 Bad Request
       /: 14 Time(s)
       /HNAP1/: 4 Time(s)
       null: 2 Time(s)
       /HNAP1: 1 Time(s)
       /admin//config.php: 1 Time(s)
       /evox/about: 1 Time(s)
       /log.zip: 1 Time(s)
       /nmaplowercheck1607893230: 1 Time(s)
       HTTP/1.0: 1 Time(s)
    403 Forbidden
       /: 4 Time(s)
       /.sql: 2 Time(s)
       /HNAP1: 2 Time(s)
       /GponForm/diag_Form?images/: 1 Time(s)
       /Orion/Login.aspx: 1 Time(s)
       /actuator/health: 1 Time(s)
       /currentsetting.htm: 1 Time(s)
       /graphql: 1 Time(s)
       /hudson: 1 Time(s)
       /login: 1 Time(s)
       /manager/html: 1 Time(s)
       /owa/auth/logon.aspx?url=https%3a%2f%2f1%2fecp%2f: 1 Time(s)
       /sdk: 1 Time(s)
       /user/register/?q=user%2Fpassword&name%5B% ... 3type%5D=markup: 1 Time(s)
       ip.ws.126.net:443: 1 Time(s)
    404 Not Found
       /HNAP1/: 2 Time(s)
       /ads.txt: 1 Time(s)
       /config/getuser?index=0: 1 Time(s)
       /log.zip: 1 Time(s)
       /ru/node/48: 1 Time(s)
       /ru/node?page=1: 1 Time(s)
       /sites/default/files/Desktop%202020.04.01% ... 14.36.56.01.mp4: 1 Time(s)
       /sites/default/files/styles/medium/public/ ... g?itok=g04Zy58D: 1 Time(s)
    408 Request Timeout
       null: 531 Time(s)
       /HNAP1/: 1 Time(s)
 
 A total of 10 ROBOTS were logged
 
 ---------------------- httpd End -------------------------

[AnrDaemon]

1. Читать логи.
2. Править конфиги.

Например, …

Код: [Выделить]

    # Deny abusive crawlers.
    #deny 198.27.101.168;
    #deny 95.27.49.224;
    #deny 94.130.53.234; # BLEXBot/1.0; +http://webmeup-crawler.com/
    if ( $http_user_agent ~* "WebXakepBot|TOBBOT|SMTBot|BLEXBot|Apache-HttpClient" ) {
        return 403 "No bots allowed.";
    }
    location ^~ /cgi/ {
        return 403 "No bots allowed.";
    }
    location ^~ /cgi-bin/ {
        return 403 "No bots allowed.";
    }
    location ^~ /php {
        return 403 "No bots allowed.";
    }
    location ~ /wp-\w+/ {
        return 444;
    }

Но у меня дополнительный watchdog стоит по некорректным заголовкам запроса. Любой лишний GET параметр - повод для бана.