Дело было похоже в Cerbot, он при обновлении сертификатов был настроен для работы с почтовым сервером, а не web, а так как ему нужен 80 и 443 порт для обновления сертификатов, то он сначала открывал, а потом закрывал эти порты. Почему так было настроено не помню, возможно когда настраивал почтовый сервер и сертификаты тупо не обратил на это внимание, и применил не совсем подходящие для сервера настройки (и почтовый и web сервера на одном хосте работают). Настроил Certbot в правилах не шалить с файерволл, посмотрим, поможет ли.