Не серверы. Клиенты. Причину пока не нашёл. Сервер никуда не девается, максимальное расхождение 0.2 с.
Убить Dovecot можно только старый и только скачковым изменением времени. Новый Dovecot просто перестанет принимать и отправлять почту пока "опять не наступит новое время", но этого не произойдёт, потому что у меня сервис ntpdate, из-за которого такое происходит, зарублен на корню, и все коррекции времени выполняет NTP через adjtime(3).