После лечения аналогичных проблем в нескольких других серверах, решил таки отписаться для потомков: проблема была в старом списке серверов времни.
И её, действительно, хорошо видно по команде "ntpq -p" - в колонке strata показывается очень большое число (обычно так и висит 16).
Решается удалением проблемных серверов из списка и поиском замены.
Очень часто замена находится буквально под носом - проверьте, как реагируют адреса time.yourproviderdomain или ntp.yourproviderdomain.
Для Москвы: Rinet (ntp.rinet.ru, st:2), Комстар (ntp.mtu.ru, st:3) - вполне себе кандидаты.
Для верности можно ещё парочку strata 2 серверов нагуглить. (Использовать сервера strata 1 строго не рекомендуется, даже если они с открытым доступом - врад ли у вас настолько критичные по времени процессы крутятся на сервере, что расхождение в доли миллисекунды составит какую-то проблему, а каждая лишняя нагрузка на st:1 сервера - лишняя.)
Не забывайте отключать нафиг скрипт ntpdate в /etc/network/if-*.d/