Победил эту неприятность. Что сделал:
1. Удалил dovecot (на всякий случай, т.к. после установки начались проблемы).
2. Удалил openssh и вместо него установил dropbear ssh.
Видать все-таки какие-то конфиги openssh не вычистил когда переустанавливал его.