Я несколько раз переносил сервер, но сейчас уже в подробностях не вспомню.
По сути, на новой машине устанавливаются те же пакеты (postfix, dovecot, postfix-mysql, mysql, apache, php и т.п.), потом делается дамп бд (не копирование файлов из /var/lib/mysql/mail, а с помощью утилиты mysqldump), копируются на новую машину директории /etc/postfix, /etc/dovecot, директории где хранится почта и что еще необходимо (aliases, /etc/postgrey, hostname, /etc/apache2, /var/www и т.п.), разворачивается бд на новой машине, все запускается. Если что не так, смотрятся /var/log/mail.log и лог dovecot'а.