Зачем по каждому чиху систему переставлять? Интересно, что на форумах других линуксов (читаю дебьянский, арчевский и манджарский) ни советов о перестановке, ни вопросов о перестановке насухо не возникает. Какой-то Ubuntu стайл нехороший сложился, чуть что перестановка. В 99% случаев смысла нет - система ваша не убитая, задача - убрать одну оболочку и поставить другую, и всё. Вы же либреофис на опенофис когда меняете, систему не сносите? И тут не нужно.
Спокойно ставьте xubuntu-desktop или что вы там хотели. Потом сделайте как я написал - удалите библиотеки kf5 и базовые библиотеки kde и plasma (остальное уберётся по зависимостям, объём удаляемого будет большой), потом вручную удалите каталог ~/.kde, ну и контрольный в голову - sudo apt-get autoremove для удаления ошмётков. Только удаляйте из консоли (control-alt-F1...F6), вдруг оболочка в процессе удаления рухнет на полпути к успеху.