на Ubuntu просто так XFCE не "натянешь". По любому будут лишние автостартующие службы, демоны, сервисы,- что ведет к повышенному потреблению ресурсов по сравнению с "чистой" крыской. То же касается и LXDE, кстати.
Однозначного совета никто не даст: заведомо наверняка не решить, что проще - выпиливать Ubuntu до нормальной работы XFCE; или поставить с нуля Xubuntu.
Мой совет - сделай флешку с Xubuntu с помощью Unetbootin с возможностью сохранять настройки и поюзай некоторое время. Понравится - поставишь вместо Ubuntu. (флешка грузится дольше установленой системы, но в работе скорость вполне сносная).