а можно подробнее?
Проблема не в самом рабочем окружении, проблема в том, что Вы накатив новое (XFCE, в данном случае) рабочее окружение, вероятнее всего не удалили старое (GNOME3, в данном случае), а если и удалили, то удалили не полностью, т.к. конфиги в подобных ситуациях все абсолютно вычистить довольно трудно. Потому и могут возникать проблемы на ровном месте.
или тогда все таки ставить xubuntu
Да, это в данном случае верный подход. Вместе с тем, дабы удостовериться, что в XUbuntu все будет работать нормально с самого начала - я бы сперва проверил поведение с LiveUSB (запускаете систему, находите какой-нибудь deb-пакет, и пробуете устанавливать двойным кликом из файлового менеджера, - проверяете насколько корректно это будет работать там; и только убедившись, что все Вас устраивает - задумываться о переустановке системы). Как-то так, в общем случае...