Странно, не должно такого быть. Слишком сильно кэш занят. А какие цифры сразу после включения?
Xubuntu и Ubuntu различаются "рабочим окружением" (DE): XFCE и Unity, соотвественно. Различие не только в наличии красивостей. Отличаюся так же эргономика (что, где и зачем нажимать на экране), набор предварительно установленного ПО, степень и принципы настриваемости самого DE.
Gimp, по-идее, должен работать нормально.
Не обязательно ставить с нуля Xubuntu, можно просто сделать в Терминале:
sudo apt-get install xubuntu-desktop xubuntu-restricted-addons xubuntu-restricted-extras
Потом в настройках учётной записи включить запрос пароля при входе в систему (если сейчас не включен), что бы на экране запроса пароля выбрать рабочее окружение. Таким образом, у вас в системе будет два DE. Программы из одного DE смогут запускаться в другом, но по-умолчанию будут использоваться "родные" программы для выбранного DE. Если по какой-то причине "родные" не устроят, то можно будет создать новую ассоциацию типа файла со старым ПО.
Если загрузка памяти не уменьшиться, значит, память жрут общесистемные процессы.
Удалять swap не нужно. Если пользуетесь "сном", то лучше бы даже расширить до двух размеров оперативки. Если не пользуетесь - ничего не меняйте. Разве что, можно настроить swappiness:
В современных операционных системах используется понятие «подкачка страниц». Для повторения вспомним, что это процесс, который при нехватке ОЗУ вытесняет неиспользуемые страницы памяти в область, называемой в MS Windows файл подкачки pagefile.sys, а в Linux раздел подкачки swap. Когда страница снова нужна ее загружают обратно в ОЗУ. Что «файл подкачки» MS Windows, что раздел swap Linux обитают на жестком диске и в разы медленнее ОЗУ, поэтому активное перемещение страниц туда-сюда-обратно замедляет работу компьютера в целом.
Вывод?
Нужно чтобы в компьютере было достаточно ОЗУ для ваших задач. Вывод банален, но это так. В довершении изменим чуток поведение Ubuntu в отношении использования ОЗУ и подкачки. Есть такой параметр vm.swappiness, который по умолчанию имеет значение 60, и контролирует процент свободной памяти, при которой начнется активный сброс страниц в раздел swap. Иными словами, при 100-60=40% занятой памяти, Ubuntu уже начнет использовать раздел swap. При большом количестве ОЗУ в компьютере, лучше изменить параметр vm.swappiness до 10 и тем самым приказать Ubuntu не использовать swap пока занятая ОЗУ не достигнет 100-10=90%.
Для такого изменения проще всего запустить Терминал и в нем скомандовать sudo -e /etc/sysctl.conf
Запустится редактор с правами суперпользователя и в нем в конец файла вставьте строку vm.swappiness = 10
Сохраните изменения и перезагрузите компьютер
Минусы: вы редактируете системный файл, требуется осторожность и желательно сделать резервную копию файла, например так sudo cp /etc/sysctl.conf /etc/sysctl.conf.backup
Еси будете ставить с нуля, то важно, находиться ли /home на отдельном разделе диска. Если да, то если не форматировать /home, то большинство настроек не потеряется, а все важные данные остануться целыми. Однако, программы по-умолчанию могут быть другими, поэтому от части старых настроек не будет толку, и придётся делать настройки для новых программ.
Если потом подгрузить старые программы, то их настройки будут действовать.