Вот и думаю...
А пока думаешь, запусти вживую и увидишь, конкретно эта система на конкретно твоем железе.
Можно хоть все перепробовать. А что приглянется, то установить.
На мой взгляд, в 16 унити оптимизировали, по сравнению с 14. Там появился профиль компиза с минимумом анимаций.
А 18-ые версии все стали тяжелее. Вполне может оказаться, что XFCE 18 тормознее, чем Unity 16.
Вообще, в версиях 18-20 сами ядра стали значительно прожорливее. Часть потерь обещали, как следствие борьбы со спектр-мелтдовнами. И эту потерю ничем не компенсируешь.