Различаются наборы программ. Скажем, для работы с текстом в Ubuntu есть OpenOffice, а в Xubuntu более "легкое" приложение AbiWord. Почтовые клиенты соответственно Evolution и Thunderbird. В первую очередь разные графические среды, файловые и оконные менеджеры -- в Xubuntu включены менее ресурсоёмкие.
Установив Ubuntu, Вы можете параллельно установить Xfce c пакетом программ для него и наоборот: в Xubuntu поставить Gnome, в таком случае у Вас при запуске будет возможность загрузить систему в том или другом варианте. Правда мне лично такая возможность не понравилась -- не люблю, когда много программ дублируют друг друга.
Для видео и аудио в любом случае надо будет доустановить кодеки, это несложно. Проигрыватели, установленные по умолчанию, Вас скорее всего не устроят, но есть неплохие альтернативы: MPlayer и VLC.