Сталкивался с подобной проблемой, только не в Xubuntu, а в Kubuntu. Но проблема по сути та же - Firefox желает использовать исключительно гномовские (стандартные для среды GNOME) программы - и файловый менеджер, и просмотрщик pdf-файлов, и даже менеджер архивов. Скорее всего лиса заточена чисто под гном, и как-либо изменить системные программы для лисы в других DE нельзя.
Интересно, у пользователей GNOME firefox уважает системные настройки дефолтных программ?