За переключение в панели отвечает плагин libxkb.so, у меня лежит по пути /usr/lib/x86_64-linux-gnu/xfce4/panel/plugins,
В меню ищешь оцию Клавиатура, в опциях Раскладки снимаешь галочку, добавляешь русскую если её нет, в Изменить параметры раскладки ставишь нужное сочетание.