Я уже ни в чем не уверен...
В XFCE я не работал, - плохо знаю это DE, однако на Unity, сколь я помню было именно такое поведение: на экране ввода пароля пользователя при переключении раскладки тот апплет, что в самой системе показывает раскладку клавиатуры (справа сверху, в районе часов), не менял своего состояния. Что здорово сбивало с толку. Однажды (14.04) я его попробовал мышкой переключить, - получил в системе после перезагрузки английскую локаль и английские имена всех каталогов пользователей. Поправил быстро путем обратной перестройки, но сам маневр меня тогда сильно смутил. Посему не берусь судить о том, что делает этот индикатор и какой язык он показывает. Может статься что он показывает что угодно кроме фактической раскладки, а может статься что и отображает именно ее, да только глючит его почему-то...
Самый безболезненный вариант выхода из данной ситуации - смена раскладок клавиатуры таким образом, чтобы английский был языком по-умолчанию (Вы же пароль именно в нем вводите - верно?

)