естественно, xserverer еще не запустился. Если удаленно требуется запустить, то по ssh выполнить - login, password, startx и потом уж удаленный рабочий стол. Хотя, для рабочего стола проще будет настроить автовход, так как при разрыве ssh-сессии и иксы рухнут.