У меня подобная проблемма...
Ставлю иксы на Сервер
Сначала ставил x-server (Начитался мануалов

)
# sudo dpkg-reconfigure xserver-xorg
Поставился, но попросил доустановить xinit
доустановил
$ sudo apt-get install xinit
Затем настройка(вот с неё-то и началась проблемма)
$ Xorg -configure
Настройка по идее должна дать кучу выборок по монитору и т.п.
Меня спросили лишь настройки мыши и клавиатуры
И файл xorg.conf состоял из пяти строк
Решил действовать по принципу чем больше, тем лучше
Начитался и поставил xorg командой
$ sudo apt-get install xorg
Грузился дольше сервера
Затем как обычно
$ sudo Xorg -configure
на этот раз сработало (без меня, самостоятельно), xorg.conf стал похожего вида,
но команда startx дала экран без мыши и клавиатуры

По вопросу мыши - начитался что нужно доустановить поддержку мыши на сервере - и не могу найти что собственно доустановить

Кстати вначале, до установки просто xorg тоже была картинка с нерабочей мышью и клавой, но раскладки переключались!? (Индикация загоралась)
Вообщем нужно инструкцию поточнее, вики не помогли, истина ведь где-то рядом

p.s. видюха у меня встроенная sis... клава обычнейшая, без доп кнопок (кроме логотипа винды и кнопки контекстного меню в винде)
Попробовал доустановить hal - зря, стало ещё хуже, теперь настройки вообще не слушаются, ковырять hal не хочется, подскажите как можно его безболезненно удалить?