не парься, они почти ни чем не отличаются. в server есть LAMP и нет Гнома, в desktop - наоборот.
скорее что-нибудь накосячится пока ты будешь прикручивать руками Гнома, видео-дрова и все свистелки к Server'у, чем как оно будет работать из коробки в desktop версии.
если нужно убыстрить загрузку (хотя куда уж быстрее) - отключаешь красивый сплэш-скрин и убираешь ненужные тебе штуки из автозагрузки (для меня этим оказалась поддержка принтера и блютуса, которых у меня нет). Будет на пару секунд быстрее.