Иногда очень даже стоит. Могу засвидетельствовать, что бывают проблемы с он-боардовым оборудованием особенно на тухлых чипах и без ксорга работает оно криво (у меня была возня с видео-картами к примеру)
В Вашем случае особой необходимости видимо нет.