У меня такая же фигня - помогает перезагрузка.
Как только система загрузилась запускаю терминал и top в нем, если Xorg жрет мало, то и на протяжении всей работы
не высовывается особо. А так даже видно, если при загрузке системы крутящийся курсор (когда приглашают ввести пароль и логин) мерцает,
то верный признак, что с Xorg'ом будут проблемы. Но, это у меня так.