Ядро пересобирал, чтобы получить повышение отзывчивости системы.
Того же можно добится, просто поставив риал-тайм ядро. Можно не включать при сборке поддержку ненужного железа, но большого эффекта это не даст, правда есть риск пропустить что-то нужное. Хотя, если делать это вдумчиво, много читая при этом, то проблем не должно быть. Если железо экзотическое или нужно что-то из раздела экспериментал, то собрать можно. Но с экспериментальными вещами нужно экспериментирвоать осторожно (простите за тавтологию).
ИМХО: при теперешнем положении вещей ручная сборка нужна редко, но она полезна в плане общего развития и понимания своего железа.
Любишь поковыряться - удачи, ждешь многого - вряд ли результаты оправдяают ожидания.
Данное мнение сложилось не только из собственного опыта, но и из чтения многих статей на эту тему.