А в количестве пакетов/объёме можно что-то выиграть?
А при чем тут сборка ядра? Ядро это ядро. Оно всегда одно. И устанавливается всегда одним пакетом linux-image-версия_ядра-тип_ядра. Вернее, ядер несколько может храниться в Вашем /boot/, но запускается всегда одно.
Пересборка системы (всех пакетов) тоже на количестве пакетов не скажется. Может чуток сказаться на их качестве за счет оптимизаций под Ваш конкретный процессор, но Вы вряд ли заметите различия. И ubuntu мало приспособлена для таких дел. При следующем обновлении собранные Вами пакеты опять заменятся пакетами из репозитория, если их версия будет новее. Чтобы этого избежать, нужно запретить обновление каких-нибудь пакетов, а потом каждый раз при обновлении пересобирать их вручную.
Если хотите уменьшить количество пакетов, то тут есть два пути:
1-й способ. Снести все ненужные пакеты вручную, при этом нужно проявлять аккуратность, хорошее знание для чего какой пакет нужен, и удалять их по-одному, проверяя после каждого удаления работоспособность системы, а потом снести их зависимости командой
sudo apt-get autoremove
2-й способ. Поставить минимальную систему (с образа mini.iso) и устанавливать необходимые пакеты самому.
Но это займет кучу времени и мало что даст. Разве что добавит пару свободных гигов на винте, да удалит конфликты между пакетами или их настройками, если таковые у Вас имеются. Например, если Вы ставили KDE вместе с Gnome.