Как уже надоели эти оптимизаторы

Вы что оптимизировать-то собрались? Ubuntu? Не смешите. Ставь себе минимальный дебьян, арч, в конце-концов LFS сам собери. Там тебе будет оптимизация и счастье, а также полное понимание Linuxа до мозга костей.
Если по существу, то да, лишние службы, оптимизация файловой системы и правильное ядро (только под твое железо) тебе в помощь.
Но а если ты все таки решил поиграть в Формулу 1, то тебе не Ubuntu надо оптимизировать...
Кстати, хочешь я тебя заинтригую еще больше? Тогда у тебя вообще пропадет интерес оптимизировать что-либо

Сходи
сюда и захлебнись слюнкой. Мммм, какая скорость!