Нашёл тут интересную статейку про пересборку с нужными флагами, мой вольный перевод Сразу скажу что не проверсл ничего и незнаю какие это может вызвать последствис. Используйте на свой страх и риск.
Всем гентушникам посвсщается

Итак нужно убедится что у нас добавлены\раскоментированы репозитории deb-src, для стого добавим в sources.list
deb-src http://ru.archive.ubuntu.com/ubuntu breezy main restricted universe multiverse
deb-src http://ru.archive.ubuntu.com/ubuntu breezy-updates main restricted universe multiverse
deb-src http://ru.archive.ubuntu.com/ubuntu breezy-backports main restricted universe multiverse
deb-src http://security.ubuntu.com/ubuntu breezy-security main restricted universe multiverse
Далее нужно скачать нужные для сборки headers и другую ерунду

sudo apt-get build-dep <package-name>
Далее добавим нужные нам опции для сборки
sudo vim /etc/environment
Опции добавляются переменной окружения CXXFLAGS или CFLAGS
Подробные опции можно посмотреть
здесьCFLAGS="-O3 -mtune=pentium3 -funroll-loops -ffast-math -fomit-frame-pointer -fno-exceptions"
Изменения вступст после перезагрузки(тут с не согласен, с думаю можно просто перелогинится) или если не хотите перегружатсс перед сборкой сделайте export CFLAGS=то_что_прописали_выше.
Далее собираем всё в пакет
sudo apt-get -b source <package-name>
Вот собсвенно и всё.
Как вернуть оригинальный пакет?
sudo apt-get install --reinstall <package-name>
Также мне тут ссылку дали всё это можно проделать и с apt-build что тоже весьма удобно.
http://www.digitalhardcore.us/apt-build-doc/apt-build-ru.htm