поставить голую системы и считать что это максимум скорости, потом добавлять иксы, окружение, звук, и тд..
после установки очередной софтины перезагружаться, как только покажется что скорость работы системы не нравиться - остановиться и ничего больше не ставить.
я так debian ставил.