У меня дома ситуация один в один.
Машинка даже проще твоей. Athlon 64 3000+ ОЗУ 1Gb винтов воткнул 4 шт.
Мое мнение что не нужна тебе прокся, роутер и так все порты из-вне закрывает, а учет трафика и всякие политики зачем они дома?
У меня сервер просто в локалке наряду с компом и ноутами.
Не стал заморачиваться с серверной убунтой, поставил xubuntu по сносил ненужные программы, ну там плеера, смотрелки фото, утилиты и т.д. и поставил нужное
LinuxDCpp (сейчас лучше брать FreeDCpp) это для раздачи по локалке, Transmission уже стоял помоему (торрент клиент), Поставил apache2, php, mysql на них воздрузил CMS Drupal на нем крутится 2 сайта.
По самбе легко и просто расшарить нужные папки для виндосети (у меня Windows осталась только на виртуалке с отключенной сетью, поэтому пользую NFS, а не самбу).
Transmission легко управляется через вебморду там можно указать по какому порту. А 80 порт пробросить на роутере на этот сервер для сайтов, ну и 20-21 для FTP тоже.
Все это конечно можно делать в консоли. Но я закоренелый виндузятник поэтому до консоли дорастаю медленно.
Для управления этим хозяйством установил Vino это VNC сервер убунтовый. Не знаю может в последних версиях он уже включен в xubuntu .
В этот раз даже заморачиваться не буду (хочу 10LTS уже), поставлю наверное обычный гном убунтовый, тоже повыпиливаю мусор, как показала практика 1Gb DDR400 для домашней файлопомойки хватает за глаза и с графикой, даже еще остается на apache2 и торренты.