не знаю, как там с rhythmbox, но с transmission и qutim помогло следующее: система -> параметры -> запускаемые приложения. там добавляем приложение и в качестве исполняемой команды пишем для него "rhythmbox -m". параметр -m как раз говорит о том, что программа запускается свернутой в трей. ах, да, ubuntu 10.04.