Правка -> Расширения -> Значок в области уведомлений (снять галочку)
Если отключить эту опцию, то по "крестику" Banshee будет закрываться полностью, а не сворачиваться в трей.
Так что либо с нотификациями и треем, либо без нотификаций, но с постоянно висящим в таскбаре banshee.