Подключи этот репозиторий:
deb http://download.virtualbox.org/virtualbox/debian karmic non-free
и поставь VirtualBox из него - не
virtualbox-ose, который предлагается по умолчанию, а
virtualbox-3.1 - этот умеет подключать порты напрямую. Я так на работе своим юзерам принтер подключаю в VirtualBox.
P.S. Заодно иногда заходи
сюда...