У меня было нечто похожее при активированной Связке ключей (kwallet или как то так) на машине к которой нужно конектиться, ошибки не помню, но суть в том, что при подключении на сервере вызывалась этот самый бумажник и пока не введен пароль для его открытия соединение подвисало, а потом, соответственно закрывалось. Но, вообще, все это дело жутко тормозило. Что ты хочешь реализовать? Возможно будет проще Х-форвардинг настроить?..