вот к примеру если порт стандартный 22, команда:
ssh-copy-id -i ~/.ssh/id_rsa.pub user@host
проблем не возникает.
А если порт другой
ssh: connect to host host_name port 22: Connection timed out.
к этой же теме, подскажите команду авторизацию ключей на сервере с нестандартным портом:
$ ssh-keygen -t rsa && ssh-copy-id -i ~/.ssh/id_rsa.pub -p port user@server
так не подходит.. 
ssh пофиг, а мне как ниму обращаться. При копировании все указывается
"scp -P 1234 user@host.." если 22 закрыт.