да блин, в гугле все есть....
Приватный ключ на клиенте должен в папке .ssh того юзера, от которого логиниться нада, папка (и содержимое ) ессна должна принадлежать этому пользователю (ну и группе ессна), и иметь ,вроде, разрешения 700, разрешения на приватный ключ 600.
На сервере та же папка (и ее содержимое) .ssh должна принадлежать тому же пользователю (если его нет - его нада создать с домашним каталогом), в этой папке должен быть файл, указанный в конфиге сервера (вот с ним может быть ошибка - в конфиге еще бывает он назван как authorized_keys2) -
"AuthorizedKeysFile %h/.ssh/authorized_keys" , который должен содержать публичный ключ. Права вроде те же.
Это все по памяти, может чё напутал