Коротно про ключи.
КАК РАБОТАЕТ ssh.
При запросе клиента сервер генерирует рандомную строку и шифрует ее публичным ключом удаленного хоста. Клиент, получив данную строку, расшифровывает ее своим секретным ключом (который имеется только у него) и зашифровывает полученную строку ключом сервера. Сервер получает зашифрованное сообщение, расшифровывает своим секретным ключом и сравнивает с исходной. Если строки совпали, то клиент имеет валидный секретный ключ, что дает ему право захода на данный сервер.
ЗЫ. Шифруют публичным ключом, а расшифровывают секретным.
Публичный ключ короткий, а секретный - длинный.