Спасибо большое, проброс порта, то что было нужно.
Меня изначально смутило, что ssh будет работать без ListenAddress и я в одном из вариантов пытался указать адрес роутера (192.168.1.1), но ssh демон не перезапускался с этим ip.
В итоге достаточно было убрать ListenAddress и правильно пробросить порт на роутере.
Еще раз спасибо!