Вы, когда в интернетах ответы искали, голову к найденным ответам приложить забыли.
$ man smb.conf | grep -A3 charset
display charset (G)
Specifies the charset that samba will use to print messages to std‐
out and stderr. The default value is "LOCALE", which means automati‐
cally set, depending on the current locale. The value should gener‐
ally be the same as the value of the parameter unix charset.
Default: display charset = "LOCALE" or "ASCII" (depending on the
system)
Example: display charset = UTF8
dos charset (G)
DOS SMB clients assume the server has the same charset as they do.
This option specifies which charset Samba should talk to DOS
clients.
The default depends on which charsets you have installed. Samba
tries to use charset 850 but falls back to ASCII in case it is not
available. Run testparm(1) to check the default on your system.
No default
unix charset (G)
Specifies the charset the unix machine Samba runs on uses. Samba
needs to know this in order to be able to convert text to the
charsets other SMB clients use.
This is also the charset Samba will use when specifying arguments
to scripts that it invokes.
Default: unix charset = UTF8
Example: unix charset = ASCII
Проще говоря,
1. "display charset" никакого отношения к вашей проблеме не имеет.
2. "dos charset" никакого отношения к вашему случаю не имеет (скорее всего), так как у вас вряд ли есть DOS клиенты. Если всё таки есть, он должен быть выставлен в 866.
3. "unix charset" по умолчанию в Ubuntu всегда utf8. Если при этом у вас файлы не читаются - вам нужно сконвертировать имена файлов на диске, чтобы они соответствовали системной кодировке. Для этого есть специальные утилиты.
Либо, как вариант, убрать все расшаренные каталоги кроме одного проблемного, выставить unix charset так, чтобы имена читались нормально, скопировать содержимое на другой компьютер, вернуть все установки назад и вернуть содержимое в папку, уже с именами в нормальной кодировке.
P.S.
Такие проблемы чаще всего возникают при использовании криво настроенных FTP клиентов для заливки файлов с не-ASCII именами.