Кириллица, lua, и разбиение на слова

[piyavking]

Опять кириллица даёт стране угля: Есть lua скрипт, в нём строчки:

Код: [Выделить]

...

     s = "hello world from lua"

     for w in string.gmatch(s, "%a+") do

# ...строка прекрасно разбивается на слова

     end

     s = "кириллическая строка не читается"

     for w in string.gmatch(s, "%a+") do

#...всё печально

     end

...

[appomsk]

В Луа восьмибитные символы, в Линуксе сейчас повсеместно используется кодировка UTF-8, в которой кириллические символы занимают два байта (а ascii - основные латинские - один байт, поэтому с ними все нормально).

Нужно или искать библиотеку Луа для работы с UTF, или конвертировать в восьмибитную кодировку (CP1251 - Windows - самая распространенная).

[piyavking]

appomsk,

Всё пока норм, конструкция "for w in string.gmatch(line, "%S+") do" таки выдирает слова.

[Yurror]

... кодировка UTF-8, в которой кириллические символы занимают два байта (а ascii - основные латинские - один байт, поэтому с ними все нормально)...

Кодировка с переменной длиной символа. И единственное что в ней оговаривается что она обратно совместима с ASCII. Полагаться на то что остальные символы будут двубайтными - копать себе яму.