Можно так.
Глобальные темы хранятся в каталоге /usr/share/themes, локальные — в ~/.themes. Приоритет у локальных.
Создаём каталог ~/.themes, копируем туда нужную тему, например, Lubuntu-default и там уже правим. Не понравится - просто удаляем.
Итак, настройки окон в выбранной теме здесь:
~/.themes/Lubuntu-default/openbox-3/themerc
Ищем строчку:
window.label.text.justify: center
меняем на:
window.label.text.justify: left
сохраняем, меняем сеанс.