И так, все делается очень просто.
Сперва смотрим в ObConf установленную тему, затем переходим в файле themerc и правим конфиги.
Файл themerc находится по адрессу /usr/share/themes/ВАША_ТЕМА/openbox-3/themerc.
И так, берем любимый редактор и правим от root-a.
sudo nano /usr/share/themes/ВАША_ТЕМА/openbox-3/themerc
Теперь ищем строчку window.label.text.justify: XXXXX -вместо ХХХХХ left|center|right,
собственно, это и есть расположение текста в окне. По умолчанию стоит center.
Jсталось только сохранить файл и переконфигурировать openbox, или перезапустить X-сы.
Для лучшей наглядности смотрим man по themerc.
Openbox Themerc configuration