Настраивать нужно тему оформления. Простой способ - найти тему оформления, в которой элементы отображаются так как вам нужно.
Сложный - создать свою тему.
По моим наблюдениям разработчики решили в боковой панели (если не ошибаюсь, этот элемент называется так) показывать иконки не как есть, а преобразованными в двухцветный вид.
Если в теме иконок "подставить" на это место полноцветные иконки, то они выглядят ничуть не лучше.
Если кто подскажет, как изменить это поведение боковой панели - буду признателен.
Для openbox родными являются темы оформления openbox.
Gedit - gtk-приложение и использует тему gtk.
У себя openbox использую только для отрисовки рамки окна. Для остальных элементов использую тему gtk.