Может я плохо гуглил, но нужного найти не смог.
Надо создать диалог без декорации, в котором рамка рисуется приложением в самом окне цвета переднего плана.
В качестве примера использовал пример с рисованием мышью из GTK+ 2 .0 Tutorial, слегка изменив его.
С рисованием справился, но виджеты в диалоге теперь не хотят подстраиваться при изменении размера окна (хотя визуальная отдача сохраняется). А область, добавляемая при увеличении размера диалога, окрашивается без использования моей рамки.
http://nopaste.info/9fca63718e.htmlP.S. Вот результаты
С исходным размером:
http://img683.ЗАПРЕЩЁННЫЙ РЕСУРС/img683/1544/gladishwinadoptinitial.png
И с увеличенным:
http://img683.ЗАПРЕЩЁННЫЙ РЕСУРС/img683/637/gladishwinadoptresized.png
При возврате размера к исходному все становится нормально, как на первой картинке.
P.P.S. Тему GTK я делал с расчетом на compiz, чтобы тот делал прозрачным фон с помощью плагина greenscreen (сейчас у меня openbox

)
OB позволяет отключить раздельно рамку и заголовок, а вот приложение не может дать такие инструкции - только целиком. Вот и мучаюсь.