Не все так просто оказалось, простой заменой одной функции не обойдется. Оказалось диалог вызывается старой функцией, а для новой нужны другие параметры, которые мне неизвестны.
Вот, что я выяснил:
Диалоги выбора файла создаются с помощью вызова gtk_file_selection_new (const gchar *title); Он-то и устанавливает "старый" тип окна.
А вот новый тип - gtk_file_chooser_dialog_new ("open file",
parent_window,
gtk_file_chooser_action_open,
gtk_stock_cancel, gtk_response_cancel,
gtk_stock_open, gtk_response_accept,
null);
Короче, для меня, не знающего gtk, можно зарыться, копать придется дальше.