Про подчёркивания не подумал, может так пойдёт (alt+o - кнопка нажимается)?
#include <gtk/gtk.h>
int main (int argc, char ** argv){
GtkWidget * window;
GtkWidget * button;
gtk_init (&argc, &argv);
window = gtk_window_new (GTK_WINDOW_TOPLEVEL);
gtk_window_set_default_size (GTK_WINDOW(window), 100, 100);
button = gtk_button_new_with_label ("l_ol");
gtk_button_set_use_underline (GTK_BUTTON(button), TRUE);
gtk_container_add (GTK_CONTAINER(window), button);
g_signal_connect (G_OBJECT(window), "delete_event",
G_CALLBACK(gtk_main_quit), NULL);
gtk_widget_show_all (window);
gtk_main ();
return !TRUE && !FALSE;
}