Ну, удалить ядро не проблема...
sudo rm -r /boot/*`uname -r`* /lib/modules/`uname -r`
А вот проблема в работе, действительно есть... И, именно, с Virtualbox и дровами от Nvidia (из реп). Но, та же проблема возникает и с официальными убунтовскими ядрами.