ИМХО достаточно удалить каталог.
Поскольку в репозитарии довольно старая версия, а я экспериментирую с update 10 ради JavaFX, то просто качаю .bin и распаковываю их (вроде бы в usr/lib/java, сейчас не дома, посмотреть не могу). А потом перенастраиваю симлинк в этом каталоге на уже нужную версию jdk или jre.
/etc/alternatives/java у меня сам указывает на этот симлинк
команда java -version показывает текущую java машину