Все зависит от того, что хотите получить. Если вам не требуются самые новые фичи в ПО, то можно и не обновлять (кроме пакетов безопасности).
Если смотреть на вопрос глобально, то есть 2 пути:
- стабильный релиз, 100 раз проверенный и протестированный, причем и на конфликты между версиями ПО собранного в релизе. Плюсы - очень надежная работа, минусы - старое ПО, может отставать на несколько лет. Пример: stable ветки Debian.
- самое новое ПО, которое после выхода, почти сразу бывает доступно. Плюсы - всегда самый свежий софт, при rolling releases даже не нужно переустанавляивать/обновлять релиз, система всегда в самом актуальном состоянии. Минусы - потенциальные проблемы в ПО, которые не были обнаружены сразу. Пример: Arch.
Ubuntu идет по второму пути, т.е. упор более на свежее ПО, нежели на стабильность. Станет ли хуже от постоянных обновлений - нет, не станет. Но возможность словить какой-то баг при обновлении все же есть (в большей или меньшей степени этот риск есть всегда и везде).
В современных Windows с обновлениями тоже не все так печально, кроме захламления жесткого диска бесконечными сохранениями предыдущих состояний.
В принципе как и в любой системе, опасны не обновления, опасна установка сомнительного ПО и некорректная настройка системы.
Так выглядит вопрос с моей точки зрения, но выбирать только вам.
p.s. Насчет "очень не рекомендовано удалять, то что стояло из коробки" - вероятно, это касается ситуации, когда некие пакеты связаны зависимостями с системными пакетами и ненакроком можно удалить пол-системы, тут нужно читать, какие действия будут выполнены