[РЕШЕНО]
Итак, проблему решил.
Признаться некоторый маленький опыт с Линуксом у меня был на работе на уровне ls, cd, cp, ln, rm, vim, tar, emerge и т.д.
Но для домашнего использования не было вообще никакого и поэтому не было знаний, как работать с драйверами и т.п.
Интуитивно понимал, что нужно удалить "плохие" пакеты-зависимости, но как это сделать, естественно не знал.
Из-за того, что мне здесь сразу дали понять, что спасение утопающих дело рук самих утопающих у меня было два варианта: спросить в другом месте или разобраться самому.
Выбрал второй и стал читать разные маны, хелпы и даже книжку (Ubuntu линукс с нуля. Волох - кстати, для тех кто реально с нуля неплохая книга, может только старовата 2018г.).
Хелп dpkg показал, что есть флаг --audit, после выполнения которого мне система сказала, что есть не настроенные пакеты.
И эти пакеты как раз были Нвидиа и для того, чтобы их настроить нужно выполнить ту же команду уже с флагом --configure.
Пару дней сомневался, читал книжку, но потом всё же решился - типа "ты уже всё поломал" и терять больше нечего.
Настройка пошла, но не всех пакетов и в конечном счете остался единственный пакет от драйвера нвидиа nvidia-driver-510.
Дальше уперся в ошибку dpkg-divert:
dpkg-divert: ошибка: несовпадение с пакетом
при удалении «отклонение /usr/lib/i386-linux-gnu/libGL.so.1 из-за libnvidia-gl-510»
найдено «отклонение /usr/lib/i386-linux-gnu/libGL.so.1 в /usr/lib/i386-linux-gnu/libGL.so.1.distrib из-за nvidia-340»
Опять же из-за отсутствия опыта, а так же по совету в этой ветке, я занимался поиском переустановки пакетов или поиском исправления пакетов - короче всем, что не решает проблему, хотя опыта прибавляет, конечно.
Далее, просто вбил в поисковик "dpkg-divert ошибка несовпадение с пакетом" и вуаля - поисковик выдал одну единственную ветку (а не как мне здесь сказали "Добрая половина форума исписана этой проблемой") на этом же форуме.
Вот ссылка
https://forum.ubuntu.ru/index.php?topic=300542.0Команда, которая решила мою проблему, выглядит так:
sudo dpkg-divert --remove {package name}
т.е. получается так:
sudo dpkg-divert --remove /usr/lib/x86_64-linux-gnu/libGL.so.1
потом без "1", потом еще пара пакетов libGLE.so.
Затем
sudo apt-get install libnvidia-gl-510
Затем
sudo apt-get install -f
Красная ошибка работы пакетного менеджера, которая висела в правом верхнем углу ушла еще до перезагрузки.
Затем все остальные ошибки ушли, всё установилось и нормально заработало и заработала видео карта, при нагрузке закрутился вентилятор...
И, кстати, никуда ничего прописывать не пришлось, типа
_NV_PRIME_RENDER_OFFLOAD=1 __GLX_VENDOR_LIBRARY_NAME="nvidia" __VK_LAYER_NV_optimus="NVIDIA_only" ваше_приложение
Мои ошибки, которые допустил изначально: побоялся переключаться с драйвера нувошир на нвидиа из-за того, что видео карта не работала сразу и поэтому полез читать документацию на сайте ubuntu.ru и местный форум из логики, что прежде, чем делать почитай хотя бы документацию.
Здесь нашел, что если две карты, нужно ставить Бамблби, потом, что его нужно ставить с выключенным Secure Boot, ну и понеслась - доставить какой-то старый 340 драйвер нвидиа, выключить SecureBoot и т.д. и т.п.
Оказывается, нужно было просто сразу включить драйвер от Нвидиа последней версии и всё бы заработало (наверное).
Вопросы, конечно, еще остались, типа, как бекап правильно делать, нужно ли провести сейчас полное обновление всего всего после создания бэкапа, стоит ли удалить гуи от нвидиа от сервера и поставить обычный и т.д.
Но, как мне уже посоветовали, похоже, сам разберусь, "маленько посмотрю по сторонам".

Большое всем большое спасибо за участие и внимание!
Не знаю, как поставить метку [РЕШЕНО].