Минимальный набор драйверов вшиты в ядро, но можно устанавливать дополнительные драйверы как подключаемые модули ядра (тут много информации изучать).
Проблемы с видеокартой бывают по разным причинам, тут я предположил, раз у меня на linux 5.4 работает, значит нужно перейти на это ядро.
Переустанавливать систему не обязательно, если умеешь устанавливать нужную тебе версию linux-image и headers для него. И это конечно же при условии что есть нужное тебе ядро в репозиториях Ubuntu, для твоей версии системы.