Ну наверно стоить начать с этого:
lspci -k | grep -EA2 'VGA|3D'
Вывод на форум. Ну и да, я не одобряю ставить ffmpeg с nvenc от какого-то левого Васяна, лучше идти на сайт ffmpeg-а, а
именно сюда. Вооружившись этим гайдом по сборке ffmpeg-а, стоит сходить
сюда, а в дополнение можно поглядывать на
это, но важно помнить, что там очень сильно устаревшая информация и патч давно уже включен в состав ffmpeg-а, хотя команды для включения nvenc в процессе сборки, скорее всего рабочие.