Мне с yum/dnf или zypper гораздо проще
У меня на CentOS тоже yum, но ситуация с установкой аналогичная. А именно, если из исходников собирается .rpm пакет, так же как тут .deb пакет и тогда пакетный менеджер устанавливает/удаляет корректно. Если же устанавливать 'make install', то и 'apt' и 'yum' ведут себя аналогично, а именно они не участвуют в установке и соответственно удалить не могут
Поэтому правильно из исходников сначала собирать deb (rpm) пакет, а потом его устанавливать.