Всё , что ставится из deb-пакетов вполне находится и удаляется через менеджеры пакетов.
Всё, что ставится из исходников, удаляется при наличии этих исходников, естественно, если удалялка прямо написана. Если же она написана криво, то удалять вручную, отследив по логу установки, что и куда поставилось. В не сильно запущенных случаях на помощь приходит checkinstall, рекомендую погуглить по форуму и ознакомиться.