Какой командой?
установuть - install, а удалuть как? 
Если ставил не из deb-пакета, а из бинарников (или как это называется?) скриптом (или через
configure | make | make install), то придется или искать в README программы, как удалять (будет типа
make --uninstall) или в корне программы может быть скрипт для деинсталяции.
НО! Всего перечисленного может и не быть, это уж как совесть автора программы ему говорит - делать, аль не делать деинсталятор. Поэтому рекомендуется использовать
checkinstall, или
читать здесьСтатью лучше прочитать, а чем пользоваться - дело каждого. Я пробовал оба способа.
checkinstall быстрее, но, говорят, не кашерно.

З.Ы. Мой небольшой опыт показал, что лучше иметь дело с deb-пакетами. Ибо меньше мусора и проще жизнь. Чего и вам советую