Новая версия, вероятнее всего, установилась в /usr/local
Если ImageMagick конфигурируется с помощью AutoTools (configure), то самый правильный вариант удаления - снова распаковать исходники (если их удалили), запустить configure с теми же параметрами, что и в первый раз, и написать
$ sudo make uninstall
Если нет, надо в скрипте инсталляции копаться или в Makefile в описании команды install.
Если не получится найти, куда это богатство ставилось, команды
$ which identify
$ locate identify
покажут расположение исполняемого файла.
Однако, есть еще и библиотеки. Их можно найти командой
$ ldd `which identify`
Часть будет системными, а та, что в /usr/local/lib (или какой там префикс получится) - скорей всего, от этой ненужной версии.
Конфиги и всякие /usr/share/ - придется искать по наитию.
UPD. Вообще-то, и это тоже можно найти с помощью ОС.

Команда strace показывает все системные вызовы, которые совершаются в процессе выполнения программы. Там будут и подгрузка динамических библиотек, и открытие файлов с конфигами, и их чтение.
Да, вот, с мануалами и заголовками и статическими библитеками для программистов беда, если они в одной пачке инсталлировались... Программы-то их не читают по ходу дела... Их придется по наитию искать.
