Что значит "новый файрфокс"? Если в твоей подписи правда, и у тебя Ubuntu12.04, то файрфокс у тебя и так самый новый.
По поводу вопроса в целом. Если удалять через remove, то никакой разницы нет. Если через purge, то удалятся и файлы настроек, то есть будет чистая установка. Любой из вариантов по своему хорош. Если нужно сохранить все настройки (что в случае с файрфоксом достаточно важно), лучше просто обновить. Если есть какой-то глюк, или версии пакетов очень сильно отличаются, то лучше сначала полностью удалить, и уже после этого устанавливать по новой.