Храниться в кеше, дабы не тянуть с интернета лишний раз. Функция крайне полезная, ибо экономит кучу времени при переустановке программы. Кеш находится в /var/cache/apt/archives. Функция autoremove удаляет не кеш, а установленные пакеты, которые были установлены по зависимостям, но более не нужны, потому что их не используют программы. Для очистки кеша есть команда sudo apt-get clean. Подробнее - фгугл.