Там, как минимум, 4 пакета, которые хранят конфиги в /etc/apache2 — вы точно их все удалили через purge?
Кроме того, пакетный менеджер не будет удалять конфиги, которые не входят в состав пакета и появились уже после его установки в процессе настройки/инициализации.