а по умолчания *default.conf удалил?
снова сделаю порядок.
sudo apt-get purge apache2*
sudo apt-get autoremove
sudo rm -r /etc/apache2 /var/www/*
sudo apt-get install apache2
sudo mv /var/www/html /var/www/html.bak
sudo ln -s /home/p4sh/Desktop/localhost/ /var/www/html
sudo chown www-data: /var/www/html
и сылку http://127.0.0.1/
Не удалял ничего, со "стандартной" папкой (www) работало, с симлинком не хочет.
Проделал еще раз, всё что Вы написали.
Эффект аналогичный - 403, в логах apache:
[Sat Jun 11 17:35:58.814755 2016] [core:error] [pid 27160:tid 140117592127232] [client 127.0.0.1:54944] AH00037: Symbolic link not allowed or link target not accessible: /var/www/html, referer: https://forum.ubuntu.ru/index.php?topic=278671.0
Но..
p4sh@Eva:/var/www$ readlink /var/www/html
/home/p4sh/Desktop/localhost/
Ладно, думаю придётся не использовать симлинк, а тему спустить в черную дыру...