sudo chown -R $USER:$USER /var/www
После этого сайт уже начал опять загружаться, но все тот же набор символов.
В логах ошибок, насколько я могу понимать, были ошибки доступа, но после того как поменял права (что выше) они перестали появляться или какие-либо другие.
P.S. Во время установки LAMP в модулях апачи был установлен rewrite (может как то связано с моей проблемой)