AddType application/x-httpd-php .php включал, тоже самое. Вверху опечатался.
Перестановка libapache2-mod-php5 не дала результатов тоже.
После прописывания php5_module вышло:
:~# /etc/init.d/apache2 restart
* Restarting web server apache2
* We failed to correctly shutdown apache, so we're now killing all running apache processes. This is almost certainly suboptimal, so please make sure your system is working as you'd expect now!
... waiting apache2: Syntax error on line 288 of /etc/apache2/apache2.conf: LoadModule takes two arguments, a module name and the name of a shared object file to load it from
Добавил phpinfo.php - заработало, но phpmyadmin все равно предлагает себя скачать.