Или надо установить пакет php5-cgi, в нём есть интерпретатор php5-cgi для CGI.
Или надо установить пакет php5-cli, в нём есть интерпретатор php5 для командной строки.
Если планируется разработка для веб-сервера, то желательно установить веб-сервер Apache с модулем PHP libapache2-mod-php5.
Какой PHP установлен, не известно.