1) Суетиться надо, когда Load Average > 0.7 * core count (хотя есть данные, что core count - 0.3, то есть в Вашем случае 1.7 и более)
2) Load Average это не только нагрузка на процессор, но и вообще IO (диски включительно), у меня некоторые сервера с LA > 50 прекрасно себя чувствуют (у некоторых ЛА доходило до нескольких тысяч, поставили ССДшки)
3) Не пробовали перевести все на Nginx + php-fpm ?