1) CPU на макс.
2) Mem растет
3) Когда compiz повисает
На экране может ничего не отрисовываться и клавиши могут не работать, но при этом система будет работать совершенно нормально. Нечто подобное у меня было из-за драйвера видюхи, но при этом на машину можно было зайти по сети и убить вешающий систему процесс.
Использование CPU и Mem можно ограничить через ulimit.
Watchdog это аппаратное устройство, да и контролирует оно ядро (ресетит если не отвечает), а не отдельные приложения. Рассчитано на срабатывание в крайнем случае, в первую очередь при сбоях в железе. Если же отдельное приложение постоянно зависает, нужно найти и устранить причину, автоматизация уничтожения процесса это неверный путь. Хотя, конечно, проще перезагрузить процесс, чем найти причину (тем более если не писал эту программу).