Честно говоря, не совсем понял, о чем Вы.
Есть же возможность соединить VNC-клиент с VNC-сервером, дав тем самым доступ клиенту к рабочему столу сервера (например, "Удаленный рабочий стол" из стандартного набора Ubuntu). А тут задача транслировать клиенту не весь стол сервера, а лишь его кусок. Пример: запускаем VNC-клиент на мобильном девайсе и видим кусок рабочего стола Ubuntu с калькулятором, нажимаем кнопки калькулятора мышью с мобильного устройства.