Канонически существуют машины клиентов, которые называются терминалами, и общая машина-сервер (которая обычно представляет собой голый системный блок без всего).
Клиенты обращаются к одной и той-же программе на сервере, откуда им приходит ответ.
При этом весьма логично, что ответ должен быть адресован на оборудование клиентов - их монитор, их колонки, их принтера и прочее.
То что в винде при удаленном доступе вы пользуетесь рабочим столом сервера и всем оборудованием сервера, отправляя по сети только картинку - это персональные трудности винды связанные с тем, что она принципиально однопользовательская. В линуксе должно быть так как я описал, не так ли?
Костыль или не костыль SSH я лично не знаю и спорить не стану. Но как бы при запросе в гугл "удаленный доступ линукс" получаем SSH как базовый вариант и целую гору Windows-стайл софта, транслирующих картинку (типа RDP клиентов), которые я считаю концептуально неправильными.