Была подобная проблема на карте GTS 550. Видеокарта была подключена к 2 разъёмам , что вызвало ошибку в Xrandr. Создал xorg.conf через nvidia X server settings и изменил его.
Можно попробовать добавить в секцию monitor строку с modeline
1) Нужно включить nvidia X server settings , нажать Save to X configuration File и сохранить по пути /etc/X11/xorg.conf
2) Выполнить в терминале sudo pico /etc/X11/xorg.conf
3) Найти секцию Monitor и дописать красную строку.
Section "Monitor"
# HorizSync source: builtin, VertRefresh source: builtin
Identifier "Monitor0"
VendorName "Unknown"
ModelName "CRT-1"
Modeline "1280x1024_60.00" 109.00 1280 1368 1496 1712 1024 1027 1034 1063
Option "DPMS"
EndSection
ну или вывод команды cvt 1280 1024 60