У меня Mint 17, но столкнулся с аналогичной проблемой. После установки на дефолтных драйверах с помощью xrandr --newmode / xrandr --addmode нужный режим устанавливался, но после установки драйвера nvidia начали возникать ошибки. Обратил внимание, что newmode один раз проходил и режим создавался, но только для HDMI выхода. Подозреваю, что на этом выходе все бы работало, но шнура под рукой не было, по этому не проверял работоспособность. Для VGA гарантированно возникала ошибка. Суть решения - пояснить иксам режим работы монитора. На мысль натолкнули askubuntu.com/questions/235507/xconfig-xrandr-badmatch
1) находим xorg.conf (у меня /usr/share/xresprobe/xorg.conf), но здесь он не рабочий, скорее, это заготовка
2) копируем в /etc/X11/xorg.conf
3) внутри нового xorg.conf в секции "Monitor" добавляем две строки
HorizSync 30-82
VertRefresh 56-76
4) сохраняем и перегружаем (не уверен, что надо обязательно перезапускать комп, возможно, достаточно только иксы, но я новичок и не знаю как это сделать)
5) В настройках монитора появляется множество дополнительных режимов, которых ранее не было. Выбираем и сохраняем. Выбранный режим будет работать и после перезапуска, повторной переустановки не требуется.