Просто сгенерировать Modeline для нестандартного разрешения можно тут: http://xtiming.sourceforge.net/cgi-bin/xtiming.pl а по поводу тонкой настройки могу разве что метод тыка предложить.

Каждый день я хожу по интернетам с xorg.conf и собираю в него все опции, которые вижу. На полтысячи строк два года уходит. http://paste2.org/p/1084174
Возможно тебе пригодятся опции DisplaySize и DPI, не всегда моделайном получается. Алсо, поставь правильные HorizSync и VertRefresh, из мануала монитора, иногда с этим всем можно обойтись и без моделайна. У ксорга еще дурная приывычка ставить максимальное разрешение, которое он определил, особенно это не хорошо, когда нужно меньшее, моделайны и дажен явное затирание режимов не помогали, приходилось уменьшать с помощью все той же развертки. Но это было в 1.6, насколько я помню, да и сама ветка была крива. Потом я поменял монитор, и особых проблем не имел, не знаю, как с этим обстоят дела сейчас.

>>42560
Благодарю, хоть и не с первой попытки, но удалось подобрать моделайн, с которым разрешение скушалось и его удалось подстроить под размеры монитора.
>>42584
У меня задача выставить явно нестандартное разрешение, которое ниже в два раза разрешения матрицы, поскольку другое разрешение на широкоформатном LCD будет смотреться как добро.