Yotambién me entretuve buen rato con tu caso. Desafortunadamente yo no he tenido ningun problema con mis dos gráficas Nvidia y mis monitores Samsung SyncMaster ni con otras tarjetas anteriores. Definitivamente el modeline usado no debe ser correcto.
Voy a traducirte aqui sin usar Google
esperemos que esto pueda ayudarte. De todas maneras por lo menos ya tienes una resolución un poco más apropiada.
1. Necesitas tener Windows instalado (cualquier versión desde 98 hasta Vista funciona) en la misma computadora y en el cual el monitor y tarjeta gráfica estén funcionando correctamente.
2. Descarga esta aplicación e instálala en Windows. Es shareware y la puedes instalar para probar sin pagar antes por ella. Una vez instalada verás el ícono de la aplicación en la bandeja del sistema.
3. Configura el escritorio de windows a 1280 x 1024
4. Click derecho sobre el ícono de la aplicación en la bandeja de sistema de windows y selecciona "Perfiles del monitor" y "Configurar..." en el menú desplegable.
5. Cuando aparezca la ventana de configuración, click en el botón "Opciones avanzadas del temporizador" y ahi click en el botón de copia al portapapeles que es el que está a la derecha del botón "Cancelar", como se muestra en
esta imagen de la web de Power Strip.
6. Abre el block de notas de windows y pega los datos del portapapeles, guarda como texto plano en algún lugar al que puedas acceder desde linux, reinicia en linux y abre el archivo que guardaste con gedit, para tomar los datos que te interesan: el modeline correcto para tu monitor.
Con eso edita tu xorg.conf agregando el modeline o bien usalo para probar de nuevo con xrandr.
PD. No sirve instalar el mentado programa en un Windows virtualizado o bajo wine, no detectará la gráfica ni el monitor reales.
Saludos.