cuando hacer OC a una tarjeta de video, son dos cosas las que mueves, la velocidad de las memorias y la del gpu, es posible que si subes mucho una no puedas subir tanto la otra, lo mejor es que hagas muchas pruebas con diferentes configuraciones, y vayas subiendo solo un poco cada vez, y en el inter pongas algun programa como 3dmark (te recomiendo el 2001 se
www.futuremark.com ), cuando empiezes a ver cosas raras o a tener inestabilidad, bajale un poco.
todo es ensayo y error.