Solo necesitas un servicio de dns balanceado como
http://edgedirector.com/
Básicamente estos DNS lo que haces es monotorizar tu servidor, si uno no respondo automáticamente cambian la ip para que apunte al secundario
No es 100% eficiente debido al caching de dns, pero creo que es la forma más viable para tu caso