Hola,
Si es posible hacerlo de la forma que lo mencionas pero solo para sitios con contenido estático y sin uso de bases de datos ya que de otra forma las 2 bases de datos serían distintas e inconsistentes dependiendo de a cual servidor accese cada usuario.
Otra forma de hacer lo que mencionas es teniendo dos servidores queutilicen load balancing o fail over. Te sugiero leer
este tema donde se trata el asunto.
Un saludo!