Como he comentando antes. El cambio de DNS es un escenario que puede afectarte o no; depende de varios factores:
- la velocidad con que se propaguen las DNS
- la frecuencia de rastreo del crawler
- etc.
No siempre nos encontramos con cambios en las SERP porque ello ocurra. Bien dije antes:
es posible, aunque poco probable.
Ahora bien, con respecto a la locación física del servidor; ya mucho se ha hablado sobre ello aqui.
Escenario adverso:
Tenés un .com con el servicio de hosting en Sacramento (California) - USA tu página tiene un excelente posicionamiento para los términos que competís y por ahorrarte unos dólares migrás tu página a un hosting que administra tu primo segundo en Mar del Plata (Buenos Aires) - Argentina.
Es evidente que perdés posiciones y todo el SEO que hiciste en el último año te manda de la primera página a la número tres.
Decime vos ¿de quién es la culpa? 
¿De tu primo o que el hosting esté en Argentina?