Creo que no estamos entendiendo bien los conceptos de carga de una página web y lo que Google valora. Puedes empezar leyendo
cómo valora Google el tiempo de carga de una página web.
Que un servidor te de mejor velocidad que otro a ti (ubicado en España), depende de tu conectividad con el servidor pero eso no quiere decir que el robot de Google se conecte desde el mismo punto geográfico donde tu estas.
De este modo es imposible/improbable que valore esto. Lo que valorará es la carga propia de la página web (html + css + javascript + imágenes).
Estos valores los puedes encontrar en webmasters tools ya que Google informa ahí de los tiempos de carga aunque si quieres algo más fiable o personalizado puedes introducir unos
códigos en Google Analytics para medir el tiempo de carga. De esta forma tendrás un mayor control sobre los tiempos de carga de cada una de tus páginas web y no solo una aproximación como nos daría webmasters tools.