Cita:
Iniciado por Daniel Ulczyk 
Finalmente, se me ocurre, el intento por localizar el robots.txt (que sabemos no utilizás y no existe) deber ser, al intentar seguir una URL y, por no encontrarla, intentar ver si robots.txt la está restringiendo. No se me ocurre otra cosa.
Pregunto ¿utilizaste alguna herramienta de test de enlaces rotos (broken-links) antes de construir el sitemap?
Creo que no, las herramientas para webmaster de Google siempre buscan el archivo robots.txt, simplemente con que pongas un archivo vacio con ese nombre es suficiente.