Saludos!!
Estas tres referencias te ayudarán bastante. Basicamente, el Sitemap es un mapa para los buscadores, éste les dice que páginas de tu sitio deben ser indexadas. El robot.txt sirve para que los buscadores no (valga la redundancia...) busquen paginas que no deben ser indexadas, como los paneles de control y esas cosas.
¿Que es y para que sirve un Sitemap? ¿Para que sirve un robot.txt? ¿Como combinar el Sitemap y el Robot.txt?
Espero que te sirvan, Hasta Luego!!
