Buenas lei un post por alli y vi que algunos inlcuyen estas lienas en su robots.txt
Sitemap:
http://www.mipagina.com/sitemap.xml
User-agent: *
Disallow:
Lo que queria saber es para que nos sirve poner la primera linea en el robots.txt que hace?
Sitemap: http://www.mipagina.com/sitemap.xml
Pasa que pense que en el robots.txt solo era para poner las url que no quiero que se indexen por el google, en este caso que funcion cumpliria el poner la primera linea en el robots.txt
Gracias de antemano