Cita: a proposito de este archivo, se como indicarle al spider por donde no ir (Disallow: /patatin/) pero, ¿hay alguna forma de indicarle por donde SI ir?
Robots instruye sobre direcciones o paths restrictivos. El spider seguirá los links que se incluyan en el documento principal (index.html, por ejemplo) y a su vez en los que se desprendan de él.
Es una buena práctica
informar a Google el sitemap del sitio aunque no de materia obligada.
Si no existe enlaces rotos, el spider seguirá todos los enlaces.
Cita: ok, ya entonces en donde alojo mis paginas en donde tengo mi paginas web. pero una duda ¿si lo dejo ahy cualkier persona la podria ver tan solo escribiendo la direccion del sitio 3w .xxxxxxxxx.com/robots.txt
Sí, cualquier persona puede ver el contenido de tu robots.txt ¿Y...?