Creo que para ello están las etiquetas
meta name="robots" de los sitios. Luego de este tema estuve documentándome un poco al respecto y al final me incliné al uso de etiquetas. Por cierto encontré un buen enlace que es éste:
http://www.seoconsultants.com/clueless/seo/tips/meta/
Allí se explica algo muy curioso: aunque el robot tiene un comportamiento predeterminado, habría que asegurarse que éstos lo sigan. Ellos proponen ordenar las acciones del bot de esta manera:
Código HTML:
<meta name="robots" content="all, index, follow" />
Otra cosa que me llamó la atención fue la etiqueta meta para alexa, la cual sugieren colocar de esta forma:
Código:
<meta name="alexa" content="100" />
... aunque la razón que dan para ello me parece un poco fantasiosa, pero de todas maneras la incluí a ver. Nadie sabe
.