archivo robots o robot ¿como furrula?
 

Buenas,

recientemente al hacer un analisis con una herramienta gratuita me dijo que me faltaba o que no tenia correctamente configurado mi archivo robot.txt o robots.txt (ya no me acuerdo)

Me podeis explicar su funcionamiento y que es lo que debo hacer.

Un saludo y gracias anticipadas :-D

Esta en ingles pero:
http://www.robotstxt.org/wc/robots.html

Salvo que tengas alguna carpeta que no quieras que se indexa dejalo en blanco o no lo pongas directamente.