En mi web no tengo el archivo robots.txt pues no quiero excluir ningun buscador, quiero que me indexen todos por ahora.
Bueno, la cuestion es que tengo puesto un script que cuando una pagina de mi web de error (el tipico error 400) de que no se encuentra y demás, me mande un mail a mi correo diciendome la página que falta. Pues bien, desde hace un par de dias recibo los mails diciendome que me falta el archivo robots.txt!
No se si será algún spider de algun buscador, google o yo que sé, pero me manda varios al dia. He visto un archivo robots.txt que creo que es para que te indexen todos los buscadores, es decir, no eliminar ninguno. ¿Podría poner este robots.txt para que el "spider" al buscarlo lo encuentre y no me mande correos cada dos por tres?:
ESTE HE ENCONTRADO:
---------------------------------------------------------
# Robots.txt file from http://www.searchengineworld.com
#
# All robots will spider the domain
User-agent: *
Disallow:
---------------------------------------------------------
¿Es correcto?
Gracias a todos y saludos!
