Cita:
Iniciado por multirest 
no es imprescindible pero le facilita el rtabajo a las arañas de los buscadores
Pues yo creo que en realidad se lo complica, porque son nuevas reglas a respetar:
tiempo entre consultas, directorios prohibidos, etc.
Y otra cosa, hay muchos spiders que pasan olimpicamente de lo que se les diga en el fichero robots.txt. A algunos "user-agents" yo les tengo prohibido el acceso mediante reglas en el .htacces por no respetar lo indicado en el fichero robots.txt