Cita:
Iniciado por Juan Carlos 
¿Has probado a aprender lo básico del
robots.txt por ti mismo? No es nada complicado.
Según lo que nos presentas, estás haciendo cuatro llamadas (al bot de Google, a Google Imágenes, al bot de Bing y a los bots en general).
La orden "disallow" dice lo que quieres bloquear dentro de tu sitio.
¿Por qué utilizas el crawl delay?
Hola leí tutoriales y conseguí hacer este archivo pero quiero estar seguro que no bloqueo algo importante.
En esta parte les digo a los robots de google y de bing que no se metan en los archivo js ya que no lo necesitan y les digo donde tengo el sitemap. Lo hice porque creo que mejora el SEO.No creo que hay algún problema.
Los crawn-delay los pongo porque lei que a veces los robots hacen demasiadas peticiones y me bloquean el servidor. Con esto creo que les obligo esperar 10 segundos antes de hacer otra.
Luego aqui:
Bloqueo 2 paginas de mi sitio que no quiero que se indexen.
Esta bien?
La pagina que me dices de robots.txt ya la he visto y la leí pero quiero estar seguro.