¿Has probado a aprender lo básico del
robots.txt por ti mismo? No es nada complicado.
Según lo que nos presentas, estás haciendo cuatro llamadas (al bot de Google, a Google Imágenes, al bot de Bing y a los bots en general).
La orden "disallow" dice lo que quieres bloquear dentro de tu sitio.
¿Por qué utilizas el crawl delay?
