Estuve revisando el archivo robots.txt con esta herramienta
http://tool.motoricerca.info/robots-checker.phtml y luego de pulirlo un poco, ha quedado así:
Código:
User-agent: Googlebot-Image
Disallow: /
# Lista de bots que suelen respetar el robots.txt pero rara
# vez hacen un buen uso del sitio y abusan bastante...
# Añadir al gusto del consumidor...
User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
User-agent: *
Disallow:
Sitemap: http://tusitio.com/sitemap.xml.gz
Disallow: /?s=
Disallow: /search
Aunque les menciono que de todas las webs que estaban indexadas antes de bloquear al bot de Google y los otros, este lunes 15 unas 5 webs fueron indexadas, puedo pensar que el primer archivo robots.txt que está en este hilo no estaba mal, pero si es así... entonces porqué no indexo las nuevas entradas que habían sido publicadas hasta esa fecha (lunes 15)?. ¡Qué dilema!