He notado que gran parte de mis visitantes provienen de Google, pero muy poquisimos de Bing, y casi nada de otros.
Generalmente damos prioridad a los Robots de google, y que mejor capturar los usuarios de los otros buscadores. En mi robots.txt hay esto
Cita: User-agent: Mediapartners-Google*
Disallow: /cgi-bin/
Disallow: /carpetas/
Disallow: /prohibidas/
Sitemap: http://www.mi_web.com/sitemap.xml
Y como hago para que tambien deje pasar a los robots de Yahoo, Bing, Altavista, Ask, etc osea que tambien ellos me indexen, en el ejemplo, solo he copiado del ejemplo de otros archivos de Robots, y en el
Robot de Google, no tiene ese Mediapartners-Google, solo esta como "
User-agent: *".
En otras webs veo este tipo de Robots:
Cita: User-agent: *
Disallow: /admin/
Disallow: /templates/
User-agent: Mediapartners-Google*
Disallow:
Cual de los dos robots.txt es valido, o cual es el ideal para que todos los Buscadores en general me indexen.