Me gustaria saber si esta bien hecho este robots.txt
Decir que yo utilizo joomla y foro de kunena
Este robots.txt lo hice ayer gracias a un enlace que encontre por este foro que explicaba mas o menos como hacerlo pero no se si lo hice bien y además tengo una duda que espero que me la resolvais si podeis.
Código PHP:
User-agent:Slurp
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
User-agent:noxtrumbot
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Crawl-delay: 30
User-agent:Scooter
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
User-agent:msnbot
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Crawl-delay: 30
User-agent: Googlebot
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Crawl-delay: 30
Sitemap:http://www.josportal.com/index.php?option=com_xmap&sitemap=1&view=xml
Este es el robots.txt que subi ayer.
Esta bien hecho?
El sitemap debe aparecer el ultimo o lo debo poner después de cada user-agent?
El crawler de bing es el msnbot? o cambio hace poco. se escribe asi?msnbot o MSNbot
En fin espero vuestras opiniones.
Gracias de antemano.