11/09/2008, 11:29
|
 | Super Moderador | | Fecha de Ingreso: febrero-2005 Ubicación: Buenos Aires
Mensajes: 9.263
Antigüedad: 19 años, 1 mes Puntos: 2114 | |
| Respuesta: Sitemaps
Para hacerlo correctamente, el sitemap tiene que tener informado el dominio de nivel superior y luego los documentos que el bot seguirá.
Esta acción, hace que sea incluído el archivo index.html
Por otro lado, en el mismo sitemap, se informará sólo los documentos html (ya que es el caso que se plantea, porque en otro aspecto, podrían ser PHP por ejemplo).
Robots.txt no forma parte de la estructura de documentos (ya que el mismo contiene directrices para los crawlers) por lo que conviene que esté alojado en el root del sitio y, de ninguna manera incluido en el sitemap.
Suerte!
__________________
—Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit) |