10/02/2009, 14:18
| ||||
| ||||
| Respuesta: Robots.txt, no indexar carpeta y su contenido. Con tu ejemplo, estás restringiendo el acceso a toda la carpeta. Ese uso es el correcto. Para un ejemplo más. Supónte que en dicha carpeta, convivan en el mismo nivel imágenes JPG y archivos HTML. Vamos... es un ejemplo. Y que en tu caso no te preocupase que el bot indexara las imágenes, pero sí los documentos HTML. Entonces, para ello, utilizás un comodín que le diga: "no rastree los documentos HTML". El ejemplo es así:
Código txt:
Ver original
__________________ —Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit) |
|
10/02/2009, 14:28
| |||
| |||
| Respuesta: Robots.txt, no indexar carpeta y su contenido. Ok, es bueno saberlo para otra ocasión, pero en la carpeta que te comento, sólo conviven archivos html. Una última cosa, el ejemplo que yo he puesto es el correcto al 100%? Es decir, después de "Disallow: /carpeta_ejemplo/", ¿no hay que poner un * para que se sepa que es todo? ¿O da lo mismo si lo pongo o no? Última edición por Usuarios466; 22/02/2012 a las 07:45 |
|
10/02/2009, 14:35
| ||||
| ||||
| Respuesta: Robots.txt, no indexar carpeta y su contenido. Cita:
Iniciado por Daniel Ulczyk  Con tu ejemplo, estás restringiendo el acceso a toda la carpeta. Ese uso es el correcto.
__________________ —Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit) |
|
10/02/2009, 15:52
| |||
| |||
| Respuesta: Robots.txt, no indexar carpeta y su contenido. Pese a que, como digo, ya no existe esa carpeta porque la eliminé, el Googlebot la sigue rastreando (pese a que en toda mi web, no hay ningún enlace que haga referencia a la carpeta eliminada). ¿Sirve ponerlo en el robots.txt la carpeta del ejemplo si ya no existe para que no la siga rastreando/indexando? Última edición por Usuarios466; 22/02/2012 a las 07:45 |
|
10/02/2009, 16:11
| ||||
| ||||
| Respuesta: Robots.txt, no indexar carpeta y su contenido. Si al acceder a esa página da error 404 con el correspondiente header entonces Google cuando pase nuevamente la va a tener que quitar del indice. |
|
11/02/2009, 04:15
| ||||
| ||||
| Respuesta: Robots.txt, no indexar carpeta y su contenido. Cita: Qué sentido tiene dejar una directiva para una URL que no existe ya?
Iniciado por Juan Ca ¿Sirve ponerlo en el robots.txt la carpeta del ejemplo si ya no existe para que no la siga rastreando/indexando? Como bien te dice *Adsl5mb* cuando GoogleBot obtenga un nuevo 404, la quitará de sus índices (si es que no lo ha hecho todavía).
__________________ —Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit) |
