Decir a google que no escane el interior de una carpeta

[IMAC/]

Buenas

Me gusta tener a veces las cosas por duplicado en mi hosting para poder probar las cosas sin molestar a los usuarios con fallos y demás.

Me preguntaba como puedo hacer para que google no escanne el interior entero de una carpeta en un hosting.

No se si será posible, pero como existen los META para que los robots no te muestren en las búsquedas me preguntaba si existiría algo similar pero para toda una carpeta.

Saluds.

[00siete]

Se puede hacer mediante el fichero robots.txt
Ejemplo:

Código:

User-agent: *
Disallow: /backup/directorio_que_no_debe_indexarse

Puedes encontrar más información sobre dicho fichero en ésta web: http://www.robotstxt.org/

De todos modos hay algunos robots "maliciosos" que no respetan las indicaciones del fichero robots.txt

Yo creo que es preferible que protejas dicho directorio con usuario/password, o sino por lo menos no incluyas ningun fichero index.??? en el mismo (o también puedes ponerlo pero vacío). Y luego debes evitar que hagan un listado de su contenido. Si tu servidor web es Apache puedes usar lo siguiente en el fichero .htaccess:

Código:

Options -Indexes -Includes
Order allow,deny
Allow from all

[GatorV]

Tema trasladado a Web General.

[IMAC/]

Muchas gracias 00siete, más que nada me es para que google lo tenga en cuenta y no lo incluya en búsquedas de ningún tipo, y que tampoco lo tenga en cuenta como contenido repetido y demás...

[IMAC/]

Iniciado por 00siete

Se puede hacer mediante el fichero robots.txt
Ejemplo:

Código:

User-agent: *
Disallow: /backup/directorio_que_no_debe_indexarse

¿Dónde hay que guardar el archivo robots.txt? ¿en el root?

Una pena que no pueda modificar el .htaccess... por cierto, ¿qué es eso de listar el contenido?
¿Puede hacerlo cualquiera?

Saludos

[David]

Exactamente, el archivo robots.txt debe guardarse en la carpeta principal ya que será el primer archivo solicitado por el robot (así como index.html es el primer archivo solicitado cuando abrimos una página)...

Más información: http://www.google.com/search?hl=es&c...car&lr=lang_es

[Dansolo]

Iniciado por IMAC/

Una pena que no pueda modificar el .htaccess... por cierto, ¿qué es eso de listar el contenido?
¿Puede hacerlo cualquiera?

Saludos

El .htaccess lo puedes editar con el bloc de notas, y luego subirlo de nuevo a la raiz de la carpeta www

Te sugiero hacer un backup antes de modificar el .htaccess

____________________

Ticware.com
Internet para todos...

[Bolsomaniaco]

poniendo un index en blancon en cada carpeta no funciona?

[IMAC/]

Iniciado por David el Grande

Exactamente, el archivo robots.txt debe guardarse en la carpeta principal ya que será el primer archivo solicitado por el robot (así como index.html es el primer archivo solicitado cuando abrimos una página)...

¿En la carpeta principal que quieras prohibir el acceso o en la carpeta principal del hosting, en mi caso "html"?

Iniciado por Dansolo

El .htaccess lo puedes editar con el bloc de notas, y luego subirlo de nuevo a la raiz de la carpeta www

Bueno, cuando dije que no puedo es porque el hosting no me da permisos para modificarlo por "cuestiones de seguridad". Es más concretamente un hosting en "Piensasolutions", lo digo para que nadie lo pille si piensa usar Mod_rewrite o cosas algo más avanzadas...
Yo caí, pero no volveré a hacerlo... pagar y que no te dejen toquetear...

[David]

En la carpeta raíz del dominio.
Véase: http://www.google.com/support/webmas...s&answer=40361