evitar indexacion de cualquier motor de busqueda..?

[blachuu]

Hola! quiesiera saber si alguien conoce alguna forma de que una parte de mi sitio, este oculto a los buscadores... porque lo que encontre, fue para motores especificos, como google o yahoo... yo quisiera una forma de que NINGUN buscador pueda rastrear esa parte.... se puede???

Muchas gracias!
Blachuu

[Fociños]

Puedes conseguirlo creando el archivo robots.txt, tienes más información en las faqs de este subforo o en el buscador.

[jandres4]

Hola blachuu,

Puedes crear un archivo Robots.txt e incluir en el todas las partes de tu sitio que no quieras que aparezcan en los buscadores.

Recuerda claro que los buscadores no están obligados a obedecer a tu robots.txt, por lo que si de verdad quieres mantener oculta una página, solamente lo harás al no poner ningun link hacia ella.

Saludos!

[jandres4]

jeje, parece que respondimos al mismo tiempo Fociños .

Pues bueno, al menos eso le reafirma la respuesta a blachuu.

Saludos!

[javifo]

¿Y por qué pueden hacer lo que quieren?.

¿Es que acaso alguno de nosotros podría rastrear webs, publicar datos y enlaces y no tener ningún problema legal?

Es para pensar.

[javifo]

No creo que sea sí.

[damianx]

Hola, algo que se me ocurre, ademas de configurar el robots.txt que si bien pueden o no respetarlo (en mi experiencia personal por suerte lo respetaron siempre), es con php o asp por ejemplo generar un error 404 ya desde el index, y programar tu sitio a partir de la pagina 404 como la pagina principal, y enlazar con las demas paginas solo con botones flash que tengan los links embebidos en ellos.

O sea, creo que ahi se la estarias complicando bastante para que funcione una indexacion automatica.

El problema surgira seguramente si recibes links desde otros sitios, lo cual podrias intentar solucionarlo chequeando el referrer en el encabezado de todas las paginas y en el caso de que sea desconocido o no sea el que corresponda redireccionas a una pagina vacia por ejemplo, o mejor aun, redireccionas a google, (asi de paso si tienes suerte te "penalizara" jejeje)

O sea, en el encabezado deberias aceptar tanto los referrers internos para poder ir de pagina en pagina como un referrer externo que podria ser por poner un ejemplo una pagina de entrada al sitio que tienes en tu computadora.

Otra cosa mas que se puede hacer ademas para que llegado el caso de que el robot llegue a tu dominio, no pueda recorrer el sitio, es permitiendo navegar el sitio solo una vez que se haya creado una sesion para ello, con usuario y password.

Con eso te quedaria un lindo sitio completamente personal que solo recibiria tus visitas.

Claro que tambien lo podrias hacer solo para una parte del sitio y el resto dejar que sea indexado.

Saludos.

[blachuu]

Gracias por las respuestas! justamente mi idea es hacer un panel de administracion para mi sitio, y no queria usar sesiones, por lo que es importante que no acceda ninguna otra persona, pero igual ahora creo que voy a buscar otra forma de autentificacion extra... gracias!