Foros del Web » Soporte técnico » Ayuda General »

Regla para eliminar una serie de URLs con robot.txt

Estas en el tema de Regla para eliminar una serie de URLs con robot.txt en el foro de Ayuda General en Foros del Web. Buenas noches, ante todo disculpas al admin porque no encontraba donde colocar esta pregunta. Yo tengo una serie de URLs generadas en mi sitio de ...
  #1 (permalink)  
Antiguo 18/10/2012, 20:07
Avatar de saymon  
Fecha de Ingreso: septiembre-2003
Ubicación: Panama
Mensajes: 318
Antigüedad: 17 años, 9 meses
Puntos: 0
Regla para eliminar una serie de URLs con robot.txt

Buenas noches, ante todo disculpas al admin porque no encontraba donde colocar esta pregunta.

Yo tengo una serie de URLs generadas en mi sitio de esta manera:

http://www.misitio.com/juan/galeria/snapshot/00001
http://www.misitio.com/maria/galeria/snapshot/00003
http://www.misitio.com/pedro/galeria/snapshot/00034

Ahora bien, yo no quiero que google me rastree estas URL, quiero crear un robot.txt en donde le doy una instruccion para sacar estas URL del rastreo, lei el tuturial de google, pero lo encuentro algo ambiguo en cuando a conseguir lo que busco, alli me dice que para eliminar un directorio coloque esto:

Disallow: /directorio-sintítulo/

Pero haciendo esto no eliminará solamente una URL como esta?
http://www.misitio.com/directorio-sintítulo/
en lugar del modelo que yo he colocado arriba ?

Aqui la clave esta en como escribo esta regla para que me elimine todas las URLs que contengan esto "/galeria/snapshot/" ?

Saludos y gracias de antemano.
  #2 (permalink)  
Antiguo 19/10/2012, 20:38
Avatar de emprear
Colaborador
 
Fecha de Ingreso: junio-2007
Ubicación: me mudé
Mensajes: 8.388
Antigüedad: 14 años
Puntos: 1567
Respuesta: Regla para eliminar una serie de URLs con robot.txt

Código Apache:
Ver original
  1. Disallow: /directorio/

toda url que comience por /directorio NO será indexada, es decir todas las páginas que contenga esa carpeta

Saludos
__________________
La voz de las antenas va, sustituyendo a Dios.
Cuando finalice la mutación, nueva edad media habrá
S.R.
  #3 (permalink)  
Antiguo 20/10/2012, 06:18
Avatar de saymon  
Fecha de Ingreso: septiembre-2003
Ubicación: Panama
Mensajes: 318
Antigüedad: 17 años, 9 meses
Puntos: 0
Respuesta: Regla para eliminar una serie de URLs con robot.txt

Gracias Emprear por la respuesta. Pero como veras en mi descripcion la URL no comienza con "/directorio". La URL comienza con cualquier nombre y "/directorio" en realidad es como el tercer directorio, ejemplo:

http://www.misitio.com/PEDRO/directorio/otro/

Por lo que quiero asegurarme como escribir esta regla correctamente.
  #4 (permalink)  
Antiguo 20/10/2012, 06:34
Avatar de emprear
Colaborador
 
Fecha de Ingreso: junio-2007
Ubicación: me mudé
Mensajes: 8.388
Antigüedad: 14 años
Puntos: 1567
Respuesta: Regla para eliminar una serie de URLs con robot.txt

Eso es solo un ejemplo

Si es
/directorio
te bloquea todo lo que esta en
/directorio
/directorio/index.html
/directorio/otra_carpeta
/directorio/img
/directorio/img/fotos


ya que todas comienzan por /directorio

si quisieras bloquear determinadas carpetas dentro de /directorio ponés disallow para
/directorio/nombre_de_carpeta
en ese caso
/directorio/index.html ú otra carpeta que no sea /directorio/nombre_de_carpeta ó una subcarpeta de esta serán accesibles al spider del buscador
Se entiende

Saludos
__________________
La voz de las antenas va, sustituyendo a Dios.
Cuando finalice la mutación, nueva edad media habrá
S.R.
  #5 (permalink)  
Antiguo 20/10/2012, 06:50
Avatar de saymon  
Fecha de Ingreso: septiembre-2003
Ubicación: Panama
Mensajes: 318
Antigüedad: 17 años, 9 meses
Puntos: 0
Respuesta: Regla para eliminar una serie de URLs con robot.txt

Gracias Emprear, Sí, si entiende bastante bien tu ejemplo. Solamente que creo que deje pasar algo por alto.

Esto es exactamente lo que quiero hacer:

Cita:
Iniciado por emprear Ver Mensaje
si quisieras bloquear determinadas carpetas dentro de /directorio ponés disallow para
/directorio/nombre_de_carpeta
El detalle esta como tu dices, para escribir esta regla tendria que coloca el directorio de primer nivel, en tu ejemplo es "/directorio/" en el mio es es "/juan/" y el detalle esta que el directorio de primer nivel en mi escript es el nombre del usuario y tengo cientos de miles, asi que imaginate escribir la regla para toda esa cantidad.

disallow /pedro/nombre_de_carpeta
disallow /pablo/nombre_de_carpeta
disallow /vilma/nombre_de_carpeta

Asi que si todas estas URLs tienen en comun "/nombre_de_carpeta/" entonces como hacer para este caso?. En httaccess es algo similar a:

RewriteRule ^/(.*)/nombre_de_carpeta/(.*)
  #6 (permalink)  
Antiguo 20/10/2012, 07:17
Avatar de emprear
Colaborador
 
Fecha de Ingreso: junio-2007
Ubicación: me mudé
Mensajes: 8.388
Antigüedad: 14 años
Puntos: 1567
Respuesta: Regla para eliminar una serie de URLs con robot.txt

Cita:
Iniciado por saymon Ver Mensaje
Gracias Emprear, Sí, si entiende bastante bien tu ejemplo. Solamente que creo que deje pasar algo por alto.

Esto es exactamente lo que quiero hacer:



El detalle esta como tu dices, para escribir esta regla tendria que coloca el directorio de primer nivel, en tu ejemplo es "/directorio/" en el mio es es "/juan/" y el detalle esta que el directorio de primer nivel en mi escript es el nombre del usuario y tengo cientos de miles, asi que imaginate escribir la regla para toda esa cantidad.

disallow /pedro/nombre_de_carpeta
disallow /pablo/nombre_de_carpeta
disallow /vilma/nombre_de_carpeta

Asi que si todas estas URLs tienen en comun "/nombre_de_carpeta/" entonces como hacer para este caso?. En httaccess es algo similar a:

RewriteRule ^/(.*)/nombre_de_carpeta/(.*)
Si entiendo, lo hacés en el mismo robots.txt ya que las url soportan comodines

disallow /*/nombre_de_carpeta

obviamente tambien te bloquearía nombre_de_carpeta si esta fuese sub carpeta de algun directorio que no corresponda a nombres de usuario,
Creo que es eso lo que buscás

Saludos
__________________
La voz de las antenas va, sustituyendo a Dios.
Cuando finalice la mutación, nueva edad media habrá
S.R.
  #7 (permalink)  
Antiguo 20/10/2012, 07:19
Avatar de saymon  
Fecha de Ingreso: septiembre-2003
Ubicación: Panama
Mensajes: 318
Antigüedad: 17 años, 9 meses
Puntos: 0
Respuesta: Regla para eliminar una serie de URLs con robot.txt

Si funciona como dices, entonces es exactamente lo que buscaba, lo probaré.

Mil Gracias!

Etiquetas: regla, serie, url
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 12:13.