Ver Mensaje Individual
  #1 (permalink)  
Antiguo 18/06/2007, 16:22
Avatar de pempas
pempas
 
Fecha de Ingreso: diciembre-2003
Ubicación: Barcelona
Mensajes: 985
Antigüedad: 20 años, 4 meses
Puntos: 6
robots.txt para urls que tengan ciertas palabras

Hola,

Me gustaría construir una sentencia en el archivo robots.txt donde evite que se indexen ciertas url que contienen unos caracteres:

La URL se genera cuando le das al botón de búsqueda avanzada, cada vez genera una url distinta, más o menos así:

tienda.solingest.com/busqueda-avanzada~3~0~0~0~6~476~2~index.html
tienda.solingest.com/busqueda-avanzada~0~0~0~3~6~498~3~index.html
tienda.solingest.com/busqueda-avanzada~5~0~0~5~6~465~3~index.html

Etc, etc, y se van generando y google las va registrando, pero no quiero que siga, porque al final las penalizará, ¿cómo puedo evitarlo?, no tengo ni idea de como hacer que anule esas Webs.

Muchas gracias!!