Me gustaría construir una sentencia en el archivo robots.txt donde evite que se indexen ciertas url que contienen unos caracteres:
La URL se genera cuando le das al botón de búsqueda avanzada, cada vez genera una url distinta, más o menos así:
tienda.solingest.com/busqueda-avanzada~3~0~0~0~6~476~2~index.html
tienda.solingest.com/busqueda-avanzada~0~0~0~3~6~498~3~index.html
tienda.solingest.com/busqueda-avanzada~5~0~0~5~6~465~3~index.html
Etc, etc, y se van generando y google las va registrando, pero no quiero que siga, porque al final las penalizará, ¿cómo puedo evitarlo?, no tengo ni idea de como hacer que anule esas Webs.
Muchas gracias!!
