Hola estoy logrando hacer un robots.txt, en el cual necesito sacar unas URL que ha rastreado google segun la herramienta de google, pero que dice que no las encuentra como para indexarlas, yo directamente quiero que no las rastree. Algunas de las URL son:
http://misitio.com/search?.../Informatica 404 (No se ha encontrado) 05-dic-2007
http://misitio.com/search?.../php%3Fp%3D3015 404 (No se ha encontrado) 07-dic-2007
http://misitio.com/search??.../s/news-22.html 404 (No se ha encontrado) 06-dic-2007
Queria preguntar si al ponerle: /search?* al disallow deja de indexar todo lo que tenga la palabra search en la URL, y ya no indexaria ni buscaria estas URL.
El robots.txt quedaria asi:
User-Agent: googlebot
Disallow: /search?*
Es correcto para que no rastree ni indexe las URL que contengan la palabra search? ?
Espero me puedan orientar para saber si asi puedo solucionar el tema.
Gracias
Saludos
