Cita:
Iniciado por arrasia 
Pero esa configuración impediría al robot en toda la web no?
Yo necesito que sea en ciertas paginas dinamicas, por ejemplo la de los usuarios
user.php?id=XXXX
Como le indico eso al spiderman de google?
¡¡Gracias!!
Podrias intentarlo con esto:
Código:
User-agent: *
Disallow: /user.php
Crawl-delay: 120
Suponiendo que el archivo user.php esta en la raíz.
;)