TEngo que crear el archivo Robots.txt, para evitar que estos robots destripen web.
creo recordar que google especipica, claramente en sus normas, que ahora no encuentro, que en caso de existir el archivo robots.txt es necesario indicar explicitamente, la indexacion para el robot de google, pero no se si tambien es necesario, para el robot de gogle dedicado al adsense, y para otros robots de indexación.
alguien que sema un poco mas del tema q yo q me oriente.
Código:
User-agent: WebZIP
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: Teleport Pro
Disallow: /
User-agent: Wget
Disallow: /
User-agent: eCatch
Disallow: /
User-agent: WebCopier
Disallow: /