Hacer un robots.txt para que no indexe los articulos- wordpress

[directorctrip]

Saludos a todos, he tenido un problema con el proveedor de hospedaje debido a que los spiders de google y demas buscadores al realizar sus pasadas por todos las paginas de un blog de wordpress hacen que el CPU del servidor se vaya a niveles no permitidos, haciendo que pusieran mi blog off line.
He probado algunos plugins de cache pero como que ha sido igual,

Por los momentos lo unico que se me ocurre es hacer un robots.txt que no permita que indexe los post individuales, solamente la pagina principal y las paginas estaticas.

Es esto posible?
Si alguien tiene alguna pista se agradece

PD: No os preocupeis por si se pierde el trafico, todo viene de twitter y facebook, no de busquedas organicas.

gracias

[Emirodgar]

Utiliza el asistente de Google Webmsaters Tool para generar el robots.txt así te asegurarás de que no haces nada mal.

Básicamente se trata de introducir líneas del estilo "Disallow URL". Aquí tienes toda la información que necesitas: http://support.google.com/webmasters...&answer=156449

No obstante, si realmente estás teniendo problemas con la frecuencia de visita del buscador de Google, ésto lo puedes modificar también desde el Google Webmasters Tools, en el caso de otros buscadores, tendrás que utilizar el robots.txt

[directorctrip]

Gracias por tu respuesta, en efecto creo que el problema que tengo es la frecuencia de rastreo, pero no solamente con el spider de google, me enviaron un log que contenia cientos de rastreos realizados por Amazon.com????
La pregunta que me hago es si puedo colocar en el robots.txt una frecuencia de rastreo que pueda ser respetada por todos los spiders de los buscadores, ya que creo que ahi es donde esta el problema,
Viendo que no veo como hacer esto, por lo menos para volver a tener el blog activo simplemente excluir los post para que asi la carga que generen los spiders sea minima, esto por lo menos hasta encontrar una solucion mas adecuada o un plugin de cache que funcione mejor.


Por cierto, se me olvidaba comentar, la frecuencia de rastreo se puede modificar desde las webmasters tools, pero he visto que solo durante un lapso de tiempo determinado, luego hay que volver a colocarlo..
Y en cuanto a la parte de disallow URL, solamente quiero bloquear los post, la pagina principal me interesa al igual que las estaticas, pero el problema es que la direccion es del tipo http://blog.com/p=125 donde el numero es el ID del post.




gracias!