Hacer un robots.txt para que no indexe los articulos- wordpress

[directorctrip]

Gracias por tu respuesta, en efecto creo que el problema que tengo es la frecuencia de rastreo, pero no solamente con el spider de google, me enviaron un log que contenia cientos de rastreos realizados por Amazon.com????
La pregunta que me hago es si puedo colocar en el robots.txt una frecuencia de rastreo que pueda ser respetada por todos los spiders de los buscadores, ya que creo que ahi es donde esta el problema,
Viendo que no veo como hacer esto, por lo menos para volver a tener el blog activo simplemente excluir los post para que asi la carga que generen los spiders sea minima, esto por lo menos hasta encontrar una solucion mas adecuada o un plugin de cache que funcione mejor.


Por cierto, se me olvidaba comentar, la frecuencia de rastreo se puede modificar desde las webmasters tools, pero he visto que solo durante un lapso de tiempo determinado, luego hay que volver a colocarlo..
Y en cuanto a la parte de disallow URL, solamente quiero bloquear los post, la pagina principal me interesa al igual que las estaticas, pero el problema es que la direccion es del tipo http://blog.com/p=125 donde el numero es el ID del post.




gracias!