Tengo un problema, ya que tengo el archivo robots.txt para mi sitio de esta forma:
User-agent: *
Allow: /
Sitemap:
http://www.midominio.es/sitemap.xml
Y ahora le voy a implementar un blog de WP en la carpeta midominio.es/blog/ , y no sé cómo modificar este robots.txt, ya que temo caer en contenido duplicado o que se indexen archivos que no deban.
He visto varios ejemplos, pero todos para un blog que está en la raíz del sitio, y no en una carpeta. Como no quiero equivocarme, ¿podéis echarme una mano a confeccionarlo?
Muchas gracias y un saludo.