Ver Mensaje Individual
  #1 (permalink)  
Antiguo 10/02/2011, 13:30
Dago
 
Fecha de Ingreso: mayo-2003
Mensajes: 312
Antigüedad: 21 años
Puntos: 2
Duda: Configuracion robots.txt

Gente,
El tema es el siguiente. Tengo una web y he creado el archivo robots.txt con el siguiente contenido.

Código:
User-agent: *
Sitemap: http://www.misitio.com/sitemap.xml
El tema es que luego de subir el archivo, bajo mi posicionamiento en Google. Es posible que sea por esto o es solo un parecer personal?

Por otro lado, GOOGLE me marca errores de rastreo 404, de ciertas pagina que hubo en algun momento y que hoy no estan...
Deberia poner en el robots.txt lo siguiente, como para que deje de buscar esas paginas, no?

Ejemplo:
Código:
User-agent: *
Sitemap: http://www.misitio.com/sitemap.xml
Disallow: /paginavieja.html
Por ultimo... Alguna recomendacion para mejorar mi robots.txt. Pregunto desde la ignorancia. Quizas me este faltando algo como para mejorar.

Agradecere cualquier ayuda y recomendacion.

MIL GRACIAS.