Foros del Web » Estrategias Digitales y Negocios Online » SEO »

Corregidme por favor

Estas en el tema de Corregidme por favor en el foro de SEO en Foros del Web. A ver, estoy mirándome temas de seo para los sitios web que desarrolle y me han asaltado una serie de dudas y cosas por confirmar: ...
  #1 (permalink)  
Antiguo 10/06/2010, 21:52
Avatar de juanito1712  
Fecha de Ingreso: mayo-2010
Ubicación: Valencia
Mensajes: 1.124
Antigüedad: 9 años, 7 meses
Puntos: 66
Corregidme por favor

A ver, estoy mirándome temas de seo para los sitios web que desarrolle y me han asaltado una serie de dudas y cosas por confirmar:

1-Los buscadores indexan tus sitios web gracias a robots denominados arañas.

2-Con tanto buscador y tanta hostia, las arañas terminan por resultar un consumo incomodo para los recursos del servidor.

3-Se puede desactivar el acceso a los robots mediante el archivo robots.txt

4-Si desactivo el acceso a los robots google no me escaneará

5-¿hay alguna forma de decirle a google que se salte ese archivo, o yo borrarlo durante cierto tiempo y solicitar un escaneo o algo similar?

pues eso, lo que hago aquí no son afirmaciones, sino lo que creo haber entendido por ahora, si estoy equivocado en cualquier concepto agradecería una aclaración y si estoy en lo cierto que me lo confirme alguien.

Un saludo
  #2 (permalink)  
Antiguo 11/06/2010, 00:45
Colaborador
 
Fecha de Ingreso: julio-2008
Ubicación: Consultor SEO
Mensajes: 2.938
Antigüedad: 11 años, 5 meses
Puntos: 185
Respuesta: Corregidme por favor

Si te miras un poco de más información sobre el archivo robots.txt podrás ver que si puedes limitar eso. Desde bloquear a los crawlers que no te interesan, hasta limitar lo archivos que deben rastrear prohibiendoles el acceso.

Ejemplo:

User-Agent: Slurp
Disallow: /wp-admin/
Disallow: /archivos/


Etc... échale un ojo al tema :)
__________________
Consultor SEO - Manual SEO
Sigueme en twitter @VictorHdez
  #3 (permalink)  
Antiguo 11/06/2010, 08:43
Avatar de juanito1712  
Fecha de Ingreso: mayo-2010
Ubicación: Valencia
Mensajes: 1.124
Antigüedad: 9 años, 7 meses
Puntos: 66
Respuesta: Corregidme por favor

gracias por centrarmeun poco mas la mirilla, poquito a poco acabare aclarandome
  #4 (permalink)  
Antiguo 11/06/2010, 11:37
Avatar de modeloscanarias  
Fecha de Ingreso: junio-2010
Ubicación: Canarias
Mensajes: 37
Antigüedad: 9 años, 6 meses
Puntos: 1
Respuesta: Corregidme por favor

Todos los robots pueden acceder a todos tus archivos


User-Agent: *
Allow: /


Todos los robots pueden acceder a todos tus archivos a parte este archivo:


User-Agent: *
disallow: /(1º elarchivo que no quieres que sea rastreado)
disallow: /(2º elarchivo que no quieres que sea rastreado)
y así cuntos quieres....

mira en www.robots.org

...al final si quieres que no rastrea algunos archivos y a lo mismo quieres eliminar algunos robots del rastreo puedes hacerlo así:


User-agent: *
Disallow: /folder1/
Disallow: /folder2/

User-agent: Araña 1 que no quieres
Disallow: /

User-agent: araña 2 que no quieres
Disallow: /


saludos

Etiquetas: favor, posicionamiento-seo
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 11:11.