Archivo robots, tengo muhas dudas

ordicia15 · #1 (**permalink**) 11/10/2013, 13:19

Hola a todos,

hoy me he encontrado con que en mi web sin saberlo tenia este archivo super conocido y que siempre pensé que yo no lo tenia, y me encuentro con robot.txt, y con el siguiente contenido:

#Begin Attracta SEO Tools Sitemap. Do not remove
sitemap: http://cdn.attracta.com/sitemap/3313038.xml.gz
#End Attracta SEO Tools Sitemap. Do not remove

Sabriaís decirme que significa, así como si es bueno o no el tenerlo, es decir si me beneficia o perjudica para el seo.

Espero vuestras respuestas

PHPeros · #2 (**permalink**) 11/10/2013, 13:24

Que te has instalado una aplicación para SEO y te ha creado un mapa del sitio que lo incluye efectivamente en ese archivo para que los navegadores tengan acceso a él y puedan indexar mejor el contenido de la web.

Saludos

ordicia15 · #3 (**permalink**) 11/10/2013, 13:32

pero es positivio o negativo para el posicionamiento

PHPeros · #4 (**permalink**) 11/10/2013, 13:43

Digo yo que positivo ¿no?

http://www.canalip.com/blog/272-ique-es-el-sitemap-xml/

Saluditos

#5 (**permalink**) 11/10/2013, 14:54

Habría que saber si quieres que los robots no te indexen contenido, pero lo que un archivo robots.txt habitualmente debe llevar es lo siguiente:

Código HTML:

User-agent: *
Disallow:
Sitemap: http://www.tupaginaweb.com/sitemap.xml

Todo lo demás, está de más.

Para más información: Web oficial de robots.txt

merino_renato · #6 (**permalink**) 11/10/2013, 15:09

Eso qeu tienes en tu web es Attracta, un servicio de SEO que viene incluido en algunos Cpanel al contratar tu hosting, ofrece chequeos mensuales gratuitos, te checa si estas en blacklist de Gogle, te reenvia el sitemap de tu sitio, etc.

Incluso te hace linkbuilding, lo malo es que tienes que tener tu web disponible con www y sin www para que funcione, lo cual te puede perjudicar al crear contenido duplicado en tu web si no tienes la rel canonical de la página.

La verdad es que no se porque aparece en tu robots.txt seguramente tu compañia de hosting lo integró a todas las webs que hostea.

Saludos

Daniel Ulczyk · #7 (**permalink**) 11/10/2013, 15:43

Cita:

Iniciado por PHPeros

Que te has instalado una aplicación para SEO y te ha creado un mapa del sitio que lo incluye efectivamente en ese archivo para que los navegadores tengan acceso a él y puedan indexar mejor el contenido de la web.

No está de más aclarar que el archivo sitemap.xml dista mucho de ser una directiva de rastreo; menos aún de indexación.

Se trata de un archivo que los motores de búsqueda suele utilizar para conocer cual es la arquitectura del sitio.

Por otro lado, la fuente citada argumenta que es 'un sistema diseñado por Google' lo cual es falaz.

Se trata de un protocolo que han diseñado—oportunamente—en forma conjunta:

Yahoo!
Microsoft
Google

PHPeros · #8 (**permalink**) 12/10/2013, 05:21

Cita:

Iniciado por Daniel Ulczyk

Se trata de un archivo que los motores de búsqueda suele utilizar para conocer cual es la arquitectura del sitio.

Creo que también actualizan el contenido de los resultados que han quedado indexados respecto a la frecuencia de edición que se especificó en el xml-sitemap.

#9 (**permalink**) 12/10/2013, 06:46

Cita:

Iniciado por PHPeros

Creo que también actualizan el contenido de los resultados que han quedado indexados respecto a la frecuencia de edición que se especificó en el xml-sitemap.

Si te refieres a la frecuencia de rastreo del tipo "daily", "weekly", "monthly", etc, o a la prioridad "1.0", "0.5", etc, Google no toma en cuenta estos factores, que especifiques que el contenido cambia cada semana o le des una prioridad suprema de 1.0 no quiere decir que Googlebot tenga la obligación de pasar por ese contenido todas las semanas, todo dependerá de la frecuencia de rastreo que Google tenga asignada a tu página.

PHPeros · #10 (**permalink**) 12/10/2013, 07:08

Cita:

Iniciado por Juan Carlos

Si te refieres a la frecuencia de rastreo del tipo "daily", "weekly", "monthly", etc, o a la prioridad "1.0", "0.5", etc, Google no toma en cuenta estos factores, que especifiques que el contenido cambia cada semana o le des una prioridad suprema de 1.0 no quiere decir que Googlebot tenga la obligación de pasar por ese contenido todas las semanas, todo dependerá de la frecuencia de rastreo que Google tenga asignada a tu página.

Ahora la pregunta es: ¿Merece la pena hacer un xml-sitemap?

#11 (**permalink**) 12/10/2013, 07:18

Cita:

Iniciado por PHPeros

Ahora la pregunta es: ¿Merece la pena hacer un xml-sitemap?

Merece la pena en la medida que tener un sitemap en formato XML es uno de los poco más de 200 factores que tiene Google para ordenar los diferentes resultados:

Cita:

5. Importancia del mapa web XML

Además, el estar dados de alta en las Herramientas para Webmasters de Google, y subir y enviar un sitemap en formato XML hará que Google conozca la estructura de nuestra página, además de saber, de paso, con qué frecuencia vamos añadiendo nuevas URL's. Pero de ninguna manera vamos a ganar posicionamiento por tener un sitemap en formato XML.

Si estamos en la tesitura de si añadir o no un sitemap en formato XML o uno en formato HTML, Matt Cutts nos saca de dudas: