problemas con robots.txt quien lo entiende?

[Scape]

Estoy añadiendo datos en google merchant y me da este error en robots.txt


Imágenes bloqueadas por robots.txt (20 elementos)
Parece que el archivo robots.txt bloquea la URL de la imagen enviada. Google no podrá mostrar estas imágenes junto con los productos. Modifica el archivo robots.txt para permitir que Google descargue la imagen.

Que tengo hacer para permitir entrar entrar a las imagenes de mi web?

Gracias.

[Daniel Ulczyk]

Iniciado por Scape

Que tengo hacer para permitir entrar entrar a las imagenes de mi web?

No comprendo la parte que no entendés

Iniciado por Scape

Modifica el archivo robots.txt para permitir que Google descargue la imagen.

Tenés que detectar la carpeta donde se alojan tus imágenes
Editar tu archivo robots.txt y eliminar la línea de referencia

[Scape]

Iniciado por Daniel Ulczyk

No comprendo la parte que no entendés



Tenés que detectar la carpeta donde se alojan tus imágenes
Editar tu archivo robots.txt y eliminar la línea de referencia

si mis imagen están por ejemplo en la carpeta llama media y tengo que esta linea en robots.txt

Disallow: /media/

Que hago, la elimino? Pongo Allow en vez de Disallow?

Si hago esto no será malo para otra cosa?

Gracias, perdona

[Usuarios466]

Iniciado por Scape

si mis imagen están por ejemplo en la carpeta llama media y tengo que esta linea en robots.txt

Disallow: /media/

Que hago, la elimino? Pongo Allow en vez de Disallow?

Tal y como bien te dice el compañero, debes eliminar esa línea del robots.txt para que se solucione el problema.

Iniciado por Scape

Si hago esto no será malo para otra cosa?

Para nada, otra cosa es que no quieras que Google te indexe las fotos en su sección de imagenes, pero para eso ya deberías utilizar la protección hotlink.

[Erneston]

Buenas con el Disallow lo que estas haciendo es evitar la entrada al directorio media, en todo caso deberas ponerle un Allow quedando asi:

Allow: /media/

O simplemente quitar la linea, ya que en teoria tu robots.txt debe de empezar asi:

User-agent: *
Allow: /

Con lo cual haces Allow a todo menos cuando se diga lo contrario con un Disallow...

Saludos

[Scape]

Muchas gracias, voy a probar ahora a ver si quiere tirar, :)

[Usuarios466]

Mejor quitar la línea, así haces más ligero el robots.txt, porque total, si no pones nada, ya das por entendido que todo es "Allow", no hace falta especificarlo.

[Daniel Ulczyk]

Iniciado por Erneston

ya que en teoria tu robots.txt debe de empezar asi:

No hay teorías aquí. Para eso están las especificaciones y los protocolos de robots.txt la declaración allow, no existe

[Usuarios466]

Iniciado por Daniel Ulczyk

No hay teorías aquí. Para eso están las especificaciones y los protocolos de robots.txt la declaración allow, no existe

Así es, he vuelto a leerme las especificaciones y los protocoles de robots.txt y en ningún caso especifica que existe la declaración "Allow".

Pero de todas formas, he visitado el archivo robots de algunas webs, y sí que lo ponen (y no son pocos). ¿Entonces quiere decir que todos lo hacen mal? ¿Por qué se ha extendido pues esa mala práctica?

Entiendo que si hay una declaración "Disallow" para que X robot no indexe un determinado contenido, también debería de haber una declaración que diga que queremos que indexe determinado contenido.

Llegados a este punto, podemos decir que lo correcto sería:

Código HTML:

User-Agent: *

Pero, como decía, hay muchos que ponen:

Código HTML:

User-Agent: *
Allow: /

Se entiende que poniendo el "User-Agent" con el asterisco para que pasen todos los robots y spiders dices que son a todos, sin restricciones, pero me gustaría saber si es perjudicial, penalizable, o qué ocurre si ponemos el "Allow" o si no lo ponemos.

¿También se puede linkar el Sitemap desde el robots de esta forma, o mejor sólo enlazarlo desde las HPW y ya está?

Código HTML:

User-Agent: *
Allow: /

Sitemap: http://web.com/sitemap.xml

¿O mejor así?

Código HTML:

User-Agent: *

Sitemap: http://web.com/sitemap.xml

[charlyalegret]

Personalmente, no tengo ni idea si sireve de algo el allow o no, pero penalizable, no creo... alguien se ha fijado en http://www.google.es/robots.txt ??

Parece ser que usa el allow para hacer excepciones a un disallow anterior más general. Interpreto, entonces, que almenos google lo interpreta de esa manera, esté o no especificado en los protocolos...

Saludos

Edito: google lo explica en su soporte, el uso de Allow... http://support.google.com/webmasters...&answer=156449

[Usuarios466]

Muy interesante, nunca había visto el robots.txt de Google.

[famaca]

Hola,

Tengo el mismo problema en google merchand y el archivo robots lo tengo bien, permite las imagenes.

¿Puede ser que el problema se debe que tengo activada la protección hotlink para las iágenes en mi servidor?
Si es así ¿Como puedo permitir a google que acceda a mis imágenes?

Gracias.

Saludos

[Tedel]

Esto es un error:

Código HTML:

User-Agent: *
Allow: /

Esto estaría mejor

Código HTML:

Sitemap: http://web.com/sitemap.xml

Respondiendo a la pregunta original, no necesitas retirar el bloqueo. Si no quieres que Google vea esas imágenes no quites el bloqueo en robots.txt; pero si lo estás bloqueando, no te quejes de que Google te diga que no lo encuentra.