Foros del Web » Estrategias Digitales y Negocios Online » SEO »

Archivo robots bien hecho

Estas en el tema de Archivo robots bien hecho en el foro de SEO en Foros del Web. Hola quiero preguntar si este archivo funciona bien: @import url("http://static.forosdelweb.com/clientscript/vbulletin_css/geshi.css"); Código robots: Ver original User-agent : Googlebot* Disallow : /*.js$ Crawl-delay : 10 Sitemap : ...
  #1 (permalink)  
Antiguo 12/05/2013, 01:57
Avatar de patilanz  
Fecha de Ingreso: enero-2012
Mensajes: 880
Antigüedad: 7 años, 8 meses
Puntos: 29
Archivo robots bien hecho

Hola quiero preguntar si este archivo funciona bien:

Código robots:
Ver original
  1. User-agent: Googlebot*
  2. Disallow:/*.js$
  3. Sitemap: http://pladurprueba.p.ht/sitemap.xml
  4.  
  5. User-agent: Googlebot-Image*
  6. Disallow:/*.js$
  7. Sitemap: http://pladurprueba.p.ht/sitemap.xml
  8.  
  9. User-agent: Bingbot*
  10. Disallow:/*.js$
  11. Sitemap: http://pladurprueba.p.ht/sitemap.xml
  12.  
  13. Disallow:/messages.php
  14. Disallow:/login.php

O sea si hay algún fallo que pueda bloquear todo el sitio y que no permita la indexacion del sitio web.
  #2 (permalink)  
Antiguo 14/05/2013, 00:27
Avatar de patilanz  
Fecha de Ingreso: enero-2012
Mensajes: 880
Antigüedad: 7 años, 8 meses
Puntos: 29
Respuesta: Archivo robots bien hecho

Hola, no se si me he explicado bien antes. Simplemente quiero que alguien que sepa sobre los robots me diga si tengo un fallo que bloqueara mi sitio ante los buscadores
  #3 (permalink)  
Antiguo 14/05/2013, 00:35
Usuarios466
Invitado
 
Mensajes: n/a
Puntos:
Respuesta: Archivo robots bien hecho

¿Has probado a aprender lo básico del robots.txt por ti mismo? No es nada complicado.

Según lo que nos presentas, estás haciendo cuatro llamadas (al bot de Google, a Google Imágenes, al bot de Bing y a los bots en general).

La orden "disallow" dice lo que quieres bloquear dentro de tu sitio.

¿Por qué utilizas el crawl delay?
  #4 (permalink)  
Antiguo 14/05/2013, 02:07
Avatar de patilanz  
Fecha de Ingreso: enero-2012
Mensajes: 880
Antigüedad: 7 años, 8 meses
Puntos: 29
Respuesta: Archivo robots bien hecho

Cita:
Iniciado por Juan Carlos Ver Mensaje
¿Has probado a aprender lo básico del robots.txt por ti mismo? No es nada complicado.

Según lo que nos presentas, estás haciendo cuatro llamadas (al bot de Google, a Google Imágenes, al bot de Bing y a los bots en general).

La orden "disallow" dice lo que quieres bloquear dentro de tu sitio.

¿Por qué utilizas el crawl delay?
Hola leí tutoriales y conseguí hacer este archivo pero quiero estar seguro que no bloqueo algo importante.

Código robots:
Ver original
  1. User-agent: Googlebot*
  2. Disallow:/*.js$
  3. Sitemap: http://pladurprueba.p.ht/sitemap.xml
  4.  
  5. User-agent: Googlebot-Image*
  6. Disallow:/*.js$
  7. Sitemap: http://pladurprueba.p.ht/sitemap.xml
  8.  
  9. User-agent: Bingbot*
  10. Disallow:/*.js$
  11. Sitemap: http://pladurprueba.p.ht/sitemap.xml

En esta parte les digo a los robots de google y de bing que no se metan en los archivo js ya que no lo necesitan y les digo donde tengo el sitemap. Lo hice porque creo que mejora el SEO.No creo que hay algún problema.
Los crawn-delay los pongo porque lei que a veces los robots hacen demasiadas peticiones y me bloquean el servidor. Con esto creo que les obligo esperar 10 segundos antes de hacer otra.
Luego aqui:

Código robots:
Ver original
  1. Disallow:/messages.php
  2. Disallow:/login.php

Bloqueo 2 paginas de mi sitio que no quiero que se indexen.

Esta bien?

La pagina que me dices de robots.txt ya la he visto y la leí pero quiero estar seguro.
  #5 (permalink)  
Antiguo 15/05/2013, 11:55
 
Fecha de Ingreso: mayo-2012
Mensajes: 16
Antigüedad: 7 años, 3 meses
Puntos: 1
Respuesta: Archivo robots bien hecho

Cita:
Iniciado por patilanz Ver Mensaje
Hola quiero preguntar si este archivo funciona bien:

Código robots:
Ver original
  1. User-agent: Googlebot*
  2. Disallow:/*.js$
  3. Sitemap: http://pladurprueba.p.ht/sitemap.xml
  4.  
  5. User-agent: Googlebot-Image*
  6. Disallow:/*.js$
  7. Sitemap: http://pladurprueba.p.ht/sitemap.xml
  8.  
  9. User-agent: Bingbot*
  10. Disallow:/*.js$
  11. Sitemap: http://pladurprueba.p.ht/sitemap.xml
  12.  
  13. Disallow:/messages.php
  14. Disallow:/login.php

O sea si hay algún fallo que pueda bloquear todo el sitio y que no permita la indexacion del sitio web.
Lo mejor es no inventar con eso si no sabes, lo mejor es dejarlo en blanco o poner solo los sitemaps. Hace poco hice un posts en mi blog acerca del tama, pero no puedo poner enlace porque me lo borran. Pero te puedo asegurar que lo mejor es solo poner los sitemaps o dejarlo en blanco, o incluso borrarlo del servidor, realmente eso no sirve para nada, todo lo que hace lo puedes configurar desde las herramientas para webmasters de Google o de Bing.
  #6 (permalink)  
Antiguo 16/05/2013, 00:03
Avatar de patilanz  
Fecha de Ingreso: enero-2012
Mensajes: 880
Antigüedad: 7 años, 8 meses
Puntos: 29
Respuesta: Archivo robots bien hecho

Cita:
Iniciado por ernestomarrero Ver Mensaje
Lo mejor es no inventar con eso si no sabes, lo mejor es dejarlo en blanco o poner solo los sitemaps. Hace poco hice un posts en mi blog acerca del tama, pero no puedo poner enlace porque me lo borran. Pero te puedo asegurar que lo mejor es solo poner los sitemaps o dejarlo en blanco, o incluso borrarlo del servidor, realmente eso no sirve para nada, todo lo que hace lo puedes configurar desde las herramientas para webmasters de Google o de Bing.
En serio no sirve para nada?
No todos opinan así. Voy a esperar si alguien mas tiene opinión sobre los robots.
  #7 (permalink)  
Antiguo 16/05/2013, 02:48
 
Fecha de Ingreso: mayo-2012
Mensajes: 16
Antigüedad: 7 años, 3 meses
Puntos: 1
Respuesta: Archivo robots bien hecho

Cita:
Iniciado por patilanz Ver Mensaje
En serio no sirve para nada?
No todos opinan así. Voy a esperar si alguien mas tiene opinión sobre los robots.
No sometas a votación la verdad, que te puedes llevar sorpresas. Te hablo de la opinión de Google. Incluso en Herramientas para webmaster dice lo mismo que te estoy diciendo.
El archivo robots.txt solo es necesario si tu sitio incluye contenido que no quieres que los motores de búsqueda indexen. Si vas a permitir la indexación de tu sitio por completo, el archivo robots.txt no es necesario (ni siquiera uno vacío).
http://support.google.com/webmasters...&answer=156449
Y en el foro de Google más recientemente https://productforums.google.com/for...w/F25xxGiMgogJ

Y además te puedo decir que tu puedes dicerle que no indexe lo que sea y eso es solo una sugerencia. Si alguien pone un enlace en la red a esa página pues entonces será indexado. La utilidad de robots.txt es nula, no sirve para nada. Todo lo que hagas con eso lo puedes configurar en las herramientas para webmaster.
Configurando robots.txt, (si puede llamarse asi) no logras nada positivo y si puedes lograr cosas negativas, la más común que que el robot de Google no entienda lo que hay y pase a revisar otros sitios con contenido más accesible.

Cita:
Iniciado por patilanz Ver Mensaje
En serio no sirve para nada?
No todos opinan así. Voy a esperar si alguien mas tiene opinión sobre los robots.
No sometas a votación la verdad, que te puedes llevar sorpresas. Te hablo de la opinión de Google. Incluso en Herramientas para webmaster dice lo mismo que te estoy diciendo.

Última edición por Usuarios466; 16/05/2013 a las 07:01 Razón: Se combinan 2 mensajes consecutivos del mismo autor
  #8 (permalink)  
Antiguo 16/05/2013, 07:03
Avatar de patilanz  
Fecha de Ingreso: enero-2012
Mensajes: 880
Antigüedad: 7 años, 8 meses
Puntos: 29
Respuesta: Archivo robots bien hecho

Cita:
Iniciado por ernestomarrero Ver Mensaje
No sometas a votación la verdad, que te puedes llevar sorpresas. Te hablo de la opinión de Google. Incluso en Herramientas para webmaster dice lo mismo que te estoy diciendo.
El archivo robots.txt solo es necesario si tu sitio incluye contenido que no quieres que los motores de búsqueda indexen. Si vas a permitir la indexación de tu sitio por completo, el archivo robots.txt no es necesario (ni siquiera uno vacío).
http://support.google.com/webmasters...&answer=156449
Y en el foro de Google más recientemente https://productforums.google.com/for...w/F25xxGiMgogJ

Y además te puedo decir que tu puedes dicerle que no indexe lo que sea y eso es solo una sugerencia. Si alguien pone un enlace en la red a esa página pues entonces será indexado. La utilidad de robots.txt es nula, no sirve para nada. Todo lo que hagas con eso lo puedes configurar en las herramientas para webmaster.
Configurando robots.txt, (si puede llamarse asi) no logras nada positivo y si puedes lograr cosas negativas, la más común que que el robot de Google no entienda lo que hay y pase a revisar otros sitios con contenido más accesible.
Hola, gracias por tu respuesta . Al final me creo lo que me dices. Voy a eliminar el archivo robots.txt y para las dos paginas que no quiero que se indexen utilizare el meta de noindex.

Etiquetas: google, hecho, robots
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 19:12.