Foros del Web » Estrategias Digitales y Negocios Online » SEO »

Duda con robots.txt, Lo hice bien?

Estas en el tema de Duda con robots.txt, Lo hice bien? en el foro de SEO en Foros del Web. Me gustaria saber si esta bien hecho este robots.txt Decir que yo utilizo joomla y foro de kunena Este robots.txt lo hice ayer gracias a ...
  #1 (permalink)  
Antiguo 04/05/2010, 02:13
Avatar de neon261979  
Fecha de Ingreso: octubre-2009
Ubicación: Barcelona
Mensajes: 195
Antigüedad: 10 años, 1 mes
Puntos: 0
Duda con robots.txt, Lo hice bien?

Me gustaria saber si esta bien hecho este robots.txt
Decir que yo utilizo joomla y foro de kunena
Este robots.txt lo hice ayer gracias a un enlace que encontre por este foro que explicaba mas o menos como hacerlo pero no se si lo hice bien y además tengo una duda que espero que me la resolvais si podeis.

Código PHP:
User-agent:Slurp
Disallow
: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules

User-agent:noxtrumbot
Disallow
: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules
Crawl-delay30

User
-agent:Scooter
Disallow
: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules

User-agent:msnbot
Disallow
: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Crawl-delay30

User
-agentGooglebot
Disallow
: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules
Crawl-delay30

Sitemap
:http://www.josportal.com/index.php?option=com_xmap&sitemap=1&view=xml 
Este es el robots.txt que subi ayer.

Esta bien hecho?
El sitemap debe aparecer el ultimo o lo debo poner después de cada user-agent?
El crawler de bing es el msnbot? o cambio hace poco. se escribe asi?msnbot o MSNbot
En fin espero vuestras opiniones.
Gracias de antemano.
  #2 (permalink)  
Antiguo 04/05/2010, 04:38
 
Fecha de Ingreso: noviembre-2002
Mensajes: 746
Antigüedad: 17 años
Puntos: 6
Respuesta: Duda con robots.txt, Lo hice bien?

porque te complicas tanto??

Código:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
en el caso de que tengas algun buscador al que quieras darle paso pon ese buscador arriba dando paso y bloquea al resto con esa linea

DIGO YOOOO
con lo poco que me gusta a mi ezkrivir
  #3 (permalink)  
Antiguo 04/05/2010, 05:30
Avatar de neon261979  
Fecha de Ingreso: octubre-2009
Ubicación: Barcelona
Mensajes: 195
Antigüedad: 10 años, 1 mes
Puntos: 0
Respuesta: Duda con robots.txt, Lo hice bien?

No te pillo suntus.
Que cambio harías tu?

Me puedes explicar un poco como funciona esto.
Un saludo.
  #4 (permalink)  
Antiguo 04/05/2010, 05:56
 
Fecha de Ingreso: septiembre-2008
Mensajes: 138
Antigüedad: 11 años, 2 meses
Puntos: 2
Respuesta: Duda con robots.txt, Lo hice bien?

Lo que hizo fue resumirte el archivo robots, en ves de definir cada useragent, lo hizo para todos a la vez. Es lo mismo que has hecho, pero mas abreviado

saludos
  #5 (permalink)  
Antiguo 04/05/2010, 06:06
Avatar de neon261979  
Fecha de Ingreso: octubre-2009
Ubicación: Barcelona
Mensajes: 195
Antigüedad: 10 años, 1 mes
Puntos: 0
Respuesta: Duda con robots.txt, Lo hice bien?

y que me decis del sitemap deberia ponerse despues de cada useragent?
Deberia cambiar a como me ha dicho el amigo suntus?
Es decir hacer esto y ya esta
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/

Y aqui poner el sitemap

Que me decis?

Saludos.;)
  #6 (permalink)  
Antiguo 04/05/2010, 07:47
 
Fecha de Ingreso: noviembre-2002
Mensajes: 746
Antigüedad: 17 años
Puntos: 6
Respuesta: Duda con robots.txt, Lo hice bien?

Cita:
Iniciado por neon261979 Ver Mensaje
y que me decis del sitemap deberia ponerse despues de cada useragent?
Deberia cambiar a como me ha dicho el amigo suntus?
Es decir hacer esto y ya esta
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/

Y aqui poner el sitemap

Que me decis?

Saludos.;)
Exacto, asi es como dije, y tal como te dicen es lo mismo que lo que tenias antes.
bueno..
igual no es, por tu estas bloquenado 5 buscadores, y yo con mi codigo simplemente bloqueo TODOS, asi no me complico en buscar las decenas de User-agent que existen..


y lo del sitemap esta bien.
  #7 (permalink)  
Antiguo 04/05/2010, 08:06
Avatar de neon261979  
Fecha de Ingreso: octubre-2009
Ubicación: Barcelona
Mensajes: 195
Antigüedad: 10 años, 1 mes
Puntos: 0
Respuesta: Duda con robots.txt, Lo hice bien?

Que quieres decir que con esto bloqueo todos?
Solo bloqueo que no busquen aqui:
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/

No lo estoy bloqueando para que no me indexen no?

Soy un poco novato. se nota verdad?

Ahora lo he subido así.

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Sitemap:http://www.josportal.com/index.php?o...map=1&view=xml

Ahora esta bien?
El sitemap esta bien colocado? o debo dejar un espacio.
Bufff que lio.

Gracias suntu y demas compañeros por vuestra paciencia.
Un saludo.
  #8 (permalink)  
Antiguo 04/05/2010, 08:16
Tew
 
Fecha de Ingreso: enero-2006
Mensajes: 1.562
Antigüedad: 13 años, 10 meses
Puntos: 17
Respuesta: Duda con robots.txt, Lo hice bien?

Fijate en la diferencia del tuyo con el que te dan:

User-agent: *

Pues ese asterisco significa "a todos" y hablamos de robots nada mas. El resto hace lo mismo que tu hacias, bloquear esas carpetas.
  #9 (permalink)  
Antiguo 04/05/2010, 08:39
Avatar de neon261979  
Fecha de Ingreso: octubre-2009
Ubicación: Barcelona
Mensajes: 195
Antigüedad: 10 años, 1 mes
Puntos: 0
Respuesta: Duda con robots.txt, Lo hice bien?

Thank you Tew.

Lo de poner el sitemap funciona?

Lo he puesto bien?

Saludos.
  #10 (permalink)  
Antiguo 05/05/2010, 13:04
 
Fecha de Ingreso: noviembre-2002
Mensajes: 746
Antigüedad: 17 años
Puntos: 6
Respuesta: Duda con robots.txt, Lo hice bien?

ya que de robots va la cosa tengo una pregunta.

¿como bloquearian mediante robots.txt TODAS las carpetas de un sitio?
osea solo quiero que lea lo que hay en el raiz

lo que necesito seria algo como
User-agent: *
Disallow: /*/

pero dudo que esa sea la solucion,
¿alguno podria responderme?
  #11 (permalink)  
Antiguo 06/05/2010, 10:37
 
Fecha de Ingreso: septiembre-2008
Mensajes: 138
Antigüedad: 11 años, 2 meses
Puntos: 2
Respuesta: Duda con robots.txt, Lo hice bien?

pruebalo desde el webmaster tools

saludos

Etiquetas: posicionamiento-seo
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 03:32.