Foros del Web » Estrategias Digitales y Negocios Online » SEO »

robots.txt

Estas en el tema de robots.txt en el foro de SEO en Foros del Web. Hola! Quería saber si estoy teniendo algún problema con el robots.txt ya que google me lo indexo :S Es necesario dentro del .txt poner que ...
  #1 (permalink)  
Antiguo 09/10/2011, 11:05
 
Fecha de Ingreso: junio-2011
Mensajes: 478
Antigüedad: 12 años, 9 meses
Puntos: 13
robots.txt

Hola!
Quería saber si estoy teniendo algún problema con el robots.txt ya que google me lo indexo :S
Es necesario dentro del .txt poner que no lo indexe o estoy haciendo algo mal?
Mi robots.txt es:

# robots.txt for http://www.misitio.com/

User-agent: *
Disallow: /unaCarpeta/
Disallow: /404.html
Disallow: /pagina.html


Agrego Disallow: /robots.txt??

Gracias! :)

Última edición por Daniel Ulczyk; 09/10/2011 a las 16:11 Razón: se remueve URL del enlace - error 404
  #2 (permalink)  
Antiguo 09/10/2011, 16:21
Avatar de Daniel Ulczyk
Super Moderador
 
Fecha de Ingreso: febrero-2005
Ubicación: Buenos Aires
Mensajes: 9.263
Antigüedad: 19 años, 1 mes
Puntos: 2114
Respuesta: robots.txt

Por definición, Google no debiera estar indexando el archivo que contiene las directivas de restricción.

Sin embargo, esto que comentás... no es el primer caso que veo si llevás a cabo la consulta en Google robots.txt ves varios más ¡incluso el propio sitio de Google! en la #8 posición

__________________
—Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit)
  #3 (permalink)  
Antiguo 09/10/2011, 20:18
Usuario no validado
 
Fecha de Ingreso: mayo-2011
Mensajes: 1.231
Antigüedad: 12 años, 10 meses
Puntos: 228
Respuesta: robots.txt

Cita:
Iniciado por rapuig Ver Mensaje
Hola!
Quería saber si estoy teniendo algún problema con el robots.txt ya que google me lo indexo :S
Es necesario dentro del .txt poner que no lo indexe o estoy haciendo algo mal?
Mi robots.txt es:

# robots.txt for http://www.misitio.com/

User-agent: *
Disallow: /unaCarpeta/
Disallow: /404.html
Disallow: /pagina.html


Agrego Disallow: /robots.txt??

Gracias! :)

Hola:

A mi me ha pasado lo mismo me ha indexado el robots txt

lo unico que se me ocurre es borrarlo en las herramientas de google, o poner una linea como la que pusiste en el ejemplo pero me suge la duda de que si le pones

Disallow: /robots.txt ignorara las paginas o carpetas que no debe rastrear...

ojala y alguien nos pueda orientar mejor porque esto creo no es "normal"...

Saludos

Última edición por Daniel Ulczyk; 09/10/2011 a las 21:15 Razón: se remueve URL del enlace - error 404
  #4 (permalink)  
Antiguo 11/10/2011, 15:44
Avatar de Tedel  
Fecha de Ingreso: enero-2011
Ubicación: Lima
Mensajes: 2.744
Antigüedad: 13 años, 2 meses
Puntos: 444
Respuesta: robots.txt

Pregunta: ¿Hay alguna consecuencia negativa para ti por permitir que Google haya agregado tu robots.txt a su índice?
__________________
Soy el autor de Heptagrama y tengo un servicio "todo incluido" de marketing web.
  #5 (permalink)  
Antiguo 12/10/2011, 02:19
 
Fecha de Ingreso: enero-2008
Ubicación: Mallorca
Mensajes: 131
Antigüedad: 16 años, 2 meses
Puntos: 5
Respuesta: robots.txt

consecuencia negativa ninguna. Hay quien podría pensar que pueden llegar atacantes a tu web pero es absurdo ya que el robot.txt es público y accesible de todas formas.

Así que no, no hay consecuencias negativas.
__________________
Surf
  #6 (permalink)  
Antiguo 12/10/2011, 15:00
Avatar de Tedel  
Fecha de Ingreso: enero-2011
Ubicación: Lima
Mensajes: 2.744
Antigüedad: 13 años, 2 meses
Puntos: 444
Respuesta: robots.txt

A eso mismo iba. No hay ninguna necesidad de bloquearlo o buscar que Google lo saque de sus índices.
__________________
Soy el autor de Heptagrama y tengo un servicio "todo incluido" de marketing web.

Etiquetas: google
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 08:28.