Foros del Web » Estrategias Digitales y Negocios Online » SEO »

[SOLUCIONADO] Problema con robots.txt

Estas en el tema de Problema con robots.txt en el foro de SEO en Foros del Web. Hola que tal. Amigos ocurre que tengo un problema. Tengo un archivo robots.txt y acabo de subir todo al servidor, pero en las herramientas para ...
  #1 (permalink)  
Antiguo 28/04/2015, 19:07
 
Fecha de Ingreso: abril-2013
Ubicación: Area 51
Mensajes: 24
Antigüedad: 10 años, 11 meses
Puntos: 1
Pregunta Problema con robots.txt

Hola que tal.
Amigos ocurre que tengo un problema. Tengo un archivo robots.txt y acabo de subir todo al servidor, pero en las herramientas para web master de google hay una opción para probar el robots.txt. y todos los folder que bloque en el archivo Google me dice que son perfectamente accesibles.
No entiendo que pasa.

El codigo del archivo robots.taxt es este:
User-agent: *
Disallow: /upload/
Disallow: /slider/
Disallow: /img/
Disallow: /editor/

Entonces a mi entender esto en la primera linea le permite la indexacion a todos los motores, y en la linea 2,3,4 y 5 estoy negando la indexacion de esos folder (upload, slider, img, editor).
Y Google dice que se puede acceder perfectamente bien.

Ayudenme por favor
Saludos y gracias
  #2 (permalink)  
Antiguo 29/04/2015, 03:18
 
Fecha de Ingreso: noviembre-2007
Ubicación: Santiago de Compostela
Mensajes: 419
Antigüedad: 16 años, 4 meses
Puntos: 37
Respuesta: Problema con robots.txt

Te falta el *

User-agent: *
Disallow: */upload/
Disallow: */slider/
Disallow: */img/
Disallow: */editor/


o bien


User-agent: *
Disallow: /upload/*
Disallow: /slider/*
Disallow: /img/*
Disallow: /editor/*


etc

depende de como sea la estructura de directorios de tu web

Un saludo
  #3 (permalink)  
Antiguo 29/04/2015, 09:07
Avatar de andrescrea  
Fecha de Ingreso: julio-2004
Mensajes: 1.268
Antigüedad: 19 años, 8 meses
Puntos: 92
Respuesta: Problema con robots.txt

Cita:
Iniciado por sombrerodecopas Ver Mensaje
Hola que tal.
Amigos ocurre que tengo un problema. Tengo un archivo robots.txt y acabo de subir todo al servidor, pero en las herramientas para web master de google hay una opción para probar el robots.txt. y todos los folder que bloque en el archivo Google me dice que son perfectamente accesibles.
No entiendo que pasa.

El codigo del archivo robots.taxt es este:
User-agent: *
Disallow: /upload/
Disallow: /slider/
Disallow: /img/
Disallow: /editor/

Entonces a mi entender esto en la primera linea le permite la indexacion a todos los motores, y en la linea 2,3,4 y 5 estoy negando la indexacion de esos folder (upload, slider, img, editor).
Y Google dice que se puede acceder perfectamente bien.

Ayudenme por favor
Saludos y gracias

En principio, salvo errores tipograficos, el código que has indicado es correcto en LAMP
cual estás usando ? el * entiendo que es para Perl y derivados

De todas formas ahora Google no recomienda "betar" determinadas carpetas para cumplir su estardar para móviles

Cita:
Iniciado por santiagoanuncios Ver Mensaje
Te falta el *

User-agent: *
Disallow: */upload/
Disallow: */slider/
Disallow: */img/
Disallow: */editor/


o bien


User-agent: *
Disallow: /upload/*
Disallow: /slider/*
Disallow: /img/*
Disallow: /editor/*


etc

depende de como sea la estructura de directorios de tu web

Un saludo
Puedes desarrollar tu respuesta?

Última edición por Usuarios466; 01/05/2015 a las 03:56 Razón: Se combinan 2 mensajes consecutivos del mismo autor
  #4 (permalink)  
Antiguo 29/04/2015, 15:43
 
Fecha de Ingreso: noviembre-2007
Ubicación: Santiago de Compostela
Mensajes: 419
Antigüedad: 16 años, 4 meses
Puntos: 37
Respuesta: Problema con robots.txt

Hola, con el robots. no impides la indexación, impides el rastreo. Si la página(s) ya están indexadas lo seguirán estando, en el snippet de google te pone algo asi "no tenemos disponible una descripción de esta página ..." creo que se habló de esto no hace mucho

si tienes una ruta tal que así

www.dominio.es/seccion/subseccion/pagina.html

disallow: /subseccion/ no furrula
disallow: */subseccion/ si furrula
disallow: */pagina* si furrula


Un saludo
__________________
Anuncioneon.es - Modelofactura.es

Última edición por Usuarios466; 01/05/2015 a las 03:55 Razón: Se remueve URL ejemplo 404
  #5 (permalink)  
Antiguo 01/05/2015, 02:25
 
Fecha de Ingreso: abril-2015
Ubicación: España
Mensajes: 12
Antigüedad: 8 años, 11 meses
Puntos: 0
Respuesta: Problema con robots.txt

comprueba en la herramienta para webmaster de Google que puede estar pasando en la opción RASTREO, como lee Google el archivo robots y has varias pruebas para comprobar que las URL´s que quieres incluir/excluir las gestiona correctamente

Etiquetas: google, robots.txt
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 02:38.