Cita:
Iniciado por sombrerodecopas 
Hola que tal.
Amigos ocurre que tengo un problema. Tengo un archivo robots.txt y acabo de subir todo al servidor, pero en las herramientas para web master de google hay una opción para probar el robots.txt. y todos los folder que bloque en el archivo Google me dice que son perfectamente accesibles.
No entiendo que pasa.
El codigo del archivo robots.taxt es este:
User-agent: *
Disallow: /upload/
Disallow: /slider/
Disallow: /img/
Disallow: /editor/
Entonces a mi entender esto en la primera linea le permite la indexacion a todos los motores, y en la linea 2,3,4 y 5 estoy negando la indexacion de esos folder (upload, slider, img, editor).
Y Google dice que se puede acceder perfectamente bien.
Ayudenme por favor
Saludos y gracias
En principio, salvo errores tipograficos, el código que has indicado es correcto en LAMP
cual estás usando ? el * entiendo que es para Perl y derivados
De todas formas ahora Google no recomienda "betar" determinadas carpetas para cumplir su estardar para móviles
Cita:
Iniciado por santiagoanuncios Te falta el *
User-agent: *
Disallow: */upload/
Disallow: */slider/
Disallow: */img/
Disallow: */editor/
o bien
User-agent: *
Disallow: /upload/*
Disallow: /slider/*
Disallow: /img/*
Disallow: /editor/*
etc
depende de como sea la estructura de directorios de tu web
Un saludo
Puedes desarrollar tu respuesta?