Ver Mensaje Individual
  #1 (permalink)  
Antiguo 13/12/2010, 03:42
almez
 
Fecha de Ingreso: febrero-2004
Ubicación: Mediterraneo
Mensajes: 64
Antigüedad: 20 años, 2 meses
Puntos: 2
Google indexa lo que he bloqueado con robots.txt

Hola

Últimamente google me esta indexando los directorios que he bloqueado con robots.txt.

Lógicamente el archivo está situado en la raiz del dominio.

Y según las herramientas de webmasters google lo lee correctamente.


Del dominio
http://www.midominio.com/robots.txt

Archivo robots.txt

User-agent: *
Disallow: /archivo.php
Disallow: /directorio1/
Disallow: /directorio2/
Disallow: /directorio3/
Disallow: /directorio 4/archivo.pdf

etc...

Como véis es una estructura de lo más normal

Pues me ha indexado

http://www.midominio.com/archivo.php
y
http://www.midominio.com/directorio1/
http://www.midominio.com/directorio2/
http://www.midominio.com/directorio4/archivo.pdf


Evidentemente son nombres de ejemplo con el objeto que veáis la estructura.

¿Sabéis por que me indexa lo que bloqueo con el archivo robots.txt?

Gracias

Última edición por almez; 13/12/2010 a las 03:49