Ver Mensaje Individual
  #2 (permalink)  
Antiguo 01/06/2004, 12:35
Avatar de elpiedra
elpiedra
Colaborador
 
Fecha de Ingreso: febrero-2004
Ubicación: Miami <-> Uruguay
Mensajes: 2.447
Antigüedad: 20 años, 2 meses
Puntos: 13
Agunos robots de los buscadores cuando buscan indexar tus paginas a su base de datos buscan el archivo de texto "robots.txt" para ver que tipo de restricciones tiene el sitio en cuanto a que paginas queres que te indexe y cuales no y tambien que buscadores no queres que te indexen.

Un ej: seria:
User-agent: *
Disallow


Donde el *significa todos los robots, esto seria para que te indexen todas las paginas y todos los robots de los buscadores.

Salu2

Ps//En el dia de aller lunes 31 de mayo google estubo haciendo cambios en su base de datos y modificando PR
__________________
"Todos los Antivirus son buenos, hasta que se te infecta el PC"... xD

InfoSpyware.com | ForoSpyware.com