Tema: Robots.txt
Ver Mensaje Individual
  #2 (permalink)  
Antiguo 15/07/2003, 05:46
josemi
Ex Colaborador
 
Fecha de Ingreso: junio-2002
Mensajes: 9.091
Antigüedad: 21 años, 10 meses
Puntos: 16
Hola,

Este fichero no tiene relacion con PHP. Es un sistema estandard para "controlar" los bots, crawlers y spiders que visitan nuestro sitio web. Lo puedes usar con sitios exclusivamente hechos con HTML. Solo tienes que ponerlo en el directorio raiz de tu sitio. Sirve para prohibir o permitir que dichos bots lean determinados ficheros o directorios. Asi es como puedes evitar que google lea e indexe ficheros que no quieres que indexe. Para mas info, busca el google "robots.txt".

Saludos.
__________________
Josemi

Aprendiz de mucho, maestro de poco.