Tema: Robots.txt
Ver Mensaje Individual
  #1 (permalink)  
Antiguo 15/07/2003, 05:41
Avatar de davidMS
davidMS
 
Fecha de Ingreso: abril-2003
Ubicación: Chepe
Mensajes: 202
Antigüedad: 20 años, 10 meses
Puntos: 0
Robots.txt

He notado la implementacion de este archivo en muchos sites php, incluyendo las aplicaciones nuke y bb el contenido es mas o menos asi:
User-agent: *
Disallow: admin.php
Disallow: config
Disallow: header
Disallow: footer
Disallow: pntables
Disallow: referer
Disallow: /images
Disallow: /includes
Disallow: /modules/NS-
Disallow: /pnadodb
Disallow: /themes

alguien sabe para que es?