He notado la implementacion de este archivo en muchos sites php, incluyendo las aplicaciones nuke y bb el contenido es mas o menos asi:
User-agent: *
Disallow: admin.php
Disallow: config
Disallow: header
Disallow: footer
Disallow: pntables
Disallow: referer
Disallow: /images
Disallow: /includes
Disallow: /modules/NS-
Disallow: /pnadodb
Disallow: /themes
alguien sabe para que es?