User-agent: *
Disallow: admin.php
Disallow: config
Disallow: header
Disallow: footer
Disallow: pntables
Disallow: referer
Disallow: /images
Disallow: /includes
Disallow: /modules/NS-
Disallow: /pnadodb
Disallow: /themes
alguien sabe para que es?
15/07/2003, 05:41
| ||||
| ||||
| Robots.txt He notado la implementacion de este archivo en muchos sites php, incluyendo las aplicaciones nuke y bb el contenido es mas o menos asi: User-agent: * Disallow: admin.php Disallow: config Disallow: header Disallow: footer Disallow: pntables Disallow: referer Disallow: /images Disallow: /includes Disallow: /modules/NS- Disallow: /pnadodb Disallow: /themes alguien sabe para que es? |
|
15/07/2003, 05:46
| |||
| |||
| Hola, Este fichero no tiene relacion con PHP. Es un sistema estandard para "controlar" los bots, crawlers y spiders que visitan nuestro sitio web. Lo puedes usar con sitios exclusivamente hechos con HTML. Solo tienes que ponerlo en el directorio raiz de tu sitio. Sirve para prohibir o permitir que dichos bots lean determinados ficheros o directorios. Asi es como puedes evitar que google lea e indexe ficheros que no quieres que indexe. Para mas info, busca el google "robots.txt". Saludos.
__________________ Josemi Aprendiz de mucho, maestro de poco. |
