archivo robots

pereztroff · #1 (**permalink**) 10/03/2004, 15:38

para que sirve un archivo robots.txt??

que tiene por ejemplo este contenido:??

User-agent: *
Disallow: admin.php
Disallow: /admin/
Disallow: /images/
Disallow: /includes/
Disallow: /themes/
Disallow: /blocks/
Disallow: /modules/
Disallow: /language/

#2 (**permalink**) 10/03/2004, 15:59

El archivo robots.txt indica basicamente lo que :
NO QUIERES que el buscador indexe.

en ese archivo, claramente se le pide al "robot" que visite el web, pero que no busque en esos directorios ni indexe determinados archivos.

Saludos.

#3 (**permalink**) 10/03/2004, 16:03

En solowebmasters.net teníamos un artículo explicativo del archivo robots.txt, pero gracias a algun simpatico que nos está diariamente borrando la base de datos, hemos tenido que poner out la web e incrementar las medidas de seguridad.
Pero vamos, cuando pueda ponerlo t aviso.