14/01/2002, 21:13
| |||
| |||
| roboots.txt __________________???? En las estadísticas de una página he visto que se a solicitado este archivo: roboots.txt y me imagino que son los motores de búsqueda que comprueban su existencia. Sabría decirme alguien para que sirve dicho txt y que hay que incluir en él? abrazox <html><center><img src="http://www.globalmedialab.com/firma/zpez.jpg" height=79 width=352 border="0" alt= ""></a> </center></html> |
|
15/01/2002, 01:08
| |||
| |||
| Re: roboots.txt __________________???? En el archivo robots.txt podés poner comandos para que los robots no indexen ciertas páginas o directorios, por ejemplo, si no querés que altavista indexe tu directorio imágenes, pondrías: User-agent: Scooter (scooter es el bot de altavista) Disallow: /imagenes Si querés mucha info sobre los robots de búsqueda andá a: http://www.robotstxt.org/wc/robots.html Saludos. Zero Zen. <p><a href="http://www.clasificario.com/">Visite clasificario.com avisos clasificados gratis.</a></p> |
|
15/01/2002, 03:41
| |||
| |||
| Re: roboots.txt __________________???? Los buscadores o crawlers que funcionan lanzando su robot a la caza de las páginas que irán recolectando para añadir a su base de datos comprueban sólo al llegar a una determinada página, los contenidos del fichero robots.txt. Este fichero lo buscan en el directorio raíz del web site y es un fichero de texto plano, no un fichero HTML. La existencia y el funcionamiento del fichero robots.txt se deben a los protocolos del W3 , con la intención de que el webmaster pueda ocultar al robot aquellos contenidos que no se desea hacer públicos o aplicar dichas reglas sólo para algún o algunos robots en concreto. Si no dispones de ese fichero, el robot realiza siempre primero la petición, lo cual provoca que aparezca como error en las estadísticas de la web y el robot considera que no hay ninguna exclusión y podrá rastrear cualquier página del web site sin excepción. Puedes utilizar un generador de fichero robots.txt como <a href='ir.asp?http://www.webtoolcentral.com/webmaster/tools/robots_txt_file_generator/' target='_blank'>http://www.webtoolcentral.com/webmaster/...</a> |
|
03/02/2002, 14:37
| |||
| |||
| Re: roboots.txt __________________???? ..........gracias cero cen y mega <html><center><img src="http://www.globalmedialab.com/firma/zpez_3_1.jpg" height=57 width=458 border="0" alt= ""></a> </center></html> |
