Foros del web, para los que viven de bits

Me gustaría saber si es posible "capturar" a los spiders de ciertos buscadores cuando visitan un web site.

La idea es capturalos para investigar bien como estan funcionando.

Salu2.

Hola,

¿Me lo explique? Un bot actua igual que un navegador. Realiza una peticion HTTP al servidor web, y este le manda el el HTML. Sin mas. Exactamente igual que el IExplorer.

Lo unico que puedes "investigar" son las veces que acceden a una pagina, que paginas acceden mas veces, cuanto tiempo pasa desde que acceden hasta que aparece el nuevo contenido en el buscador, ... . Pero nada mas. Solo los accesos.

Quizas es que te he entendido mal la pregunta. Lo que te he entendido es que pensabas que el bot lo que hacia era ejecutarse en el servidor, y que querias de alguna forma "coger" el ejecutable del bot. Pero eso no es asi.

Ademas, el bot es una maquina "sencilla". Solo accede a la pagina y guarda el contenido. Luego ese contenido es analizado por otra parte del sistema del motor de busqueda.

Tienes una descripcion del concepto de google en http://www-db.stanford.edu/~backrub/google.html (lo que llamas bot ellos llaman crawler) (mas sobre google en http://www.sitepointforums.com/showthread.php?t=76257).

Saludos.

Gracias josemi,

Me comprendiste perfectamente, realmente pensaba que algunos de ellos tenían acceso a los servidores, pero ahora x tu explicación, veo que no es así.

Muchas gracias y salu2.