Cuasarbot v0.1b ¿alguien sabe algo de él?

[inforsol]

Hola buenas...
este Cuasarbot v0.1b ¿de quién viene siendo?
Pues ha visitado mi web hoy, pero no se si es de un buscador o de alguna cosa maligna y perniciosa, no he encontrado nada de él, más que logs en los que aparece.

[josemi]

Hola,

En este mismo subforo, en http://www.forosdelweb.com/f64/nuevo-servicio-spider-para-nuestras-web-262097/ esta comentando su nuevo bot, y la url es cuasar.com, asi que supongo que sera ese.

Saludos.

[Ocrum2004]

Efectivamente es de cuasar.com, exactamente de la página:
http://www.cuasar.com/spider_beta/

No es nada malo, simplemente es un script que simula el spider de un buscador, para que podamos saber que es realmente lo que ven los buscadores cuando nos visitan.

Posiblemente en los próximos días Cuasarbot visite todas las páginas de tu web, ¡¡ ojala fuera capaz de crear un buscador !!

Si no deseas que Cuasarbot te visite puedes configurar el fichero robots.txt, ya que el spider interpreta el fichero.

[josemi]

Ocrum, mejor que en el useragent tambien indiques una url a una pagina donde expliques quien es ese robot, como hacen los robots bien educados.

ojala fuera capaz de crear un buscador !!

Ya tienes buscadores opensource si quieres hacer pruebras: Lucene y notch, entre otros.

Saludos.

[Ocrum2004]

Perfecto, voy a preparar una página explicando lo que es Cuasar, y lo pongo en el useragent.
¿Google lo hace?

[josemi]

http://www.robotstxt.org/wc/active/html/googlebot.html , ahora mismo no se si mantiene el mismo user agent con la URL, pero deberia. Asi se ahorran este tipo de preguntas. Y en esa pagina tambien informa como evitar las visitas (lo del robots.txt).

Quizas tambien puedes registrarlo en robotstxt.org , cuanto mas transparente seas, mas confianza daras.

Saludos.