Acabo de poner en marcha un servicio de spider, la idea es capturar la información que captura un buscadores para la indexacion, muestra lo siguiente al poner una url:
la url:
http://www.cuasar.com/spider_beta/
1. Datos de la url.
2. Estado del servidor de la web.
3. Tipo de documento a indexar (html, pdf, ...)
4. Titulo de la página web (etiquetas title).
5. Enlaces encontratados.
6. texto encontratado supuestamente preparado para la indexacion.
Puede ser una herramienta muy útil para conocer si la web está optimizada para los buscadores.
¿Que os parece?, darme ideas y sugerencias para ir mejorando el servicio.
Ahhh, una cosa, he colocado un banner de publicidad, je je, a ver si me dais una ayudita a seguir con el servicio, je je.
venga, espero vuestros comentarios.