Nuevo servicio de spider para nuestras web

Ocrum2004 · #1 (**permalink**) 15/01/2005, 04:18

Acabo de poner en marcha un servicio de spider, la idea es capturar la información que captura un buscadores para la indexacion, muestra lo siguiente al poner una url:

la url: http://www.cuasar.com/spider_beta/

1. Datos de la url.
2. Estado del servidor de la web.
3. Tipo de documento a indexar (html, pdf, ...)
4. Titulo de la página web (etiquetas title).
5. Enlaces encontratados.
6. texto encontratado supuestamente preparado para la indexacion.

Puede ser una herramienta muy útil para conocer si la web está optimizada para los buscadores.

¿Que os parece?, darme ideas y sugerencias para ir mejorando el servicio.

Ahhh, una cosa, he colocado un banner de publicidad, je je, a ver si me dais una ayudita a seguir con el servicio, je je.

venga, espero vuestros comentarios.

yenerich · #2 (**permalink**) 15/01/2005, 07:15

Esta interesante

Kekoagua · #3 (**permalink**) 15/01/2005, 08:53

Está muy bien, muy util además para saber de que forma nos indexan nuestras páginas los robots.

mvalls · #4 (**permalink**) 15/01/2005, 11:29

Muy bueno, ¿no se podría hacer que luego al hacer click siga el enlace que te da en el reporte?.

Pero repito, muy bueno

Ocrum2004 · #5 (**permalink**) 15/01/2005, 11:38

¿a que te refieres?, ¿que la url sea un enlace?

posavasos · #6 (**permalink**) 15/01/2005, 21:05

El texto que aparece en Google, "Diseño Web PGBWEBS :: Diseño de páginas web :: Diseño web, Imagen Corporativa, Servicio de Hospedaje de páginas web, Programación a medida, pgbwebs. ", no lo tiene en cuenta a la hora de hacer las búsquedas, sólo lo muestra (metatag description) porque no tiene nada mas que mostrar.

Ocrum2004 · #7 (**permalink**) 16/01/2005, 04:36

Entonces lo dejo como está. Voy a solucionar lo de que muestra parte del codigo javascript, que ya he encontrado el error. Si encontrais cualquier otra cosa me lo comunicais.

juanpablo2 · #8 (**permalink**) 16/01/2005, 05:26

Excelente trabajo, ayuda mucho al momento de analizar el sitio.

posavasos · #9 (**permalink**) 16/01/2005, 06:54

Está bien, pero no es una idea nueva, hay muchos servicios como este: http://www.google.es/search?q=search+engine+simulator

yenerich · #10 (**permalink**) 16/01/2005, 11:08

No funciona si pongo url con parametros?

Ocrum2004 · #11 (**permalink**) 16/01/2005, 12:15

Pues tendria que funcionar, ¿no te ha funcionado? ¿puedes decirma la url y lo compruebo?

Ocrum2004 · #12 (**permalink**) 16/01/2005, 15:22

Acabo de solucionar un error que tenia en el spider, ya que no siempre quitaba el contenido javascript del código. Creo que ahora ya está solucionado. Si podeis probarlo mejor que mejor. Voy a seguir añadiendo mejoras. ¿alguna sugerencia?

yenerich · #13 (**permalink**) 16/01/2005, 17:38

Lo de los parametros fue un error mio... mas bien de Google y mio. Por que cuando Google muestra el URL en verde en los resultados lo pone mal, con un espacio donde no va un espacio. Entonces yo hice copya & paste y me daba mal, hasta que descubri que le estaba agregando un espacio en blanco que Google no se por que le puso...

magoote · #14 (**permalink**) 17/01/2005, 05:22

Muy buen trabajo siga para adelante que es un excelente trabajo, ojala Google y otros buscadores indexaran como www.causar.com/spider_beta/
ge.ge.ge

rrufo · #15 (**permalink**) 20/01/2005, 03:01

OCRUM no se si estaras al caso, de las nuevas medidas de google
http://www.forosdelweb.com/f64/herramienta-contra-spam-para-facilitar-vida-buscadores-263084/

de lo q destaco estas palabras de hoboseo en su blog

Estoy pensando en todos esos intercambios de enlaces que puedo tener con otros webmasters. Con la cantidad de trapicheos que se hacen, dentro de poco tendré que mirar el código, o programar alguna herramienta que mire que no están utilizando el atributo, porque muchos intentarán aprovecharse del intercambio de enlaces y tomar ventaja del mismo.

No es por quitarle la idea a hoboseo, pero si dominas el tema de los spiders te podrias apuntar un tanto.

si precisas de ayuda, no dudes enviar un MP

Ocrum2004 · #16 (**permalink**) 22/01/2005, 07:08

¡¡ Nueva mejora !!
gracias a la noticia de rrufo (3 días de descanso que me he tomado y ya habia cambios de Google) el spider detecta el parametro rel=nofollow, el spider filtra esas urls como válidas para los buscadores y luego las muestra para que podais saber que urls están siendo filtradas por los buscadores.

Como ya sabeis Google y otros buscadores quieren evitar el SPAM de urls en foros, blogs, ... y para ello han colocado el parametro rel=nofollow, ejemplo:
<a href="http://www.forosdelweb.com" rel="nofollow">Foros del web</a>, pues de esta manera los buscadores no tomarán el enlace para calcular el pagerank.

Si haceis intercambios de enlaces, os recomiendo que mireis si han colocado ese parametro en vuestro enlace, otra forma de mirarlo es con el Spider de cuasar, simplemente poneis la url y en unos segundos podeis ver si vuestra url es válida para los buscadores.

Si teneis más ideas de como mejorar el spider me lo comunicais, sigo con ello.

Ocrum2004 · #17 (**permalink**) 23/01/2005, 03:58

he añadido una nueva mejora:
EL spider detecta si estás utilizando una redirección http/1.1 302 found y muestra la url a la que redirecciona.
¿alguna otra sugerencia?

Ocrum2004 · #18 (**permalink**) 24/01/2005, 02:07

Tengo una nueva mejora, el spider detecta el idioma de la página, para ello busca palabras comunes, los idiomas que detecta son:

* Español.
* Catalán.
* Gallego.
* Inglés.

Para detectar el idioma la página tienen que tener información y la información tiene que ser coherente.

Necesito detectar el euskera, para ello necesito las 50 palabras más comunes del euskera, como por ejemplo "y" "que", ...
¿hay alguien del pais vasco que pueda pasarme esas palabras?

Por favor, probar el spider y comprobar si os detecta el idioma.
http://www.cuasar.com/spider_beta/

Ocrum

rrufo · #19 (**permalink**) 24/01/2005, 10:57

no estaria mal que promocionaras tu spider en los lugares q nos indica josemi.

Podeis ver mas info en : http://google.dirson.com/noticias.new/1035/ , http://xeoweb.bitacoras.com/2005/01/...ate-de-google/ , http://eltelendro.blogspot.com/2005/...l-spam_19.html , http://xeoweb.bitacoras.com/2005/01/19/no-follow/

Jony. · #20 (**permalink**) 24/01/2005, 11:11

Me gusto bastante habia conocido anteriormente uno, pero era demasiado lento se demoraba demasiado...

Saludos

Ocrum2004 · #21 (**permalink**) 06/02/2005, 12:18

Estoy creando un buscador (o lo intento) al estilo de Google (menos risas, je je), para ello he creado un blog en donde voy comentando como se desarrolla las distintas fases, spider, indexacio, pagerank, ...

De esta manera todos salimos ganando, ya que veremos como funciona internamente un buscador.

El blog es:

http://www.cuasar.com/blogs/

y la primera herramienta es:

http://www.cuasar.com/spider_beta/

Hasta ahora tengo el spider en marcha, ya tengo 120.000 páginas cacheadas listas para la indexación.
Os mantendré informados.

leaizza · #22 (**permalink**) 06/02/2005, 13:02

Ta bueno, espero que llegues alto jeje

Kekoagua · #23 (**permalink**) 06/02/2005, 13:20

Está muy chulo, a por el google y suerte

tunait · #24 (**permalink**) 06/02/2005, 13:29

Alguna razón concreta para abrir un nuevo tema sobre un buscador que yá anunciaste en este mismo foro?

http://www.forosdelweb.com/f64/nuevo-servicio-spider-para-nuestras-web-262097/

¿no sería más adecuado continuar el tema en el post que yá tienes abierto?

Ocrum2004 · #25 (**permalink**) 06/02/2005, 13:30

Pues la verdad, ninguna razón, simplemente ha sido por comodidad, si puedes mover el mensaje en el otro post mejor. ¿puedes?

tunait · #26 (**permalink**) 06/02/2005, 13:32

Yo creo que es mejor mantener todas las opiniones dentro de un mismo hilo.

Uno los temas entonces

Un saludo

Ocrum2004 · #27 (**permalink**) 07/02/2005, 15:47

Nuevo servicio del spider cuasar.com.
He comentado el nuevo servicio del spider en el blog:
http://www.cuasar.com/blogs/

¿de que trata?
Si poneis lo siguiente:
ip:www.tudominioxxx.com

Muestra los dominios que hay alojados en el servidor, de esta forma podeis saber cuantos dominios están siendo alojados en vuestro servidor de hosting con la misma IP.
Ejemplo:

http://www.cuasar.com/spider_beta/in...uasar.com&p=es

Logicamente no están todos los dominios indexados, así que si poneis vuestro dominio y no aparece nada pues es cuestión de tiempo, simplemente añadir la web en el spider y en unas horas ya aparecerá al poner el comando IP.

¿Que os parece la idea?

Garabato · #28 (**permalink**) 07/02/2005, 16:19

Una pregunta
Solo expone los .com o tambien los .com.mx o los .com.ar ???

Ocrum2004 · #29 (**permalink**) 07/02/2005, 17:35

Los expone todos, da igual la extensión. Si no aparece el dominio que buscar dimelo y hago que el spider lo visite.

Ocrum2004 · #30 (**permalink**) 10/02/2005, 07:30

Nueva mejora de cuasar.com,

Podeis hacer una busqueda con el comando IP y os saldrá los dominios que comparten esa misma IP:

por ejemplo:

http://www.cuasar.com/spider_beta/se...www.cuasar.com

Voy poniendo todas las novedades y detalles de cuasar en:

http://www.cuasar.com/blogs/

pos eso,