¡¡ Nueva mejora !!
gracias a la noticia de rrufo (3 días de descanso que me he tomado y ya habia cambios de Google) el spider detecta el parametro rel=nofollow, el spider filtra esas urls como válidas para los buscadores y luego las muestra para que podais saber que urls están siendo filtradas por los buscadores.
Como ya sabeis Google y otros buscadores quieren evitar el SPAM de urls en foros, blogs, ... y para ello han colocado el parametro rel=nofollow, ejemplo:
<a href="http://www.forosdelweb.com" rel="nofollow">Foros del web</a>, pues de esta manera los buscadores no tomarán el enlace para calcular el pagerank.
Si haceis intercambios de enlaces, os recomiendo que mireis si han colocado ese parametro en vuestro enlace, otra forma de mirarlo es con el Spider de cuasar, simplemente poneis la url y en unos segundos podeis ver si vuestra url es válida para los buscadores.
Si teneis más ideas de como mejorar el spider me lo comunicais, sigo con ello.