Hola,
he implementado tu script de spider en mi sitio y me ha funcionado perfectamente, se me ha ocurrido una idea ya que he visto en otros sitios como google, etc..
con esta misma aplicacion se podra capturar las etiquetas <img> de las paginas ya indexadas en mi base de datos?
por ejemplo, con tu escript capturo las palabras claves, descripcion, titulo, despues esos datos los almaceno en una base de datos comun y corriente,
despues en un buscador sencillo coloco las palabras claves y me busca en la base de datos arrojandome las url de cada sitio que concuerde..
hasta alli bien..
mi idea es colocar tambien buscador de imagenes, que cuando coloques el nombre o palabra clave se meta a un sitio y verifique las etiquetas <img y me imprima en mi hoja .asp las imagenes que se parezcan a la palabra clave que coloque, (qeu se llamen igual o parecido) por ejemplo busco pajaros, y me muestre las imagenes del sitio <img "pajaros.jpg" > o pajaros.gif etc...
se podra hacer esto? la verdad no se como modificar tu codigo para hacer algo asi..
me podras echar una manito o alguien que sepa?