Si gracias, acabo de ver el articulo y baje el spider.asp. Bueno seguire probandolo.
Pero no sabes de algun programa gratuito que se pueda bajar y que lo almacene en un archivo? algo asi como :
http://www.webextractor.com/
Revisando el spider.asp, no entiendo donde usa una Base de datos, y donde queda indexada las url. Es decir donde almacenan los datos. A ver si me ayudan