miren aqui les dejo el link
Articulo sobre la implementacion un web crawler distribuido de alto rendimiento
ojo es solo teorico pero muchas de las ideas pueden implementarlas con .net o perl( mejor para eso a mi parecer) de forma rapida y muy efiiciente siguiendo esos consejos.