Extraer las url de un sitio web completo c#

[irokhes]

Hola,

me gustaria saber como puedo extraer todos los enlaces que de un sitio web, he visto algunos articulos en los que muestran como hacerlo de una sola pagina, pero quisiera saber si hay alguna libreria o algo para hacerlo de todo un sitio web en C#.

Gracias y un saludo.

[Peterpay]

Necesitaras usar regex para sacar los url's pero el detalle esta en definir las reglas que hagan el parado de tu busqueda, usar algun arbol para no recorrer 2 veces la misma rama del arbol de links y ya.

hace tiempo encontre un articulo que hablaba de como hacer un buen robot extractor optimizando todos esos aspectos para poder mantener la aplicacion lo mas eficiente y funcional posible, lo busco y con gusto lo publico en el faq.

[irokhes]

Hola,

Gracias por la respuesta, si encuentras el articulo por favor avisame para que pueda cogerlo que me hace falta.
Escribe otra repuesta o un mensaje privado si quieres para avisarme, ok??

Muchisimas gracias

[Trulala de cordoba]

Holas
Yo tambien me uno para que avises Peterpay cuando encuentres el articulo, asi espero me avises

Casualmente ando buscando tambien como obtener el texto que se encuentra en un html, por ejemplo si tengo:

<td id="contenido">
<td> TITULO<|td>
<td><strong>Parrafo principal<|td>
<|td>


Como podria hacer para obtener lo que esta en <td id="principal">
Yo pensaba posicionarme en <td id="principal"> y guardo todo el contenido hasta encontrar el cierre de la etiqueta, hasta ahi era mas o menos facil, el tema esta que como vez hay varias etiquetas que de cierre de td, no se como hacer esto.

[Peterpay]

Trulala revisa esto http://www.regular-expressions.info/examples.html

hoy checo mi dd y les cuelgo el articulo en rapidshare.

[Trulala de cordoba]

Hola Peterpay
Muchas gracias por la pagina, veo que se puede hacer con expresiones regulares, ya lo voy a probar. Gracias!!!!!!

[Peterpay]

miren aqui les dejo el link

Articulo sobre la implementacion un web crawler distribuido de alto rendimiento

ojo es solo teorico pero muchas de las ideas pueden implementarlas con .net o perl( mejor para eso a mi parecer) de forma rapida y muy efiiciente siguiendo esos consejos.

[Trulala de cordoba]

Buenisimo, muchas gracias!!!!!!!

[irokhes]

Muchisimas gracias por articulo, espero poder ponerlo en practica y si lo consigo os avisare. Gracias de nuevo

Un saludo.