Que tal mi duda es si en C#.NET puedo crear un crawler que me pueda leeer el contenido de una pagina y detecte los lionks a otras paginas pero que este este conectado a internet durante un rato algo asi como googleBot u otros.. espero me puedanayudar ya que no se si con este tipo de lenguaje se pueda realizar o exista alguna mejor forma ya que tambien quiero que vaya agregando todo a una base de datos en MySQL ( se puede hacer esto??) grax
por la ayuda
Espero sus respuestas