Foros del Web » Creando para Internet » HTML »

cómo "scrapear" una web?

Estas en el tema de cómo "scrapear" una web? en el foro de HTML en Foros del Web. Hola a todos, necesito hacer un web scrap a una pagina para poder bajarme toda la informacion que necesito en un solo proceso. El escenario ...
  #1 (permalink)  
Antiguo 05/04/2010, 14:02
 
Fecha de Ingreso: abril-2007
Mensajes: 49
Antigüedad: 10 años, 7 meses
Puntos: 1
cómo "scrapear" una web?

Hola a todos, necesito hacer un web scrap a una pagina para poder bajarme toda la informacion que necesito en un solo proceso. El escenario es mas o menos asi: tengo una web donde hay una caja de texto y un boton. En la caja de texto pongo el codigo del objecto que necesito y le doy click a BUSCAR y si lo encuentra, me sale la pantalla para guardar o abrir el archivo (es un .kml) y este proceso tengo que hacerlo uno a la vez cada vez que quiera bajarme un kml, pero necesito un proceso que se baje todo sin necesidad que yo lo este haciendo uno por uno. He visto de algunos programas que dicen que "scrapean" paginas pero eso es mas que todo para jalar informacion textual que al final la guardan en un CSV. Podrian darme unos tips de lo que tengo qeu revisar para poder hacer este proceso. espero me puedan ayudar.

Gracias.

Saludos

Última edición por monaguillex; 05/04/2010 a las 15:25
  #2 (permalink)  
Antiguo 05/04/2010, 16:38
Avatar de abimaelrc
Colaborador
 
Fecha de Ingreso: mayo-2009
Ubicación: En el planeta de Puerto Rico
Mensajes: 14.728
Antigüedad: 8 años, 6 meses
Puntos: 1512
Respuesta: cómo "scrapear" una web?

Una forma de lograr lo que estás indicando es usando cURL o algún socket que lea las páginas web y luego almacenas la información. No sé como lo estás haciendo pero con PHP puedes leer este manual para que entiendas lo que te estoy diciendo. http://www.forosdelweb.com/f18/aport...equest-724214/
__________________
Verifica antes de preguntar.
Los verdaderos amigos se hieren con la verdad, para no perderlos con la mentira. - Eugenio Maria de Hostos
  #3 (permalink)  
Antiguo 05/04/2010, 18:52
 
Fecha de Ingreso: abril-2007
Mensajes: 49
Antigüedad: 10 años, 7 meses
Puntos: 1
Respuesta: cómo "scrapear" una web?

Hola abimaelrc, gracias por tu respuesta. Bueno, te comento que trabajo con C# y no conozco nada de php salvo los enlatados smf y joomla....alguna otra idea por ahi? De antemano, gracias. De todas maneras voy a ver si hay alguna similitud en la sintaxis y asi a ver si la hago...
  #4 (permalink)  
Antiguo 05/04/2010, 19:29
Avatar de abimaelrc
Colaborador
 
Fecha de Ingreso: mayo-2009
Ubicación: En el planeta de Puerto Rico
Mensajes: 14.728
Antigüedad: 8 años, 6 meses
Puntos: 1512
Respuesta: cómo "scrapear" una web?

Puedes instalar como quiera cURL en forma externa desde este lugar http://curl.haxx.se/
__________________
Verifica antes de preguntar.
Los verdaderos amigos se hieren con la verdad, para no perderlos con la mentira. - Eugenio Maria de Hostos
  #5 (permalink)  
Antiguo 07/04/2010, 12:39
 
Fecha de Ingreso: abril-2007
Mensajes: 49
Antigüedad: 10 años, 7 meses
Puntos: 1
Respuesta: cómo "scrapear" una web?

gracias por el dato abimaelrc, estoy revisandolo pero no lo entiendo muy bien...ademas creo que es una lib para php, los ejemplos que he visto son hechos con php...seguire buscando...gracias!
  #6 (permalink)  
Antiguo 07/04/2010, 15:42
Avatar de ElJavista
Colaborador
 
Fecha de Ingreso: marzo-2007
Ubicación: Lima Perú
Mensajes: 2.231
Antigüedad: 10 años, 9 meses
Puntos: 67
Respuesta: cómo "scrapear" una web?

Debe haber en .NET una clase con la que se pueda acceder al contenido de una URL, es más, yo lo he hecho pero no me acuerdo qué clases eran. Ahora bien, eso si no lo he hecho pero es posible que exista una implementación de DOM en .NET o cualquier otro método que permita parasear HTML.
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 19:57.