como hacen ciertas webs para hacer scraping. Duda existencial.

[alonsomaxx]

Hola amigos del foro!

Me gustaría saber como hacen ciertas web para poder hacer scraping en infinindad de páginas ya sea para obtener los precios de ciertos productos o conseguir una información importante.

El scraping se lo hacen directamente a Google o a la página que interesa??? Esto último me parece una locura ya que si hay mil páginas no vas crear un código de scraping para cada una de ellas y no solo eso... Las complicaciones que puede acarrear como que la página cambie de estructura..., aparezcan nuevas webs, se den de baja otras...

Que lenguaje de programación se suele utilizar para hacer el scraping? PHP, C#, Phyton..???

Gracias por vuestra futura ayuda y un saludo.

[Malenko]

Los grandes comparadores de precios/productos suelen usar APIs para obtener los datos.

En cualquier caso, para hacer web scrapping has de conocer la página de la que quieres extraer los datos para saber como encontrar la información que necesitas. Suelen haber librerías para ayudar en esta labor. Obviamente no has de multiplicar tu trabajo por cada web diferente que quieras escanear. Yo en estos casos suelo montar un motor básico (genérico) y luego genero clases hijas que añaden las particularidades. Luego el programa las carga como si se tratasen de "plugins" (de forma que puedo añadir más sin necesidad de recompilar el programa principal).

Sobre el lenguaje de programación se puede usar casi cualquiera. Yo personalmente uso C# porque me permite hacer Servicios Windows que trabajen de fondo y usando multithreading. Pero también hay quien lo hace en Java, PHP, ...