como hacen ciertas webs para hacer scraping. Duda existencial.

[alonsomaxx]

Hola amigos del foro!

Me gustaría saber como hacen ciertas web para poder hacer scraping en infinindad de páginas ya sea para obtener los precios de ciertos productos o conseguir una información importante.

El scraping se lo hacen directamente a Google o a la página que interesa??? Esto último me parece una locura ya que si hay mil páginas no vas crear un código de scraping para cada una de ellas y no solo eso... Las complicaciones que puede acarrear como que la página cambie de estructura..., aparezcan nuevas webs, se den de baja otras...

Que lenguaje de programación se suele utilizar para hacer el scraping? PHP, C#, Phyton..???

Gracias por vuestra futura ayuda y un saludo.