como hacen ciertas webs para hacer scraping. Duda existencial.

[Malenko]

Los grandes comparadores de precios/productos suelen usar APIs para obtener los datos.

En cualquier caso, para hacer web scrapping has de conocer la página de la que quieres extraer los datos para saber como encontrar la información que necesitas. Suelen haber librerías para ayudar en esta labor. Obviamente no has de multiplicar tu trabajo por cada web diferente que quieras escanear. Yo en estos casos suelo montar un motor básico (genérico) y luego genero clases hijas que añaden las particularidades. Luego el programa las carga como si se tratasen de "plugins" (de forma que puedo añadir más sin necesidad de recompilar el programa principal).

Sobre el lenguaje de programación se puede usar casi cualquiera. Yo personalmente uso C# porque me permite hacer Servicios Windows que trabajen de fondo y usando multithreading. Pero también hay quien lo hace en Java, PHP, ...