Spider php

[NewNeok]

Saludos, estoy trabajando en un proyecto y me he encontrado con que necesito hacer una aplicación web que periódicamente consulte los datos presentes en un reducido grupo de páginas web seleccionando los archivos por tipo (imágen, video, sonido y texto).

Alguien me puede indicar cómo hacerlo? todo material es bien recibido (pero si es código fuente mejor)

Muchas gracias y un saludo!

PD: lo he posteado en php porque me comentaron de una librería que permitía hacer consultas a páginas web como si de una base de datos se tratara, pero no sé cómo se llama. Si sabéis en otro lenguaje tampoco es mucho problema.