Problema cargador de URL y tareas, cómo enfocarlo?

[neodani]

Buenas,

Se me presenta un problema, imaginad que tenéis que analizar 1000 URL's distintas de las cuales extraeís datos. El problema está en el tiempo que va a tardar el script, no puedes subir el tiempo a infinito ni a 1 hora porque corres el riesgo de que se quede colgado o no se quede a medio camino.

Entonce se me ocurre que debo armarme algo así como una cola de tareas de forma que tarea que haya hecho se elimine de esta cola.

¿Sabéis o tenéis experiencia con algun caso similar? Lo más basico que se me ocurre es tener un TXT las 1000 URL y cada vez que leo una linea del fichero la elimino, pero necesito un cron que cada cierto tiempo vaya "cogiendo" nuevas tareas y las ejecute. Por crear el cron no hay problema, pero que más necesito para hacerlo bien de verdad.

Si alguien puede darme su visión se lo agredeceré.

Muchas gracias!