Duda sobre rendimiento de ejecución script

[neodani]

Buenas,

Espero transmitir mi duda correctamente :D

Partes de un script capaz de leer el contenido de la web que especifiques, tratar la información e introducirlo en la base de datos. Pero tienes que sacar datos de forma masiva, no pasa nada, las URL que tienes que leer/parsear las tienes y son 50, por poner un número.

Para cada URL tardas como mínimo unos 6-10 segundos en tratar toda la información.

¿Qué es más óptimo?

OPCIÓN 1)
Hacer un bucle que vaya iterando cada URL y tratando la información. Esta el inconveniente que se pase el tiempo de ejecución del script no? porque si son 6 seg. en procesar una URL, 6 x 50 son 5 min...

OPCIÓN 2)
Ejecutar el script 50 veces y en cada vez que se ejecuta pasarle una URL distinta?
El problema que le veo a esta es que o se hace con un cron o no se como hacerla, ya que si utilizas otro script para pasarle las URL estas haciendo lo mismo que la opción 1...

OPCIÓN 3 ?¿?

Ahí mis dudas,

¿Qué opináis?

Muchas gracias de antemano!

[abimaelrc]

Podrías indicar que no haya limite de tiempo con set_time_limit, antes de empezar a hacer el código.

[neodani]

Iniciado por abimaelrc

Podrías indicar que no haya limite de tiempo con set_time_limit, antes de empezar a hacer el código.

Uhm y si le pongo eso al inicio del script nunca se cortaría, aunque se demorase 30 min, 1 día o 1 semana? xD

Existe alguna forma de detectar que se ha quedado colgado el script y pararlo?

Muchas gracias de antemano!

[cheru]

Si, el script va a durar el tiempo que necesite.
Colocando set_time_limit(0) corre por tiempo indeterminado.

Otra recomendación, solo si sabes programar JAVA, es que realizes esto con un servlet, ya que podrias ejecutar muchas veces la aplicación sin la demora que tiene el interprete PHP.

Saludos

[neodani]

Iniciado por cheru

Si, el script va a durar el tiempo que necesite.
Colocando set_time_limit(0) corre por tiempo indeterminado.

Otra recomendación, solo si sabes programar JAVA, es que realizes esto con un servlet, ya que podrias ejecutar muchas veces la aplicación sin la demora que tiene el interprete PHP.

Saludos

Muchas gracias cheru, haré pruebas con set_time_limit().

Respecto a como detectar si se cuelga el script con PHP, complicado no?

Gracias de antemano!