Script largo se para después de un tiempo

[franjgg]

Buenas que tal,

Vereís tengo un scritp el cual está haciendo una consulta a la base de datos y extrae muchos resultados con los que va haciendo una seria de operaciones, funciona correctamente el problema es que despues de aproximadamente unos 30 o 40 min se para y no continua con el resto de registros.

Mi pregunta es: puede que sea por culpa de la conexión a la base de datos que se cierre o no?

Que otra cosa puede ser?

Saludos!!

[petit89]

Te recomendaria revisar el tiempo maximo de ejecución con el que esta programado PHP en el servidor que estas ejecutando el script.. tambien revisa el log de errores

[franjgg]

Hola petit que tal,

Verás se ha olvidad comentar que el scritp de ja de funcionar tanto si lo ejecuto desde el navegador como desde una tarea cron.

El tiempo maximo de ejecución se puede mirar en el archivo de configuración php.ini?

Saludos y gracias!

[franjgg]

Buenas de nuevo petit89,

El max_execution_time en el pnp.ini está en: 50000, osea cerca de 14 horas, por esto no creo que sea. Me inclino más por el tiempo que la conexión a la base de datos esta abierta.

No se como podria mirarlo y evitar que se cierre.

Saludos y gracias!!

[Triby]

Puedes dividir el proceso en lotes? Creo que sería lo más conveniente.

[franjgg]

Hola Triby que tal,

Pués en realidad si que podría pero el tema es que está haciendo la ejecución del script con una tarea cron y ya está el servidor algo cargado de tareas cron que no me gustaría que se solapasen unas con otras. Si pudiera solucionarlo sería lo ideal.

He intentado detectar si en algún momento hay un problema con la conexión de este modo:

Código PHP:

if (mysqli_connect_errno())
        {
            echo "Failed to connect to MySQL: " . mysqli_connect_error();
 
        }else{
 
            echo "La conexión está bien";
        }
 

Pero no me ha detectado nada y se sigue parando después de un buen rato, como una media hora.

A ver si alquien tienen idea de que puede estar pasando.

Gracias Triby, saludos!

[Triby]

Si quieres seguir probando con lo mismo, crea un registro (log) de actividades, guardando cada paso y los posibles errores en un archivo de texto, tal vez eso te ayude a identificar la falla.

Ya tienes un cron para esta tarea? no necesitas más. Hace algún tiempo tuve que hacer algo similar y no es tan difícil, solo hay que guardar el último registro procesado y continuar desde ahí:
1- Leer dato de último registro, si es -1, arrancar desde el principio
2- Hacer una consulta para obtener 100 registros (o los que sean necesarios) y procesarlos
3- Después de procesar cada registro, actualizas el dato del punto 1; si llegas al final de la tabla, lo pones en -1

[gnzsoloyo]

Iniciado por franjgg

Buenas que tal,

Vereís tengo un scritp el cual está haciendo una consulta a la base de datos y extrae muchos resultados con los que va haciendo una seria de operaciones, funciona correctamente el problema es que despues de aproximadamente unos 30 o 40 min se para y no continua con el resto de registros.

Mi pregunta es: puede que sea por culpa de la conexión a la base de datos que se cierre o no?

Que otra cosa puede ser?

Saludos!!

En principio, es una mala práctica abrir la base, hacer una consulta e ir procesando en la aplicación los resultados de a uno. Es casi de cajón que eso hará fallar el script por la simple razón de que tienes una enorme cantidad de cambios de contexto que no estás considerando, lo que le suma overhead a lo pavo.
Los cambios de estado entre lectura, escritura y procesamiento no son gratuitos, le cuestan tiempo al procesador y al sistema, sin considerar lo que le cuestan a la conexión, que no es simplemente abrir el enlace a la base, sino el mantenimiento de la comunicación bidireccional.

SIn entrar en detalles, deberías considerar exactamente qué operaciones estás haciendo, y evaluar si alguna o todas esas operaciones que realizas con los datos no podrían ser realizadas directamente en la base, por medio de stored procedures.

¿Podrías explicarnos cuáles son las operaciones que realizas, o postear el código que las hace, para evaluar qué se puede derivar a la base?

[tuadmin]

como experiencia, diria que tu script php esta consumiendo RAM y no la esta liberando cada X interacion y por eso el sistema lo MATA; deberias fiajrte si en 15 minutos la RAM que consume baja o no, para iteraciones largas siempre debes tener en cuenta el destruir valores que no usaras y en consultas SQL , debes de trabajar por LOTES; hacer procesos por cada 1000 registros o cada 100 y volver