[SOLUCIONADO] La mejor forma de trabajar con grandes cantidades de información

[berkeleyPunk]

Hola, voy al grano.

Estoy trabajando en un script PHP que tiene que conectarse a un par de plataformas (TiendaNube y PipeDrive) y de ellas recopilar información. El script funciona perfectamente en un ambiente de prueba donde apenas hay unos cuantos registros de información. Pero cuando paso a producción (donde hay miles de registros), el navegador muestra un 504 Gateway Timeout.

Tengo a Siteground como hosting, y el phpinfo() me dice que el max_execution_time está ajustado al máximo posible: 120 segundos.

Al script, dos minutos no le bastan para terminar de ejecutarse. Una gran parte del trabajo es armar arrays. Se me ocurrió guardar esos arrays como jSON en archivos .json y así trabajar sobre esos archivos, y no obligar al script a que cada vez que se ejecute tenga que armarlos nuevamente.

La cosa es que de momento, uno de esos .json pesa 4M (y con el tiempo irá aumentando). La verdad no sé si eso es mucho o no, y si es la mejor forma de tratar con gran cantidad de información.

Cualquier comentario que hagan, sin duda, me servirá. Y si necesitan que abunde, lo hago. Adelante.

Gracias.

[ocp001a]

Dependiendo del proceso, 120 segundos de ejecución no es mucho.

En mi hosting, donde requiero hacer procesos realmente largos de importación de datos, lo tenemos a 30 minutos.

Sin embargo, ya que imagino no te permiten aumentar el tiempo de ejecución, te recomendaría detallar un poco el proceso, por si es posible optimizarlo.

[berkeleyPunk]

Iniciado por ocp001a

...En mi hosting, donde requiero hacer procesos realmente largos de importación de datos, lo tenemos a 30 minutos.

Ah! 30 minutos! ¿Cuál es tu hosting y qué plan tienes?

Iniciado por ocp001a

...Sin embargo, ya que imagino no te permiten aumentar el tiempo de ejecución, te recomendaría detallar un poco el proceso, por si es posible optimizarlo.

1) En efecto, no me permiten aumenarlo, ya que es un servidor compartido.
2) Ok, va una idea general

Tiendanube = TN
PipeDrive = PD.

Tiendanube es una plataforma de comercio electrónico y Pipedrive es un CRM. Ambos tienen API's.
La idea general es pasar a PD toda la información de los clientes TN, y mantener actualizada la información: si un cliente nuevo se registra, se crea un registro en PD; si un cliente logueado en TN hace un comentario en la forma de contacto, ese comentario va a parar al registro PD de ese cliente. Con las compras es lo mismo..., con todo, prácticamente.

3) Ahora, qué hace el script:

1. Cada vez que se ejecuta el script, éste se conecta a las API's de dichas plataformas, saca la info y genera varios arrays: uno para los clientes de TN, otro para las compras de TN, y lo mismo respecto de PD.
2. Una vez que tengo todos los arrays que necesito, itero sobre el de clientes TN y a cada paso voy contrastando si la misma info está en los arrays con la info de PD. Dependiendo el caso, el script actualiza y/o crea esa info en PD.

4) Lo único que se me ocurre para optimizar todo.

1. Lo que se me ocurre es dividir el script en varios scripts independientes, que se ejecuten con completa independencia unos de otros. De tal modo que el mismo script no genere todos los arrays de una vez, ya que se tarda mucho.
2. Cada uno de esos archivos independientes creará un archivo jSON con la info de los arrays que comentaba antes.
3. Así, contrastar la info entre TN y PD, no se realizará en la misma ejecución de un solo script, sino en otro tiempo, ya que será otro script que lo haga. De esta forma, el script que contraste la info no tendrá necesidad de conectarse a las API's y perder tiempo en recuperar la info de TN y PD, ya que la info ya estará disponible en los archivos jSON.

Saludos

[ocp001a]

Bueno, en tal caso sería conveniente ver si dispones de campos de fecha de última modificación, de esta manera, podrías filtrar la consulta con una fecha dada (por ejemplo los últimos 3 días) y disminuir la cantidad de registros a insertar o modificar.

Por otra parte, en vez de comparar arreglos, sería bueno que pudieras crear consultas tipo insert into... on duplicate key update..., de esta manera no le cargas a php todo el trabajo, si no a la base de datos.

Claro que lo más adecuado sería ver si es posible que al insertarse o modificarse un registro en TN puedas hacer una llamada a la api del PD, esto sería lo ideal pues consumiría menos recursos y la sincronización sería inmediata.

[berkeleyPunk]

Perdón por responder tan tarde!

Iniciado por ocp001a

Bueno, en tal caso sería conveniente ver si dispones de campos de fecha de última modificación, de esta manera, podrías filtrar la consulta con una fecha dada (por ejemplo los últimos 3 días)

Tu comentario fue valioso, ya que antes de leerlo no me había fijado si las APIs en cuestión tenían opción para filtrar datos al hacer una petición GET. Resultó que una de las dos API's sí tenía esa opción.

Te comento, la 1ra etapa de este desarrollo ya terminó, pero tuvimos que adquirir un servidor dedicado, ya que ningún compartido nos servía. Tengo un par de procesos que duran casi una hora. Y sólo pudieron completarse hasta que adquirimos este servidor dedicado.

Gracias por tu apoyo!