Ver Mensaje Individual
  #1 (permalink)  
Antiguo 07/02/2018, 08:57
Avatar de berkeleyPunk
berkeleyPunk
 
Fecha de Ingreso: febrero-2013
Ubicación: México :C
Mensajes: 565
Antigüedad: 11 años, 2 meses
Puntos: 22
Pregunta La mejor forma de trabajar con grandes cantidades de información

Hola, voy al grano.

Estoy trabajando en un script PHP que tiene que conectarse a un par de plataformas (TiendaNube y PipeDrive) y de ellas recopilar información. El script funciona perfectamente en un ambiente de prueba donde apenas hay unos cuantos registros de información. Pero cuando paso a producción (donde hay miles de registros), el navegador muestra un 504 Gateway Timeout.

Tengo a Siteground como hosting, y el phpinfo() me dice que el max_execution_time está ajustado al máximo posible: 120 segundos.

Al script, dos minutos no le bastan para terminar de ejecutarse. Una gran parte del trabajo es armar arrays. Se me ocurrió guardar esos arrays como jSON en archivos .json y así trabajar sobre esos archivos, y no obligar al script a que cada vez que se ejecute tenga que armarlos nuevamente.

La cosa es que de momento, uno de esos .json pesa 4M (y con el tiempo irá aumentando). La verdad no sé si eso es mucho o no, y si es la mejor forma de tratar con gran cantidad de información.

Cualquier comentario que hagan, sin duda, me servirá. Y si necesitan que abunde, lo hago. Adelante.

Gracias.