Actualiza miles de registros al mismo tiempo

[yoelkj]

Hola,

hoy me eh topado con un problema donde me piden:

1.- Generar una tabla combinando datos de otras tablas
eso me da por resultado miles de registros

hago los select de las tablas luego hago un foreach para ir guardando los datos en la nueva tabla.

eso me obliga a cambiar en el php.ini los valores de max_execution_time y memory_limit a mas de 20 minutos

como podría lidiar con eso.

recurro a su experiencia. ya que carezco de experiencia del trabajo en grandes proyectos

Gracias de antemano.

[Panga]

Buenas,
Si podrias ponernos el codigo, para ver como lo tenes, asi vamos viendo en que te podemos ayudar.

[yoelkj]

Iniciado por Panga

Buenas,
Si podrias ponernos el codigo, para ver como lo tenes, asi vamos viendo en que te podemos ayudar.

Estoy con symfony

Código PHP:

public function executeGenerate($id=null){
        
        //lista productos
        $P = Doctrine_Query::create()->select('p.id, p.referencia')->from('Productos p');
        $productos = $P->fetchArray();
        
        //lista tallas
        $T = Doctrine_Query::create()->select('t.id, t.nombre')->from('Tallas t');
        $tallas = $T->fetchArray();
        
        //lista colores
        $C = Doctrine_Query::create()->select('c.id, c.referencia')->from('Colores c');
        $colores = $C->fetchArray();
        
        $listJoin=array();
        
        ini_set("memory_limit","200M");
        set_time_limit(1200);
        
        $i=1;
        $noChar = array(" ", "/", "-");
        foreach($productos as $producto){
            foreach($colores as $color){
                foreach($tallas as $talla){
                    $combina = new Combinaciones();
                    //$listJoin[] = $producto['referencia'].$color['referencia'].$talla['nombre'];
                    $combina->fromArray(array(
                      'activo'          => true,
                      'nombre'          => str_replace($noChar, "", $producto['referencia'].$color['referencia'].$talla['nombre']),
                      'productos_id'    => $producto['id'],
                      'tallas_id'       => $talla['id'],
                      'colores_id'      => $color['id'],
                    )); 
                    $combina->save();
                }
            }
        }
        //$this->listJoin = $listJoin;
        $this->redirect('combinaciones/index'); 
}
 

Este es mi actual código pero demora mucho tiempo en ejecutarse.

gracias por responder

[iovan]

se ejecuta o no? Me refiero si te funciona o no lo hace y cual es el error.

Recientemente hice un programa que hacia una consulta en un website, recogia los datos con curl y los almacenaba en la database. Puse los limits a 144 horas, ( calculé que el script tardaría poco menos que eso en acabar y así fue.)

Si es verdad que tardó casí una semana pero funcionó y es lo que importa.

En mi caso son casi 20 millones de registros, en el tuyo solo miles y además no estás enviando una consulta a una página web dinámica, esperando que ésta devuelva una respuesta y extrayendo los datos del código fuente. Por lo que en tu caso imagino que tardará minutos en finalizar.

Si te gustaría trabajar más rápido para futuros proyectos, utiliza bases de datos que trabajen en binario como SQLITE. muy rápido, nada legible y más difícil de administrar que MySQL o postgresql.

Saludos.

::::::::::::::EDITO:::::::::::::::

Tal vez haya algunas recomendaciones que te puedo dar.

* Crear un archivo de texto donde tu programa escriba logs (que indiquen el estado de los querys ejecutados exitosamente y los que no). Te ayudará saber que datos no fueron insertados en la DB.

* Eso de utilizar la memoria del servidor para guardar todos los miles de registros de una tabla y convinarlos con otros miles de registros de otra para despues recorrer estos arreglos y obtener los valores e insertarlos en otra tabla, no es lo más conveniente.

Lo que puedes hacer es obtener 1 a 1 , convinarlo e insertarlo, despues liberar la memoria, y volver a hacerlo con el siguiente valor. etc... sucesivamente.

Una función recursiva bien planteada te ahorrará tiempo y lineas de código.

[yoelkj]

Iniciado por iovan

se ejecuta o no? Me refiero si te funciona o no lo hace y cual es el error.

Recientemente hice un programa que hacia una consulta en un website, recogia los datos con curl y los almacenaba en la database. Puse los limits a 144 horas, ( calculé que el script tardaría poco menos que eso en acabar y así fue.)

Si es verdad que tardó casí una semana pero funcionó y es lo que importa.

En mi caso son casi 20 millones de registros, en el tuyo solo miles y además no estás enviando una consulta a una página web dinámica, esperando que ésta devuelva una respuesta y extrayendo los datos del código fuente. Por lo que en tu caso imagino que tardará minutos en finalizar.

Si te gustaría trabajar más rápido para futuros proyectos, utiliza bases de datos que trabajen en binario como SQLITE. muy rápido, nada legible y más difícil de administrar que MySQL o postgresql.

Saludos.

::::::::::::::EDITO:::::::::::::::

Tal vez haya algunas recomendaciones que te puedo dar.

* Crear un archivo de texto donde tu programa escriba logs (que indiquen el estado de los querys ejecutados exitosamente y los que no). Te ayudará saber que datos no fueron insertados en la DB.

* Eso de utilizar la memoria del servidor para guardar todos los miles de registros de una tabla y convinarlos con otros miles de registros de otra para despues recorrer estos arreglos y obtener los valores e insertarlos en otra tabla, no es lo más conveniente.

Lo que puedes hacer es obtener 1 a 1 , convinarlo e insertarlo, despues liberar la memoria, y volver a hacerlo con el siguiente valor. etc... sucesivamente.

Una función recursiva bien planteada te ahorrará tiempo y lineas de código.

Hola gracias por responder.

me aclaras el panorama.

En realidad funciona el código, el problema es el tiempo de ejecución llega a durar un promedio de 1 hora por exagerar pero funciona.

me gusta mas la última solución la de insertar y liberar la memoria pero no se como hacerlo.

el Script termina generando un promedio de 50 000 registros

Agradezco mucho tu respuesta