Recorrer arreglos es muy lento

[Myl]

Hola

Dentro de una tabla (TABLA A), hay un campo donde se pueden ingresar números, estos son separamos por comas o por guiones en el caso que sean rangos (45,46,47 o 45-50). Hice un script que borra todos los registros, toma estos campos y los abre para luego insertarlos en filas separadas (TABLA B):
Ejemplo:
Rango: 45,46,47,48
Crea 4 Insert dentro de otra tabla (TABLA B), esto es para tener un mejor manejo de la información.

El script funciona perfectamente. El problema es que corre cada una hora y inserta mas de 130.000 registros, lo que a la larga colapsa el servidor.
Lo que se me ocurrió para optimizar este proceso, es pasar toda la carga a PHP y hacer un select desde la tabla con los campos del tipo (45,46,47… TABLA A) Y luego hacer otro select con los datos que tiene la tabla con los nuevos registros (TABLA B) y al momento de hacer el insert, primero ir a preguntar al en los datos de la TABLA B si existe el registro o no:

Código PHP:

  $arregloTablaA //Datos desde la tabla A 
$arregloTablaB // Mas de 130.000 registros 
 
foreach($arregloTablaA  as $indice => $valor){ 
    //Toda la lógica para abrir los registros que omitiré pues no aporta mucho 
    If(¡BuscarDatosEnArregloTablaB($arregloTablaB,$valor[‘dato’]){ 
        //HagoInsert 
    } 
} 
 
function BuscarDatosEnArregloTablaB($arregloTablaB,$dato){ 
    $boolExiste = false; 
    foreach($arregloTablaB as $indice => $valor){ 
        if($dato == $valor['x']){ 
            $boolExiste = true; 
            break; 
        } 
    } 
 
    if($boolExiste){ 
        return true; 
    } else { 
        return false; 
    } 
}  
   

El problema es que cada vez que recorra el arregloA, recorrerá más de 130.000 veces los datos del arregloB lo que a la larga hace que el proceso sea muy lento. Si bien la carga a la base de datos baja, el proceso es lento y usa mucha memoria.

Agradecería me puedan ayudar a como optimizar este proceso.

De antemano gracias.

[quimfv]

Para arrays unidimensionales http://php.net/manual/es/function.in-array.php

Para multidimensionales

Código PHP:

function in_multiarray($elem, $array,$field)
{
    $top = sizeof($array) - 1;
    $bottom = 0;
    while($bottom <= $top)
    {
        if($array[$bottom][$field] == $elem)
            return true;
        else 
            if(is_array($array[$bottom][$field]))
                if(in_multiarray($elem, ($array[$bottom][$field])))
                    return true;
 
        $bottom++;
    }        
    return false;
}
 

Igual va mas rápido, pero esos 130.000 registros no los tienes en una tabla de una base de datos, si es el caso porque no usas el servidor de bases de datos para hacer esa comprobación he inserción.....

Creo que ganarias aun que tengas que crear una tabla temporal....

[Myl]

Hola

Gracías por tu respuesta.

La idea es quitarle la carga a la Base de Datos (por eso mismo descarté opcion de usar INSERT IGNORE),y he optado por hacer todo el manejo de información desde el codigo.

He probado con in_array (Que basicamente es lo mismo que he hecho) y el resultado es el mismo. No se me ocurre una manera mas optima de manejar tal cantidad de información.

Saludos,

[gnzsoloyo]

La idea es quitarle la carga a la Base de Datos (por eso mismo descarté opcion de usar INSERT IGNORE),y he optado por hacer todo el manejo de información desde el codigo.

He probado con in_array (Que basicamente es lo mismo que he hecho) y el resultado es el mismo. No se me ocurre una manera mas optima de manejar tal cantidad de información.

Quitarle a la base una tarea para la cual está específicamente optimizada, no me aprece una decisión correcta.
Precisamente los DBMS están diseñados para realizar tareas con cantidades masivas de datos, en cambio los recursos de las aplicaciones no.
Sería mucho más eficiente hacerlo en la base, pero bueno, es tu decisión.

[Myl]

Hola

Desafortunadamente no es mi desición, como dije. Hacer 130.000 INSERT cada 1 hora es demasiado para el servidor que utilizo.

Gracias por tu respuesta.

Saludos,

[Libras]

Iniciado por Myl

Hola

Desafortunadamente no es mi desición, como dije. Hacer 130.000 INSERT cada 1 hora es demasiado para el servidor que utilizo.

Gracias por tu respuesta.

Saludos,

Como bien te dijeron las bases de datos estan optimizadas para ese tipo de trabajo y 130000 inserciones por hora no es nada para una base de datos.......pero de que base de datos estamos hablando????