Optimizar consulta phpexcel para importar archivo

JorgeQuirino · #1 (**permalink**) 11/03/2014, 08:54

Tengo este codigo con phpexcel, el cual inserta los datos de un archivo excel, el problema es que se demora mucho en insertarlos, son aprox 10.000 registros, cual puede ser la forma en optimizarlo un poco. Saludos y gracias

Código MySQL:

Ver original<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>:: Importar de Excel a la Base de Datos ::</title>
</head>
 
<body>
<!-- FORMULARIO PARA SOICITAR LA CARGA DEL EXCEL -->
Selecciona el archivo Listcon:
<form name="importa" method="post" action="<?php echo$_SERVER['PHP_SELF'];?>" enctype="multipart/form-data" >
<input type="file" name="excel" />
<input type='submit' name='enviar'  value="Importar"  />
<input type="hidden" value="upload" name="action" />
</form>
<!-- CARGA LA MISMA PAGINA MANDANDO LA VARIABLE upload -->
 
<?php
$action='';
extract($_POST);
if ($action == 'upload') //si action tiene como valor UPLOAD haga algo (el value de este hidden es es UPLOAD iniciado desde el value
{
//cargamos el archivo al servidor con el mismo nombre(solo le agregue el sufijo bak_)
$archivo = $_FILES['excel']['name']; //captura el nombre del archivo
$tipo = $_FILES['excel']['type']; //captura el tipo de archivo (2003 o 2007)
 
$destino = "bak_".$archivo; //lugar donde se copiara el archivo
 
if (copy($_FILES['excel']['tmp_name'],$destino)) //si dese copiar la variable excel (archivo).nombreTemporal a destino (bak_.archivo) (si se ha dejado copiar)
{
echo "Archivo Cargado Con Exito";
}
else
{
echo "Error Al Cargar el Archivo";
}
 
//validacion para saber si el archivo ya existe previamente
if (file_exists ("bak_".$archivo)) 
{
/*INVOCACION DE CLASES Y CONEXION A BASE DE DATOS*/
/** Invocacion de Clases necesarias */
 
require_once 'Classes/PHPExcel.php';
require_once 'Classes/PHPExcel/Reader/Excel2007.php';
//DATOS DE CONEXION A LA BASE DE DATOS
$cn = mysql_connect ("localhost","root","") or die ("ERROR EN LA CONEXION");
$db = mysql_select_db ("perfilados",$cn) or die ("ERROR AL CONECTAR A LA BD");
 
// Cargando la hoja de calculo
$objReader = new PHPExcel_Reader_Excel2007(); //instancio un objeto como PHPExcelReader(objeto de captura de datos de excel)
$objPHPExcel = $objReader->load("bak_".$archivo); //carga en objphpExcel por medio de objReader,el nombre del archivo
$objFecha = new PHPExcel_Shared_Date();
 
// Asignar hoja de excel activa
$objPHPExcel->setActiveSheetIndex(0); //objPHPExcel tomara la posicion de hoja (en esta caso 0 o 1) con el setActiveSheetIndex(numeroHoja)
 
// Llenamos un arreglo con los datos del archivo xlsx
$i=1; //celda inicial en la cual empezara a realizar el barrido de la grilla de excel
$param=0;
$contador=0;
while($param==0) //mientras el parametro siga en 0 (iniciado antes) que quiere decir que no ha encontrado un NULL entonces siga metiendo datos
{
 
$USUARIOS=$objPHPExcel->getActiveSheet()->getCell('A'.$i)->getCalculatedValue();
$GRUPO=$objPHPExcel->getActiveSheet()->getCell('B'.$i)->getCalculatedValue();
 
$c=("insert into listcon values('$USUARIOS','$GRUPO')");
mysql_query($c);
 
if($objPHPExcel->getActiveSheet()->getCell('A'.$i)->getCalculatedValue()==NULL) 
//pregunto que si ha encontrado un valor null en una columna inicie un parametro en 1 que indicaria el fin del ciclo while
{
$param=1; //para detener el ciclo cuando haya encontrado un valor NULL
}
$i++;
$contador=$contador+1;
}
$totalIngresados=$contador-1; //(porque se se para con un NULL y le esta registrando como que tambien un dato)
echo "Total elementos subidos: $totalIngresados ";
}
else//si no se ha cargado el bak
{
echo "Necesitas primero importar el archivo";}
unlink($destino); //desenlazar a destino el lugar donde salen los datos(archivo)
}
 
?>
<a  href= "cargaArchivos.html" > Volver</a>
</body>
</html>

enlinea777 · #2 (**permalink**) 11/03/2014, 08:57

en la linea 66
$c=("insert into listcon values('$USUARIOS','$GRUPO')");
haces un insert por cada linea.
mejor acumula los datos y cada 1000 registros o la cantidad que quieras y haces un insert multiple, eso te ayudaria mucho

JorgeQuirino · #3 (**permalink**) 11/03/2014, 09:23

no tienes algun ejemplo de como podria ser mas menos. Saludos y gracias

enlinea777 · #4 (**permalink**) 11/03/2014, 10:15

Cita:

Iniciado por JorgeQuirino

no tienes algun ejemplo de como podria ser mas menos. Saludos y gracias

no eso queda en el ingenio de cada persona
te doy una pista

Código PHP:

  $f=1000; //para insertmultiple
while($param==0) //mientras el parametro siga en 0 (iniciado antes) que quiere decir que no ha encontrado un NULL entonces siga metiendo datos
{

$USUARIOS=$objPHPExcel->getActiveSheet()->getCell('A'.$i)->getCalculatedValue();
$GRUPO=$objPHPExcel->getActiveSheet()->getCell('B'.$i)->getCalculatedValue();
 
$valores.="('$USUARIOS','$GRUPO'),";
if($i==$f){
$valores=substr($valores,0,-1);
$c="insert into listcon values ".$valores;
mysql_query($c);
$f+=1000;
}

 
if($objPHPExcel->getActiveSheet()->getCell('A'.$i)->getCalculatedValue()==NULL)
//pregunto que si ha encontrado un valor null en una columna inicie un parametro en 1 que indicaria el fin del ciclo while
{
$param=1; //para detener el ciclo cuando haya encontrado un valor NULL
}
$i++;
$contador=$contador+1;
}

JorgeQuirino · #5 (**permalink**) 11/03/2014, 10:31

Me funciono de lujo. La consulta es cuando la cantidad de datos cambia. como puedo hacerlo para no cambiarle los parametros

enlinea777 · #6 (**permalink**) 11/03/2014, 10:44

Cita:

Iniciado por JorgeQuirino

Me funciono de lujo. La consulta es cuando la cantidad de datos cambia. como puedo hacerlo para no cambiarle los parametros

no entendi que quieres decir con eso?

JorgeQuirino · #7 (**permalink**) 11/03/2014, 12:50

que por ejemplo ahora el archivo tiene 12.000 registros pero la prox ves puede tener mas o menos.

JorgeQuirino · #8 (**permalink**) 11/03/2014, 13:19

Código PHP:

Ver original$f=1000; //para insertmultiple
 
 
 
$f+=1000;
}

me puedes explicar esas 2 lineas. Saludos Gracias!!!

enlinea777 · #9 (**permalink**) 11/03/2014, 14:03

Pues asi

Código PHP:

  <?PHP

// AGREGO UNA FUNCION PUES YA SON MAS DE 2 VECES QUE SE REPITE EL CODIGO
function insert($valores){
    mysql_query("insert into listcon values ".$valores);
}

$f=1000; //para insertmultiple
while($param==0) //mientras el parametro siga en 0 (iniciado antes) que quiere decir que no ha encontrado un NULL entonces siga metiendo datos
{

$USUARIOS=$objPHPExcel->getActiveSheet()->getCell('A'.$i)->getCalculatedValue();
$GRUPO=$objPHPExcel->getActiveSheet()->getCell('B'.$i)->getCalculatedValue();
 
$valores.="('$USUARIOS','$GRUPO'),";
if($i==$f){
$valores=substr($valores,0,-1);
insert($valores) //INSERTAMOS
$f+=1000;
}

if($objPHPExcel->getActiveSheet()->getCell('A'.$i)->getCalculatedValue()==NULL)
//pregunto que si ha encontrado un valor null en una columna inicie un parametro en 1 que indicaria el fin del ciclo while
{
$param=1; //para detener el ciclo cuando haya encontrado un valor NULL
}
$i++;
$contador=$contador+1;
} 

// verificas cuando sales del while que no quede ningun resto in cargar
if($i<$f && $i>($f-1000)){
$valores=substr($valores,0,-1);
insert($valores) //INSERTAMOS
}else{
    if($i<1000){ // SI NO SUPERA LOS 1000 REGISTROS CARGA LOS QUE ALLA
    $valores=substr($valores,0,-1);
    insert($valores) //INSERTAMOS
    }
}
//-----------------------------------------------------------------------/ 
?>

enlinea777 · #10 (**permalink**) 11/03/2014, 14:18

Cita:

Iniciado por JorgeQuirino

Código PHP:

Ver original$f=1000; //para insertmultiple
 
 
 
$f+=1000;
}

me puedes explicar esas 2 lineas. Saludos Gracias!!!

$f=1000;
es la base Para comparar con $i, cuando $i sea igual a $f se ingresan 1000 registros y pasa por
$f+=1000;
es igual que $f=$f+1000;osea 2000

me falto limpiar el valor $valores despues de cada insert aqui el codigo:

Código PHP:

  <?PHP 
 
// AGREGO UNA FUNCION PUES YA SON MAS DE 2 VECES QUE SE REPITE EL CODIGO 
function insert($valores){ 
    mysql_query("insert into listcon values ".$valores); 
} 
 
$f=1000; //para insertmultiple 
while($param==0) //mientras el parametro siga en 0 (iniciado antes) que quiere decir que no ha encontrado un NULL entonces siga metiendo datos 
{ 
 
$USUARIOS=$objPHPExcel->getActiveSheet()->getCell('A'.$i)->getCalculatedValue(); 
$GRUPO=$objPHPExcel->getActiveSheet()->getCell('B'.$i)->getCalculatedValue(); 
  
$valores.="('$USUARIOS','$GRUPO'),"; 
if($i==$f){ 
$valores=substr($valores,0,-1); 
insert($valores) //INSERTAMOS 
$f+=1000; 
$valores=""; //Limpia la variable para los proximos 1000 registros 
} 
 
if($objPHPExcel->getActiveSheet()->getCell('A'.$i)->getCalculatedValue()==NULL) 
//pregunto que si ha encontrado un valor null en una columna inicie un parametro en 1 que indicaria el fin del ciclo while 
{ 
$param=1; //para detener el ciclo cuando haya encontrado un valor NULL 
} 
$i++; 
$contador=$contador+1; 
}  
 
// verificas cuando sales del while que no quede ningun resto in cargar 
if($i<$f && $i>($f-1000)){ 
$valores=substr($valores,0,-1); 
insert($valores) //INSERTAMOS 
}else{ 
    if($i<1000){ // SI NO SUPERA LOS 1000 REGISTROS CARGA LOS QUE ALLA 
    $valores=substr($valores,0,-1); 
    insert($valores) //INSERTAMOS 
    } 
} 
//-----------------------------------------------------------------------/  
?>