Dividir un csv para importacion a DB

[AdRii]

Hola a todos, tengo una web en la que puedo subir un archivo csv con usuarios para impotar a una tabla de la BBDD.

De momento tengo hecho que el código php importa el fichero fila a fila, pero me gustaría saber si existen algunas funciones para poder dividir el fichero en dos por ejemplo, y hacer la importación en paralelo de las dos partes, o primero una y después otra, ya que cuando el fichero es demasiado grande al trabajarlo en un bucle se hace un stackoverflow.

Gracias

[zalito12]

Si en paralelo te refieres a asíncronamente, se puede pero yo no te puedo dar mucha info al respecto, aunque hay documentacion por ahí, php asincrono, cronjob, etc.

[AdRii]

Lo de paralelo si es mas bien asincrono, aunque según el fallo de mi sistema sería mas bien hacerlo de forma secuencial, pero en dos partes, por ejemplo un csv con 100 clientes, dividir en dos, hacer primero 50 registros y despues otros 50

[quinqui]

Holas, zalito12.

Lo que dice AdRii es lo mejor, podrías crear un CSV para cada lote: abres el CSV original, lo vas leyendo y cada cierta cantidad de filas, escribes un archivo CSV nuevo, al tiempo que puedes ir sobreescribiendo el archivo original, restando lo ya salvado en los mini-archivos (algo como un vaciado de un vaso a otros).

Luego, haces que tu script que inserta en base de datos, lea el primer mini CSV, lo procese, y cuando termine, le indicas con cuál debe seguir, recargas el script, y partes dónde quedaste; y así, hasta que se terminen los mini CSV. Una vez ocurra esto, eliminas todos los mini CSV de tu servidor.

Es una idea. Saludos.

[AdRii]

Si exactamente!! Eso era la lógica que estaba buscando! Muchas gracias quinqui!! Voy a probar a ver si da resultados, y vuelvo a postear.

[luis010182]

podes usar http://php.net/manual/es/function.exec.php
Ejecuta un comando linux que se llama split por ejemplo
split -l 500 prueba.txt nuevo
http://rm-rf.es/como-dividir-archivo...nix-con-split/

despues recorres los archivos generados preguntado si existe el archivo si no existe terminas el bucle.
O creas los archivos en un directorio aparte y usas alguna de las funciones de archivos de php para ejecutar tu script con todos los archivos generados.

Suerte y espero que te sirva