Foros del Web » Programación para mayores de 30 ;) » Bases de Datos General » Mysql »

[SOLUCIONADO] Volcado Masivo de Datos - csv a MySQL

Estas en el tema de Volcado Masivo de Datos - csv a MySQL en el foro de Mysql en Foros del Web. Hola, Me gustaría saber cuál es la forma más rápida de meter un aproximado de 300.000 usuarios que los tengo en un csv a la ...
  #1 (permalink)  
Antiguo 04/09/2015, 06:17
 
Fecha de Ingreso: septiembre-2013
Ubicación: Madrid
Mensajes: 59
Antigüedad: 10 años, 6 meses
Puntos: 6
Pregunta Volcado Masivo de Datos - csv a MySQL

Hola,

Me gustaría saber cuál es la forma más rápida de meter un aproximado de 300.000 usuarios que los tengo en un csv a la base de datos de MySQL de Wordpress.

El problema es que muchos de estos usuarios ya están en la base de datos y no quiero que se repitan, si no, que se actualicen...

He hecho un código con PHP y MySQL pero satura el servidor y además haciendo cuentas tarda 3 minutos por cada 5000 registros, es decir más de 3 horas.

¿Alguna idea?

Es un Cloud osea que se podría hacer directamente desde el servidor.

Gracias, un abrazo.

Última edición por chivacker; 04/09/2015 a las 06:27
  #2 (permalink)  
Antiguo 04/09/2015, 06:27
Avatar de gnzsoloyo
Moderador criollo
 
Fecha de Ingreso: noviembre-2007
Ubicación: Actualmente en Buenos Aires (el enemigo ancestral)
Mensajes: 23.324
Antigüedad: 16 años, 4 meses
Puntos: 2658
Respuesta: Volcado Masivo de Datos - csv a MySQL

1) Deberás usar LOAD DATA INFILE, para lo cual necesitas acceso al servidor y permisos de FILE en el usuario.
2) Siendo un UPDATE, lo mejor es insertar el contenido del CSV en una tabla transaccional temporal y luego realizar un JOIN entre esa tabla y la tabla destino.

Yo he realizado proceso sde ese tipo con millones de registros, para migrar datos de bases de más de 50 tablas, y el tiempo máximo de procesamiento fue de dos horas para el total de 70 millones de registros. Por supuesto, depende de muchos factores.
__________________
¿A quién le enseñan sus aciertos?, si yo aprendo de mis errores constantemente...
"El problema es la interfase silla-teclado." (Gillermo Luque)

Etiquetas: wordpress
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Tema Cerrado




La zona horaria es GMT -6. Ahora son las 12:06.