[SOLUCIONADO] Carga de archivo TXT y Actualización

[Namiwis]

Hola amigos.

Tengo enfrente un problema, que no he podido optimizar, la cuestión es la siguiente.

Tengo una tabla con cerca de 9millones de registros, que debo actualizar diariamente, actualmente lo que hago es lo siguiente.

Mediante el archivo TXT y el BULK INSERT, realizo la carga de dichos archivos a la tabla, antes de hacer esa carga, vacio la tabla, para que los valores no de dupliquen, pero esa operación, entre vaciar la tabla y cargar los nuevos datos, el servidor se lleva cerca de 10 segundos, 10 segundos que mis usuarios no pueden realizar consultas.

La idea es, como realizar ese proceso, pero en ver de insertar, actualizar, lo que no deseo, es que mis usuarios no esten 10segundos sin poder realizar movimientos, ya que es una area que debe estar todo el tiempo activa y 10 segundos son 10 segundos.

Espero alguien me pueda dar alguna idea, algun aire jejeje

saludos.

[iislas]

Muy simple, sube tus datos a una tabla staging (de paso - fuera de producción), cuando los hayas subido, actualizas tu tabla en producción, tomando en cuenta que podrías, incluso, subir tu información a otra base que este en un estado de recuperación bulk-logged, para mayor rapidez.

Esta es una respuesta al aire, sin conocer tu infraestructura

[Namiwis]

Hola iislas

Gracias por tu ayuda, me queda mas claro el panorama, algo como esto?

Tendria que crear una tabla que sirva como tempora, cargar el txt directo primero ahi, y luego actualizar la tabla final.

Código SQL:

UPDATE MiTabla SET MiCampo=B.MiValor 
FROM MITABLA A INNER JOIN TEMPORAL B ON A.MiLlave=B.MisValores
 

Por ejemplo.

Saludos.

[Libras]

asi mero es como debe de ser jejejejeje

[Namiwis]

Gracias a ambos.

Saludos

[iislas]

Incluso, podría ser en una base tipo "staging", que solo este en BULK_LOGGED (registro masivo), el subir información en una base con ese tipo de recuperación, seria muy rápido !!

[Namiwis]

Hola chicos

Acudo de nuevo a ustedes con una duda, del mismo tema.

Pasa que se me olvido exponer un detalle, y es que en el ejemplo anterior.

Ya logre hacer las actualizaciones, pero que pasa con los registros nuevos, del nuevo TXT? estoy notando que por obvias razones, la sentencia expuesta anterior, solo considera actualizar los registros existentes, pero como le haria, para aparte de actualizar, insertar los nuevos registros, solo los nuevos registros.

Ejemplo, ayer el archivo TXT tenia cerca de 9437135 registros, y hoy ya tiene 9444657, como podria hacer, para aparte de actualizar los registros anteriores, insertar los nuevos? espero a verme explicado, y disculpen tanta lata :(

Saludos.

[iislas]

Te explicas, la duda que yo tengo, si en siempre te mandan los nuevos, los actualizable ACUMULADOS, ¿no son registros nuevos o siempre vienen los mismos registros?

[Libras]

si tienes sql server 2008 o posterior puedes hacer un merge, de lo contrario tendrias que hacer el proceso de insertar lo nuevo actualizar lo viejo y esto como es, pues haces un query comparando staging contra produccion todo lo que haga match se considera viejo y lo actualizas, lo que no haga match es nuevo y se inserta, asi de facil :)

[Namiwis]

@iislas = Es un unico archivo que el sistema de finanzas genera al finalizar el dia, este archivo contiene todos los datos, actualizados, y nuevos, osea nunca se borra nada, solo se queda igual, o se actualiza o se agrega.

@libras = Pense en merge, pero merge requiere de un id, para comparar, o asi lo entiendo yo. Pense en agregar el id, cosa de menos, pero ahi es donde me truena el Bulk insert, por que no he logrado hacer que respete el identy de la tabla, me piden un archivo de formato, que sinceramente no se hacer o como se crea.

La estructura es muy simple, de la tabla para que me de a entender mejor.

NoPedido
FechaPedido
FechaExpedición
NombreCliente
Status
Sucursal

Disculpen por estas dudas quizas tan basicas :(

Saludos

[Libras]

y con el no de pedido no lo puedes hacer??? estas usando identity en las 2 tablas en la de staging y en la de produccion??? Archivo de formato?? esos son un simple archivo txt que nada mas dice que tipo de dato es el que vas a manejar en el bulk insert....

[Namiwis]

Si, tienes razon , es que paniquie, jejeje una ultima consulta.

Ya ejecute el merge y si se lanzo correctamente.

Ahora tengo un inconveniente, el cual es este.

Mens. 8672, Nivel 16, Estado 1, Línea 1
La instrucción MERGE intentó UPDATE o DELETE en la misma fila más de una vez. Esto sucede cuando una fila de destino coincide con más de una fila de origen. Una instrucción MERGE no puede UPDATE/DELETE la misma fila de la tabla de destino varias veces. Refine la cláusula ON para asegurarse de que la fila de destino coincide sólo con una fila de origen, o utilice la cláusula GROUP BY para agrupar las filas de origen.


Y es que un NoPedido puede estar varias veces declarado...

Saludos.

[iislas]

Un numero de pedido, si, pero un numero de pedido + sucursal, debe ser UNICO

[Namiwis]

No, puede ser asi.

89563|2013-12-19T19:59:21|2017-12-19T19:59:21|Kimberly Wesley|A|Norte
miles de registros luego
89563|2013-12-19T19:59:21|2017-12-19T19:59:21|Kimberly Wesley|C|Norte

Notese el A y C de estado, osea de Activo o Cancelado.

Saludos.

[Libras]

entonces tu llave primaria es una llave compuesta, no nada mas un campo, lo que podrias hacer es un merge a la "old school" que es esto, hacer tus queries para identificar los registros nuevos y despues insertar estos, y asi mismo hacer tus queries para identificar los registros viejos y actualizarlos es algo como

Código SQL:

INSERT INTO production
SELECT * FROM staging AS t1
LEFT JOIN production AS t2 ON (t1.id=t2.id)
WHERE t2.id IS NULL
 
UPDATE production
SET old_value=new_value
FROM
(
SELECT * FROM staging AS t1
LEFT JOIN production AS t2 ON (t1.id=t2.id)
WHERE t2.id IS NOT NULL
) AS t1 WHERE t1.id=production.id
 

saludos!

[iislas]

Exacto !!!

[Namiwis]

Chicos no he podido :(, alguna otra opción?, ejemplo, al archivo TXT origen, agregar un indice..
0
1
2
3
... etc

De esta manera tener un campo unico para cada registro y poder correr el query que si sirvio, pero que daba error por que habia mas de un campo igual.

Saludos.

[Libras]

no has probado sin usar merge vdd?? te di una solucion y no la has probado???

[Namiwis]

Si, pero no me ha salido, he investigado pero, es un error tras otro error

El nombre de columna o los valores especificados no corresponden a la definición de la tabla.

Deduje que era que no habia especificado los campos, los pongo.

La lista de selección para la instrucción INSERT contiene más elementos que la lista de inserción. El número de valores de SELECT debe coincidir con el de columnas de INSERT.


En tu ejemplo me manejas un id, pero mi tabla no tiene dicho id, por eso supuse pudiera ser un valor alterno, NoPedido por ejemplo.

Saludos, y disculpa tanta molestia.

[Libras]

te estas complicando demasiado en algo que esta sencillo, nada mas debes de analizar si realmente ocupas actualizar toda la informacion para el caso del update por ejemplo veo que tienes:

89563|2013-12-19T19:59:21|2017-12-19T19:59:21|Kimberly Wesley|A|Norte

89563|2013-12-19T19:59:21|2017-12-19T19:59:21|Kimberly Wesley|C|Norte

Los mismos datos donde lo que te podria interesar es el 89563 y Kimberly Wesley y nada mas actualizar el estatus cierto, ahora otra pregunta, cual es el status que quedaria despues de revisar los datos?? el primero o el segundo???

[Namiwis]

Es el punto mi estimado libras, que justo todaa la información menos el nopedido puede cambiar, osea puede quedar asi.

89563|2013-12-19T19:59:21|2017-12-19T19:59:21|Kimberly Wesley|A|Norte (Fue el registro original)

miles o cientos, de registros despues

89563|2013-12-25T07:45:12|2017-12-19T19:59:21|Kimberly Wesley|C|Norte (Pero ya cancelado)

Pero resulta, que el cliente lo penso, y siempre si quiere el pedido, y miles o cientos de registros despues.

89563|2013-12-28T16:36:78|2017-12-19T19:59:21|Kimberly Wesley|A|Norte

Saludos.

[Libras]

entonces sobre que te basas? supongo que sobre alguna fecha, podrias decir cual???

[Namiwis]

Te explico el panorama.

Existen 2 sistemas independientes, uno del otro, el primer sistema, es el de finanzas, en ese se llevan los registros de todos los movimientos realizados, al final del dia, genera un archivo txt con los datos correspondientes.

NoPedido|FechaPedido|FechaEntrega|Nombre|Estado|Su cursal

Ese txt viaja por FTP, y se deposita en un servidor, que al recibirlo, hace la carga del archivo, de momento como lo hace es vaciar la tabla y volver a carga la info.

Esto no es nada optimo, por que quizas en un futuro, ese archivo se actualize 2,3,4 veces en el dia, entonces, no sera posible hacer eso, vaciar y cargar.

------------------------------------------------------------------------------

A mi lo unico que me interesa es el NoPedido, lo demas no es importante, siguiendo el ejemplo que tu me diste, lo hize asi.

Código:

INSERT INTO tblListado
SELECT * FROM tblListadoTemp AS t1
LEFT JOIN tblListadoAS t2 ON (t1.NoPedido_Temp = t2.NoPedido)
WHERE t2.NoPedido IS NULL

UPDATE tblListado
SET NoPedido = t1.NoPedido
FROM
(
SELECT * FROM tblListadoTemp AS t1
LEFT JOIN tblListado AS t2 ON (t1.NoPedido_Temp = t2.NoPedido)
WHERE t2.NoPedido IS NOT NULL
) AS t1 WHERE t1.NoPedido = tblListado.NoPedido

Ese codigo me arroja ell siguiente error.

Mens. 213, Nivel 16, Estado 1, Línea 1
El nombre de columna o los valores especificados no corresponden a la definición de la tabla.

Lo raro es que si esta todo como debe de ser, en la parte del SET, ya intente agregando todos los campos, pero es el mismo resultado

[Libras]

como diria Jack el destripador, Vamos por partes :)....

Que parte del codigo truena??

Código SQL:

INSERT INTO tblListado
SELECT * FROM tblListadoTemp AS t1
LEFT JOIN tblListadoAS t2 ON (t1.NoPedido_Temp = t2.NoPedido)
WHERE t2.NoPedido IS NULL
 

o esto:

Código SQL:

UPDATE tblListado
SET NoPedido = t1.NoPedido
FROM
(
SELECT * FROM tblListadoTemp AS t1
LEFT JOIN tblListado AS t2 ON (t1.NoPedido_Temp = t2.NoPedido)
WHERE t2.NoPedido IS NOT NULL
) AS t1 WHERE t1.NoPedido = tblListado.NoPedido
 

te has dado cuenta de que los 2 queries que te mostre regresan la lista todas las columnas de las 2 tablas implicadas? quizas eso sea lo que esta causando el error que mencionas....

[Namiwis]

Gracias por todo el apoyo libras, mira

Si ejecuto esto.

Código SQL:

INSERT INTO tblListado
SELECT * FROM tblListadoTemp AS t1
LEFT JOIN tblListado AS t2 ON (t1.NoPedido_Temp = t2.NoPedido)
WHERE t2.NoPedido IS NULL
 

Me da este error, Mens. 213, Nivel 16, Estado 1, Línea 1
El nombre de columna o los valores especificados no corresponden a la definición de la tabla.


Si ejecuto solo esto.

Código SQL:

SELECT * FROM tblListadoTemp AS t1
LEFT JOIN tblListado AS t2 ON (t1.NoPedido_Temp = t2.NoPedido)
WHERE t2.NoPedido IS NULL
 

Si me arroja los registros justos que debo insertar, las tablas tienen el mismo contenido, no entiendo el por que no inserta con el error de arriba.

[Libras]

Iniciado por Namiwis

Gracias por todo el apoyo libras, mira

Si ejecuto esto.

Código:

INSERT INTO tblListado
SELECT * FROM tblListadoTemp AS t1
LEFT JOIN tblListado AS t2 ON (t1.NoPedido_Temp = t2.NoPedido)
WHERE t2.NoPedido IS NULL

Me da este error, Mens. 213, Nivel 16, Estado 1, Línea 1
El nombre de columna o los valores especificados no corresponden a la definición de la tabla.

Aqui el problema es el que te menciono, que tienes un select * en el left join con 2 tablas lo que te traes los campos de la 1er tabla + los de la segunda....prueba con esto:

Código SQL:

INSERT INTO tblListado
SELECT t1.* FROM tblListadoTemp AS t1
LEFT JOIN tblListado AS t2 ON (t1.NoPedido_Temp = t2.NoPedido)
WHERE t2.NoPedido IS NULL
 

[Namiwis]

Si exacto, justo lo probe despues de escribir lo de arriba, gracias, corrio el query bien, e hizo algunos insert y algunos updates.

Es de esperarse que el numero de registros de ambas tablas sea el mismo no? bueno no lo es, tocara averiguar el por que.

De momento muchas gracias libras

[Libras]

El nombre de columna o los valores especificados no corresponden a la definición de la tabla.

esto quiere decir que tienes una tabla con estos datos:

columna1 columna2 columna3

y quieres insertar columna1 columna2 columna3 columna4 columna5 por eso sale ese mensaje porque al hacer un left join juntas las columnas de las 2 tablas digamos tienes tabla 1 con campo1 campo2 campo3 y tabla 2 con campo1 campo2 entonces el select queda columna1,columna2,columna3,columna1,columna2, es por eso que dice que el destino es diferente al origen :) se entendio???