Insertar si no existe en la tabla

[neodani]

Buenas,

Hasta ahora he estado realizando cargas masivas con INSERTS múltiples, pero resulta que esto está bien cuando llamas al script por primera vez y haces la carga masiva. Pero si resulta que tienes que hacer esta llamada en varias ocasiones a lo largo de día, puede ser que la mitad de los datos no hayan cambiado y ya estén en la base de datos.

En ese caso, no deberías insertar nada.
El procedimiento que uso es, creo un bucle que recorre un array con 100.000 registros, entonces para cada valor del array compruebo si existe en la tabla de la base de datos

Código SQL:

SELECT COUNT(pronostico_id) FROM pronosticos WHERE pronostico_id=$pronostico_id"
 

Si no existe guardo ese dato en un array insertMultiples, para luego al final del script hacer el insert múltiple.

Mi pregunta es, ¿veis alguna alguna forma de acelerar el proceso? porque comparar 100.000 valores del array para ver si existe o no, y luego hacer el insert múltiple, no sé si es la mejor opción, o existe un select múltiple?? xD

Es lo que hay? un stored P, ayudaría en rendimiento?

Muchas gracias de antemano!

[gnzsoloyo]

Yo trataría que la tabla donde se insertan los datos tuviese como PK uno de los datos a insertar o grupo de ellos), y no fuese un autoincremental. De ese modo simplemente podrías usar un INSERT IGNORE...

[neodani]

Iniciado por gnzsoloyo

Yo trataría que la tabla donde se insertan los datos tuviese como PK uno de los datos a insertar o grupo de ellos), y no fuese un autoincremental. De ese modo simplemente podrías usar un INSERT IGNORE...

No acabo de entender tu explicación, te pongo otro ejemplo

Consulta para verificar si existe SELECT

Código SQL:

SELECT competicion_id FROM partidos WHERE competicion_id=$competicion_id AND evento_id=$evento_id AND fecha_id=$fecha_id
 

competicion_id en la tabla partidos es una clave foránea que se relaciona con la tabla competiciones.

Luego en caso que no exista ese registro tengo wl INSERT

Código SQL:

INSERT INTO partidos (competicion_id,evento_id,fecha_id) VALUES ($competicion_id,$evento_id,$fecha_id)
 

En la tabla partidos el único campo que es PK es el partido_id, que es autoincremental y que no inserto explicitamente en la consulta anterior como puedes ver...

Exactamente que propones que sería lo óptimo?

Muchas gracias de antemano

[gnzsoloyo]

Si los valores de competicion_id y evento_id ya vienen definidos en la feunte de datos, y son la PK de la tabla destino, sólo necesitas esto:

Código MySQL:

INSERT IGNORE INTO partidos (competicion_id,evento_id,fecha_id) 
VALUES ($competicion_id,$evento_id,$fecha_id)
 

El ignore hace que si la PK se duplica, entonces ignora la inserción y no devuelve mensaje de error, pasando al siguuiente.
Pero sólo te servirá si y sólo si la PK de la tabla destino está completamente incluida en el conjunto a insertar.

Por otro lado, sino no es así, yo plantearía como solución el uso de una tabla temporal y procesaría la validación directamente en un stored procedure.

[neodani]

Iniciado por gnzsoloyo

Pero sólo te servirá si y sólo si la PK de la tabla destino está completamente incluida en el conjunto a insertar.

En el conjunto a insertar... te refieres aquí VALUES ($competicion_id,$evento_id,$fecha_id) ?

Y debería aparecer dentro de este insert la clave primaria PK de la tabla destino, (donde se hace el insert), este caso la tabla partidos? estamos hablando de que debe aparecer partido_id clave PK autonumérica, como valor en el insert...

Sí es así, el partido_id no se lo paso al insert, más que nada pq al ser autoincremental no tengo forma de saber el valor que toca...

¿Serias tan amable de decirme como harías el SP?

Iniciado por gnzsoloyo

Por otro lado, sino no es así, yo plantearía como solución el uso de una tabla temporal y procesaría la validación directamente en un stored procedure.

Muchas gracias de antemano

[neodani]

He estado estudiando la posibilidad de convertir alguno de los campos en PK y existiría una, pero le veo un inconveniente, a ver que os parece...

Este campo PK actualmente tendría un valor de 26 millones, y no se repetiría,pero la "desventaja" es esa, que empezaría en el campo 26.000.000 millones, de ahí hacia delante... 26.000.001, 26.000.002. Y no sé hasta que punto es optimo tener una PK con esos valores tan altos.

¿Podéis darme vuestra opinión?

Muchas gracias!