Problemas de tiempo al insertar con sqlite

[ico87]

Buenas

Tengo el siguiente problema, en mi aplicacion java tengo que hacer una insercción de unos 1000 elementos en una tabla que a penas tiene 5 campos (3 campos en la inserccion y dos con valores por defecto). El código es el siguiente:

Código SQL:

INSERT INTO tabla (campo1, campo2, campo3) VALUES (?,?,?)
 

Editado: Código de programación no permitido en foros de Bases de Datos.
Leer las normas del foro, por favor.

He probado tambien a hacerlo con addBatch() y al final executeBatch() a quitar la Foreign Key (campo3) y hacerla como un campo normal, pero no consigo que para una insercción de alrededor de 1000 elementos tarde menos de 4-5 minutos, lo cual es inadmisible en la aplicación que estoy desarrollando. ¿Alguna idea o sugerencia de como podria arreglar este problema?


Saludos y gracias de antemano

[gnzsoloyo]

Si haces inserciones iterativas, serán lentas en cualquier DBMS que uses, así fuese Oracle, DB2, SQL Server, PosgreSQL, MySQL... o SQLite. Es igual, porque se realiza una a una indefectiblemente, y allí estás afectados por los cambios de contexto del sistema (overhead), por la actualización de índices, las validaciones de FK, etc., etc., etc...
Los únicos caminos prácticos son inserts masivos, los que pueden ser o bien insertando todo desde un archivo plano, con los datos correctamente formateados (no sé si SQLite lo admite), o bien crear un único INSERT con N grupos de valores, que dependerá de lo que Java pueda hacer.
Esta última opcion es lo que equivale a:

Código SQL:

INSERT INTO tabla (campo1, campo2, campo3) 
VALUES (?,?,?), (?,?,?), (?,?,?), (?,?,?), (?,?,?), (?,?,?),...
 

El problema de la segunda opción es que si no me equivoco no podrás usar variables para poner los datos paramétricamente. Probablemente debas resolverlo como una cadena de caracteres.
Peor eso ya es tema de programación (off-topic de este foro).

[ico87]

Lo hice tambien así y tarda igualmente 4-5 minutos... le he creado tambien distintos indices y nada.

[gnzsoloyo]

Los índices que le generes harán que las inserciones sean más lentas, no más rápidas.
Los índices aceleran la búsqueda de datos.


Una de las soluciones que encontré, buscando muy poco en Google fue usar un modo algo rústico, pero que aparentemente podría funcionar. Habría que probarlo:

Código SQL:

INSERT INTO mytable (col1, col2)
SELECT 'a','b'
UNION 
SELECT 'c','d'
UNION ...
 

donde los grupos (a, b) , (c, d) y sucesivos, son los diferentes sets de valores de cada registro.
Por un consejo básico, no intentes mandar los 1.000 registros de un solo saque. Envía a ejecutar los inserts por grupos de 100 registros, aunque eso implique una doble iteración.
No es tan difícil de programar como puede sonar.

[jc_moj]

Hola

Aquí tienes un ejemplo de cómo mejorar el rendimiento de SQLite insertando muchos registros:

http://www.nosinmiubuntu.com/2012/03/como-mejorar-el-rendimiento-en-sqlite.html

Saludos

[gnzsoloyo]

@jc_moj, esa es una solución por programación, tema que si te fijas en las reglas del foro de BBDD, es OFF TOPIC.
De todos modos, la primera parte de la soución propuesta se trata de crear programáticament lo mismo que le planteo en la primera solución. Ese sería el método usual para manejarlo en muchos lenguajes. El problema de la lentitud, según dice en su contestación, sigue sin resolverse de ese modo.

Ahora bien, si @ico87 quiere una solución por programación, tendré que mover el post a otro foro, porque ya no se trataría de una solución por BBDD.

Por favor, lee las reglas que cada subforo tiene para si mismo.

[jc_moj]

Hola

@gnzsoloyo es cierto que es por programación, la parte del artículo a la que yo me refería es la de usar una única transacción para guardar todos los registros, pero es algo tan íntimamente ligado a la base de datos que por eso pensaba que no me "salía" del tema.

Saludos

Iniciado por gnzsoloyo

@jc_moj, esa es una solución por programación, tema que si te fijas en las reglas del foro de BBDD, es OFF TOPIC.
De todos modos, la primera parte de la soución propuesta se trata de crear programáticament lo mismo que le planteo en la primera solución. Ese sería el método usual para manejarlo en muchos lenguajes. El problema de la lentitud, según dice en su contestación, sigue sin resolverse de ese modo.

Ahora bien, si @ico87 quiere una solución por programación, tendré que mover el post a otro foro, porque ya no se trataría de una solución por BBDD.

Por favor, lee las reglas que cada subforo tiene para si mismo.

[gnzsoloyo]

La verdad es que hasta hace un largo tiempo,SQLite no manejaba bien las transacciones. No se ahora, porque hace bastante que no lo intento.
En todo caso, veremos que dice el autor del thread.

[ico87]

Buenas

Esas librerias son para Android... y mi aplicacion es de escritorio... :(
El resto de soluciones propuestas no han mejorado la inserción.

Gracias de todos modos.

[ico87]

Pues lo he arreglado al final con un arreglo de programación, si os parece lo explico y pasais este post al subforo de programacion.

Al final el problema como comentabais es de transacciones, aunque se use el addBatch() parece que crea una transaccion por cada insert, la forma de ejecutar todo en una sola transacción es hacer un setCommit(false) y hacer un commit() al final de las insercciones.

La explicación en mas profundidad aqui:
[URL="http://www.mkyong.com/jdbc/jdbc-transaction-example/"]http://www.mkyong.com/jdbc/jdbc-transaction-example/[/URL]

Gracias por vuestra ayuda y espero que esto ayude a alguien.
Saludos

[Libras]

Iniciado por ico87

Buenas

Esas librerias son para Android... y mi aplicacion es de escritorio... :(
El resto de soluciones propuestas no han mejorado la inserción.

Gracias de todos modos.

sqllite para escritorio???

[gnzsoloyo]

Raro, pero no demasiado.
En una emprsa donde trabajé lo usaban para muchas aplicaciones mínimas de escritorio. No lo veo extraño, desde el momento en que es soportado para VB.Net 2003 en adelante.

[jc_moj]

Hola

Iniciado por Libras

sqllite para escritorio???

Yo lo uso para programas que van a manejar una base de datos no muy grande y funciona perfectamente bien.

Poca instalación y configuración, fácil y rápido

Saludos

[ico87]

Mi aplicacion mueve una base de datos mas grande que pequeña, me la recomendaron despues de tener mil problemas con derby y alguna mas parecida, y estoy super contento!!

Notar que yo lo que neceito es una base de datos embebida (local) que no requiera de instalar un servidor como tomcat.