Foros del Web » Programación para mayores de 30 ;) » Bases de Datos General » PostgreSQL »

Duda en Rendimiento PostgreSQL vs JAVA

Estas en el tema de Duda en Rendimiento PostgreSQL vs JAVA en el foro de PostgreSQL en Foros del Web. Cordial Saludo. Les describo mi escenario: Se debe de cargar un archivo plano con una estructura; el contenido del archivo plano debe de ser validado ...
  #1 (permalink)  
Antiguo 22/12/2010, 12:21
Avatar de gasoft  
Fecha de Ingreso: abril-2009
Mensajes: 68
Antigüedad: 10 años, 5 meses
Puntos: 3
Pregunta Duda en Rendimiento PostgreSQL vs JAVA

Cordial Saludo.

Les describo mi escenario: Se debe de cargar un archivo plano con una estructura; el contenido del archivo plano debe de ser validado antes de insertarse en una tabla de la BD, el archivo plano pueden contener en promedio más de un millón de datos. Que es mas optimo en cuanto a velocidad y rendimiento; hacer la validación desde JAVA y hacer la inserción correspondiente o enviarle a un Procedimiento almacenado en Postgresql los datos y que haga la validación correspondiente y luego proceda a la inserción en la tabla determinada.

¿Qué camino me sugieren que debo tomar?

Gracias por su atención y respuestas.
  #2 (permalink)  
Antiguo 23/12/2010, 06:24
Avatar de huesos52
Colaborador
 
Fecha de Ingreso: febrero-2009
Ubicación: Manizales - Colombia
Mensajes: 5.980
Antigüedad: 10 años, 8 meses
Puntos: 360
Respuesta: Duda en Rendimiento PostgreSQL vs JAVA

Yo optaría por validar el archivo desde java. No porque piense que un procedimiento sería ineficiente, sino porque si lo haces desde java y estas seguro que ya se encuentra consistente, puedes hacer la importación del archivo haciendo uso del comando COPY.

Este si es verdaderamente eficiente en la carga de datos. He importado archivos con mas de 6 millones de registros y no se demora ni 10 segundos. Si lo haces por un procedimiento la ruta mas facil sería utilizar muchos inserts y esto es una tarea mas costosa.

Cuando lo tengas hecho cuentanos tu experiencia.

saludos
__________________
Without data, You are another person with an opinion.
W. Edwads Deming
  #3 (permalink)  
Antiguo 23/12/2010, 08:30
Avatar de gasoft  
Fecha de Ingreso: abril-2009
Mensajes: 68
Antigüedad: 10 años, 5 meses
Puntos: 3
Respuesta: Duda en Rendimiento PostgreSQL vs JAVA

Gracias huesos52 por su sugerencia ; podria entonces ser mas rapido un COPY que un INSERT ?.
  #4 (permalink)  
Antiguo 23/12/2010, 08:34
Avatar de huesos52
Colaborador
 
Fecha de Ingreso: febrero-2009
Ubicación: Manizales - Colombia
Mensajes: 5.980
Antigüedad: 10 años, 8 meses
Puntos: 360
Respuesta: Duda en Rendimiento PostgreSQL vs JAVA

Cita:
Iniciado por gasoft Ver Mensaje
Gracias huesos52 por su sugerencia ; podria entonces ser mas rapido un COPY que un INSERT ?.
muchisimo mas rapido. el COPY me ha dejado boquiabierto.

jajajajaja


slaudos
__________________
Without data, You are another person with an opinion.
W. Edwads Deming

Etiquetas: java, rendimiento
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 22:04.