Cita:
Iniciado por pateketrueke 
estoy de acuerdo con rodrigo_00, definitivamente todo tiene un costo...
pero mas que optimizar el proceso, bien podrías reducir el XML ... o bien, si tiene datos de hace meses... y que ya no se van a actualizar... ¿porque siguen en el XML??
o bien, ordenar y utilizar varios XML ... uno por cada día, no se, algo así...
porque eso de re-procesar datos es demasiado ineficiente... y mas que acelerar el proceso, debes buscar mas formas de acortarlo, o dividirlo...
Es posible que me expresara mal, el XML no va acumulando datos todos los meses, al contrario, cada día que pasa se elimina las entradas de ese día, pero que al "terminar el día" viene otro día más, por eso el volumen del XML es practicamente constante, y sí está actualizado con los últimos valores del día actual hacia delante (eventos futuros 7 días)
El problema es que tu metes todos los datos en la base de datos, al día siguiente el xml ha cambiado, lo del día anterior ya no está, se ha añadido un día más en el futuro (ej. muestra eventos de los proximos 7 días).
Y cuando lo parseas tienes que ir comparando cada linea para ver si ha sido introducida previamente en la base de datos y si ha sido introducida ver que el valor del xml actual coincide con el que está guardado, sino coincide actualizarlo. (PARTE LENTA... aquí está el problema)
Sobre lo que dices
pateketrueke de dividirlo, es el metodo que estoy utilizando actualmente, en lugar de procesar el fichero entero de 40.000 lineas puedo dividirlo en trozos de 3.000 lineas o así.
Espero más comentarios vuestros sobre como trataríais tal información!
Muchas gracias de antemano