Tratar XML muy grande

[natttt]

Hola a todos!

Estoy haciendo un proyecto en el que me piden que recoja datos de 2 archivos XML cada mes, uno de unos 149 mb y otro de 3 gb. He probado de tratarlo como decís en algunos otros posts con simpleXML, o con JSON,..., pero siempre me sale el error:

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 149571317 bytes) in /Applications/XAMPP/xamppfiles/htdocs/...

Sé que este error desaparece si amplío la memoria en php.ini, el caso es que ampliarla para el archivo de 149 mb vale, pero para el e 3 gb... Entonces, hay algun método especial para hacerlo? Las páginas estilo kelkoo y shopmania qué usan para tratar estos ficheros? Por favor, necesito ayuda, tengo que entregar el proyecto en unas semanas y ya no sé por donde cogerlo...

Muchas gracias a todos de antemano!

[maycolalvarez]

me temo que si SimpleXML no permite la lectura por segmentos, tendrás que recurrir a otra o leer línea a línea el archivo, porque obviamente llevarlo a memoria es una tarea laboriosa

[natttt]

Y usando otro lenguaje de programación?

[maycolalvarez]

es lo mismo, depende de la librería, hasta donde sé SimpleXML está escrita en C, y tendrías el mismo problema si usas C y SimpleXML, no es problema del lenguaje, el problema es de la forma en que éstas librerías interpretan los archivos.

si vez un funcionamiento lógico de tal librería es abrir y leer todo el XML, pero puede que la misma tenga el modo que te indiqué, para leer por segmentos, simplemente busca en la documentación, además No es la única en su tipo.

[masterpuppet]

Podrías intentar con XMLReader.

Saludos.

[alvaro_trewhela]

en buena pero no seria mejor pasar ese xml a algun servidor sql y te ahorras ese problema...

[maycolalvarez]

Iniciado por alvaro_trewhela

en buena pero no seria mejor pasar ese xml a algun servidor sql y te ahorras ese problema...

a ver, a ver, a ver, ¿que tiene que ver un servidor SQL con un XML?, además estamos tratando con un archivo de 3GB, favor ser más cuidadoso con lo que se responde, una cosa es usar Arquitectura orientada al servicio, distribuyendo la carga de proceso a otros servidores para manejar gran cantidad de peticiones y otra muy diferente es pasar archivos tan grandes.

[GatorV]

Exacto para estos casos es que debes de usar XMLReader, te permite leer un archivo XML de forma secuencial, en lugar de transformar todo el XML como un arbol.

La desventaja es que no puedes accesar a un lugar en específico si no tienes que leer todo el archivo XML e ir extrayendo la información que necesitas.

[alyciashape]

Con simple XML no se como se haría pero para ficheros grandes se suele hacer algo así como coger de la línea 0 a la 1000, de la 1001 a la 2000 y así por ejemplo.

Pero claro, en un XML no puedes cortar en cualquier sitio, lo suyo sería leer X pedidos, noticias o lo que sean que vayan etiquetados, y cada X dejar de leer procesar y volver a coger datos. Con un txt es fácil con un XML ni idea. No se si se podría hacer así.

Aún así sea como sea el proceso va a ser lento SI O SI. Seguiré el hilo de cerca para saber como lo solucionaste porque me interesa bastante.

También no se si esto te servirá de ayuda, échale un vistazo. http://www.xml.com/pub/a/2003/10/22/embed.html
Consiste en meter el XML en una "base de datos xml"

[natttt]

De momento lo estoy intentando con XMLReader, en cuanto lo tenga os comento.

Saludos y gracias a todos!