11/07/2012, 14:05
|
| | | Fecha de Ingreso: mayo-2012
Mensajes: 10
Antigüedad: 12 años Puntos: 1 | |
 Parseador potente en PHP
Muy buenas, tengo la siguiente duda:
Estoy parseando los datos de una página web (utilizando PHP Simple HTML DOM Parser), mi problema es que éste consume mucha memoria y me acaba tirando el servidor (lo he probado con apache y nginx, en windows y en linux).
También he probado eliminar el tiempo de ejecución de cada script en PHP y de asignarle más memoria, pero sigue petando.
He ido poniendo ->clear() cuando hacía falta y unset() en cada variable para intentar liberar lo más posible en memoria pero nada.
El script que he creado entre en una página "maestra" y de allí rastrea sus links (unos 160 aprox), o sea, realizo 161 conexiones, y luego parseo cada página.
¿Se os ocurre algo?
Muchas gracias! |