Pues si te estas acabando la memoria es recomendable incrementar, ahora si el problema son las referencias es porque estas cargando todo ¿que tipo de Loading estas usando? Te recomiendo usar Extra Lazy Loading.
De todas maneras puedes leer esto para mejorar el desempeño de Doctrine:
http://docs.doctrine-project.org/en/...rformance.html
Saludos.