Supongo que ya revisaste otros factores y estas seguro que es el rendimiento del script, revisa tu versión de php este tema es muy importante ya que existen mejoras de rendimiento en las versiones recientes de php como el uso de Zend Opcode por defecto. Tambien es importante que este tipo de procesos lo trates de forma asíncrona mediante colas de mensajes, en este hilo se toco un poco el tema:
http://www.forosdelweb.com/f18/como-...8/#post4660810