si lo que te comenta pakete es lo mas optimo y para eso honestamente si te recomendaría mejor python ya que si no hay de otra y a la de a web... tiene que ser con php en web(podria ser cli) te recomendaría que el proceso lo segmentaras por N cantidad de registros , como si fuera una paginación y vieras lo que estas funciones podrían hacer por ti
checa el segundo ejemplo de la siguiente liga
http://www.php.net/manual/es/function.ob-flush.php http://php.net/manual/es/function.set-time-limit.php