Cita: El servidor es un VPS, con 8 gigas de RAM y buena CPU.
Estás pensando en hardware, y no estás considerando la latencia de red.
Que el proceso pueda ser rápido en local, no implica que el tiempo de envío y respuesta hacia la web sea veloz. Son dos cosas diferentes.
Lo que deberías probar es ese mismo proceso en un host con mejores capacidades. Lo que hagas en localhost no es muy relevante para establecer performance.