Uno de los principales factores de los que depende la velocidad es equipo y configuración, después habría que revisar cuantas consultas generas y si puedes optimizar algo, pero sin ver código sólo hablamos de suposiciones.
Por cierto, mi PC no es muy veloz, tengo wampserver sobre w7 64b, 4gb y la velocidad de proceso es muy similar con sitios en VPS y dedicado en una conexión de fibra óptica 5mb. Comparando con otras conexiones mi PC es más rápida.
