Estás en lo cierto con que Google toma el tiempo de carga como un factor para posicionar tu web... Aunque no es extremadamente determinante, quizás te está afectando más que al tardar en cargar a los usuarios se les acabe la paciencia y no naveguen tanto como antes por tu web.
Si estás en un VPS o dedicado estaría bien que revisases la configuración de Apache, en cambio si estás en un compartido como te dice Beckss88 deberías consultar a tu proveedor
