Lo que tendrías que hacer para reducir el tiempo de carga es utilizar la versión comprimida (jquery.min.js), que es para eso, porque sino el peso del archivo es bastante mayor (son miles de líneas).
Cita: La versión es la misma, pero cada web la ejecuta desde un servidor distinto. Volverá a cargarse la librería en mi web, o ya se detectaría que es la misma y se usaría la que ya tiene el usuario en caché?
En ese caso no, son diferentes servidores, por lo tanto el navegador no lo reconoce como tal.