Bueno, empecemos desde el punto de que Access no es una BD, y SQL server si lo es, entonces desde ahí ya tiene ventaja, aunque dependiendo del método de conexión, los usuarios concurrentes y el número de registros verás en realidad una mejora.
Lo que describes no debiera ser problema para access, recuerda que montar un SQL server requiere de licencias y es un costo extra para un simple sitio de consultas sencillas.
En cuanto a velocidad, cada vez más me estoy decantando por
firebird más que Sql server o MySQL, aunque no he hecho pruebas a profundidad,
por encima notó mejor rendimiento (y es gratuita)