Si dices que tienes tus archivos en el sistema de archivos del servidor y usas una BBDD para relacionar esos archivos con otros datos que gestiones sobre los mismos .. Por tu seguridad te combiene tener todo en el mismo servidor (tus archivos y BBDD).
Más que nada para que implementes gestores de descargas que apunten al archivo por rutas absolutas (/var/www/archivos ...) y no por una relativa:
http://www.tal.ta/nose.tal
Así podrás implementar (si no lo haces ya) sistema de gestión de usuarios para filtrar quien baja que archivos entre otras cosas, sin que te averigüen la ruta relativa a la que mandarías a descargar tu archivos si los dejas en otro servidor.
Un saludo,