Puedes restringir vía configuración de tu servidor HTTP (Apache?) que "clientes" (por IP/host) pueden acceder a tal directorio (allow from .. deny from ... en Apache si mal no recuerdo bajo un .htaccess).
Pero .. lo más simple y "sano" es subir tus archivos -fuera- de tu DOCUMENT ROOT .. es decir; en un servicio de hosting común suele ser el directorio de tu sitio "public_html" o "www"... SI tus archivos los pones fuera de ese directorio (arriba) y es PHP el que por sus funciones tipo readfile() .. file() o afines -lee- el archivo con "ruta absoluta" al mismo .. ya no tendras el problema de un "linkeado" directo tipo:
http://www.tal.tal/archivo.tal .. entre otras cosas por qué ya no estará al alcance del "document root" (puedes ver cual es tu "document root" haciendo un phpinfo() a tu servidor).
Si no puedes "salirte" de tu document root (tipico de servicios de hoting gratuitos) .. y no puedes usar .htacces en tu servidor .. por lo menos usa PHP para entregar el archivo al nagegador y así "ocultar" algo mejor la ruta de origen de tus archivos (tal vez esto ya lo hagas con tu código actual ..?)
Un saludo,