Es que entonces tu concepto de "navegador" versus "gestores de descarga" etc. está muy errado, al final se trata de un recurso en la web, que debe ser accesible mediante una URL.
Independientemente de quien lo lee el recurso es el mismo, la URL no cambia, así que es normal que bloqueando el acceso se bloquee para todos.
Además tu problema no tiene que hacer en el foro de PHP porque sencillamente no es código PHP.
Creo que debiste consultar en el foro de Apache.