Al final tengo una solución independiente de las codificación.  Gracias 
GreenEyed por la pista. La dejo aquí por si alguien la necesita alguna vez:  
Código:
 URL url = new URL("http://host");
InputStream ins = url.openConnection().getInputStream();
BufferedInputStream bufferedInput = new BufferedInputStream(ins);
        
int str;
FileOutputStream fileOutput = new FileOutputStream ("C:/mi.pdf");
BufferedOutputStream bufferedOutput = new BufferedOutputStream(fileOutput);
while((str = bufferedInput.read()) != -1){
   bufferedOutput.write(str);
}
bufferedOutput.close();