Buenas,
PDF es un formato binario, no un formato de texto.
https://es.wikipedia.org/wiki/PDF
-Intenta abrir el notepad, escribir un texto y guardarlo como PDF. Al abrirlo el visor de PDFs te va a dar el mismo error.
-Ahora intenta abrir con el notepad un fichero PDF ya existente en tu equipo que funcione. Como comprobaras su contenido esta lleno de simbolos extranos y no hay texto, verdad?
Para crear y manipular ficheros PDF desde Java deberias utilizar librerias java especializadas, como iText:
http://sourceforge.net/projects/itext/
Word te abre el fichero porque es un editor de textos y es capaz de detectar y abrir sin problemas un fichero de texto. Nada que ver con PDF Reader, que es un visor de ficheros digitales en formato PDF.
Un saludo