El "código" no lo conozco .. por qué no sé si un navegador "asocia" los .chm con algún lector (en windows) ...
Prueba a hacer un link tipo:
http://www.tal.tal/nose.chm .. si el navegador lo abre .. ahí podemos ver como "lanzarlo" desde PHP con sus cabeceras HTTP adecuadas donde se le indicaría el formato MIME adecuado.
Un saludo,