Si, con exec() o system() y varias funciones más afines que tienes a tu disposición en PHP ..
Algunas de estas funciones te permiten no tan solo "lanzar" la ejecución de tu aplicación .. sino de obtener el valor que esta devuelva al ejecutarse.
exec() y funciones afines:
http://www.php.net/manual/en/ref.exec.php
Si vas a crear una "DLL" .. supongo que vas a trabajar con PHP bajo Windows (como servidor) .. Si es así .. ten vendría bien mirar el tema de COM .. para "COMunicarte" con aplicaciones Windows que hagas.
Sobre COM:
http://www.php.net/manual/en/ref.com.php http://www.php.net/manual/en/class.com.php
Y ahora que recuerdo .. con PHP bajo windows puedes usar los Windows API:
http://www.php.net/manual/en/ref.w32api.php
Creo que si vas a generar un "DLL" con otro lenguaje de programción .. esas funciones ten vendrán mejor.
Un saludo,