Creo que el problema está en la ruta. Prueba con la dirección con dobles barras (para que no funcionen como caracteres de escape, tal y como te sugiere _cx:
exec("C:\\exp\\exp.exe");
De todos modos, te sugiero que pongas el mensaje de error (si es que se produce algún error), y pruebes también con las funciones passthru y system. Hay que mirar más el manual!
http://es.php.net/manual/es/book.exec.php