Si la aplicacion no contiene dlls esternas si, solo el .exe, pero si usas otras dll estan tambien deben estar con el .exe
Te das cuenta de ello cuando compilas la aplicacion en la carpeta bin/Debug o bin/Release quedan los archivos que usa la aplicacion durante la ejecucion, pero los archivos de extensiones: .pdb, .vshost.exe no son necesarios. Solo en periodo de compilacion.
Saludos