Yo hice otro proyecto de setup, y si sale un error, este error es debido a que el IIS esta configurado para usar el Framework 1.1 y la aplicación utiliza el 2.0. Si este es tu caso, ve a IIS Managment Console y en el folder de tu aplicación selecciona Properties y allí encontrarás una pestaña ASP.NET en donde seleccionas la versión del framework que quieres usar, selecciona 2.0.
En caso de que tu error sea diferente, pasa bien el error, y si el problema es haciendo el msi dimelo, puedo hacer un ejemplo paso a paso. Es muy sencillo, pero a veces es mejor si vemos las fotos
.