Seguramente el problema lo tienes con los usuarios de hotmail y yahoo ¿no? eso es debido a que hotmail te pide que configures tu zona dns del dominio las SPF para mas info ingresa a
http://www.openspf.org aplicando eso en un lapso comod e 2 semanas hotmail empezara a aceptar tus correos como deseados, buenos iempre y cuando tu servidor no este realizando envios de spam.