Caso extraño CDONTS

[DeLaVega]

Tengo una página en donde la gente se suscribe para recibir una newsletter semanal que se envía. A veces me rebota el mail con algunos usuarios diciendo:

This is an automatically generated Delivery Status Notification.

Unable to deliver message to the following recipients, due to being unable to connect successfully to the destination mail server.

No pasa con todas las direcciones, sino sólo con algunas. A veces me rebota mails pero me aclara que es porque no hay más espacio en la casilla del usuario, no es el caso de arriba.

Ahora bien, si yo escribo un mail a esa dirección desde un programa como outlook, llega bien a veces.
Estaba pensando si quizás el servidor de destino detecta de alguna forma como que ese mail fuera spam, pero no lo es. O no sé si justo en ese momento se conecta mal a ese servidor. Se me acabaron las ideas...
Alguien sabe que puede ser?
Saludos, muchas gracias.