Sockets en VB.Net

[boluart]

Buenas noches señores quiera hacerla una consulta acerca del manejo de sockets.
Cuando conecto dos app (cliente y servidor) a travez de socket en una red local (lan) todo funiciona perfecto, el uno le envia al otro el otro recibe y todo bien. El problema resulta cuando quiero hacerlo desde una red ajena a mi red local(wan), estube viendo y me dijeron sobre alguna configuracion en los routeres (NAT), entre a mi router abri los puertos y nada. La forma de crear mi socket es:
Codigo en el servidor

Código:

Dim serverSocket as NewSocket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp)
Dim ipEndPoint as NewIPEndPoint(IPAddress.Any, 6464)
serverSocket.Bind(ipEndPoint)
serverSocket.Listen(4)
serverSocket.BeginAccept....
 

Codigo en el cliente

Código:

Dim clientSocket as NewSocket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp)
Dim ipAddress as NewIPAddress.Parse(txtServerIP.Text)
IPEndPoint ipEndPoint = newIPEndPoint(ipAddress, 6464)
clientSocket.BeginConnect.... 

cuando intento conectarme me dice que el cliente a rechazado la peticion o algo asi, no tengo nigun firewall ni nada.