No todos los servidores permiten conexiones remotas, la mayoria de los hosting compartidos y algunos VPS tienen configurado Apache para no aceptar este tipo de conexiones.
Código PHP:
$server = "123.123.123.123"; // Direccion IP del servidor al que te quieres conectar
$dbname = "database"; // Nombre de tu base de datos
$user = "usuario"; // Debe estar creado en el servidor y tener los permisos que desees
$password = "password";
$link = mysql_connect($server,$user,$password) or die(mysql_error());
mysql_select_db($dbname);