duda con añadir sin repetir

[angel1993]

Aver es asi
Votos
ip: 84.120...
id_user: 5
Usuarios:
id: 5
Nombre: Angel
pass: Prueba
votos: 5
puntos: 50
-----------------------------------------------------------------------
Como ves tengo votos 5 y puntos 50 osea han votado 5 veces 10 puntos..
Lo que pasa que quiero primer comprobar en la tabla votos que esa IP no a votado a ese usuario, osea en el documento "votar.php" tengo asi..
Inser into votos(ip,id_user) Values('$_SERVER[REMOTE_ADDR]','$_POST[id]')...
update votos(ip,id_user) Values('$_SERVER[REMOTE_ADDR]','$_POST[id]')...
mysql_query("update usuarios set votos=votos+1 puntos=puntos+'$_POST[votos]''",$conexion) or
die("Problemas en el select:".mysql_error());