Podrias hacer un select email from registro where email=$_POST[txtemail] antes del insert para comprobar si existe ya en la tabla, pero creo más óptimo que lo hagas de una sola tacada con el insert y capturar el error.
Código PHP:
$result=mysql_query("INSERT INTO registro (NOMBRE,APELLIDOS,EMAIL)
VALUES ('$_POST[txtnombre]','$_POST[txtapellidos]','$_POST[txtemail]')",$con);
if (!$result) {
//aquí puedes hacer un analisis de mysql_error() y montar tu echo de error.
echo $el_error;
} else {
echo"Acabas de apuntarte correctamente al sorteo. Buena suerte!";
}
saludos.