cambiemos algunas cosas:
Código PHP:
$busqueda="select opcion FORM rubros where opcion='".$rubro."';";
la idea es separar la consulta de la variable de php mediante comillas dobles, no queremos inyeccion de codigo aunque para eso faltan muchas validaciones mas.. esta es basica.
Ahora la comprobacion utilizando mysql_num_rows que es el numero de filas que retorna la consulta, para este caso si el numero de filas es diferente de 0, es porque el registro ya existe.
Código PHP:
$registro=mysql_query($busqueda,$conect);
if (mysql_num_rows($registro) != 0)
echo "el rubro ya existe";
else {
$query="INSERT INTO rubros (opcion) values ('".$rubro."');";
if (mysql_query($query,$conect))
print "rubro añadido correctamente";
else
print "error al añadir rubro";
}