Resource id #4 aparece cuando estás tratando de poner el resultado de una consulta directamente en una variable.
Tu código debería ser así:
Código PHP:
$query = "SELECT COUNT('Usuario') FROM usuarios WHERE 'Usuario'='txtnom'";
$rs = mysql_query($query);
$nr = mysql_num_rows($rs);
if ($rs > 0){
echo "Ya hay un usuario con ese nombre";
}else{
// lo que quieras
}