Bueno, eso ocurre porque el control ListView, aunque no tenga el foco, siempre tiene un elemento seleccionado aunque no esté resaltado (para comprobarlo, utiliza el depurador paso a paso).
La solución que yo veo es ponerle CheckBoxes al ListView (propiedad Checkboxes = True) y el código quedaría reducido a esto:
Código:
Private Sub Cmd_Quitar_Ing_Click()
Dim i As Integer
Dim Sw1 As Boolean
With Lst_Ingreso_Temp ' este es el ListView
For i = .ListItems.Count To 1 Step -1
If .ListItems(i).Checked = True Or .ListItems(i).Text = Txt_Num_Ser.Text Then
If MsgBox("Seguro borrar elemento " & i, vbCritical + vbYesNo, "Atención!") = vbYes Then
.ListItems.Remove i
Sw1 = True
End If
End If
Next i
If Sw1 = False Then
MsgBox "No hay elementos en la lista o no se a seleccionado ninguno", vbExclamation + vbOKOnly, "Error de eliminación"
End If
End With
End Sub