Por que me deja un tag vacio y no me elimina

[Legolas_Bilbao]

quiero eliminar un nodo de un xml y consigo eliminar lo que son los subnodos me explico
tengo el siguiente xml

Código HTML:

<agenda usuario="javier allende">
  <contacto>
    <nombre>javier </nombre>
    <apellidos>allende astigarraga</apellidos>
    <mail>[email protected]</mail>
  </contacto>

 <contacto>
    <nombre>juan </nombre>
    <apellidos>perez lima</apellidos>
    <mail>[email protected]</mail>
  </contacto>
 </agenda> 

Código:

Public Sub eliminarUsuario(ByVal nombre As String)
        Dim nnombre As String
        Dim doc As New XmlDocument
        Dim nodo As XmlNode
        Dim nodoEncontrado As XmlNode
        Dim nlista As XmlNodeList
        Dim i As Integer
        i = 0
        doc.Load("agendaUsuario.xml")
        nlista = doc.GetElementsByTagName("contacto")
        For Each nodo In nlista

            nnombre = nodo.Item("nombre").InnerText + "  " + nodo.Item("apellidos").InnerText + " - " + nodo.Item("mail").InnerText
            If (nnombre.Equals(nombre)) Then
                nlista.Item(i).RemoveAll()
            End If
            i = i + 1
        Next
        doc.Save("agendaUsuario.xml")
    End Sub

y el resultado si hemo shecho correctamente la seleccion

Código HTML:

<agenda usuario="javier allende">
  <contacto>
    <nombre>javier </nombre>
    <apellidos>allende astigarraga</apellidos>
    <mail>[email protected]</mail>
  </contacto>

 <contacto>
     </contacto>
 </agenda> 

como puedo hacer para eliminar el tag contactos he probado con nodo.removeAll() y nada y si lo hago con el nodolista tampoco


gracias