Buenas. te pongo un ejemplo para que te hagas una idea del procedimiento. La cadena de texto sobre la que se van a hacer los reemplazos la cargas con el método que prefieras.
Código:
Dim str As String = "<span ID='remover_1'> Todo esto tambien....</span> asodjaojid os do <span ID='remover_2'> Todo esto tambien....</span>"
Response.Write(str & "<br>")
Dim expreg As New System.Text.RegularExpressions.Regex("<span ID='remover_[\d]+'> Todo esto tambien....</span>")
str = expreg.Replace(str, " * ")
Response.Write(str & "<br>")
He utilizado un asterisco en lugar de un espacio en blanco para que veas bien el resultado del reemplazo. Lo marcado en rojo es la clave para que reconozca todas las etiquetas de la misma forma, independientemente del número que lleven.
Espero que te sirva.
Un saludo.