Hola!
Controls es una colección normal y corriente, así que tiene disponibles todos los métodos que le corresponden:
Código:
Call Form1.Controls.Remove(txt1) ' Elimina el control de la colección
Set txt1 = Nothing ' Anula la referencia para que no se quede apuntando a dios-sabe-qué =]