Con la instruccion unload, solamente que debes tomar en cuenta lo que dice la propia ayuda de visual basic sobre esto:
Cita: Cuando se descarga un formulario, todos los controles colocados en el formulario entiempo de ejecución no son accesibles. Los controles colocados en el formulario entiempo de diseño permanecen intactos; sin embargo, cualquier cambio en tiempo de ejecución sobre dichos controles y sus propiedades se pierden cuando se vuelve a cargar el formulario. También se pierden todos los cambios realizados en las propiedades del formulario. El acceso a algún control del formulario hace que éste se vuelva a cargar.
Nota Cuando se descarga un formulario, sólo se descarga el componente mostrado. El código asociado al módulo del formulario permanece en memoria.
Con la instrucción Unload sólo se pueden descargar los elementos de las matrices de controles agregados a un formulario en tiempo de ejecución. Las propiedades de los controles descargados se reinicializan cuando se cargan de nuevo los controles.