Si es normal el icono en la barra de tareas y con clic derecho sale un menú que entre otras opciones esta cerrar.
No entiendo por que no puedes abrir otro video, arrástralo a la ventana del VLC y se tiene que reproducir.
Tampoco entiendo por que no cierras con clic en la equis.
No reinicies para matar un programa.
Ctrl+Alt+Supr (O clic derecho en el reloj -> iniciar el administrador de tareas) se iniciara el administrador de tareas, Pestaña procesos, busca el VLC o el programa colgado y termínalo.
Otra cosa a mirar es en el VLC, menú Herramientas -> Preferencias -> Interfaz, Que este desmarcado -Permitir solo una instancia-
Si aun asi sigue el problema prueba desinstalar VLC e instalar otra versión.
Aquí están todas las versiones
http://www.filehippo.com/es/download_vlc_32/history
Suerte.
