Borrar del disco duro una imagen cargada en un picturebox

[jjap_unefa]

Hola a todos, de antemano gracias por la información que me puedan brindar. Tengo una aplicación (hecha en Vb.net 2010 ), tengo un modulo de productos, que contiene un datagridview a medida que el usuario se desplaza por la filas en un PICTUREBOX cambiando la imagen del producto en caso de no tener imagen el usuario puede seleccionar la imagen (para el producto). El usuario selecciona una imagen de su pc y no importa el nombre que el usuario le ponga, yo guardo la imagen en mi carpeta raiz del proyecto y le coloco AL NOMBRE DE LA IMAGEN el codigo del producto que selecciono. Mi problema radica en que la primera vez que el asigna la imagen no hay problema pero SI EL USUARIO quisiera actualizar la imagen del producto, no me permite borrar el archivo para colocar la nueva imagen con ese nombre. ¿Como podría soluconar esto?

Código:

private sub imagen()

Dim foto As String = ""
OpenFileDialog1.InitialDirectory = main.ruta & "Imagenes"
OpenFileDialog1.Filter = "Imágenes JPG(*.jpg)|*.jpg|Imágenes PNG(*.png)|*.png" 'Todos los formatos (*.*)|*.*"

   If OpenFileDialog1.ShowDialog() = System.Windows.Forms.DialogResult.OK Then

       foto = OpenFileDialog1.FileName.ToString
       lineas = Split(foto, ".") 'esta variable me permite saber que extension tiene el archivo .jpeg, .png etc

       Dim imagen As New Bitmap(New Bitmap(foto), 150, 150)

       Try
            imagen.Save(ruta & "Imagenes\" CODIGO_PRODUCTO "." & lineas(1), System.Drawing.Imaging.ImageFormat.Png)
                    
            ruta_imagen  = ruta & "Imagenes\" CODIGO_PRODUCTO "." & lineas(1) ' Guardo esto en mi BD para saber donde esta la foto
       

'he investigado un poco y encuentro que vb.net no permite borrar las fotos que el carga durante la ejecucion del proyecto solo las puedo borrar despues que finalizo la aplicacion. 

       Catch
                
       End Try

 end sub