Prueba creando un parámetro y configurándolo y como dice 
Valery-Net avisanos que error te salta.   
Código vb.net:
Ver originalProtected Sub Button3_Click(ByVal sender As Object, ByVal e As System.EventArgs) Handles Button3.Click
        Dim con As New SqlConnection("Data Source=Juan-PC\SQLEXPRESS;Initial Catalog=Persona;Integrated Security=True;Pooling=False")
        Dim query As String = "delete * from Personas where id=@id" 'Indicas un parámetro
        Dim cmd As New SqlCommand(query, con)
         'Configuras el parámetro, estoy suponiendo que el tipo es Int, sino lo cambias
        cmd.Parameters.Add("@id", SqlDbType.Int).value = Me.TextBox5.Text
        con.Open()
        cmd.ExecuteNonQuery()
    End Sub