Deberias probar con esto:
Private Sub btnLimpiar_Click(ByVal sender As Object, ByVal e As EventArgs) Handles btnLimpiar.Click
Try
If datagridview.RowCount >= 1 Then
For i As Integer = 0 To datagridview.RowCount - 2
datagridview.Rows.Remove(datagridview.CurrentRow)
Next
End If
Catch ex As InvalidOperationException' Esta excepcion es por si ocurriera
MsgBox("Esta fila no se puede eliminar", MsgBoxStyle.Critical, "Operación inválida : : : . . .")
End Try
End Sub