Hola,
Suponiendo que el primer campo se llama "id". Al dar al botón mandas el foco a esa celda y después haces una consulta de eliminación:
DataGrid1.Col = 0
Sql = "DELETE * FROM LaTabla WHERE Id = " & DataGrid1.Text
Y esta consulta se la aplicas al recordset o control Data enlazado al DataGrid