Pues no sé donde tendrás el problema, porque yo he probado así y admite numeros, puntos y comas (y retroceso).
Código vb:
Ver originalPrivate Sub Text1_KeyPress(KeyAscii As Integer)
If Not (KeyAscii >= 48 And KeyAscii <= 57 Or KeyAscii = 8 Or KeyAscii = 44 Or KeyAscii = 46) Then KeyAscii = 0
End Sub