Te voy a pasar una solución y una reprimenda:
Primero la solución: usa la función IsNumeric(TextBox.Text) en el evento LostFocus del TextBox, te dará True si el contenido es un número, False si no lo es.
Después la reprimenda:
por favor, antes de cualquier pregunta usa el buscador del foro, hay CIENTOS de mensajes y soluciones sobre este mismo tema.
Saludos.