Tal cual, si necesitas que la validación sea del lado del cliente estas frito. Lo que podes hacer son dos. Una como dice javierB es validar con is_numeric y avisarle si esta mal, otra es tomar lo que mande y limpiarlo a solo números, o bien ambas. Para la segunda podes usar esta función:
Código PHP:
function soloNumeros( $str ){
return empty( $str ) ? false : eregi_replace("[^0-9]","", $str );
}