Lo lógico es que lo ordene por el tipo de campo. Si es número lo ordenará bien, pero si es alfanumérico para el SELECT serán caracteres.
Si ese es tu caso, encontré este ejemplo para ordenar números almacenados en campos VARCHAR.
Código PHP:
SELECT campo ORDER BY campo+0
El ejemplo lo encontré en
Sorting VARCHAR data in mysql, lo probé y funcionó.