No entiendo por que usas "[]" si supongo es el nombre del textbox, ponle un id y busca por
Código Javascript
:
Ver originalvar textbox1=getElementById(id del textbox1)
var textbox2=getElementById(id del textbox2)
//luego comparas asi
if(textbox1.value<textbox2.value)
//lo que quieras poner
else
//no se cumple, pones el alert
Algo asi deberia ser, tal vez necesites convertir a float antes de comparar para que los vea como numeros flotantes (por si tienen decimales)