Duda con sentencia if not

[redtitle]

Muy buenas, tengo un trozo de código que se me atasca, y es que me interesa que tras un "if not", se ejecute un "break" y salga del bucle, pero no hay forma...

Código:

while True:
    try:
        line = input("enter a number or Enter to finish: ")
        if not line:
            break
        indexes.append(len(numbers))
        number = int(line)
        numbers.append(number)
        total += number
        if lowest is None or lowest > number:
            lowest = number
        if highest is None or highest < number:
            highest = number
    except ValueError as err:
        print(err)

Entiendo que si en el input presiono enter, sin escribir nada, line se queda en -1 y se debería ejecutar el break..
Gracias de antemano por cualquier ayuda.