Bueno el codigo de la funcio java script debes colocarlo inmediatamente despues de la etiqueta <head> de esta forma:
Código HTML:
<head>
<script language="javascript">
function validar()
{
//contenido de la funcion...
}
</script>
</head>
<body>
<form name="modificar" method="POST" action="modificar_producto.php">
Nueva Cantidad:<input type="text" name="cantidad" size="3">
<input type="hidden" name="id" value="<?php echo $i?>'">
<input type="button" name="enviar" value="Modificar" onclick="validar()">
</body> Bueno creo que esta es la forma en que debes hacerlo, ahi puede que alguien mas te de otra manera.