Tienes razón tu código no es muy bueno, como recomendación no mezcles la parte de base de datos con HTML, haslo en archivos separados.
Ahora no entiendo algunas cosas:
Cita: 2. verificar si ese cod_boleta segun el rut del usuario ya esta
Quieres comprobar un codigo de boleta si ya existe en un usuario, pero donde creas el codigo de boleta que vas a comprobar, nunca lo haces o no lo pasas por POST, y en tu select no lo usas para comprobar, ese select lo que hace es sacarte todas las boletas para ese rut y te va a salir un producto cartesiano ya que nunca haces el join de las dos tablas de las que haces select.
Ahora mas abajo le pones al $cod_boleta ='0' y luego preguntas si $cod_bolet==' ', demas esta decirte que nunca va a entrar a ese if.
Tendrias que hacer un select mas o menos asi:
select 1
from boleta b, usuario u where u.rut = $rut and b.cod_boleta=$boleta and
b.id_usuario = u.id_usuario
Si te devuelve 1 registro quiere decir que no existe esa boleta y si te devuelve 0 registros pues no existe y solo ahi lo insertas en la base de datos.