Seria mejor hacerlo con un stored procedure donde incluyas todo: la cuenta, insercion y actualizacion...
pero ahi en tu code, lo que podrias hacer es cambiar
select vchMatricula
por
select count(1) as cuenta
y
if(res.fields("vchMatricula") < 0) then
por
if(res.fields("cuenta") = 0) then
--
como dije hacerlo con un sp es lo mejor, manejando comandos en el front para pasar los parametros...
Saludos!