bueno primero tienes que buscar en la base de datos por el campo de email e ir comparando si encuentra la igualdad devolver la página con error si no ingresar el registro...
Lo de rrecorrer un campo de una tabla de la base de datos es basico asique me imagino que lo sabes hacer el condicional seria algo asi:
Código:
<%
...
do while not rs.eof
If request.form("mail") = rs("mail") Then
response.redirect("formulario.asp")
else
sql = "Insert into tabla........
espero se entienda... saludos