El error es porque Chr(34) quivale a " con lo que estás intentando poner dos dobles comillas seguidas, algo que en ASP siempre te dará error.
Prueba con esto a ver:
Response.Write "<BR><BR><INPUT type='button' onclick='document.location='" & "saveany.asp" & "' value='<< Volver' id='button'1 name='button'1>"
Espero que te sirva. Saludos.
<a href="http://www.laventanita.net/" target="_blank">
<img src="http://www.breogan.org/images/Aston.gif" border="0" alt="La Ventanita.net - Lo imprescindible en la red"></a>