creo que usando server.urlencode también funcionaría:
<% varRuta = "\carpet a\carpeta 2\carpeta 3" %>
<a href="javascript
:openWin('nueva_carpeta.asp?ruta=< % = Server.URLEncode(varRuta) %>','ventana','toolbar=0,location=0,status=0,menub a r=0,scrollbars=0,resizable=0,width=350,height=120' )">