Y esa DLL realmente funciona? cómo lo haz comprobado?
Yo ese problema lo resolvería de tres formas, la primera es la que realizaste es decir, hacer una DLL en un lenguaje X y utilizarla en ASP, pero claro que esa DLL debe de funcionar y debo tener el código fuente para lanzar mensajes de error o de estado, además hay que darle permisos al usuario IUSR sobre esa DLL.
El segundo sería similar al manipuleo de imágenes, como sabes ASP clásico es un lenguaje ya sin soporte por lo que existió hasta la fecha en que lo abandonaron es lo que hay y tiene muchas carencias frente a otros como PHP o .NET, pero la ventaja es que desde ASP puedes utilizar a estos otros lenguajes, si quieres comprimir imágenes, pues haces un script .NET que lo haga, lo llamas desde ASP y listo, lo mismo con esto; si buscas hay muchos códigos para comprimir desde .NET:
http://www.ms-news.net/f1125/comprim...t-6944319.html http://blogdesarrollo.com/codigo/200...zip-en-aspnet/
y la tercera es ejecutando un compatador desde la linea de comando mediante WScript.Shell,
información en esta liga.
Si quieres que hagamos funcionar la parte de la DLL necesitaría que me dijeras qué hace y cómo lo hace esa DLL, es decir, ocupo ver si código. Por que si tuvieras problemas de otro tipo, como que no esta registrada o permisos, te marcaría error definitivamente.
Saludos