Me autorespondo por si a álguien le sirve:
Agregué el atributo validate="false" en el elemento <add> de la sección <httphandlers>
de MSDN:
Cita: If validate is set to false, ASP.NET will not attempt to load the class until the actual matching request comes, potentially delaying the error but improving start-up time.