Otra opción es que hagas un clone de ZF2, luego el clone del ZendSkeletonApplication y definas una variable de ambiente ZF2_PATH al path donde esta tu ZF2
La idea del composer es que todo funcione rápidamente, pero en el caso que yo hago varias apps, prefiero usar ZF2_PATH y tener el ZF2 en una carpeta aparte
me imagino que por eso quiere "evitar" el composer...