Hola, no el prefer-dist no es para eso, si quieres descargar una versión particular lo indicas como en el siguiente ejemplo:
Código BASH:
Ver original$ composer create-project --prefer-dist laravel/laravel blog "5.4.*"
Si bien esto es posible mi recomendación es que no uses versiones anteriores a menos que tengas una aplicaciones antiguas y aun así es muy recomendable que las migres a las nuevas versiones.