A ver si enteindo...querés hacer como un robót que navegue la página y baje los archivos ?
si puede ser manual puedes usar un navegador de consola como lynx...si lo debes automatizar lo puedes hacer en perl, en el sitio de
www.perlenespanol.com había algunos ejemplos...
Espero que te sirva...
Saludos