Un
script es igual que un programa, pero más pequeño y cuyas funciones principales son las de hacer un pequeño procesamiento y lanzar otros procesos.
En las soluciones comentadas por mí no hay problema de timeout porque los CGI terminan enseguida. El cgi que lanza el proceso largo lo hace en background, por lo que puede devolver la información al usuario y terminar.
Las recargas de página son nuevas invocaciones del CGI. Lo que tienes que resolver es si es posible saber el estado del procesamiento de forma externa al propio proceso (por ejemplo, viendo como crecen los ficheros resultado). Si eso es posible entonces es fácil indicar el progreso al usuario. Si no existe el proceso en la lista de procesos, entonces es que ha terminado y se muestra el resultado directamente.