Necesitarías varios ingredientes.
* Algo de javacript para abrir ese "popup" (window.open .. etc)
* PHP y sus funciones de directorios:
www.php.net/dir para leer directorios y archivos que contenga (lo más probable en forma recursiva .. tienes ejemplos en esas funciones por parte de los usuarios)
* mm algo de DHTML para representar tu arbol de directorios con opciones para "expandir" y "contraer" ramas.
Pero .. si no quieres re-inventar la rueda .. busca en sitios como
www.phpclasses.org algo ya implementado. O si lo encuentras en "DHTML" sólo .. sería cosa de pasarle a ese código (javascript) el listado de directorios/archivos para que esas rutinas funcionen.
Un saludo,