Revisa spiders ya hechos:
http://www.hotscripts.com/PHP/Script...nes/index.html
Se basan en abrir tu página (fopen() .. etc) . .aplicar expresiones regulares (preg_match_all() o similares) pára identificar patrones de "link" común (o tag de imagenes también) y de ahí generar un listado de los URL's que encuentre (la función de expresión regular anterior ya genera por si sola un array de los patrones encontrados) y si corresponde "recursivamente" ir metiendose en cada uno de los que desde un inicio dado (una página) toma .. hasta N nivels hacia abajo en la estructura del sitio a evaluar.
Un saludo,