Script Sitemap Google!

[farra]

necesito un script php (SPIDER) donde le introdusca la URL de mi sitio y recorra la pagina hasta una profundidad de 2 pero solo los enlaces internos... y que guarde cada enlace en una BD cada URL..
por que despues tengo un archivo que me genera un Sitemap de google pero tengo que poner todas las url separadas por lineas, encontre un website que hace esto pero solo para 500 url y mi sitio tiene como 5000 enlaces internos...

alguien me da una idea de como puedo hacer un script de este tipo?

[josofol]

Hola Farra

Es un poco complicado partiendo de que tienes tantos enlaces, pero supongo que todo esto lo tendras bien estructurado, es decir, tendras directorios. A partir de esto, podrías hacer o intentar en función de cómo tengas la estructura de tu web hecha lo siguiente: Leer los archivos que representan tus url: Por ejemplo: http://www.dominio.com/estadisticas/mapas.php donde estadisticas es el directorio y mapas.php el archivo.

<?php
//te creas un array con los directorios que representan archivos a listar como url para el sitemap

$a_dir=array("estadisticas","mapas");

for($i=0;$i<count($a_dir):$i++)
{

$ruta="/".$a_dir[$i];

if ($gestor = opendir($ruta)) {

while (false !== ($archivo = readdir($gestor)))
{

$url="http://www.dominio.com".$ruta."/".$archivo;

//Luego haces el insert de la url en la BBDD.

}//Fin While
}//Fin if
}//Fin for

?>

Es un poco la idea.

Un saludo