sitemaps XML

[Jorgemen]

Pero Man no sólo tengo una tabla dinámica, tengo un montón y en los URL uso URL friendly, no muestro las variables GET, sería muy tedioso tener que analizar tabla por tabla las variables y según eso convertiras en URL frinedly y esa ponerla en mi sitemap, lo que pensaba era más como un robot que navegará link por link mi página y cada link almacenarla en una base de datos....como podría hacer un robot que navegue toda mi págian link por link?