Encontrar todas las páginas de una web Hola!
Estoy haciendo un buscador y tengo un problema a la hora de añadir una página como en Google o en otros buscadores. Lo que quiero es que cuando se añada una página web (por ejemplo, pagina.com) se encuentren todas las webs. Por ejemplo, si pagina.com tiene tres paginas (pagina.com/pagina1.html, pagina.com/pagina2.html y pagina.com/pagina3.html) los añada a la base de datos.
Saludos
