Hola, ¿alguien sabe de algún lugar donde expliquen o haya un tutorial de cómo hacer un robot que indexe todas las url´s de una web? La idea es hacer algo así como un mapa web automático o que al cabo del tiempo lo pueda activar yo cuando lo considere necesario, imagino que debe existir algo que pueda facilitar o al menos aligerar el trabajo.
