Es para recorrer de una pagina todas las referencias suyas, y seguirlas, obteniendo en un BD MySQL las referencias, direcciones e-mail y contenido de METAS.
Asi con varias paginas; es decir que es una pagina principal donde vienen varios URL y estos son los que se siguen hasta el objetivo final.
File() tiene el problema que no lee del codigo fuente, sino de la pagina html interpretada, me explico, no es lo mismo un enlace enlace1 que la pincharlo va a otro y que file extrae 1: enlace1
que el codigo fuente que extrae show_source() <a href="www.enlace1.com">enlace1 </a> con el que se puede trabajar.
Un saludo