Bajar paginas a base de datos

[ismaelm]

Hola: tengo que desarrollar un sitio web que cumpla con los siguientes requisitos; es posible alguna forma de automatizacion de estas tareas?


Etapas:

1. Busqueda de la informacion: según parametros basados en estructura de directorio.
2. Bajar informacion encontrada a base de datos
3. Navegar offline el sitio


Desarrollo:

1. Tomar los parametros de busqueda y pasarselos al navegador web juntamente con el nombre del buscador a usar para que este devuelva un listado de los sitios donde encuentre coincidencia.
2. Ingresar a cada pagina encontrada y bajar el contenido de las mismas a una base de datos.

Como se pueden hacer estos pasos automaticamente? Es decir, pasarle al navegador la orden de busqueda según parametros y luego ingresar a cada direccion encontrada y bajar su contenido; es posible hacer esto? En su defecto, que parte de este proceso se puede automatizar?


ESTRUCTURA DE DIRECTORIO
I. AGRICULTURA
I.1. Frutales
I.1.1. Cítricos
I.1.1.1. Variedad
I.1.1.2. Fertilizacion
I.1.1.3. Injertas
I.1.1.4. Podas
I.1.1.5. Plagas y enfermedades
I.1.1.6. Cosecha y PostCosecha
I.1.2. Mangas
I.1.3. Macadamia
I.1.4. Achachairú
I.1.5. Papaya
I.1.6. Piña
I.1.7. Plátano
I.1.8. Café
I.1.9. Maracuyá
I.1.10. Camu Camu
I.2. Hortalizas
I.2.1. Tomate
I.2.1.1. Almaciguera
I.2.1.2. Preparación y siembra
I.2.1.3. Variedades
I.2.1.4. Plagas y Enfermedades
I.2.1.5. Cosecha y PostCosecha
I.2.2. Pimentón
I.2.3. Lechuga
I.2.4. Vainita
I.2.5. Zanahoria
I.2.6. Yuca
I.2.7. Papa
I.3. Cereales
I.3.1. Arroz
I.3.2. Maíz
I.3.3. Frejol
I.3.4. Soya
I.3.5. ManíApicultura
I.4.1. Miel de abejasRazas y Colmenas
I.4.1.2. Miel y subproductos

Saludos
Ismael Medina